大数据分析学习之路

大数据分析学习之路 一 大数据分析的五个基本方面 1 可视化分析 大数据分析的使用者有大数据分析专家 同时还有普通用户 但是他们二者对于大数据分析最基本的要求就是可视化分析 因为可视化分析能够直观的呈现大数据特点 同时能够非常容 易被读者所接受 就如同看图说话一样简单明了 2 数据挖掘算法 大数据分析的理论核心就是数据挖掘算法 各种数据挖掘的算 法基于不同的数据类型和格式才能更加科学的呈现出数据本身 具备的特点 也正是因为这些被全世界统计学家所公认的各种 统计方法 可以称之为真理 才能深入数据内部 挖掘出公认 的价值 另外一个方面也是因为有这些数据挖掘的算法才能更 快速的处理大数据 如果一个算法得花上好几年才能得出结论 那大数据的价值也就无从说起了 3 预测性分析能力 大数据分析最终要的应用领域之一就是预测性分析 从大数据 中挖掘出特点 通过科学的建立模型 之后便可以通过模型带 入新的数据 从而预测未来的数据 4 语义引擎 大数据分析广泛应用于网络数据挖掘 可从用户的搜索关键词 标签关键词 或其他输入语义 分析 判断用户需求 从而实 现更好的用户体验和广告匹配 5 数据质量和数据管理 大数据分析离不开数据质量和数据管理 高质量的数据和有效 的数据管理 无论是在学术研究还是在商业应用领域 都能够 保证分析结果的真实和有价值 大数据分析的基础就是以上五 个方面 当然更加深入大数据分析的话 还有很多很多更加有 特点的 更加深入的 更加专业的大数据分析方法 二 如何选择适合的数据分析工具 要明白分析什么数据 大数据要分析的数据类型主要有四大类 1 交易数据 TRANSACTION DATA 大数据平台能够获取时间跨度更大 更海量的结构化交易数据 这样就可以对更广泛的交易数据类型进行分析 不仅仅包括 POS 或电子商务购物数据 还包括行为交易数据 例如 Web 服务器记录的互联网点击流数据日志 2 人为数据 HUMAN GENERATED DATA 非结构数据广泛存在于电子邮件 文档 图片 音频 视频 以及通过博客 维基 尤其是社交媒体产生的数据流 这些数 据为使用文本分析功能进行分析提供了丰富的数据源泉 3 移动数据 MOBILE DATA 能够上网的智能手机和平板越来越普遍 这些移动设备上的 App 都能够追踪和沟通无数事件 从 App 内的交易数据 如 搜索产品的记录事件 到个人信息资料或状态报告事件 如地 点变更即报告一个新的地理编码 4 机器和传感器数据 MACHINE AND SENSOR DATA 这包括功能设备创建或生成的数据 例如智能电表 智能温度 控制器 工厂机器和连接互联网的家用电器 这些设备可以配 置为与互联网络中的其他节点通信 还可以自动向中央服务器 传输数据 这样就可以对数据进行分析 机器和传感器数据是 来自新兴的物联网 IoT 所产生的主要例子 来自物联网的数 据可以用于构建分析模型 连续监测预测性行为 如当传感器 值表示有问题时进行识别 提供规定的指令 如警示技术人 员在真正出问题之前检查设备 三 如何区分三个大数据热门职业 数据科学家 数据 工程师 数据分析师 随着大数据的愈演愈热 相关大数据的职业也成为热门 给人 才发展带来带来了很多机会 数据科学家 数据工程师 数据 分析师已经成为大数据行业最热门的职位 它们是如何定义的 具体是做什么工作的 需要哪些技能 让我们一起来看看吧 这 3 个职业具体有什么职责 数据科学家的工作职责 数据科学家倾向于用探索数据的方式 来看待周围的世界 把大量散乱的数据变成结构化的可供分析 的数据 还要找出丰富的数据源 整合其他可能不完整的数据 源 并清理成结果数据集 新的竞争环境中 挑战不断地变化 新数据不断地流入 数据科学家需要帮助决策者穿梭于各种分 析 从临时数据分析到持续的数据交互分析 当他们有所发现 便交流他们的发现 建议新的业务方向 他们很有创造力的展 示视觉化的信息 也让找到的模式清晰而有说服力 把蕴含在 数据中的规律建议给 Boss 从而影响产品 流程和决策 数据工程师的工作职责 分析历史 预测未来 优化选择 这 是大数据工程师在 玩数据 时最重要的三大任务 通过这三 个工作方向 他们帮助企业做出更好的商业决策 大数据工程师一个很重要的工作 就是通过分析数据来找出过 去事件的特征 通过引入关键因素 大数据工程师可以预测未 来的消费趋势 在阿里妈妈的营销平台上 工程师正试图通过 引入气象数据来帮助淘宝卖家做生意 比如今年夏天不热 很 可能某些产品就没有去年畅销 除了空调 电扇 背心 游泳 衣等都可能会受其影响 那么我们就会建立气象数据和销售数 据之间的关系 找到与之相关的品类 提前警示卖家周转库存 根据不同企业的业务性质 大数据工程师可以通过数据分析来 达到不同的目的 与传统的数据分析师相比 互联网时代的数据分析师面临的不 是数据匮乏 而是数据过剩 因此 互联网时代的数据分析师 必须学会借助技术手段进行高效的数据处理 更为重要的是 互联网时代的数据分析师要不断在数据研究的方法论方面进行 创新和突破 就行业而言 数据分析师的价值与此类似 就新闻出版行业而 言 无论在任何时代 媒体运营者能否准确 详细和及时地了 解受众状况和变化趋势 都是媒体成败的关键 此外 对于新闻出版等内容产业来说 更为关键的是 数据分 析师可以发挥内容消费者数据分析的职能 这是支撑新闻出版 机构改善客户服务的关键职能 大数据分析师需要掌握的技能 1 懂业务 从事数据分析工作的前提就会需要懂业务 即熟悉 行业知识 公司业务及流程 最好有自己独到的见解 若脱离 行业认知和公司业务背景 分析的结果只会是脱了线的风筝 没有太大的使用价值 2 懂管理 一方面是搭建数据分析框架的要求 比如确定分析 思路就需要用到营销 管理等理论知识来指导 如果不熟悉管 理理论 就很难搭建数据分析的框架 后续的数据分析也很难 进行 另一方面的作用是针对数据分析结论提出有指导意义的 分析建议 3 懂分析 指掌握数据分析基本原理与一些有效的数据分析方 法 并能灵活运用到实践工作中 以便有效的开展数据分析 基本的分析方法有 对比分析法 分组分析法 交叉分析法 结构分析法 漏斗图分析法 综合评价分析法 因素分析法 矩阵关联分析法等 高级的分析方法有 相关分析法 回归分 析法 聚类分析法 判别分析法 主成分分析法 因子分析法 对应分析法 时间序列等 4 懂工具 指掌握数据分析相关的常用工具 数据分析方法是 理论 而数据分析工具就是实现数据分析方法理论的工具 面 对越来越庞大的数据 我们不能依靠计算器进行分析 必须依 靠强大的数据分析工具帮我们完成数据分析工作 5 懂设计 懂设计是指运用图表有效表达数据分析师的分析观 点 使分析结果一目了然 图表的设计是门大学问 如图形的 选择 版式的设计 颜色的搭配等等 都需要掌握一定的设计 原则 四 从菜鸟成为数据科学家的 9 步养成方案 首先 各个公司对数据科学家的定义各不相同 当前还没有统 一的定义 但在一般情况下 一个数据科学家结合了软件工程 师与统计学家的技能 并且在他或者她希望工作的领域投入了 大量行业知识 大约 90 的数据科学家至少有大学教育经历 甚至到博士以及 获得博士学位 当然 他们获得的学位的领域非常广泛 一些 招聘者甚至发现人文专业的人们有所需的创造力 他们能教别 人一些关键技能 因此 排除一个数据科学的学位计划 世界各地的著名大学雨后 春笋般的出现着 你需要采取什么措施 成为一个数据科学家 复习你的数学和统计技能 一个好的数据科学家必须能够理解 数据告诉你的内容 做到这一点 你必须有扎实的基本线性代 数 对算法和统计技能的理解 在某些特定场合可能需要高等 数学 但这是一个好的开始场合 了解机器学习的概念 机器学习是下一个新兴词 却和大数据 有着千丝万缕的联系 机器学习使用人工智能算法将数据转化 为价值 并且无需显式编程 学习代码 数据科学家必须知道如何调整代码 以便告诉计算 机如何分析数据 从一个开放源码的语言如 python 那里开始 吧 了解数据库 数据池及分布式存储 数据存储在数据库 数据 池或整个分布式网络中 以及如何建设这些数据的存储库取决 于你如何访问 使用 并分析这些数据 如果当你建设你的数 据存储时没有整体架构或者超前规划 那后续对你的影响将十 分深远 学习数据修改和数据清洗技术 数据修改是将原始数据到另一 种更容易访问和分析的格式 数据清理有助于消除重复和 坏 数据 两者都是数据科学家工具箱中的必备工具 了解良好的数据可视化和报告的基本知识 你不必成为一个平 面设计师 但你确实需要深谙如何创建数据报告 便于外行的 人比如你的经理或 CEO 可以理解 添加更多的工具到您的工具箱 一旦你掌握了以上技巧 是时 候扩大你的数据科学工具箱了 包括 Hadoop R 语言和 Spark 这些工具的使用经验和知识将让你处于大量数据科学 求职者之上 练习 在你在新的领域有一个工作之前 你如何练习成为数据 科学家 使用开源代码开发一个你喜欢的项目 参加比赛 成为 网络工作数据科学家 参加训练营 志愿者或实习生 最好的 数据科学家在数据领域将拥有经验和直觉 能够展示自己的作 品 以成为应聘者 成为社区的一员 跟着同行业中的思想领袖 阅读行业博客和 网站 参与 提出问题 并随时了解时事新闻和理论 五 从入门到精通 快速学会大数据分析 以大数据分析师为目标 从数据分析基础 JAVA 语言入门和