大数据工具概览(新)31_第1页
大数据工具概览(新)31_第2页
大数据工具概览(新)31_第3页
大数据工具概览(新)31_第4页
大数据工具概览(新)31_第5页
已阅读5页，还剩26页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、大数据工具概览昭远 calio我是谁？微博：calio邮箱：vipcaliogithub:calio处理收集计算展现挖掘大数据处处理的一一般过程程抽取抓取索引查询数据分析析搜索我们的产产品我们的做做法收集：网网页埋点点+web server日志收集集处理：自自定义的的ETL脚本计算：hadoop+实时处理理引擎+mysql挖掘：自自定义的的hadoop任务展现：amcharts收集工具具收集工具具Needlebase从多种数数据源获获取数据据（网页页，xml，csv文件）合并，复复制和清清洗数据据生成自定定义视图图编写代码码来自动动化抓取取公共网网站支持ruby，python，php社区特性性

2、：有很很多别人人写好的的开放程程序处理工具具Hadoophttp:/GoogleMapReduce架构的克克隆，最最初由Doug Cutting开发，Yahoo!是最大的的贡献者者运行在跨跨机器的的集群上上巨大的相相关工具具生态圈圈计算工具具计算工具具开源的关关系型数数据库管管理系统统成熟的系系统，相相关资料料较多在大数据据环境下下需要做做shardingHadoophttp:/GoogleMapReduce架构的克克隆，最最初由Doug Cutting开发，Yahoo!是最大的的贡献者者运行在跨跨机器的的集群上上巨大的相相关工具具生态圈圈开源版本本的GoogleBigTable底层使用用HD

3、FS存储与hadoop完美结合合多客户端端分布式式访问hadoop数据仓库库系统使用SQL来编写Hadoop任务延迟较高高，不能能替代实实时数据据库展现工具具展现工具具图形编程程语言积累了大大量的库库，示例例和文档档processing.js:processing的js实现d3.jsjavascript框架，前前身为Protovis包含了全全量的易易用可视视化组件件提供高层层次接口口FusionTables提供类似似电子表表格的在在线数据据存储根据地理理信息可可视化数数据http:/数据挖掘掘工具数据挖掘掘工具Mahouthttp:/scikits.learnhttp:/stable/通用机器器学习算算法在海海量数据据之上运运行绝大部分分代码是是基于Hadoop编写的分分布式作作业内嵌了很很多算法法来实现现通常的的任务，比如聚聚类、分分类、基基于用户户行为的的物品推推荐，识识别频繁繁共现的的属性python机器学习习工具标准机器器学习技技术的高高层接口口实验和快快速原型型实现处理收集计算展现挖掘大数据处处理的一一般过程程抽

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论