360大数据平台_第1页
360大数据平台_第2页
360大数据平台_第3页
360大数据平台_第4页
360大数据平台_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、360大数据平台介绍唐会军 360大数据规模&能力 大数据服务器规模超过30000台 总存储数据量接近1EB，每天新增超过1PB 每天各种数据计算任务10万个，每天处理数据量10PB 具备一分钟内调动几十万颗CPU核参与计算能力 具备一秒钟处理1TB数据能力 360大数据技术路线 利用最廉价的PC服务器+开源/自主开发软件构建而成 数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100 360大数据业务(搜索 广告 杀毒 语音图像识别) 360大数据架构图产品计算存储机器学习平台实时计算平台M/R计算平台文件存储平台表格存储平台对象存储平台搜索安全广告语音图像底层云主机内核硬件流式计

2、算平台块存储平台 HBase平台（HDFS, M/R） 运行全球最大的HBase集群之一（3K节点） 存储记录总条数达到100万亿条 增加索引引擎，满足关系型数据库查询需求 增加搜索引擎，对存入平台的所有数据支持字符检索 Cassandra平台 Cassandra集群总规模全球第一（超过10K节点） 增加数据备份，数据冗余EC方案，索引等一系列功能 修复BUG无数，稳定性经受住线上7*24小时，一年365天无服务中断考验 机器学习平台Euler应用计算存储MPI通信框架分布式向量作业管理&任务调度分类分布式矩阵计算框架聚类回归 Euler平台算法库聚类 k-means 凝聚层次聚类 minha

3、sh Disjoint-Set Query Clustering分类 随机森林 GBDT LLGC 朴素贝叶斯主题模型 plsa Lda 协同过滤 User-based Item-based 回归 逻辑回归 机器翻译 SMT EMBT 其它 PageRank：网页排序 ALS：矩阵分解 Hadoop平台（HDFS, M/R） 360内部分支版本（从2010年开始） 单集群规模5K个节点，年底到10K节点 增加了权限管理，性能优化一系列改进 大数据分析平台云图 语音识别 7人小团队一年时间在搜索语音识别领域超过讯飞 利用公司海量数据优势和海量数据挖掘经验1.82%3.09%0.00%0.50%1.

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论