360大数据平台_第1页
360大数据平台_第2页
360大数据平台_第3页
360大数据平台_第4页
360大数据平台_第5页
已阅读5页，还剩9页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、360大数据平台介绍 唐会军 360大数据规模&能力 大数据服务器规模超过30000台 总存储数据量接近1EB，每天新增超过1PB 每天各种数据计算任务10万个，每天处理数据量10PB 具备一分钟内调动几十万颗CPU核参与计算能力 具备一秒钟处理1TB数据能力 讲解：XX2021/3/10 360大数据技术路线 利用最廉价的PC服务器+开源/自主开发软件构建而成 数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100 讲解：XX2021/3/10 360大数据业务(搜索 广告 杀毒 语音图像识别) 讲解：XX2021/3/10 360大数据架构图 产品 计算 存储 机器学习 平台 实

2、时计算 平台 M/R计算 平台 文件存储 平台 表格存储 平台 对象存储 平台 搜索安全广告语音图像 底层 云主机内核硬件 流式计算 平台 块存储 平台 讲解：XX2021/3/10 HBase平台（HDFS, M/R） 运行全球最大的HBase集群之一（3K节点） 存储记录总条数达到100万亿条 增加索引引擎，满足关系型数据库查询需求 增加搜索引擎，对存入平台的所有数据支持字符检索 讲解：XX2021/3/10 Cassandra平台 Cassandra集群总规模全球第一（超过10K节点） 增加数据备份，数据冗余EC方案，索引等一系列功能 修复BUG无数，稳定性经受住线上7*24小时，一年

3、365天无服务中断考验 讲解：XX2021/3/10 机器学习平台Euler 应用 计算 存储 MPI通信框架 分布式向量 作业管理&任务调度 分类 分布式矩阵计算框架 聚类回归 讲解：XX2021/3/10 Euler平台算法库 聚类 k-means 凝聚层次聚类 minhash Disjoint-Set Query Clustering 分类 随机森林 GBDT LLGC 朴素贝叶斯 主题模型 plsa Lda 协同过滤 User-based Item-based 回归 逻辑回归 机器翻译 SMT EMBT 其它 PageRank：网页排序 ALS：矩阵分解 讲解：XX2021/3/10 Hadoop平台（HDFS, M/R） 360内部分支版本（从2010年开始） 单集群规模5K个节点，年底到10K节点 增加了权限管理，性能优化一系列改进 讲解：XX2021/3/10 大数据分析平台云图 讲解：XX2021/3/10 语音识别 7人小团队一年时间在搜索语音识别领域超过讯飞 利用公司海量数据优势和海量数据挖掘经验 1.82% 3.09% 0.00% 0.50% 1.00% 1.50% 2.00% 2.50% 3.00% 3.50% 360搜索讯

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论