分布式系统存储数据库云计算PPT课件.ppt

分布式实战 贺利军 1 公司业务需求 大规模数据所面临的问题计算的统一编译 部署 管理 监控网络通讯机制数据的存储算法的实效性各不相同spider 抽正文 分词 全文索引 文章分类 xxx算法热文 热门话题 文章来源 文章质量 文章聚类 2 抽象需求 统一编译 部署 管理 监控builderserver master 1 master proxy 1 proxy worker 1 网络通信问题通讯lib应用框架workerframework数据存储分布式存储业务的模式pipelinedfs map red 3 编译 部署 管理 监控 一 控制流 matrix machine smith vnode vnode vnode buildserver 1 管理 控制 部署 二 Matrix Group cloud C 应用框架 应用框架的使用 intdo app logic unsignedchar buf intlen unsignedchar res int len parsethequerybuffer res xxx vnodereplyauto len yyy return0 intret get Server xxx md5 query desc result client get server 应用通讯lib boost asiowrapper的asynctcpserverthread poolconnectionmanager intget Server xxx md5 query desc timeout result intput Server xxx md5 query desc intmulti get constQuerys 分布式存储 key valuedynamomysql类似mongo 业务的模式 pipeline 中心模式 序列模式 put put put get get get get pipeline问题 中心模式缺点同步的所有问题优点同步实现简单模块天生隔离 易实施序列模式缺点上下游的耦合上下游处理速度不匹配导致cache数据下游down机优点异步的高效数据过了就没了 pipeline的改进 引入mq 解决pipeline上下游的问题 在pipeline模型中计算热门文章 需求不定期输入一个URL每天内计算当天100篇热门文章每小时刷新一次热门文章DB热门文章定义为 有限时间内转载次数越多越热门两种做法每篇文章计算一次频度太高 浪费电累积一小时计算一次频度太底 不够实时分布式的HotArticle该如何做 pipeline的场景分析 适用场景对任何一个输入均可以马上产生输出比如基于分词词典 输入一段文本 立马可以输出分词结果不适用场景类似统计分析 需要一笔输入才可以产生最好的输出比如分词词典的训练过程 pipeline dfs 输出输入 某算法输出模块 DFS DB MQ 某算法输入模块 算法本身 DFS read read put put 引入DFS 优点上下游解耦问题客户端拿数据的方法不一致 需要多种不同的维度同一下游的多客户端拿数据解决方案 杂谈