网络广告投放和监测系统架构剖析.pptx

网络广告投放和监测系统架构剖析,bennett hong for 2012华东架构师大会 nov 18,2012,outline,互联网的商业模式 网络广告的商业逻辑和形态 基础广告管理系统架构 最基础功能素材管理和投递 最简模型面临的三大问题 数据统计控制系统架构 计数的准确性和可靠性的常见解决方案 实时决策业务需求对系统架构的要求 广告业务系统未来的发展趋势,互联网的商业模式,广告 各大门户、视频网站 游戏 盛大、巨人、畅游、完美 电商 几乎还都在亏钱 携程勉强可以算电商 淘宝其实是虚拟地产商 业务需求的发展是 架构进化的源动力,网络广告的业务模式,网站 流量聚集 广告售卖 按空间&时间卖 按投放量卖 按受众卖,网络广告系统最简架构,最基础的硬件和系统配置 lamp架构 数据库独立服务器 关键数据做raid 但仍旧隐藏3个大坑,最简广告系统之问题系统扩充,负载均衡的常见方法 dns轮询切换慢，没有健康检查 lvs / nginx软件均衡，成本低，有部分健康检查 4-7层交换机成本很高，并发连接可到数百万次/秒,最简广告系统之问题南北互联,南北互联解决方法 bgp带宽很贵 智能dns+双线/多机房 带宽成本较低，但系统复杂 可以自建dns，也可以采用的智能dns供应商,最简广告系统之问题带宽成本,降低带宽成本的方法 启用http gzip 开启浏览者端素材缓存 选用便宜但不慢的二三线城市 动静分离，静态部分架设cdn,广告主的新需求统计和控制,广告主开始关心： 广告投在哪里 多少人看到了广告 多少人点击了广告 如何优化点击转化效率 他们有哪些属性 受众的感受如何 如何让对的人看到广告 ,不适合用于统计的apache日志,使用apache等日志做统计的弊端 日志结构不易解析 http头部参数可能缺失 客户端缓存导致漏记 混有无效的错误请求 日志的写并发不好，导致错记,广告监测计数的特点,统计系统的特点 高并发频繁写 原子性、非事务,待解决主要问题 少错漏 快入库 速统计,http高并发的解决方法,nginx替换apache 充分利用多核的cpu做多线程 涉及并发的参数除了线程数，还包括：keepalive,timeout等,数据入库的解决方法,单条日志有原子性，一致性要求不高 增加缓冲层，批量延迟入库 缓冲分为内存和文件两种，也可以将两种模式结合 在各级之间还可以调整流量，对内容进行校验纠错, 吞吐流速逐渐减慢 ,控制和定向的需求,各种投放控制：总量控制、时段控制、单一用户频次 各种定向手段：地域城市、浏览兴趣（上下文）、搜索行为,控制和定向依赖于快速统计,统计需求的难点 group by order by count distinct join 瓶颈：流速差和流量差 硬盘-内存数据交换 内存-cpu数据交换 解决方法： raid或引入ssd 多路cpu,精准广告是大数据的典型应用,数据按热度分级,热数据放内存，做实时决策 温数据放在分布式文件系统，做模型迭代 冷数据高压缩率后存储，很少使用, 数据量减小热度提高 ,网络广告系统的发展趋势,分工细化，需要跨系统间实时数据交换 媒体资源管理系统、广告资源交易所 外部决策数据、竞价机构、素材托管和投递,华东架构师大会的组委会添加信息,gti and virident 世纪互联 admaster的创始人洪倍 联想员工李鹏程 中国（上海）创业者公共实训基地,2012华东架构师大会感谢的协办单位和捐助个人：,预告信息： 2013年5月18日，将于上海举办2013华东数据库技术大会 人数规模：500人 会务合作，联系人：金官丁，联系电话：136 616