互联网培训材料.ppt_第1页
互联网培训材料.ppt_第2页
互联网培训材料.ppt_第3页
互联网培训材料.ppt_第4页
互联网培训材料.ppt_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、,*,ZZNODE BD2 直真数据网管,产品功能架构,互联网内容资源管理系统培训材料,2015-3,*,0.目录,1.到处是爬虫 资源结构、广度优化 3.资源引入建议 去重、可缓存 5.移动互联网分析 APP、手机浏览器,2.资源分布 资源分布、可缓存判断 4.缓存 黑白名单、命中率,*,1.到处是爬虫,页面结构 网内（省内 + 省外） / 总服务流量 爬虫原理 分析页面超链接 广度优先，深度一般为5层 多网站并行爬取 也不能爬太快 很多爬虫 Google, Baidu一个月建立一个索引 Sina门户有上亿的资源,1. javascript 2. css 3. 图片 4. 超链接,页面结构,

2、*,2.资源分布,资源分布 判断省内资源的归属情况，省内、外省、电信、联通、铁通、其它 可缓存判断 对资源进行是否可缓存的判断 结合用户的缓存经验库 判断算法 资源：http header中的三个字段 域名：只有一个资源可缓存,网站库,*,3.资源引入建议,去重 IDC、CDN、CACHE协同去重 自建、租用CACHE去重 分析出重复的资源引入（部分省份不开展，主要原因去重工作的影响面） 引入建议 资源引入建议 资源引入优化建议,*,4.再说说缓存,缓存分类 P2P、HTTP（小文件、大文件、动态） 缓存厂家（辽宁） 华为（全线产品） 网宿（P2P，HTTP小文件、手机加速、动态协议） 不断成长的可缓存判断算法 自动算法 + 经验库（用户根据本省实际情况适配） 目前只使用静态配置的黑名单、白名单,*,5.移动互联网分析,基于手机抓包 单APP、定制场景分析

人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论