豆瓣网安全监督方案和技术架构解析

豆瓣,内容安全监督方案与技术架构解析,内容安全监督方案,1.创造性的用户主导的内容生产系统。豆瓣内容形成的起点，是那些主动型的网民所提供的自己所读过的书、看过的电影、听过的音乐的清单，相关评论和博客。这些内容提供了很多个基础节点，这些节点之间又因为网站技术系统所提供的相应功能，例如条目、“标签”或网站推荐，开始产生各种联系，从而编织出内容的基本网络。豆瓣的内容生产机制，一方面是内容指向明确，就是某一特定的书、电影或音乐，因此可以激发那些主动型的网民参与内容生产的积极性，另一方面，又可以使那些被动型的网民很容易实现个性化的满足，而且他们也可以用轻松的方式对内容的关系（例如在首页上推荐的内容）产生贡献。更重要的是，它提供了一种新的关系架构。由于每一个个体在内容之间起着穿针引线的作用，内容与内容的关系变得更为多样化。人与内容的关系也变得更为自由、灵活。,内容安全监督方案,2.现代客户管理（CRM）的思想，即以客户为中心，建立读者数据库进行针对性的读者服务，让读者得到最好的购物体验。豆瓣所进行的数据的收集，是通过一种友好的方式。它没有那种“偷窥”式的或强制式的对个人隐私的侵犯，而是使人们在表达个性与需求的同时，心甘情愿地将自己的个人信息交给网站,内容安全监督方案,3.编织内容网络的同时形成复杂的人际网络豆瓣的内容形成的机制，也成为人与人之间关系形成的机制，从结构上来说，豆瓣的社区是一种网状的结构，用户不是被圈定在某一个论坛或小组里，而是从自己的兴趣出发，多线索地编织起自己的人际网络。用相同兴趣作为媒介，把人和人的社会关系真实地搬到网上，也使得豆瓣相对于一般交友网站或者QQ更有针对性，加入“友邻”的往往是不认识但趣味相投的朋友，这比陌生人随意添加要有效和可靠得多。,内容安全监督方案,4.豆瓣是通过严格的“机器识别敏感词”来做审查的。机器的死板势必造成审查野蛮生硬的用户体验。豆瓣的审查制度存在严重问题，关键词过滤的算法极不合理、先审后发的制度给用户的体验无比糟糕、人工审查员的业务能力非常低下且处理方式粗暴，这些都令豆瓣用户怨声载道。,内容安全监督方案,5.内容开放，强调自我形象塑造与传统网络社区以及博客等不同的是，豆瓣更多是通过某个成员所列出的清单和评论等，来展现一个人的知识、修养与思想。所以有些人在豆瓣所列出的清单未必是完全真实的，有时会有浮夸的成分，但是即使是虚假的清单，把什么样的书、电影或音乐列为自己的兴趣，也往往是出于人们对自我形象塑造的需求。,内容安全监督方案,6.设计出了DoubanFS和DoubanDBDoubanFS跟DoubanDB的实现，他们在对于内容的安全性，或者内容的冗余性，都是（备份）三份。这都是可以配置的，现在配置是3份。首先DoubanDB会把每个数据在三个节点进行备份，任何一个出现故障都不会影响索取数据。MySQL是通过双Master方案，同时还会带1到2个slave，所以说在MySQL中豆瓣会有三到四个的备份。,豆瓣网技术架构解析,豆瓣网可分割成两大块：也就是用户在浏览器访问的时候会触发一系列的操作，从数据库拿出数据，渲染成HTML页面反馈给用户，这是前端；在豆瓣有一个很强的数据挖掘团队，每天把用户产生的数据进行分析，进行组合，然后产生出用户推荐，然后放在数据库里面，前端会实时的抓取这些数据显示给用户。,前端的Web,后端,豆瓣网技术架构解析,Web端所用的技术前端：ngix和lighttpd中端：Quixote的Web框架后端：MySQL以及豆瓣网开发的DoubanDB,豆瓣技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,豆瓣网技术架构解析,缓解高并发所带来的压力，提高缓存命中率采取的策略：豆瓣的缓存命中率：Memcache命中率在97%左右数据库查询：以Python的Object形式存放在Memcache里面，下次再拿这个数据的时候就直接从Cache中拿就行了,豆瓣网技术架构解析,提高承受高压力的流量，豆瓣采取的策略：按照功能分区,豆瓣会把数据表分成几个独立的库，现在是一共有4个库。每个表都是库的一个部分，每个库会有主副两个。通过这种方式来减轻数据库的压力。现在的技术方面，在