多媒体内容识别

第1章需求分析 2 2 2第2章不良图片分析系统解决方案 42.1技术原理 42.2技术指标 62.3部署方案 7第3章投资及回报 83.1系统投资 83.2投资回报 8第4章附录：新浪应用案例 9第5章附录：公司简介 第1章需求分析截至2009年6月底，我国网民数量已达3.38亿人，网站数达306.1万个，监管提出了严峻的挑战。互联网有别于传统媒体，互动性、实时性强，传播速度快，覆盖性广，数据类型多种多样，其中滋生了大量的色情低俗内容，严重然而谷歌“消毒”并非一件容易的事情，尽管谷歌工程师做了“机器学习”系统作辅助，但也只是对低俗文字网页有用，而对那些社会影响更恶劣的色情图片仍显得无能为力，只能通过网民举报等非技术手段在事发之后做出响应，非常被动。国际网络搜索巨擎尚且不能很好解决的问题，对于其他网络内容、服自2009年1月全国开展整治互联网低俗之风专项行动以来，一批批违规网站被曝光、整治和关闭，网上淫秽色情和低俗内容明显减少，行动取得了巨大集中运营，有固定的运营地点，具有大规模的业务及大规模的设备，设备ICP内容控制，最大的挑战是：数据量极大，采用人工的方式，不可能做到用户上传人工审核整治屏蔽用户举报链条。以博客应用为例，用户注册后发表文章、上传图像或视频文件，服务提供商采用各种事前事后的内容审核手段防堵可能的色情低俗内容，对于大中型网站而言，即便配备了人数众多的内容审核人员，在海量信息的上传和发布面前，也常常是有心无力，做不到全面、实时和准确的内容监管，以致于主要依赖于最终用户的举报和事后查处。前谷歌中国负责人李开复在接受记者采访时坦承没有好的技术手段进行自动化检测，只能推出用户举报机制来发现不良内容。具有讽刺意味的是，在这种模式下，是潜在的受害者来举报侵犯自己的内容，在被人工封杀之前，可能还会有更多人受到不良的伤害。究其原因，还是纵观全世界，针对色情图像和视频的自动化检测，是一个相当前沿的技术领域。在规定范式的图像模式识别领域，如针对文字的OCR,针对指纹、视网难以提取统一和规范化的特征，所以成为一个具有高第2章不良图片分析系统解决方案雄智伟业的研发团队潜心耕耘于内容监控领域，早在2007年就意识到了色情图像检测的技术挑战，开始进行这方面的研究，经过近2年的反复摸索，终于研制成功了集准确度、智能化和高性能于一身的“网清”色情图像自动化检测技术，在多家电信运营商和信息提供商用户成功运用，取得了巨大的社会和针对ICP的业务特点，推出：不良图片分析系统2.相似图片分析：用来进行图片比对，分析敏感图片产品具有自主知识产权，提供标准TCP接口(提供API和命令行)。面向ICP,系统非常适合ICP对图片文件进行检查(ICP文件及图片存储非色情图像的识别，有别于传统特定范式的图像识别，具有模糊性、特征点数量多而且样式多样的特点。因此，网清采用了二级分离器的识别体系，在通过海量样本采样分析的基础上，形成了一个高度智能化的检测架构，如下图所色情疑似色情正常无效通过一级神经网络分离器，首先分离出正常图像，其他图像进入二级向量机分离器，再分出色情、疑似色情和正常图像(可以调整评分机制)。采用二级分离器的优势是既可以提高分离速度，又能给出多层级结果，符合人类模糊判断的特点。神经网络分离器的特点是分类较粗，但速度快大部分明显是正常的图像排除在外，减低了第二级算法密针对在不同应用场景下对精确度要求的不同，第二级分离器不但给出了图像分级，而且给出了具体判据分值，用户能够根据判据分值排序，甚至调整图针对色情图像样式多变的特点，该算法还能通过样本训练，智能化提升对新种类的色情图像的识别能力，真正做到魔高一尺、道高一丈。在ICP内容提供商的应用实践中，除了要防治淫秽色情内容，还要对一些敏感图像，如暴力、政治敏感、侵权、突发事件等特殊图像进行检测和判为此，网清解决方案中还具备图像相似度(相似度可调整)判断功能，能够有效应对水印、截取、缩放、色变等多种图像变形，检出与样本图像相似的网清色情图像检测达到了业界领先水平，色情图像识别准确率大于90%,正常图像误判率小于2%。针对图像相似度的准确率更高达95%以上。对于ICP内容提供商，每天新增的数以万计的图像内容，数据量上T非常普遍。因此，检测算法的效率也非常重要，网清独特的二级分离体系在性能上比单级分离更高。在较低服务器配置下，色情图像检测的速率至少不1Mbyte/s,按通常图片大小，每秒检测图像数量可达50-500张；图像相似度检测速率不低于6Mbyte/s,每秒检测图像数量可达300-2000张。由于色情内容判断仍具有模糊的特点，不同的图像在不同的判断标准下，仍可能判断为不同的结果。因此，最佳实践是将机器判断和人工判断有效结合，形成综合防治方案。首先，通过机器判断，排除正常和明显色情的内容，将疑似色情的内容交由人工分拣。这种多层级的解决方案，能有效权衡防范和用户易用度的平衡。机器判断可将人工分拣的工作量降低10到20倍，从而大量节省监管成本。在更严格的应用场景下，也可完全采用机器自动化判断的机制，将色情和疑似色情全部自动屏蔽。网清开发的解决方案提供了一个实时图像检测引擎服务，可运行于Linux或Windows平台，提供API和命令行，ICP可将这套系统集成到现有的内容发布审核平台中，根据自身的情况，灵活定义内容通过和阻拦策略，根据实际情况，自行调整检测敏感度，自行管理敏感图像样本库，从而完美解决低俗内容监管的难题。第3章投资及回报3.1系统投资图片分析系统建设，相关费用(包括两部分):1.图片分析服务器：根据数据量(图片量)采用不同配置的服务器、软件环境操作系统—--centos5硬件环境后台：硬盘：800GCPU:1.83HZ(2)内存：2G下面数据代表了一台该配置服务器可以处理的新增图片能力：160GB/天/每CPU测试时间文件总数量总大小(KB)用时(秒)返回结果数每秒扫描文件数系统负载线程数带宽mbps带宽mBps112伍，投入了高昂的人力、管理成本，并且还有很多相关开销(比如：工作环境成本、办公设备等)。采用网清色情低俗内容监管解决方案后，可将需人工审核内容降至原来的1/10、1/20甚至更高，从而可以大大降低成本，将有效和宝贵在这场对低俗内容的持久战中，运营商掌握了坚实有效的武器，真正在战斗中实!第4章附录：新浪应用案例审核通过上图，为不良图片分析系统在新浪互动部门(相册+博客)的应用，图片监的影响力，也具有极其庞大的数据量和访问量，在用户上传照片或者图片的时候，采用人工审核，工作量繁重，并且对时间的需求也非常突出，占用了大量在应用不良图片分析系统之后，大量图片进行了自动的排查，人工分拣只需对图片分析系统提交的那一部分，这样大大降第5章附录：公司简介北京雄智伟业科技公司成立于1998年，是专业的网络平台开发厂商，多年来从事网络服务器系统平台的研究开发、产品销售服务，公司本部地处北京中关村高科技园区，在上海、西安、郑州、等地均设有公司汇集了大批来自清华、北大、中科院的IT精英。早在2000年起就在国内不同领域开始进行IP网络的技术开发和商业运作。公司主营业务为计算机网络软件产品的开发与销售，兼营计算机软、硬件产品的销售、代理。公司主要的软件产品包括：不良图片分析系统、网清内容监控系统、电子邮件服务器、电子邮件安全网关、电子邮件归档系统、邮件订阅分发系统、短信应用平台、网络负载均衡系统等等。同时与众多国内外的IT厂集团、北大青鸟、太极集团、榕基企业、天时数码等业内知名公司也建立了良公司客户遍及全国各个省市、地区，在电信、网络运营商、军队、政府、金融、企业、教育等各个行业都有大量的用户案例，在国内的软件行业建立了良之前写过两篇科普文章，使用gdb调试程序入门篇和中级篇，今天打算把最后的一部分写完，就是所谓的高级篇。其实很简单，也没有多复杂。只是个人认为gdb的使用，掌握到这个地方，对于常规的调试需求就已经足够了。至于更高级的应用，肯定是多多益善。但是学习工具的目的就在于提高工作效率，没有必要为了技术而技术，技术永远都只是一种工具。不知道这个观点是否会被技术迷所鄙视，在你调试程序时，当程序被停住时，你可以使用print命令(简写命令为p),或是同义命令inspect来查看当前程序的运行数据。print命令的格式是：<expr>是表达式，是你所调试的程序的语言的表达式(GDB可以调试多种编程语言),<f>是输出的格式，比如，如果要把表达式按16进制的格式输出，那么就是/x。有时候，你需要查看一段连续的内存空间的值。比如数组的一段，或是动态分配的数据的大小。你于是，在GDB调试过程中，你可以以如下命令显示出这个动态数组的取值：@的左边是数组的首地址的值，也就是变量array所指向的内容，右边则是数据的长度，其保存在51=(2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,输出格式想输出一个整数的十六进制，或是二进制来查看这个整型变量的中的位的情况。要做到这样，你可以使用GDB的数据显示格式：d按十进制格式显示变量。u按十六进制格式显示无符号整型。o按八进制格式显示变量。t按二进制格式显示变量。f按浮点数格式显示变量。(gdb)p/fi查看寄存器的情况。(除了浮点寄存器)查看所有寄存器的情况。(包括浮点寄存器)查看所指定的寄存器的情况。5.1.44.查看内存中的值5.1.55.gdb执行一般流程$gdb--启动gdb(gdb)b10--在第10行设置断点(gdb)bfunc--在函数func处设置断点(gdb)clear--清除所有断点(gdb)r