(计算机科学与技术专业论文)基于内容的web图像过滤技术研究.pdf_第1页
(计算机科学与技术专业论文)基于内容的web图像过滤技术研究.pdf_第2页
(计算机科学与技术专业论文)基于内容的web图像过滤技术研究.pdf_第3页
(计算机科学与技术专业论文)基于内容的web图像过滤技术研究.pdf_第4页
(计算机科学与技术专业论文)基于内容的web图像过滤技术研究.pdf_第5页
已阅读5页,还剩107页未读, 继续免费阅读

(计算机科学与技术专业论文)基于内容的web图像过滤技术研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

新江大学博士学位论文摘要 摘要 随着互联网发展和普及,人们可以在网络上获得各种信息,怎样防止青少年 接触到色情内容是一个严肃的社会问题。要防止色情内容的蔓延,除了从法律角 度采取措施外,从技术角度考虑的网络过滤技术是一种有效的手段。目前网络的 过滤技术主要有三种,它们是基于u r l 过滤方式、基于文本的过滤方式和基于图 像内容的过滤方式。其率基于图像内容的过滤方式比前两种过滤方式具有更广泛 的适应性,它可以应付变化的情况,是一种更为彻底、有效的过滤方式,也是本 文研究的方式。本文的过滤系统由皮肤过滤、脸部为重点的图像识别、特征提取 和图像分类四部分组成。 皮肤检测的作用是利用皮肤检测器从图像中检测出皮肤区域,将无关的背景 清除掉,方便后续处理。皮肤检测的准确性直接影响到后续处理的精度。传统的 肤检测方法由于仅仅利用了像素级上的颜色信息,因而容易把在颜色上和肤色相 近的非皮肤内容错误地识别为皮肤。为此,我们提出了个在s p m 方法的基础上 的改进的皮肤检测算法,改进有两点:一是利用g a b o r 小波提取出的纹理信息, 把一些颜色接近人类皮肤但纹理特征明显的内容过滤掉,从而降低错检率;二是 利用邻域信息,将通过颜色和纹理检测之后的像素点作为种子点,进行扩散操作, 从而提高正检率。皮肤检测后,我们利用数学形态学的开闭运算对皮肤检测的输 出进行滤波,有效地去除噪声、孔洞及假且标。 将人脸检测引入过滤系统的作用有三点:一是识别以人脸为重点的图像;二 是利用人脸检测的结果进行白平衡校正以提高皮肤检测精度;三是为特征提取阶 段提供一个特征量。互联网上有相当部分的图像是以人脸为重点的图像,在处理 的早期把这种图像识别出来的话,可以免去后续阶段可能发生的错误分类和不必 要的处理。为此,需要在过滤系统中引入人脸检测技术。出于对精度和速度的综 合考虑,我们采用了基于a d a b o o s t 的人脸检测算法。由于基于a d a b o o s t 的人脸 检测算法只利用了灰度特征,它会将某些在灰度变化上具有人脸特征的目标识别 成人脸,为了提高检测精度,我们在a d a b o o s t 的人脸检测算法的基础上,提出 了改进的带了肤色验证和几何验证的人脸检测方法。互联网上的图像来源不一, 浙江大学博士学位论文 摘要 有着复杂的背景和照明条件差别。肤色模型是利用皮肤颜色信息建立起来的,存 在严重颜色偏差的图像必然会导致皮肤检测的精度的下降,进而影响到后续处理 的性能。人脸检测后以人脸肤色作为白平衡校正的参照颜色对图像进行白平衡校 正,然后重新对图像进行皮肤检测,可以进一步提高皮肤检测的精度。 特征提取的作用是从图像中寻找出一组对分类最有效的属性。虽然裸体图像 含有大量的裸露肌肤,但仅仅以皮肤区域的面积比例来判断裸体图像是不够的。 为了更可靠地识别裸体图像,需要引入机器学习技术,为此需要从图像中提取能 够区分裸体和非裸体图像的特征量。裸体图像的表现形式多种多样,很难用一个 统一的模型把所有的特征表示出来。因此需要从颜色、纹理及形状等信息中提取 多种特征,本文从皮肤检测器输出掩码提取了皮肤特征;从颜色信息中提取了颜 色矩、色度矩和颜色相关图特征;利用小波包技术提取了纹理特征。利用h u 不 变矩和在h u 不变矩上改进的基于边缘信息的不变矩,提取了形状特征。这些特 征组合在一起形成一个能够把握图像整体特性的特征向量。 分类器的任务是将图像识别为裸体图像或非裸体图像,虽然图像的低级特征 在某一个方面刻画了图像的特性,但都有一定的局限性,无法直接描述裸体图像 和非裸体图像这种高层语义概念。图像的低级可视特征与高层语义概念之间存在 着一道语义鸿沟。通过机器学习手段,可以连接这道鸿沟,实现图像的语义分类。 将图像分为裸体和非裸体是一个二类分类问题。s v m 是一个在特征空间中构造最 优分类超平面的二类分类器,分类性能有理论保证,正好适于解决我们的分类问 题。分类器的分类性能在训练结束后也就固定下来了,如果训练数据不能很好地 刻画出样本空间的总体分布特性,那么分类器的性能是有待提高的。基于网络图 像复杂多变的特点,在分类器训练阶段就收集到完备的具有丰富代表性和多样性 的训练样本是不实际的,因此我们希望找出一种机器学习方法,它可以在测试过 程中,长期主动地进行学,不断提高自己的分类性能。通过对s v m 主动学习、s v m 增量学习、s 增量式主动学习以及s v m 直推式学习的介绍,结合s w l 增量式主 动学习方法和s w 渐进直推式学习方法的优点,本文提出一个能够高效地进行长 期主动学习的s v m 学习算法。 关键词:基于内容的图像过滤技术,色情图像,图像识别,皮肤检测,人脸检测, 特征提取,s v m 主动学习。 n 浙江大学博士学位论文 a b s t r a c t w i t i lt h ed e v e l o p m e n to fi n t e r n e t p e o p l ec a nc o n t a c ta l lk i n d so fm a t e r i a lo nt h e w o r l d - w i d e - w e b p o r n o g r a p h yc o n t e n ti sh a r m f u lf o ru n d e r - a g en e ts u r f e r , t h i si sa s e r i o u ss o c i a lp r o b l e m h o wt op r e v e n tc h i l d r e nf r o ma c c e s s i n gp o r n o g r a p h i cc o n t e n t o nw e bi sag r o w i n gp r o b l e mp a r e n t sc o n c e r na b o u t b e s i d e sl e g i s l a t i o nw a y , i tc a l l s f o re f f e c t i v et e c h n i q u e st ok e e pc h i l d r e nf r o ma c c e s s i n gt h e s eo b j e c t i o n a b l ec o n t e n t t h e r ea r et h r e em a i nc o n t e n t - b a s e dw e bf i l t e rm e t h o d , u r l - b a s e df i l t e r , t e x t - b a s e d f i l t e ra n di m a g e b a s e df i l t e r t h ef i r s tm e t h o dh a st om a i n t a i nl i s t so fu r lt h a tn e e d t ob eu p d a t e df r e q u e n t l ym a n u a l l y , t h es e c o n dm e t h o dm a yf a i l e dt ow o r kw h e nt h e r e i sn op o r n o g r a p h i ct e x to rt e x ti sd i s p l a y e di np i c t u r em o d e s i n c ea d u l ti m a g ei sm a i n c h a r a c t e r i s t i co fa d u l tw e bs i t e , i m a g e - b a s e df i l t e r i n gi sap r o m i s i n gw a y t h i sp a p e r p r o p o s e sa ne f f e c t i v es y s t e mt od e t e c ta d u l ti m a g e ,i tc o n s i s t so fs k i nd e t e c t i o n , f a c e d e t e c t i o n ,f e a t u r e se x t r a c t i o na n di m a g ec l a s s i f i c a t i o n b a s eo nt h ef a c tt h a tt h e r ei sas t r o n gc o r r e l a t i o nb e t w e e ni m a g ew i t hl a r g e p a t c h e so fs k i na n da d u l ti m a g e s k i nd e t e c t i o ni so f t h es i g n i f i c a n ti m p o r t a n c ei nt h e i m a g e - b a s e df i l t e rs y s t e m i tc a nk e e ps k i np a t c h e sa n dr u l eo u tt r i v i a lb a c k g r o u n d , w h i c hb r i n g sc o n v e n i e n c et os u b s e q u e n t i a lp r o c e s s t r a d i t i o n a ls k i nd e t e c t i o nm e t h o d o n l yu s ep i x e l - l e v e lc o l o ri n f o r m a t i o nw h i c hm a ym i s t a k e n l y c l a s s i f i e dt h i n g s r e s e m b l eh u m a ns k i ni nc o l o ra sh u m a ns k i n a ni m p r o v e ds k i nd e t e c t i o nm e t h o d i n t e g r a t e sc o l o r , t e x t u r ea n ds p a c ei n f o r m a t i o ni sp r o p o s e d t or e d u c ef a l s ea c c e p t a n c e r a t e ,a f t e rs p mc o l o rf i l t e r , at e x t u r ef i l t e rw a sc o n s t r u c t e db a s e do nt e x t u r ef e a t u r e s e x t r a c t e df o r mg a b o rw a v e l e tt r a n s f o r m t oi n c r e a s et r u ea c c e p t a n c er a t e ,p i x e l sp a s s b o t hc o l o ra n dt e x t u r ef i l t e rw g l eu s e da ss e e d st oi m p l e m e n td i f f u s i o np r o c e s s a f t e r s k i nd e t e c t i o n , m o r p h o l o g i c a lf i l t e ri sa p p l i e dt or e d u c en o i s e ,h o l e si ns k i np a t c ha n d f a l s eo b j e c t si nb a c k g r o u n d q u i t ean u m b e ro fw e bi m a g e sa r et h ek i n do fi m a g et h a tf a c eo c c u p i e sm o s t s p a c ei nt h ei m a g e ( c l o s e - u pf a c ei m a g ei st y p i c a le x a m p l e ) t h e s ek i n d so f i m a g a sa r e n o ta d u l ti m a g e s ,s ot h e ys h o u l db er u l e do u ta tt h ee a r l ys t a g e ,w h i c hw i l le l i m i n a t e e r r o rm a y b em a d eb ys u b s e q u e n t i a lp r o c e s s t a k es p e e da n da c c u r a c yi n t oa c c o u n t , w ea d o p ta d a b o o s tf a c ed e t e c t i o na l g o r i t h m s i n c ea d a b o o s tf a c ed e t e c t i o n a l g o r i t h mo n l ye x p l o i t 笋e yi n f o r m a t i o n ,i tm a ym i s t a k et h i n gr e s e m b l ef a c ei ng r e y a t t r i b u t ea sh u m a nf a c e t or e m e d yt h em i s t a k e w eu t i l i z et h eo u t p u to fs k i nf i l t e rt o m a k ec o l o rv e r i f i c a t i o n , c a l c u l a t ee u l e rn u m b e rt om a k eg e o m e t r i cv e r i f i c a t i o n w e b 浙扛大学博士学位论文 摘要 i m a g e sw e r ef o r m e du n d e ru n c o n s t r a i n e de n v i r o n m e n t ,s o m ei m a g em a ye x i s ts e r i o u s c o l o rd i s t o r t i o nd u et oa b n o r m a lc o l o rt e m p e r a t u r e a f t e ro b t a i n i n gf a c eo b j e c ti n i m a g e ,w eu s es k i nc o l o ri nf a c ea sr e f e r e n c ec o l o rt op e r f o r mw h i t eb a l a n c e ,t h e n r e - i m p l e m e n ts k i nd e t e c t i o nt oi m p r o v ed e t e c t i o na c c u r a c y t h o u g hm o s tn u d ei m a g e sc o n t a i nl a r g ep a t c h e so fs k i n ,r e l y i n gs o l e l yo nc o l o r i n f o r m a t i o nt oi d e n t i f yn u d ei m a g ei si n s u f f i c i e n t t or e c o g n i z en u d ei m a g er e l i a b l y , m a c h i n e - l e a r n i n gt e c h n i q u es h o u l db ei n t r o d u c e d t h e r e f o r e ,as e to ff e a t u r e st h a tc a n c a p t u r et h em a i nc h a r a c t e r i s t i c so fn u d ei m a g em u s tb ee x t r a c t e df i r s t w ee x t r a c t s k i n r e l a t e df e a t u r e sf r o mt h eo u t p u to ft h es k i nd e t e c t o r , e x t r a c tc o l o rf e a t u r e sf r o m c o l o rm o m e n t s ,c h r o m a t i c i t ym o m e n t sa n dc o l o rc o r r e l o g r a m , e x t r a c tt e x t u r ef e a t u r e s b yu s eo fw a v e l e tp a c k e ta n a l y s i s ,e x t r a c ts h a p ef e a t u r e sf r o mh ui n v a r i a n tm o m e n t a n di t si m p r o v e df o r mt h a tc o m p u t e db a s e do n l yo nt h es h a p eb o u n d a r y t h e s e f e a t u r e sc o m p o s e a j o i n tf e a t u r ev e c t o rf e dt oc l a s s i f i e r i nc l a s s i f i c a t i o ns t a g e ,o u rt a s ki st of i n dt h ed e c i s i o nr u l et h a tc a no p t i m a l l y s e p a r a t e so b j e c t i o n a b l ei m a g e sf r o mb e n i g ni m a g e s w et a k et h i st a s ka sat w o - c l a s s p a t r e mc l a s s i f i c a t i o np r o b l e m s v mw a so r i g i n a l l yd e s i g n e df o rb i n a r yc l a s s i f i c a t i o n p r o b l e m s ,i tp u r s u e ss t r u c t u r er i s km i n i m u mi n s t e a do fe m p i r i c a lr i s km i n i m u mt h a t c a ng u a r a n t e ei t sg e n e r a l i z a t i o na b i l i t y s ow ea d o p ts v ma so u rc l a s s i f i e r t h e p e r f o r m a n c eo fs v mi sf i x e do n c ei t st r a i np r o c e s si sf i n i s h e d , w h i c hi si n a d e q u a t et o c l a s s i f y i n f i n i t en e wu n c o n s t r a i n e di m a g e s s i n c ei ti si m p r a c t i c a lt oc o l l e c tl a r g e c o l l e c t i o n so fi m a g eo fa l lt y p e s ,w ec o m b i n et h ea d v a n t a g eo fs v ma c t i v el e a r n i n g , s v mi n c r e m e n t a ll e a r n i n ga n ds v mt r a n s d u c t i v el e a r n i n g ,i n c o r p o r a t eal o n g - t e r m l e a r n i n gs c h e m ei n t oo u rs y s t e m t h i sf l e x i b l es c h e m em a ya u t o m a t i c a l l ya d j u s ta n d i m p r o v ep e r f o r m a n c eo fs v ma c c o r d i n gt on e w l ye n c o u n t e r e dt e s td a t a k e y w o r d s :c o n t e n t - b a s e di m a g ef i l t e r , p o r n o g r a p h y , i m a g ec l a s s i f i c a t i o n ,s k i n d e t e c t i o n ,f a c ed e t e c t i o n ,f e a t u r e se x t r a c t i o n , s v ma c t i v el e a r n i n g i v 浙江大学博士学位论文 第一章绪论 第一章绪论 1 1 研究背景、目的和意义 互联网的发展和普及,给人们带来了前所未有的信息便利,大家可以方便快 捷地在网络上获取各种各样的信息。然而网络也带来了严重的负面影响,在良莠 并存的网络信息中充斥着大量的色情内容。色情内容的危害尤其是对青少年的危 害是巨大的。 2 0 0 6 年7 月1 9 日,中国亘联网络信息中心( c n n i c ) 在北京发布第十八次 中国互联网络发展状况统计报告,报告显示,截止到2 0 0 6 年6 月3 0 日,我国 网民人数达到了1 2 3 亿人,报告指出,在2 亿中小学生中,上网学生已达3 0 0 0 万,中小学生互联网渗透率达到1 5 4 ,其中高中生互联网渗透率己达半数以上 【l 】o 人民日报2 0 0 4 年0 7 月2 2 日标题为“网毒猛于虎”评论认为:色情网站败 坏社会风气,污染社会环境,危害青少年身心健康,说“网毒猛于虎”一点都不 为过。目前我国网民中,2 4 岁以下的青少年约占网民总数的一半,其中又以高 校学生和中小学生居多。青少年辨别力不强,抵抗力较弱,网络色情使部分青少 年有书不读,有学不上,意乱情迷,荒废青春,引起了很多家长和老师的担忧。 色情网站对成年人的毒害同样不能忽视。淫秽色情是害人不见血的毒品吲。 可见色情网站已成为一种严重的社会公害,成为危害青少年身心健康的大 敌,怎样防止青少年接触到色情内容是一个严肃的社会问题,也是广大父母迫切 关心的问题。网络危害引起了国家相关部门的高度重视,并采取了一系列措施。 1 9 9 5 年4 月5 日公安部即颁布了关于严厉打击利用计算机技术制作、贩卖、 传播淫秽物品违法犯罪活动的通知。我国现行刑法第3 6 3 条第1 款和3 6 4 条第 1 款规定对传播淫秽物品的犯罪行为进行比较详细的规定【3 】。最高人民法院和最 高人民检察院2 0 0 5 年9 月5 日联合出台最高人民法院、最高人民检察院关于 办理利用互联网、移动通讯终端、声讯台制作、复制、出版、贩卖、传播淫秽电 子信息刑事案件具体应用法律若干问题的解释。在这个解释中特别指出了色情 网站的危害,重点在于保护未成年人,向不满1 8 周岁的未成年人贩卖、传播淫 秽电子信息和语音信息的要从重处罚,情节特别严重的,处1 0 年以上有期徒刑 浙江大学博士学位论文 第一章绪论 或者无期徒刑,并处罚金或者没收财产【4 。中国互联网协会于2 0 0 2 年3 月2 6 日 发布了中国互联网行业自律公约,禁止在网上传播淫秽色情等内容。文化部 于2 0 0 3 年5 月1 0 日颁布了互联网文化管理暂行规定,其中条款说明了对提 供载有淫秽色情等不良信息的网站的处罚方式,对提供含有淫秽色情等违法内容 的互联网文化产品经营单位将进行严厉打击,构成犯罪的,依法追究刑事责任口】。 在国务院新闻办和信息产业部指导下,由中国互联网协会互联网新闻信息服务工 作委员会主办的“违法和不良信息举报中心”网站( n e t c h i n a e n ) 于2 0 0 4 年 6 月l o 日开通。2 0 0 4 年7 月1 6 日公安部等1 4 个单位和部门联合在全国范围开 展打击色情网站专项行动,同日开通淫秽色情网站举报电话和举报网站,并在各 省和重点市公安机关也将设立举报电话和举报网站,2 4 小时接受社会各界和广 大人民群众的举报。国内很多媒体对如何防止黄色网站泛滥现象也进行许多了报 道,中央电视台2 0 0 4 年7 月6 日的焦点访谈以“如何堵住网上黄色污染” 为主题对此进行了探讨,有关专家、学者和主管部门认为,要靠网民自觉抵制, 要靠学生家长自觉监督,要靠网站自我约束等1 6 】。 前一段提到了从立法,制裁,举报,监督,自律等角度出发的反色情内容措 施,这些措施从不同方面对对色情内容的蔓延起到了遏止作用。除此之外,还有 一种非常有效的方式,那就是从技术角度考虑的网络过滤技术。2 0 0 0 年1 2 月, 美国通过了c i p a 法案( c h i l d r e ni n t e r n e tp r o t e c t i o na c t ) ,并于2 0 0 1 年4 月生效,该法案要求接受联邦资金的公共图书馆和学校须在其计算机中安装色情 过滤软件,否则资金资助将被停止【7 】。2 0 0 3 年6 月2 3 日,美国最高法院通过投 票决定,允许国会要求全国的公共图书馆为联网计算机安装色情过滤系统,否则 图书馆将无法获得政府提供的技术补助资金【s 】。今天,通过技术方式过滤网络内 容在我们国家也得到了重视,越来越多青少年上网成瘾的现象也进入国家立法机 关的视野,2 0 0 6 年1 0 月2 7 日提请十届全国人大常委会第二十四次会议二审的 未成年人保护法草案增加新规定:建议国家采取措施,组织研究开发新技术,阻 止未成年人沉迷网络p j 。 1 2 网络过滤技术介绍 网络信息过滤是在网络内容到达用户之前对其进行分析,然后将符合过滤条 浙江大学博士学位论文第一章绪论 件的的内容屏蔽掉。目前网络的过滤技术主要有三种,它们是基于u r l 过滤方式、 基于文本的过滤方式和基于图像内容的过滤方式。 1 2 1 基于u r l 过滤方式 这是最早出现的过滤方式,该技术又分两种情况:一是白名单方案,将己知 的允许访问的网址加入到一个白名单中,过滤系统被设计成只能访问白名单中指 定的网站,这种方案实现容易,过滤效果好,缺点是限制太大,一般只适合儿童 及年龄偏小的网络用户。二是黑名单方案,将己知的色情网站网址加入到一个黑 名单中,上网时,过滤系统检查所访问的网络地址是否在黑名单中,如果是则过 滤掉,否则放行。这种方案较前种方案灵活,缺点是黑名单需要经常更新。由 于色情网站遍布全球各地,而且每天都有许多新的色情网站不断出现,因此这个 黑名单总是滞后的和不完整的。此外随这个黑名单的不断扩大,过滤系统需要维 护庞大的黑名单数据,速度会逐步下降以致于不能适应实时过滤的需求。 1 2 2 基于文本的过滤方式 这种过滤方式的简单实现方案是从网页中提取出关键字,然后把这些关键字 和预先建立好的包含敏感关键字的数据库匹配,根据匹配程度判断是否为色情网 页。该方法简单易行,但效果不理想,容易把正常网页错判为色情网页。迸一步 的方案是利用文本挖掘技术将网页中文本进行分类,如果判断为色情网页,则封 锁该网站。这个方案的过滤准确度虽然比前一种方案高,但是,要准确把握不同 上下文环境中的文本信息是困难的。此外当网页中不包含敏感文字或文字是用图 像方式显示的时候,基于文本的过滤方式就会失去作用。 1 2 3 基于图像内容的过滤方式 基于u r l 过滤方式的缺点是需要人工经常地更新这个黑名单,而且这个黑 名单不可能把所有的有网站都包括进来。基于文本的的缺点在于很难准确识别相 同文字在不同上下文环境中的语义信息以及无法提取以图像方式显示的文字。基 f 于图像内容的过滤方式是利用图像识别技术检测网页中的图像是包含色情内容, 浙江大学博士学位论文 第一章绪论 如果有则将色情图片过滤掉,并将该网页所属的网站标记为色情网站。大凡色情 网站都含有大量的色情图片,因此这种过滤方式比地址过滤和文本过滤色情这两 种方式具有广泛的适应性。可见基于图像内容的过滤方式可以克服前两种过滤方 式的缺点,它可以应付变化的情况,是一种更高级更彻底更有效的过滤方式。它 将是一种更有前景的方法,也是本文研究的方法。 1 2 4 网络过滤系统的性能评价 网络过滤系统的性能可以从两方面来评价,一是速度,二是精度。对速度的 要求一般是能达到实时过滤的要求,不会产生可明显察觉的延迟。精度指标有好 几种。在信息查询领域,采用的性能指标有 r e c a l l ( 召回率1 = t p ( t p + f a r ) a c c u r a c y ( 准确率) = ( t p + t n ) n ( 1 1 ) p r e c i s i o n ( 精确率) = t p ( t p + 其中n = t p + t n + f p + f n ,在图像过滤中,t p 、t n 、f p 、f n 分别表示被 正确分类的色情图像,被正确分类的良性图像,被错误分类的良性图像,被错误 分类的色情图像。在本文中,我们更关心的是漏报和误报问题。因此采用正检率 ( 刀碾t r u ep o s i t i v er a t i o ) 和错检率( 船r ,f a l s ep o s i t i v er a t i o ) 作为性 能指标。 珊2t p ( t p + f a 9 ( 1 2 ) f p r = ,:p f ,p + 7 n ) 从公式可见正检率和召回率是一样的,在正检率和错检中,正检率又比错检率更 为重要,因为在许多场合,我们可以我们可以容许一些误报,但不能接受漏报。 理想的情况是没有漏报和误报,即t p r = 1 0 0 ,f p r = 0 。 1 3 目前已有的研究进展 由于皮肤检测是计算机视觉、图像检索及人脸识别等领域的重要内容,所以 关于皮肤检测的文献比较多。但是关于基于图像内容的过滤技术的文献却不多 见,虽然有好些公司有这方面的产品,为了保持技术优势和保护商业秘密,这些 公司并不愿意透露他们的技术细节。我们只能从他们的网站上了解产品的功能特 4 浙江大学博士学位论文 第一章绪论 点和一些性能数据,而无从得知相关的技术内容。 1 3 1 国外研究进展 网络过滤技术是随着互联网的发展而出现的,国外的研究起步比较早,早期 的研究主要是在国外一些大学和研究机构进行的,并取得了一些的成果。后来, 由于强烈的市场需求和利益驱动,不少软件开发商也参与了网络信息过滤技术的 研究与开发,并开发出相应的网络信息过滤系统。基于图像内容的色情图像识别 主要有两种方法,第一种方法是首先检测出人体的皮肤区域,在此基础上识别出 人的肢体部分,然后根据一定的规则将肢体进行组建,进而识别出裸露的人体。 第二种方法并不试图去识别色情图像中人体的各个肢体部分,它从图像中提取出 一系列能区分裸体和非裸体图像的特征量,利用机器学习技术进行裸体图像的识 别。 第一种方法的代表是1 9 9 6 年uc ,b e r k e l r y 的d a v i da f o r s y t h 等人设计 的一种裸露人体检测算法 1 0 - 1 1 】。它将人体看作是若干柱状体的组合,算法主要由 皮肤过滤和人体组装识别两部分组成。在皮肤过滤阶段,将图像中色调( h u e ) 和饱和度( s a t u r a t i o n ) 落在一定范围且纹理值相对较小的区域看作是皮肤区域。 如果皮肤区域所占的像素的比例超过图像总像素的3 0 9 6 则进入人体组装识别阶 段,它首先在皮肤区域内寻找出一些柱状投影区,并提取出可能的人体肢体部分, 然后按照一定的规则和约束,看是否有可能将肢体组装成人体,以此判断是否包 含裸露人体。利用该算法在5 6 5 幅裸体图像和4 2 8 9 幅良性图像上做实验,正检 率为5 2 ,误检率为4 ,每幅图像的处理时间约为6 分钟。该算法利用人体几何 约束,按照一定规则,从肢体部分识别出整个人体,为裸体图像检测提供了一种 新颖的研究思路。然而,互联网上图像的在背景、人体姿态、拍摄角度及光照条 件上是复杂多变的,要设计出鲁棒的适用各种情况的约束和规则是困难的。该算 法最初是用于图像检索的,图像过滤在速度和精度上的要求都比图像检索要高, 5 2 正检率和每幅图像6 分钟的处理时间在图像过滤中都是无法应用于实际的。 第二种方法的代表是1 9 9 7 年s t a n f o r d 大学的j a m ez ew a n g 等人设计 w i p e ( ( w a v e l e ti m a g ep o r n o g r a p h ye l i m i n a t i o n ) 系统【1 2 1 。系统由图标过滤器, 文本图像过滤器,颜色过滤器,纹理过滤器和形状匹配器组成。如果发现图像的 浙江大学博士学位论文第一章绪论 边长小于设定的值,则认为是图标。如果图像的颜色数不多则认为是文本图像。 在颜色过滤阶段,用5 1 2 仓进行颜色直方图分析,根据人工经验,把一定范围的 颜色作为人体皮肤的颜色,并给出这些颜色属于人体皮肤颜色的权值,对一幅输 入图像,按直方图求出它的皮肤颜色的加权和。大于设定阈值的被认为是可能的 色情图像,进入下一步检测。在纹理过滤阶段,对图像小波变换的高频带作直方 图分析,如果上一阶段检测出来的皮肤区域含有许多高频变化,则认为它不属于 人类皮肤。其依据是认为人类的皮肤相对光滑,纹理较少。在形状匹配阶段,利 用d a u b e c h i e s 一3 小波将图像分解成成四个频带l l h l ,l h 和删,在h l ,l h 和 删频带上用过零检测得到边缘图像,然后在边缘图像上求出2 1 个归一化中心矩 和7 个不变矩作为特征量。用加权欧氏距离将这2 8 特征量和特征库中的特征匹 配,匹配成功则识别为色情图像。利用该算法在1 0 7 6 幅裸体图像和1 0 8 0 9 幅良 性图像上做实验,正检率为9 6 ,误检率为9 9 6 ,每幅图像的处理时间约为2 秒钟。 比起f o r s y t h 的方法,w a n g 的方法正检率大大提高的同时误检率也提高了。在 w i p e 系统中,特征库的中的特征仅仅只有描述形状的2 8 个矩变量,我们认为光 是形状特征是不足以把握图像的整体特征的。w i p e 系统的特征库一旦建立以后 是固定不变的,它无法很好地处理不断出现的新情况。此外在最后的识别阶段, w i p e 系统使用的是以距离为度量的匹配准则,处理时间是和特征库的大小成正 比的,为了能处理尽量多情况,需要更大的特征库,必然会需要更多的处理时间。 在f o r s y t h 和w a n g 的方法中都使用了颜色来检测皮肤,利用颜色来检测皮 肤是一种直观和有效的方法。为此,1 9 9 9 年c o m p a q 公司与c a m b r i d g e 研究室的 m i c h a e lj j o n e s 和j a m e s 地r e h g 利用统计方法研究了皮肤的颜色模型【”】, 并将它用于裸体图像的检测。他们使用1 3 ,6 4 0 幅图像,接近l o 亿个像素作训练 数据,其中有4 6 7 5 幅图像包含有人类的皮肤,这些皮肤区域被人工标记出来。 然后在r g b 空间中使用2 5 6 3 个仓统计出皮肤和非皮肤颜色的直方图。给定皮肤和 非皮肤颜色的直方图统计后,可以求出每个像素颜色属于皮肤和非皮肤的概率及 该颜色属于皮肤的似然比。将似然比大于设定阈值的像素判断为皮肤像素。求得 皮肤像素后,在皮肤像素上求出七个特征:皮肤像素所占的百分比、皮肤像素的 平均概率、最大连通皮肤区域的的像素个数、连通皮肤区域的个数、不在皮肤和 非皮肤直方图中的颜色所占的比例以及图像的长度和宽度。利用这七个特征值, 浙江大学博士学位论文 第一章绪论 作者用5 4 5 3 裸体图像和5 2 2 6 幅非裸体图像训练一个神经网络分类器。利用该分 类器在5 2 4 1 幅裸体图像和1 3 9 7 0 幅良性图像上做实验,正检率为8 5 8 ,误检 率为7 5 。该算法在皮肤检测阶段只需要两个查找表的查找操作和一个除法运 算,特征提取操作可以在皮肤检测的同时进行,运算量是像素个数的线性时间复 杂度,分类只需要进行一个表达式的运算。虽然作者没给出平均的处理时间,但 可以看出它的速度是很快的,完全可以满足实时要求,缺点是正检率还不够高。 j o n e s 和r e h g 的工作还表明了单独利用颜色特征检测裸体图像就可以取得不错 的效果,证明了颜色特征在裸体图像检测中的重要性。 1 9 9 9 年,法国的l t u ( l o o k t h a t u p ) 公司推出的i m a g e f i l t e r 是一款图像识 别和过滤软件【14 】。l t u 的思路是用软件中的d n a 计算模块模仿人类的视觉系统, 用机器学习技术模仿人类大脑的识别功能。其中的d n a 是根据图像的颜色、纹理、 形状等特征计算出来的,用于唯一表示每一幅图像的特征向量。该公司的图像过 滤与检索技术在行业内处于领先水平。图像过滤的正检率可达9 6 ,过滤速度也 达到了实时的要求。 2 0 0 0 年英国c l e a r s w i f t 公司推出的p o r n s w e e p e r 是一款用于检测邮件附件 中的色情内容的图像识别和过滤软件嗍。该软件利用大量图像预先建立一个特 征库,对输入图像,从中提取颜色、纹理、形状等特征形成特征向量,然后在特 征库中匹配,以此判断输入图像是否为裸体图像。2 0 0 2 年该公司推出了软件的 新版本,名字改为i m a g e m a n a g e r 。该软件的图像过滤的正检率可达9 3 5 2 0 0 3 年美国v i m a 公司( 其前身是m o r p h o 软件公司) 推出的i m a g e b e a g l 是一 款用于检测硬盘和网络缓存文件中色情图像软件【1 嗣。i m a g e b e a g l e 利用 p b i r ( p e r c e p t i o n b a s e di m a g er e c o g n i t i o n ) 技术,从图像中提取出1 5 0 多个特 征变量,然后在一个高维空间中对图像进行分类识别。该公司的w e b f i l t e r 软件 也是一款用于网络过滤的软件,w e b f i l t e r 的识别引擎也是基于p b i r 技术的。 w e b f i l t e r 的一个突出特点是它可以区分出色情图像和艺术作品中的裸露人体 的区别。 其它利用图像内容识别色情图像的软件有e x o t r o p e 公司的b a i r ( b a s i c a r t i f i c i a li n t e l l i g e n c er o u t i n e ) ,x - s t o p ,e v i s i o n 公司的e v e ( e v i s i o n v i s u a le n g i n e ) ,h e a r t s o f t 公司的g a u n l e t 等。在网络过滤中比较有名的两款 浙江大学博士学位论文 第一章绪论 软件n e t n a n n y 和c y b e r p a t r o l 使用的是基于u r l 和文本的过滤技术【1 7 - i s ,它们 并没有使用图像识别技术。 1 3 2 国内研究进展 国内对基于图像内容的网络过滤技术的研究比较晚,与国外相比,在理论研 究和实际应用上都还存在一定的差距。 2 0 0 0 年东北大学软件中心的许强等人提出了一个基于图像内容过滤的智能 防火墙系绀”,该系统利用d a u b e c h i e s 小波和正则中心矩相从图像中提取轮廓 特征,然后在特征库中利用距离度量寻找匹配的模式。该算法走的是j a m e sz e w a n g 的路线,其特点是将图像检索问题看作是一个分布求解问题,利用智能体 技术提高了系统的检索速度,但仅仅提取轮廓特特征过于简单,无法把握图像的 整体性质。 2 0 0 3 年中国科学院软件研究所的孙庆杰等人提出了一种人体检测算法口“, 该算法将人体看作由躯干和四肢构成,用一个四边形拟合躯干,用一个或者两个 四边形拟合每个肢体。人体检测就是寻找满足一定几何和拓扑约束的四边形组 合。该算法走的是f r o y s h 的路线,它同样难以很好地处理诸如复杂多变的人体 姿态及拍摄视角和遮挡等问题。 在实际应用上,1 9 9 8 年清华大学教师董冰等人共同研制和开发的“五行卫 士”扫黄软件是国内的第一个过滤软件,该软件利用文本识别算法,对计算机屏 幕上的文字进行实时监控,达到过滤色情文章和色情网站封锁色情网站的目的。 该软件虽然是国内的第一个过滤软件,但它并没有使用图像识别技术。此后2 0 0 2 年郑州美萍电脑软件工作室推出的的美萍反黄专家【2 ”,中国科学院下属的科大 讯飞公司推出的“火眼金睛”反黄软件伫2 】,以及北京展翅鸟科技有限公司推出 的“网络爸爸”反黄软件2 3 1 等都没有使用图像识别技术,它们

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论