用户行为分析系统技术建议书.doc

信利宽带用户行为分析系统技术建议书 信利SensitiView宽带用户行为分析系统技术建议书 西安信利软件科技有限公司（版权所有）目 录1、简介3 1.1. 开发背景3 1.2. 术语：32. 项目概述4 2.1. 产品简介4 2.2. 商业机会4 2.3. 系统组成5 2.4. 子系统功能描述5 2.5. 运行环境83. 系统总体架构9 3.1. 系统目标9 3.2. 技术方案说明9 3.3. 网络拓扑图10 3.4. 网络拓扑说明11 3.5. 系统整体结构图11 3.6. 系统中各服务器介绍12 3.7. 模块清单134. 各模块说明14 4.1. 数据采集模块144.1.1 功能概述144.1.2 模块设计要素说明154.1.3 结构154.1.4 详细功能说明16 4.2. 数据汇总存储模块174.2.1 模块功能概述174.2.2 模块设计要素说明174.2.3 结构174.2.4 详细功能说明18 4.3. 数据分析处理模块184.3.1 模块功能概述184.3.2 模块设计要素说明184.3.3 详细功能说明184.3.4 程序逻辑流程19 4.4. 数据展示模块194.4.1 功能描述194.4.2 模块设计要素说明214.4.3 结构21用户信息管理：对用户信息进行查询、统计等。224.4.4 程序逻辑224.4.5 系统页面设计225. 其他接口说明241、简介1.1. 开发背景 互联网应用纷呈，市场空间快速扩张。电信运营商在获取宽带接入收入之外，需要进一步参与互联网市场价值分配，不断开发出能够发挥电信运营商优势的互联网业务。而这需要电信运营商及时掌握互联网用户的需求特点。 面对庞大的互联网用户群体、广泛多样的用户需求，针对性营销成为提升营销效率、改善营销效果，达成营销制胜的必选手段。而为了能够有效的实现针对性营销，需要首先获得目标用户的范围。1.2. 术语：HOST：特指HTTP协议中的HOST信息，如访问某一页面 /z/2008qglh/index.shtml 则对应的HOST信息为 ：URL：特指访问WEB站点的地址信息，如访问某一页面 /z/2008qglh/index.shtml 则对应的URL信息为： /z/2008qglh/index.shtml一级域名：特指访问WEB站点的一级域名信息，如访问某一页面 /z/2008qglh/index.shtml 则对应的一级域名信息为： 应用分类：指按照预先建立好的分类模型，将用户的行为信息进行分类，例如访问，进行应用分类则为 新闻 类。用户分类：根据用户的网络行为信息及信息对应的应用分类的结果，将用户进行分类，每个用户可以在多个分类中，如新闻类用户等。用户聚类：根据用户的网络行为及分类结果进行数据挖掘和各类关联，从而可以获得用户的相关聚类信息。例如喜欢新闻类的用户一般也喜欢某类。2. 项目概述2.1. 产品简介该产品通过对用户的网络相关行为进行有效分析，根据提取出的应用特征对用户进行有效分群，细致把握用户互联网应用需求，为实现基于分群的针对化营销提供有效支持。2.2. 商业机会目前电信拥有大量的宽带用户，使用的大多是简单包月+物理带宽为基础的粗放型业务发展模式；然而该模式无法真实的反应用户的潜在需求，网络消耗率日益增长，随之扩容的频率也越来越高，不符合集约化，精细化的发展趋势，无法给电信带来更大的收益。另外电信在向信息超市的提供者与管理者的角色转型过程中，缺少“叫好又叫座”的SP/CP业务，同时电信本身所推出的绿色上网、在线服务等增值业务对用户也缺少足够的吸引力。为了实现宽带业务的精耕细作，推进SP/CP业务以及多样增值业务的快速、健康发展，目前电信急需对宽带用户的上网行为进行了解，从而能够及时获知整体用户的网络行为或倾向、从而推出相关的业务，更好的吸引用户，进而提高自身的收益，促进宽带业务的健康发展。同时面对庞大的互联网用户群体、广泛多样的用户需求，针对性营销成为提升营销效率、改善营销效果，达成营销制胜的必选手段。而为了能够有效的实现针对性营销，需要首先获得目标用户的范围。2.3. 系统组成用户行为分析系统由四大模块组成：信息采集，信息汇总存储，信息挖掘统计，系统展现、输出：ID名称功能描述08PN03-SRS-BHCOLLECT信息采集模块采集用户行为数据，负责用户行为数据的来源。目前主要通过星空极速客户端，采集用户行为信息，主要包括访问的网站、搜索的关键字、计算机进程、电脑硬件信息、网页收藏夹等信息。采集到的数据上传给数据存储汇总模块。08PN03-SRS-BHSTORE信息汇总存储模块汇总并存储采集插件上传的数据。汇总后的数据输出到原始数据库中。08PN03-SRS-BHANALYSIS信息挖掘统计模块系统的核心模块，定期从原始数据库中提取出数据并进行统计、挖掘和分析。包括简单的排名统计、用户行为分类、用户分类、用户聚类等；分析结果输出到统计数据库中。08PN03-SRS-BHPRESENT系统展现、输出模块展示用户行为分析的结果。从结果数据库中获取数据，以web、列表、统计图、报表等形式展现出来。08PN03-SRS-BHOTHER其他模块系统后续相关功能的完善，如增值业务使用情况，用户自然属性信息等相关功能。2.4. 子系统功能描述各个模块对应的子系统功能如下：模块名称功能点ID实现版本核心价值工作内容其他重点跟进信息采集模块采集用户计算机主要配置信息08PN03-SRS-BHCOLLECT-F011.0了解用户计算机配置情况获得用户计算机的硬件、软件配置信息，如CPU、内存、已安装软件等信息。部分信息也可以从星空极速后台直接获取。采集用户上网基本信息08PN03-SRS-BHCOLLECT-F021.0反映用户基本上网行为获得用户上网的基本信息，如上网时长、上网流量等信息部分信息也可以从星空极速后台直接获取。采集用户访问URL信息08PN03-SRS-BHCOLLECT-F031.0反映用户页面访问行为获得用户进行WEB访问的有用URL，过滤掉图片等无用信息，并能够支持进行过滤，同时可以进行信息简单统计，上传指定数量信息（TOP N 机制）过滤条件可变，TOP N值可支持动态给定采集用户搜索关键字信息08PN03-SRS-BHCOLLECT-F041.0可以获知用户所关心信息获得用户使用baidu、google，yahoo等主要搜索引擎进行搜索的关键字信息，并且需要进行相关字符的解码处理先仅记录页面搜索信息，其他分类搜索暂不考虑采集用户使用进程信息08PN03-SRS-BHCOLLECT-F051.0可以获知用户日常使用程序的信息获得用户机器中启动的进程名称和使用时长过滤掉系统相关的进程采集用户收藏夹信息08PN03-SRS-BHCOLLECT-F061.0可以获知用户喜爱，同时可验证用户分类正确性获取用户收藏夹相关信息采集用户对应的邮箱地址信息08PN03-SRS-BHCOLLECT-F071.0为针对性营销提供目的地采集获取用户所对应的软件、WEB等邮箱地址信息WEB邮箱可以仅选常用邮箱其他采集信息08PN03-SRS-BHCOLLECT-F081.0其他反映用户行为信息例如用户访问网站是否收费，访问流量较多的前多少IP，P2PVOIP信息等可以逐步添加细化采集信息上传08PN03-SRS-BHCOLLECT-F091.0将用户信息上传，进行汇总、分析将用户信息上传，进行汇总、分析上传过程需要进行加密，防止采集行为被用户感知，同时尽量做到压缩上传，减少通讯数据量信息汇总存储采集信息接收08PN03-SRS -BHSTORE-F011.0接收采集信息获得采集插件上传信息 如果上传前压缩，则接收到数据之后需要解析。采集行为信息入库08PN03-SRS -BHSTORE-F021.0保存行为信息将接收到的采集信息进行保存信息挖掘统计分类模型建立08PN03-SRS -BHANALYSIS-F011.0为分类提供前提根据行为特征划分不同的类别参见附录中的用户行为分析模型设计文档分类相关特征库形成08PN03-SRS -BHANALYSIS-F021.0为用户分类、行为统计等提供数据依据根据分类模型，形成URL，搜索关键字，进程等各类的特征库，为进行自动分类提供依据。特征库需要长时间逐步完善。数据清洗转换08PN03-SRS -BHANALYSIS-F031.0丢弃无用信息数据根据已过滤库、网页标题等信息将原始行为数据进行过滤，并以特定的格式进行保存。应用分类08PN03-SRS -BHANALYSIS-F041.0对用户行为进行分类依据分类特征库，对用户行为数据进行分类并保存分类结果用户分类08PN03-SRS -BHANALYSIS-F051.0对用户进行分类根据用户的行为数据及其分类，将用户进行分类并保存分类结果用户聚类分析08PN03-SRS -BHANALYSIS-F061.0判定用户类别根据用户行为信息和类别，挖掘用户其他感兴趣类别相关热门统计08PN03-SRS -BHANALYSIS-F071.0获得整体以及每个用户的热门信息根据用户行为信息和分类结果，统计获得整网及各用户的热门信息模型训练验证08PN03-SRS -BHANALYSIS-F081.0验证整个模型的有效性通过一定时间内，根据大量数据统计的结果验证模型的正确、有效性。需要不断逐步改进系统展现、输出WEB展现08PN03-SRS -BHPRESENT-F011.0以web形式展现统计信息以web页面的形式将系统统计信息进行展现自动生成报表08PN03-SRS -BHPRESENT-F021.0以报表的形式展现统计信息以报表的形式将系统统计信息进行展现提供对外接口08PN03-SRS -BHPRESENT-F031.1为其他系统提供接口为其他系统提供接口其他衍生业务分析08PN03-SRS-BHOTHER-F011.1了解现有增值业务使用情况获得用户试用现有增值业务的使用情况用户相关属性等信息收集08PN03-SRS-BHOTHER-F021.1获得用户基本信息，便于分类统计获得用户自然、社会、网络等属性从电信相关服务器获得定期营销调研08PN03-SRS-BHOTHER-F031.1更深入了解用户情况由市场营销人员进行完成、开发上可能需要提供输入、报表生成等接口2.5. 运行环境n 操作系统采集插件Windows XP及以上中文简体操作系统服务器WINDOWS2003 或linux系统数据库DB2或ORACLEn 系统支持语言中文3. 系统总体架构3.1. 系统目标本系统的主要目标是，通过分析用户的计算机行为（主要是上网行为），来确定用户的类型（喜好、兴趣等），从而实现对用户进行群分，并可将具有相同喜好的用户进行聚类，对不同类型的用户进行定向的营销和广告推送等商业活动。用户的行为主要包括用户计算机安装软件、访问的URL、搜索的关键词、经常使用的软件等等，系统的采集模块采集到这些数据后，由分析处理模块进行聚类、分类等的处理后，再将用户划分为不同的群体，并由系统的展示模块展示分群结果。3.2. 技术方案说明本系统的特点是以数据为中心，进行相关的采集、分析处理工作。因此数据采集、数据存储以及数据的分析处理，都是要重点考虑的技术问题。下图为相关的数据流图：系统主要由信息采集、信息汇总存储、信息挖掘统计、系统展现输出几大部分组成，各部分相关描述为：l 数据采集：以插件（动态链接库）的方式内嵌到星空极速拨号客户端中，在用户上网过程中采集用户相关的行为数据。上网行为数据采集基于网络嗅探的方式进行实现，利用WinpCap抓取用户的上网数据，如访问URL，搜索关键字等信息用户其他行为信息，如包括进程快照，硬件、软件配置等信息，则利用Windows相关的API进行获取。l 信息汇总存储：借助TCP/IP协议，信息采集插件在用户每次上线后，将上次上网的相关行为信息以XML的形式组织上传；信息汇总存储部分，将采集插件上传的信息进行解析，并按照内容存储在数据仓库中的不同表中，供后续的统计挖掘使用。同时出于系统容量的考虑，系统会定期的清理无用的历史数据，从而减少整体数据量，提供系统的分析、处理性能。l 系统展现输出该部分的主要目的是将系统相关的统计分析数据简单直观的展现给用户，展现方式有WEB、报表等形式，展现相关数据主要从数据仓库中提取。3.3. 网络拓扑图 3.4. 网络拓扑说明 装有采集插件的客户端在使用过程中进行信息采集，并会在适当时间将采集的信息上报给后台业务服务器，业务服务器接收到采集信息之后，会进行简单处理，然后将行为数据放入到数据仓库中。 统计服务器根据数据仓库和行为特征库定期将用户的行为数据进行分类，并根据应用分类的结果对用户进行分类，同时进行一定的热门统计、数据挖掘等工作。发布服务器以web、报表、接口等多种方式将用户分群、汇总统计、模型输出等相关数据信息进行呈现。3.5. 系统整体结构图 该结构图中信息采集包括了旁路分光采集、客户端插件采集和其他来源，在现阶段，仅仅考虑客户端插件采集的方式。3.6. 系统中各服务器介绍 系统中的服务器主要有信息汇总服务器，数据仓库服务器，信息统计分析服务器，信息发布服务器等服务器组成。各服务器介绍如下：l 信息汇总服务器该服务器主要作用是将插件采集的信息进行汇总、保存。l 数据仓库服务器 该服务器主要作用是运行数据仓库，由于数据量很大，因此数据库选择是DB2或ORACLE。l 信息统计分析服务器 该服务器主要作用是定期对汇总之后的数据进行数据清洗、应用分类、用户分群、数据挖掘、保存到数据仓库等操作。l 信息发布服务器 该服务器主要作用是以web等方式呈现用户分群、汇总统计、模型输出等相关数据信息。 各服务器间的关系如下：3.7. 模块清单SRS IDHLD ID名称功能描述08PN03-SRS-BHCOLLECT08PN03-HLD-BHCOLLECT信息采集模块采集用户行为数据，负责用户行为数据的来源。目前主要通过星空极速客户端，采集用户行为信息，主要包括访问的网站、搜索的关键字、计算机进程、电脑硬件信息、网页收藏夹等信息。采集到的数据上传给数据存储汇总模块。08PN03-SRS-BHSTORE08PN03-HLD-BHSTORE信息汇总存储模块汇总并存储采集插件上传的数据。汇总后的数据输出到原始数据库中。08PN03-SRS-BHANALYSIS08PN03-HLD-BHANALYSIS信息挖掘统计模块系统的核心模块，定期从原始数据库中提取出数据并进行统计、挖掘和分析。包括简单的排名统计、用户行为分类、用户分类、用户聚类等；分析结果输出到统计数据库中。08PN03-SRS-BHPRESENT08PN03-HLD-BHPRESENT系统展现、输出模块展示用户行为分析的结果。从结果数据库中获取数据，以web、列表、统计图、报表等形式展现出来。08PN03-SRS-BHOTHER08PN03-HLD-BHOTHER其他模块系统后续相关功能的完善，如增值业务使用情况，用户自然属性信息等相关功能。4. 各模块说明以下从各个子模块的功能、结构、与其他模块的接口等方面对各个子模块进行较详尽说明介绍：4.1. 数据采集模块4.1.1 功能概述该模块的主要功能是采集并保存用户上网过程中的相关行为信息，并在用户每次上线之后，将上次上线的行为数据信息进行组织合并，以XML的方式上传给信息汇总存储模块。4.1.2 模块设计要素说明 由于该模块是以插件（DLL）的方式内嵌在星空极速拨号客户端中，并在用户拨号上网过程中，对用户的相关行为信息进行采集、上传，整个过程对用户隐蔽，不希望被用户发觉该模块的存在，因此模块设计、开发、测试等过程中需要充分考虑以下因素。l 稳定、可靠性由于插件是DLL方式内嵌，因此如果采集插件出现问题（崩溃、资源占用较大等），会导致星空极速客户端也受到影响，对用户造成不良影响，因此需要特别保证采集插件模块的开发质量。l 隐蔽性由于采集插件在数据采集过程中，对用户不可见，因此需要在配置信息保存、数据采集、采集数据临时保存、采集信息上传等各个阶段，进行加密等相关操作，从而实现对用户的不可见。l 小流量上传由于该模块仅采集用户的行为数据，并在用户上网过程中上传该信息，出于隐蔽性，以及尽量减少资源消耗的考虑，需要在上传数据前对数据进行简单的汇总，以及压缩处理，从而缩小上传的信息量。l 可扩展性随着模型的不断完善，采集部分后续可能会不断添加新的功能，为了尽量减少采集插件的升级过程，同时降低开发的复杂度和工作量，需要系统设计、开发过程中尽量考虑可扩展性。为了满足上诉的各个要素，需要相关的开发人员在开发过程中，更加合理的设计软件，提高代码质量、强化开发过程中的单元测试力度；同时相关测试人员需要对上述各个因素进行着重测试，争取更早的发现问题。4.1.3 结构 该模块可以划分为数据采集、数据记录、数据上报和采集管理几个部分，具体说明如下：l 数据采集：采集用户上网行为信息和计算机配置等信息；l 数据记录：将采集到的信息临时保存在文件中，在用户下次上线之后进行上传。l 数据上报：将采集到的信息进行组织、压缩、加密等处理，上传给汇总存储模块；l 采集管理：负责相关采集配置等信息的接收。4.1.4 详细功能说明详细功能相关说明使用技术采集用户计算机主要配置信息获得用户计算机的硬件、软件配置信息，如CPU、内存、已安装软件等信息。读取注册表相关信息采集用户上网基本信息获得用户上网的基本信息，如上网时长、上网流量等信息基于winpcap，使用网络嗅探技术采集用户访问URL信息获得用户进行WEB访问的有用URL，过滤掉图片等无用信息，并能够支持进行过滤 基于winpcap，使用网络嗅探技术采集用户搜索关键字信息获得用户使用baidu、google，yahoo等主要搜索引擎进行搜索的关键字信息，并且需要进行相关字符的解码处理基于winpcap，使用网络嗅探技术。同时涉及到解码相关技术采集用户使用进程信息获得用户机器中启动的进程名称和使用时长WINDOWS API等采集用户收藏夹信息获取用户收藏夹相关信息WINDOWS API等采集用户对应的邮箱地址信息采集获取用户所对应的软件、WEB等邮箱地址信息基于winpcap，使用网络嗅探技术采集信息上传将用户信息以XML形式，进行压缩，加密之后，上传给信息汇总存储模块 XML技术、压缩、加密、套接字等技术4.2. 数据汇总存储模块4.2.1 模块功能概述该模块主要负责接收数据采集模块上传的行为数据，并对该信息进行解密、解压等操作，然后将操作之后的数据根据内容存入到原始数据库中的不同表中。4.2.2 模块设计要素说明 由于该模块需要同时接收多个客户端上传的采集信息、并需要对该信息进行解密、解压、入库存储等操作，因此该模块的设计、开发等过程需要考虑以下因素：l 效率随着进行采集用户的增多，服务器需要处理的上传量会不断增大，为了能够有效处理并存储所有的行为数据，服务器需要较高的效率，必要时可以增加硬件设备的投入l 稳定性作为一个接收、处理服务器，为了保证数据的完整性，需要充分考虑模块的稳定性。4.2.3 结构4.2.4 详细功能说明详细功能相关说明使用技术采集信息接收接收数据采集模块上传的用户行为数据套接字等技术采集信息解密、解压对接收到的信息进行解密、解压等操作解密、解压相关技术采集行为信息入库将接收到的信息根据内容的不同存储在数据仓库不同的表中JDBC相关技术采集配置下发将采集相关的配置信息以XML形式进行下发套接字等技术4.3. 数据分析处理模块4.3.1 模块功能概述 数据分析处理模块：系统的核心模块，分析数据仓库中的数据。对汇总的数据做统计、挖掘和分析。包括简单的排名统计、用户行为分类、用户分类、用户聚类等；分析结果输出到统计数据库中。4.3.2 模块设计要素说明由于该模块设计到对行为数据进行分类，以及用户分类等过程，因此在设计、编码过程中需要考虑以下几个要素：l 准确性 为了能够保证分类结果的准确性，需要在分类特征库建立、分类方法等过程中，保证分类的准确性，准确率应该在80以上。l 效率由于随着用户数的增长，和时间的延长，系统的数据会较大，从而导致分类过程时间较长，因此设计、开发等过程需要考虑效率问题。4.3.3 详细功能说明该模块详细功能列表为：详细功能相关说明使用技术分类模型建立根据行为特征划分不同的类别统计、营销等相关理论分类相关特征库形成根据分类模型，形成URL，搜索关键字，进程等各类的特征库，为进行自动分类提供依据ADO、网络爬虫、拆词等数据清洗转换根据已过滤库、网页标题等信息将原始行为数据进行过滤，并以特定的格式进行保存ADO、数据挖掘相关技术（ETL）应用分类依据分类特征库，对用户行为数据进行分类并保存分类结果 ADO、拆词，自动分类技术用户分类根据用户的行为数据及其分类，将用户进行分类并保存分类结果 ADO、自动分类，聚类等技术用户聚类分析根据用户行为信息和类别，挖掘用户其他感兴趣类别相关热门统计根据用户行为信息和分类结果，统计获得整网及各用户的热门信息ADO等模型训练验证通过一定时间内，根据大量数据统计的结果验证模型的正确、有效性。4.3.4 程序逻辑流程 4.4. 数据展示模块4.4.1 功能描述提供预定义用户行为分析价值数据展现功能，可自定义统计、汇总、分群条件，从基础数据以列表、统计图、报表等形式提供自定义结果。主要包括 分群信息管理,定制分群,自定义分群, 数据汇总信息 ,用户信息查询, 系统管理，宣传支撑，竞争，分析模块，合作选择/谈判支撑，自有产品营销，产品或业务开发方向，用户权限管理等， 具体功能模块规划如下：功能名称功能描述备注网络行为分群（一级） 管理统计查询网络行为一级类别分群的用户比例，用户流动特征。网络行为分群（二级）管理统计查询网络行为二级类别分群的用户比例，用户流动特征。商业价值分群根据系统自定义商业级别查询统计宽带用户分布数据，以及各级别宽带用户流动特征和群组资料。用户计算机水平分群根据系统自定义计算机水平等级统计分析宽带用户计算机水平，以及各等级用户群组资料。用户安全意识分群依据系统自定义用户安全意识统计分析宽带用户安全意识，以及各级别用户流动特征和群组资料。用户购买力分群根据系统自定义用户购买力级别统计分析宽带用户购买力，以及各级别用户群流动特征和群组资料。用户可引导性分群根据系统自定义用户消费能力统计分析宽带用户消费能力，以及各级别用户群组资料。自定义分群 可自定义网络行为类别、种类、商业价值、可引导性等用户分群信息创建自定义分群以及分群用户资料。全网汇总信息自定义条件统计查询全网用户热门网站、关键词、热门软件信息，以及全网排名。网络行为热门信息自定义网络分类条件，根据类别统计查询全网用户站点访问数据以及站点全网排名。笔记本电脑用户 自定义检索条件，根据检索条件查询全网宽带用户计算机配置信息。流行病毒 自定义检索条件，根据检索条件查询全网宽带用户计算机中毒信息，以及病毒发作排名。流行杀毒软件 自定义查询条件，根据查询条件统计查询全网宽带用户杀毒软件安装情况以及杀毒软件使用排行。宽带用户检索提供精确或模糊检索功能，查询用户基础信息，统计分析该用户宽带行为数据。宣传支撑将与产品宣传所相关的页面进行组合，并按照给定的流程逐步给予展示。竞争分析将与产品竞争（web以及增值产品）所相关的页面进行组合，并按照给定的流程逐步给予展示。产品推广包括网络安全产品推广和电脑服务推广,将用户工作流与系统相关分群以及部分信息相联系,为产品推广准确定位目标客户群。网络应用目标客户识别针对二级网络应用相关分群，结合用户所关注的相关信息，如地区、时间、偏好等，准确定位目标客户群，并展现该目标群的常用web访问、搜索等相关信息。用户权限管理可以支持对用户设计权限，不同组下的用户进入页面后仅能看到其权限允许下的相关页面