Web-IA与商业智能介绍.ppt

Web-IAWeb-IA与商业智能与商业智能 (Web Intelligent Analysis) 辽宁般若网络科技有限公司 2008 年 3 月 流量统计流量统计访问分析访问分析数据挖掘和商业智能数据挖掘和商业智能 流量统计：一般的流量统计：统计PV、独立IP、时间、地区统计、Page的TOP排名 等统计信息，可以满足一般的网站流量统计需求，有很多免费软件。 Web-BI(Web business intelligence) Web商业智能，下一代网站访问分析工具。 Web-IA将BI技术应用到Web访问分析和运行技术分析，提供基于商业智能BI的分析模型 和分析方法，帮助你获得深入的访问分析和系统运行技术， Web-DM（Web Date Mining）是第一个大规模将理论运用到Web访问分析的实用产品 ，包括异常访问分析、关联分析、特定关联分析和个性化服务。其中的“智能个性化服 务网站构造方法”，不仅仅只提供分析数据，而是一个直接将DM结果作用到网站运营管 理的工具，使访问分析变被动（只提供分析结果）为主动（参与网站运营）。 访问分析：在一般的流量统计基础上，增加访问行为分析（访问行为轨迹分析） 、Session会话分析（访问人次分析）、SEO搜索引擎优化分析和其他复杂分析功能。 流量统计流量统计访问分析访问分析数据挖掘和商业智能数据挖掘和商业智能 Web-DM是一个Internet应用商业智能BI解决方案： 网络广告精确投放方案：为江苏和省四川省电信设计了基于DNS解析数据挖掘的 定向广告精确营销方案，在DM基础上，分析用户的内喜好，向广告商提供潜在用户市场 分析数据，同时，精确地定向真正潜在的客户投放广告，大幅度提高广告投放的有效性 ； 智能个性化内容推荐方案：为广东移动设计了网站内容推荐个性化服务。采用般 若专利技术(专利性质：发明专利；专利名：智能个性化服务网站构造方法;专利申请号 ：200810010317.8),通过机器学习方法，根据访问者以往访问记录，训练机器掌握每个 访问者的内容喜好、预测喜好和访问习惯个性，当该访问者下一次访问时，个性化的推 荐内容。系统完全是一个机器自动化学习过程，可随用户的访问内容喜好变化自动进行 知识更新，是一个自适应控制闭环系统，不需要任何人工干预。 般若数据分析产品般若数据分析产品Web-IAWeb-IA介绍介绍 一个全面的解决方案，根据不同规模的客户，Web-IA提供网络版、专业版、企 业版和商务版。对于需要全面分析的用户， Web-IA基于系统日志的分析；对于精 确分析（如：广告和访问行为），提供嵌套代码方式的分析，也可以将两种方式结 合进行分析。 Web-IA的流量分析：PV统计、独立IP统计、频道栏目TOP排名、地区分析、 时段分析、趋势分析、同期比较。 Web-IA的访问分析：访问行为轨迹、Session会话分析、特定内容分析、特 定行为分析。 Web-IA的市场推广：网上调查分析、认证用户分析、电子邮件反馈分析、 广告推广效果分析。 Web-IA的特点：可视化软件、类似资源管理器的网站拓扑结构、分析最快 的软件、支持多进程多线程、支持服务器集群、支持分布式分析、支持各 种类型的网站、支持多网站分析。 Web-IA的SEO分析：搜索引擎优化分析Search Engine Optimization 提供 SEO基础分析数据，SE导入分析、关键字检索分析、关键字搜索位置分析 。 Web-IA产品简示 为二级菜单，给出某条记 录多维深层次分析。比如：广 东省内地区分析、和广东省用 户查看频道情况。 Web-IAWeb-IA产品：产品：基本功能基本功能 1. 来源分类分析:通过直接登陆、连接访问、搜索引擎、站内跳转、广告访 问、电子邮件，判断网站的知名度和市场推广效果。 2. 行为分析:行为TOP排名，访问行为深度分析、访问行为广度分析。 3. 入口出口分析:实际上为行为的出口和入口，并给出出入口行为的TOP排名 。 4. 节假日分析:对于政府网站，其分析报表都要分出节假日。 5. 流量分析:通过发送和接受字节数，了解不同地区、不同时段、不同内容 带来的流量。 6. 错误分析:给出错误分类和排名，并能告知错误产生的具体页面，帮助分 析发生错误的原因。 7. 搜索引擎分析/关键字分析:给出从搜索引擎到关键字分析、和从关键字到 搜索引擎分析。 【基本功能】是不需要用户做任何设置所给出的分析功能，其基本设 置是由系统默认确定的，基本功能包括： Web-IAWeb-IA产品：产品：基本功能基本功能 地区分析/时段分析:对于内容、错误、频道、专题均可以给出地区和时段 分析。 趋势分析/同期比较:对于网站、内容、频道、地区等，均可给出任意区间 的访问趋势，给出任意两个时期的对比。 客户端分析:可以分析客户端的操作系统、浏览器、分辨率、语言、Flash 版本等，了解访问者基本情况。 蜘蛛搜索分析:分析通过程序访问网站的“机器”访问情况，给出蜘蛛搜 索的TOP排名，并告知从什么地方来的搜索、什么时间来的搜索。 内容分析：给出最受欢迎的内容TOP排名，并告知访问者是从哪来的，什 么时间来的。 分析报警：对于已分析、未分析、部分分析、分析失败、部分分析失败等 情况，以电子邮件或短信息访问向系统管理人员报警。 Web-IAWeb-IA产品：产品：个性化功能 频道分析:频道可以根据用户要求任意设定，可以是由一个文件或多个多 个文件组成，或由通配符组成的文件集合，也可以是由一个域名或多个域 名组成。频道分析形式完全和网站，即网站有什么功能频道也可以有。 专题分析：专题是由网站任意设定的。实际上，专题分析类似于频道分析 ，在技术处理上是一样的，只是名字不同而已。 特定内容分析：基于日志分析，网站内容成千上万，要想了解某一内容并 不在TOP排名之中，同时又想了解该内容的访问都是怎么来的、又是怎么 走的，因此需要对改内容设置进行特定分析。 特定行为分析：对于某一访问行为、或访问行为的一部分，要详细了解其 每一步都是怎么来的、又是怎么走的，以及两个步骤之间转化率是多少时 ，需要对该访问行为设置进行特定分析。 【个性化功能】是需要用户进行设置后，方能产生的分析功能，其个 性化功能包括： Web-IAWeb-IA产品：特色产品：特色功能功能 广告分析：广告是市场推广的一种方式。实际上，广告分析是一种特定的 内容分析。广告分站内广告和站外广告，其基本分析要分析曝光数、点击 数、曝光率等，对于商务网站还要分析广告带来注册用户、以及转化率和 成交情况等。 广告关联分析：将广告与内容频道建立关联模型，分析指定广告与网站内 容频道之间的关联关系：关联支持度和置信度，分析各种内容对于广告点 击的贡献和相关程度，指导更加准确地在有效位置投放特定广告，增加广 告的有效点击。 电子邮件分析：电子邮件也是市场推广的一种方式。电子邮件要分析发出 数、返回数、转化率等。对于商务网站和广告分析基本一致。 TOP排名设置：为了提高分析速度和节省磁盘空间，并不是对所有内容都 进行分析，因此需要设置。 分级管理权限设置：根据用户管理和权限设置，对于不同管理级别的管理 人员，可以任意进行灵活设置。 Web-IAWeb-IA产品：产品：二次开发服务二次开发服务 网上调查分析：或称人口学分析，通过传统的方法无法进行分析，必须根 据网站实际情况，进行二次开发，将调查结果写入特定日志文件中，以便 分析。 认证用户分析：一般情况，免费服务的网站用户多数是匿名的，比如门户 网站。而收费网站必须是认证或注册用户，比如电子商务网站。但是，不 同的网站用户注册的方法是不一样的，因此需要根据具体网站实际情况进 行二次开发。 特定离开分析：对于基于日志分析的网站，链接离开网站的访问记录，不 在本网站日志里，需要二次开发，在网站上嵌入JavaScript代码，记录离 开去向。 动态频道（兴趣圈）分析：静态频道是由指定目录或文件集合组成，而动 态频道则是由程序设定的规则来确定，因此只要告知建立动态频道或情趣 圈的规则， 【二次开发服务】，除了“定制服务”以外，其功能均在，只是需要程 序上的调整，具体二次开发服务包括： Web-IAWeb-IA产品：产品：二次开发服务二次开发服务 热点页面分析：根据用户的需求，将页面（如：首页）分成若干个区域， 分析不同区域访问情况和该区域占页面百分比。可视化显示各个区域被访 问情况，帮助网站设计者改进内容和布局，增加有效点击，特别是提高广 告投放效益。该方法已经申请了发明专利。 电子商务分析：在般若为北京伊藤电器商城、锦州中百等大型商场进存销 管理系统的基础上，电子商务分析主要侧重营业额和交易数两个方面。比 如：要给出产品的营业额和交易数TOP排名，以及是由哪些地区（省或市 ）带来的、哪些搜索引擎带来的、哪些域名带来的，更重要的是分析哪些 行为带来的营业额和交易数多。如果提供网站产品等成本信息，不仅能够 分析收入（Revenue），而且还可以分析成本（Cost）和利润（Profit） ，从而来指导营销。 定制服务：根据网站的实际需求，通过双方的技术交流，提供任何形式的 定制服务。一般情况，增加一个功能需要一个工作日的开发时间。 Web-IAWeb-IA发明专利发明专利 Web-IA发明专利一： 专利名：网页屏幕区域点击热点分析方法 专利申请号：200810010315.9 专利简介：根据用户需求，将网页屏幕划分成若干个区域，分析 每个区域的访问情况以及占有比例。 Web-IA发明专利二： 专利名：用嵌入式代码代理日志实现网站访问分析系统与方法 专利申请号： 200810010316.3 专利简介：通过在网页上，嵌入JavaScript代码，生成网站访问 统一日志，来分析网站精确访问情况。 Web-IAWeb-IA发明专利发明专利 发明专利三： 专利名：网站异常访问分析方法 专利申请号： 200810010423.6 专利简介：对于通过程序“机器”访问网站的情况，分析其行为 轨迹，找出其异常访问。比如：持续性异常和突发性异常等。 发明专利四： 专利名：智能个性化服务网站构造方法 专利申请号：200810010317.8 专利简介：根据访问者以往访问记录，将内容喜好、预测喜好和 访问习惯抽象为个性，再该访问者下一次访问时，个性化的推荐 其想要看到的内容。 Web-IAWeb-IA产品：产品：软件热点软件热点 可视化软件:为所有的报表提供了丰富的图表。比如：折线图和区域图表示 发展趋势、饼图和环图表示比例关系、柱状图表示绝对关系、行为走势图表 示来去以及转化关系等。 独特的拓扑结构:唯一采用类似资源管理器形式的网站拓扑结构。形成【网 站汇总】、【网站分析】和【频道分析】三级拓扑结构。当然，网站汇总下 可有部门汇总，网站分析下可有子站分析，频道分析下可有子频道分析等， 以此类推，形成向下的多级树状结构。 最快的分析软件:采用多线程、多进程、阵列服务器等技术手段，可以根据 用户要求，控制分析时间在指定的范围内。 分布分析与集中统计:对于大型或行业网站，网站设备可能分布在全国各地 、或世界各地，每天无法正常获取日志文件，则需要在本地分析，将分析结 果集中汇总统计。 【Web-IA特点】除了上述介绍的功能以外，在技术性能、软件表现形式 、系统能力方面特点如下： Web-IAWeb-IA产品：产品：软件热点软件热点 强大的分析引擎:首先，具有自学习功能，能够识别各种格式的文件；其次 ，利用多CPU分析；第三，能够监控系统资源（如：内存的使用情况）；第 四，解决了文件尺寸内存的问题；第五，解决了32位计算机数据溢出问题 ；第六，分析引擎独立于数据库，只将分析结果存放在数据库中，便于生成 分析报表。 综合技术应用:Web-IA支持基于日志的传统方式的分析技术，和支持嵌入代 码的精确的分析技术，以及支持特殊网站构成的分析技术。传统方法存在浏 览数（Page View）有效点击数（Click）、接入代理（Proxy）无法辨别多 客户端访问、以及缓存（Cache）带来丢失访问步骤等问题；嵌代码方法能 够解决传统方法的问题，只是嵌入实施起来比较麻烦；对于特殊网站，由于 模块化的Web-IA，对某一模块的改动不会影响其他模块，适应性很强。 对复杂异构网站分析:支持任何系统的网站，比如：架构在Unix、Linux、 Solaris、Windows等上的网站；支持任何类型的Web Server，比如：IIS、 WebLogic、Apach、Tomcat等。 极强的扩展性:适用于流媒体、游戏和Cache网站分析，以及适用于防火墙的 分析、短信/彩信等电信增值业务的分析。 Web-IAWeb-IA产品产品：客户与合作：客户与合作 与【微软（中国）】合作:微软虽然有自己的分析软件，但是不能满足中国 客户的需求，在考察了中国市场后，选定了Web-IA作为微软平台的合作伙伴 ，在互联星空、甘肃电信和中国铁通项目上进行了合作。 【互联星空】用户:互联星空中国电信第一品牌的门户网站，是中国电信在 互联网上推出的公共服务平台，在该平台上为各服务提供商提供业务接入、 业务管理、服务计费、广告管理、内容发布等。当时，每天的日志量在30G 左右，hits数在1亿四千万左右 ，采用多CPU技术实现在1.5小时分析完毕， 同时还解决了各省级业务考核、以及特定内容和特定行为分析。 【淘宝网】用户：是阿里巴巴公司全资子公司，在国内是公认的个人交易网 上平台，当时每天日志在50G以上，Page View数在1亿四千万左右。Web-IA 为其解决了超大规模日志分析、注册用户、广告和电子邮件市场推广、特定 行为分析等问题。 Web-IA从2001年推出到现在，已经经历了八个版本，有40多个大型客户 ，遍布大半个中国，具有代表性的客户如下： Web-IAWeb-IA产品产品：客户与合作：客户与合作 【21cn】用户：全国排名前10的综合性门户网站，为了提高网站的服务效果 ，采用Cache服务器。Web-I为其解决了Cache日志自动识别、分布分析集中 统计、以及业务人员考核等问题。 【碰碰网】用户:帮助解决了注册用户、渠道推广、广告投放、兴趣圈分析 、以及动态内容分析等问题。 【瑞丽女性网】用户:是中国最大的女性杂志，每月广告费超过一千多万人 民币，为其解决了CDN网站、专题、新闻发布等问题。 【平安保险】用户:平安保险在全国有20多万代理商，其业务是通过网上申 请和管理，不仅为其解决了访问异常分析，而且还解决了服务器异常分析。 【国家专利局】用户:作为府服务性质网站，目的主要是解决世界范围内对 中国专利的检索，以及在网站上公布分析结果等。 【电信】用户:为江苏省、上海市、四川省、云南省、贵州省、宁夏区、重 庆市、广东省电信门户网站提供服务。 【网通】用户:为黑龙江省、吉林省、北京市、河北省、河南省网通提供了 服务。 Web-DMWeb-DM产品产品简介简介 异常分析:运用模式识别技术，发现访问异常和服务器处理异常。采用生动 的图形与分析数据的动态结合，呈现异常现象，帮助用户深入追踪搜索引擎 蜘蛛Spider、黑客攻击等各种异常访问行为轨迹，帮助用户发现各种访问异 常和服务器异常，找出程序的漏洞和薄弱环节。 频道关联分析:建立内容关联模型，分析内容频道间的关联支持度和置信度 ，帮助用户发现任意两个频道之间的关联关系，改善网站结构设计，提高用 户访问网站的易用性。 特定关联分析:对于广告、推广等特定Page与网站内容的关联分析，帮助用 户掌握网站内容对于特定Page的支持情况和点击贡献，分析广告的暴光、点 击与内容的关联关系，提高广告的有效点击率，为用户创造价值。 Web-DM是在Web-IA的基础上，运用数据挖掘（Data Mining）原理，提供 深入的网站访问分析和服务器安全运行分析，从而帮助用户通过Web-DM达到 知识发现KDD（Knowledge Discovery in Databases ）的目的。 访问关联分析：访问关联分析：“啤酒与尿布啤酒与尿布”是数据挖掘是数据挖掘Date MiningDate Mining的经典故事，讲的是数据挖掘在商场的经典故事，讲的是数据挖掘在商场 销售中的购买行为规律发现。同样，销售中的购买行为规律发现。同样，Web-DMWeb-DM中的中的“频道关联分析频道关联分析”，可以帮助网站管理者发，可以帮助网站管理者发 现现“访问行为访问行为”在网站频道中的关联情况，在网站频道中的关联情况，“哪些内容与哪些内容哪些内容与哪些内容”具有较强的关联性？帮具有较强的关联性？帮 助管理者观察存在于这些助管理者观察存在于这些“关联访问关联访问”中中“访问行为轨迹访问行为轨迹”的数据特征，以便改善网站结构的数据特征，以便改善网站结构 设计和栏目内容。设计和栏目内容。 特定关联分析：特定关联分析：对特别指定对特定对特别指定对特定PagePage的访问关联分析，是网站管理者特别关注的的访问关联分析，是网站管理者特别关注的PagePage。如如 ：广告：广告PagePage等。特定关联分析，运用数据挖掘中的等。特定关联分析，运用数据挖掘中的“关联分析模型关联分析模型”，对特定，对特定PagePage进行关联进行关联 分析，帮助网站管理者发现分析，帮助网站管理者发现“广告广告 PagePage”及特定及特定PagePage的访问与其他的访问与其他PagePage访问的关联关系，分访问的关联关系，分 析内容对广告点击的贡献，以便改善网站结构设计选择广告投放位置，提高广告析内容对广告点击的贡献，以便改善网站结构设计选择广告投放位置，提高广告PagePage的点击的点击 率。率。 异常访问分析：异常访问分析：工具简介工具简介 正常的访问是通过IE等浏览器登陆网站进行浏览。“异常访问”是指不通过 浏览器对网站的“机器访问”。其中包括：黑客攻击、搜索引擎的“蜘蛛” 等。这些访问占用大量的服务器资源，造成正常访问者的访问速度下降，甚 至造成网站服务器堵塞，严重影响网站服务质量。Web-BI独特的“异常访问 分析”功能，采用智能识别技术，帮助用户发现“异常访问行为”，分析各 种情况下服务器资源占用情况，帮助用户提高网站的安全性，改善网站的服 务质量。 Web-DM采用智能识别技术，结合数据挖掘中分类模型，对访问每一个访问 Session进行跟踪分析，发现所有不正常的访问记录。网站的管理者可以根据 实际应用情况，依据“异常访问分析结果”进行分析判断，对网站防护采取 措施，来加强安全防范，保障网站的安全。 异常访问分析：异常访问分析：异常访问分析提供了一系列网站运行状态的技术分析指标，包括： 流量、流速、服务器处理时间等技术指标，帮助网站管理者对网站的服务器和网络 设备进行改造，有针对性地提高网站技术服务性能。 般若商业智能般若商业智能BIBI应用应用 DNS解析分析与精确营销:般若根据江苏省电信和四川省电信邀请，设计了 DNS数据挖掘，通过对DNS域名解析日志分析，聚类用户访问内容喜好，根据 用户的内容喜好来推送广告，对宽带上网用户实现广告投放精确营销。 网站智能推荐系统:这是一个智能机器学习系统，通过为每个来访用户建立 适当数量的学习集，分析访问者（认证后的用户）的内容偏好和访问行为轨 迹，为每个用户建立基于“内容喜好”和“行为习惯”的知识规则，当该访 问者再次访问时，个性化的推荐其偏好的内容（或商品）。本系统是一个完 全机器学习系统，不需要人工干预，是一个“聪明”的系统，会随着用户在 不同季节、不同时段访问“喜好”和“习惯”的改变，自动进行知识规则调 整，而不是一个静态的知识规