Web-IA与商业智能介绍.ppt

Web IA与商业智能 WebIntelligentAnalysis 辽宁般若网络科技有限公司2008年3月 流量统计 访问分析 数据挖掘和商业智能 流量统计 一般的流量统计 统计PV 独立IP 时间 地区统计 Page的TOP排名等统计信息 可以满足一般的网站流量统计需求 有很多免费软件 Web BI Webbusinessintelligence Web商业智能 下一代网站访问分析工具 Web IA将BI技术应用到Web访问分析和运行技术分析 提供基于商业智能BI的分析模型和分析方法 帮助你获得深入的访问分析和系统运行技术 Web DM WebDateMining 是第一个大规模将理论运用到Web访问分析的实用产品 包括异常访问分析 关联分析 特定关联分析和个性化服务 其中的 智能个性化服务网站构造方法 不仅仅只提供分析数据 而是一个直接将DM结果作用到网站运营管理的工具 使访问分析变被动 只提供分析结果 为主动 参与网站运营 访问分析 在一般的流量统计基础上 增加访问行为分析 访问行为轨迹分析 Session会话分析 访问人次分析 SEO搜索引擎优化分析和其他复杂分析功能 流量统计 访问分析 数据挖掘和商业智能 Web DM是一个Internet应用商业智能BI解决方案 网络广告精确投放方案 为江苏和省四川省电信设计了基于DNS解析数据挖掘的定向广告精确营销方案 在DM基础上 分析用户的内喜好 向广告商提供潜在用户市场分析数据 同时 精确地定向真正潜在的客户投放广告 大幅度提高广告投放的有效性 智能个性化内容推荐方案 为广东移动设计了网站内容推荐个性化服务 采用般若专利技术 专利性质 发明专利 专利名 智能个性化服务网站构造方法 专利申请号 200810010317 8 通过机器学习方法 根据访问者以往访问记录 训练机器掌握每个访问者的内容喜好 预测喜好和访问习惯个性 当该访问者下一次访问时 个性化的推荐内容 系统完全是一个机器自动化学习过程 可随用户的访问内容喜好变化自动进行知识更新 是一个自适应控制闭环系统 不需要任何人工干预 般若数据分析产品Web IA介绍 一个全面的解决方案 根据不同规模的客户 Web IA提供网络版 专业版 企业版和商务版 对于需要全面分析的用户 Web IA基于系统日志的分析 对于精确分析 如 广告和访问行为 提供嵌套代码方式的分析 也可以将两种方式结合进行分析 Web IA的流量分析 PV统计 独立IP统计 频道栏目TOP排名 地区分析 时段分析 趋势分析 同期比较 Web IA的访问分析 访问行为轨迹 Session会话分析 特定内容分析 特定行为分析 Web IA的市场推广 网上调查分析 认证用户分析 电子邮件反馈分析 广告推广效果分析 Web IA的特点 可视化软件 类似资源管理器的网站拓扑结构 分析最快的软件 支持多进程多线程 支持服务器集群 支持分布式分析 支持各种类型的网站 支持多网站分析 Web IA的SEO分析 搜索引擎优化分析SearchEngineOptimization提供SEO基础分析数据 SE导入分析 关键字检索分析 关键字搜索位置分析 Web IA产品简示 为二级菜单 给出某条记录多维深层次分析 比如 广东省内地区分析 和广东省用户查看频道情况 Web IA产品 基本功能 来源分类分析 通过直接登陆 连接访问 搜索引擎 站内跳转 广告访问 电子邮件 判断网站的知名度和市场推广效果 行为分析 行为TOP排名 访问行为深度分析 访问行为广度分析 入口出口分析 实际上为行为的出口和入口 并给出出入口行为的TOP排名 节假日分析 对于政府网站 其分析报表都要分出节假日 流量分析 通过发送和接受字节数 了解不同地区 不同时段 不同内容带来的流量 错误分析 给出错误分类和排名 并能告知错误产生的具体页面 帮助分析发生错误的原因 搜索引擎分析 关键字分析 给出从搜索引擎到关键字分析 和从关键字到搜索引擎分析 基本功能 是不需要用户做任何设置所给出的分析功能 其基本设置是由系统默认确定的 基本功能包括 Web IA产品 基本功能 地区分析 时段分析 对于内容 错误 频道 专题均可以给出地区和时段分析 趋势分析 同期比较 对于网站 内容 频道 地区等 均可给出任意区间的访问趋势 给出任意两个时期的对比 客户端分析 可以分析客户端的操作系统 浏览器 分辨率 语言 Flash版本等 了解访问者基本情况 蜘蛛搜索分析 分析通过程序访问网站的 机器 访问情况 给出蜘蛛搜索的TOP排名 并告知从什么地方来的搜索 什么时间来的搜索 内容分析 给出最受欢迎的内容TOP排名 并告知访问者是从哪来的 什么时间来的 分析报警 对于已分析 未分析 部分分析 分析失败 部分分析失败等情况 以电子邮件或短信息访问向系统管理人员报警 Web IA产品 个性化功能 频道分析 频道可以根据用户要求任意设定 可以是由一个文件或多个多个文件组成 或由通配符组成的文件集合 也可以是由一个域名或多个域名组成 频道分析形式完全和网站 即网站有什么功能频道也可以有 专题分析 专题是由网站任意设定的 实际上 专题分析类似于频道分析 在技术处理上是一样的 只是名字不同而已 特定内容分析 基于日志分析 网站内容成千上万 要想了解某一内容并不在TOP排名之中 同时又想了解该内容的访问都是怎么来的 又是怎么走的 因此需要对改内容设置进行特定分析 特定行为分析 对于某一访问行为 或访问行为的一部分 要详细了解其每一步都是怎么来的 又是怎么走的 以及两个步骤之间转化率是多少时 需要对该访问行为设置进行特定分析 个性化功能 是需要用户进行设置后 方能产生的分析功能 其个性化功能包括 Web IA产品 特色功能 广告分析 广告是市场推广的一种方式 实际上 广告分析是一种特定的内容分析 广告分站内广告和站外广告 其基本分析要分析曝光数 点击数 曝光率等 对于商务网站还要分析广告带来注册用户 以及转化率和成交情况等 广告关联分析 将广告与内容频道建立关联模型 分析指定广告与网站内容频道之间的关联关系 关联支持度和置信度 分析各种内容对于广告点击的贡献和相关程度 指导更加准确地在有效位置投放特定广告 增加广告的有效点击 电子邮件分析 电子邮件也是市场推广的一种方式 电子邮件要分析发出数 返回数 转化率等 对于商务网站和广告分析基本一致 TOP排名设置 为了提高分析速度和节省磁盘空间 并不是对所有内容都进行分析 因此需要设置 分级管理权限设置 根据用户管理和权限设置 对于不同管理级别的管理人员 可以任意进行灵活设置 Web IA产品 二次开发服务 网上调查分析 或称人口学分析 通过传统的方法无法进行分析 必须根据网站实际情况 进行二次开发 将调查结果写入特定日志文件中 以便分析 认证用户分析 一般情况 免费服务的网站用户多数是匿名的 比如门户网站 而收费网站必须是认证或注册用户 比如电子商务网站 但是 不同的网站用户注册的方法是不一样的 因此需要根据具体网站实际情况进行二次开发 特定离开分析 对于基于日志分析的网站 链接离开网站的访问记录 不在本网站日志里 需要二次开发 在网站上嵌入JavaScript代码 记录离开去向 动态频道 兴趣圈 分析 静态频道是由指定目录或文件集合组成 而动态频道则是由程序设定的规则来确定 因此只要告知建立动态频道或情趣圈的规则 二次开发服务 除了 定制服务 以外 其功能均在 只是需要程序上的调整 具体二次开发服务包括 Web IA产品 二次开发服务 热点页面分析 根据用户的需求 将页面 如 首页 分成若干个区域 分析不同区域访问情况和该区域占页面百分比 可视化显示各个区域被访问情况 帮助网站设计者改进内容和布局 增加有效点击 特别是提高广告投放效益 该方法已经申请了发明专利 电子商务分析 在般若为北京伊藤电器商城 锦州中百等大型商场进存销管理系统的基础上 电子商务分析主要侧重营业额和交易数两个方面 比如 要给出产品的营业额和交易数TOP排名 以及是由哪些地区 省或市 带来的 哪些搜索引擎带来的 哪些域名带来的 更重要的是分析哪些行为带来的营业额和交易数多 如果提供网站产品等成本信息 不仅能够分析收入 Revenue 而且还可以分析成本 Cost 和利润 Profit 从而来指导营销 定制服务 根据网站的实际需求 通过双方的技术交流 提供任何形式的定制服务 一般情况 增加一个功能需要一个工作日的开发时间 Web IA发明专利 Web IA发明专利一 专利名 网页屏幕区域点击热点分析方法专利申请号 200810010315 9专利简介 根据用户需求 将网页屏幕划分成若干个区域 分析每个区域的访问情况以及占有比例 Web IA发明专利二 专利名 用嵌入式代码代理日志实现网站访问分析系统与方法专利申请号 200810010316 3专利简介 通过在网页上 嵌入JavaScript代码 生成网站访问统一日志 来分析网站精确访问情况 Web IA发明专利 发明专利三 专利名 网站异常访问分析方法专利申请号 200810010423 6专利简介 对于通过程序 机器 访问网站的情况 分析其行为轨迹 找出其异常访问 比如 持续性异常和突发性异常等 发明专利四 专利名 智能个性化服务网站构造方法专利申请号 200810010317 8专利简介 根据访问者以往访问记录 将内容喜好 预测喜好和访问习惯抽象为个性 再该访问者下一次访问时 个性化的推荐其想要看到的内容 Web IA产品 软件热点 可视化软件 为所有的报表提供了丰富的图表 比如 折线图和区域图表示发展趋势 饼图和环图表示比例关系 柱状图表示绝对关系 行为走势图表示来去以及转化关系等 独特的拓扑结构 唯一采用类似资源管理器形式的网站拓扑结构 形成 网站汇总 网站分析 和 频道分析 三级拓扑结构 当然 网站汇总下可有部门汇总 网站分析下可有子站分析 频道分析下可有子频道分析等 以此类推 形成向下的多级树状结构 最快的分析软件 采用多线程 多进程 阵列服务器等技术手段 可以根据用户要求 控制分析时间在指定的范围内 分布分析与集中统计 对于大型或行业网站 网站设备可能分布在全国各地 或世界各地 每天无法正常获取日志文件 则需要在本地分析 将分析结果集中汇总统计 Web IA特点 除了上述介绍的功能以外 在技术性能 软件表现形式 系统能力方面特点如下 Web IA产品 软件热点 强大的分析引擎 首先 具有自学习功能 能够识别各种格式的文件 其次 利用多CPU分析 第三 能够监控系统资源 如 内存的使用情况 第四 解决了文件尺寸 内存的问题 第五 解决了32位计算机数据溢出问题 第六 分析引擎独立于数据库 只将分析结果存放在数据库中 便于生成分析报表 综合技术应用 Web IA支持基于日志的传统方式的分析技术 和支持嵌入代码的精确的分析技术 以及支持特殊网站构成的分析技术 传统方法存在浏览数 PageView 有效点击数 Click 接入代理 Proxy 无法辨别多客户端访问 以及缓存 Cache 带来丢失访问步骤等问题 嵌代码方法能够解决传统方法的问题 只是嵌入实施起来比较麻烦 对于特殊网站 由于模块化的Web IA 对某一模块的改动不会影响其他模块 适应性很强 对复杂异构网站分析 支持任何系统的网站 比如 架构在Unix Linux Solaris Windows等上的网站 支持任何类型的WebServer 比如 IIS WebLogic Apach Tomcat等 极强的扩展性 适用于流媒体 游戏和Cache网站分析 以及适用于防火墙的分析 短信 彩信等电信增值业务的分析 Web IA产品 客户与合作 与 微软 中国 合作 微软虽然有自己的分析软件 但是不能满足中国客户的需求 在考察了中国市场后 选定了Web IA作为微软平台的合作伙伴 在互联星空 甘肃电信和中国铁通项目上进行了合作 互联星空 用户 互联星空中国电信第一品牌的门户网站 是中国电信在互联网上推出的公共服务平台 在该平台上为各服务提供商提供业务接入 业务管理 服务计费 广告管理 内容发布等 当时 每天的日志量在30G左右 hits数在1亿四千万左右 采用多CPU技术实现在1 5小时分析完毕 同时还解决了各省级业务考核 以及特定内容和特定行为分析 淘宝网 用户 是阿里巴巴公司全资子公司 在国内是公认的个人交易网上平台 当时每天日志在50G以上 PageView数在1亿四千万左右 Web IA为其解决了超大规模日志分析 注册用户 广告和电子邮件市场推广 特定行为分析等问题 Web IA从2001年推出到现在 已经经历了八个版本 有40多个大型客户 遍布大半个中国 具有代表性的客户如下 Web IA产品 客户与合作 21cn 用户 全国排名前10的综合性门户网站 为了提高网站的服务效果 采用Cache服务器 Web I为其解决了Cache日志自动识别 分布分析集中统计 以及业务人员考核等问题 碰碰网 用户 帮助解决了注册用户 渠道推广 广告投放 兴趣圈分析 以及动态内容分析等问题 瑞丽女性网 用户 是中国最大的女性杂志 每月广告费超过一千多万人民币 为其解决了CDN网站 专题 新闻发布等问题 平安保险 用户 平安保险在全国有20多万代理商 其业务是通过网上申请和管理 不仅为其解决了访问异常分析 而且还解决了服务器异常分析 国家专利局 用户 作为府服务性质网站 目的主要是解决世界范围内对中国专利的检索 以及在网站上公布分析结果等 电信 用户 为江苏省 上海市 四川省 云南省 贵州省 宁夏区 重庆市 广东省电信门户网站提供服务 网通 用户 为黑龙江省 吉林省 北京市 河北省 河南省网通提供了服务 Web DM产品简介 异常分析 运用模式识别技术 发现访问异常和服务器处理异常 采用生动的图形与分析数据的动态结合 呈现异常现象 帮助用户深入追踪搜索引擎蜘蛛Spider 黑客攻击等各种异常访问行为轨迹 帮助用户发现各种访问异常和服务器异常 找出程序的漏洞和薄弱环节 频道关联分析 建立内容关联模型 分析内容频道间的关联支持度和置信度 帮助用户发现任意两个频道之间的关联关系 改善网站结构设计 提高用户访问网站的易用性 特定关联分析 对于广告 推广等特定Page与网站内容的关联分析 帮助用户掌握网站内容对于特定Page的支持情况和点击贡献 分析广告的暴光 点击与内容的关联关系 提高广告的有效点击率 为用户创造价值 Web DM是在Web IA的基础上 运用数据挖掘 DataMining 原理 提供深入的网站访问分析和服务器安全运行分析 从而帮助用户通过Web DM达到知识发现KDD KnowledgeDiscoveryinDatabases 的目的 访问关联分析 啤酒与尿布 是数据挖掘DateMining的经典故事 讲的是数据挖掘在商场销售中的购买行为规律发现 同样 Web DM中的 频道关联分析 可以帮助网站管理者发现 访问行为 在网站频道中的关联情况 哪些内容与哪些内容 具有较强的关联性 帮助管理者观察存在于这些 关联访问 中 访问行为轨迹 的数据特征 以便改善网站结构设计和栏目内容 特定关联分析 对特别指定对特定Page的访问关联分析 是网站管理者特别关注的Page 如 广告Page等 特定关联分析 运用数据挖掘中的 关联分析模型 对特定Page进行关联分析 帮助网站管理者发现 广告Page 及特定Page的访问与其他Page访问的关联关系 分析内容对广告点击的贡献 以便改善网站结构设计选择广告投放位置 提高广告Page的点击率 异常访问分析 工具简介 正常的访问是通过IE等浏览器登陆网站进行浏览 异常访问 是指不通过浏览器对网站的 机器访问 其中包括 黑客攻击 搜索引擎的 蜘蛛 等 这些访问占用大量的服务器资源 造成正常访问者的访问速度下降 甚至造成网站服务器堵塞 严重影响网站服务质量 Web BI独特的 异常访问分析 功能 采用智能识别技术 帮助用户发现 异常访问行为 分析各种情况下服务器资源占用情况 帮助用户提高网站的安全性 改善网站的服务质量 Web DM采用智能识别技术 结合数据挖掘中分类模型 对访问每一个访问Session进行跟踪分析 发现所有不正常的访问记录 网站的管理者可以根据实际应用情况 依据 异常访问分析结果 进行分析判断 对网站防护采取措施 来加强安全防范 保障网站的安全 异常访问分析 异常访问分析提供了一系列网站运行状态的技术分析指标 包括 流量 流速 服务器处理时间等技术指标 帮助网站管理者对网站的服务器和网络设备进行改造 有针对性地提高网站技术服务性能 般若商业智能BI应用 DNS解析分析与精确营销 般若根据江苏省电信和四川省电信邀请 设计了DNS数据挖掘 通过对DNS域名解析日志分析 聚类用户访问内容喜好 根据用户的内容喜好来推送广告 对宽带上网用户实现广告投放精确营销 网站智能推荐系统 这是一个智能机器学习系统 通过为每个来访用户建立适当数量的学习集 分析访问者 认证后的用户 的内容偏好和访问行为轨迹 为每个用户建立基于 内容喜好 和 行为习惯 的知识规则 当该访问者再次访问时 个性化的推荐其偏好的内容 或商品 本系统是一个完全机器学习系统 不需要人工干预 是一个 聪明 的系统 会随着用户在不同季节 不同时段访问 喜好 和 习惯 的改变 自动进行知识规则调整 而不是一个静态的知识规则产生系统 具体方法参见般若专利 般若可根据用户的需要 提供真正的商业智能BI 数