智能数据分析助力应用智能化.ppt

敬惜 助力您的应用智能化 根据情况变化来合理运用知识以有效地解决问题核心问题 知识挖掘关键能力 自学习 自适应 什么是智能化 互联网 信息爆炸使得我们所面临的环境出现了重大的变化 一是海量用户所导致的需求散乱 二是用户的需求 兴奋点多变且变化迅速 这种情况下就导致传统IT的先总结经验 积累知识然后再编写业务应用的模式跟不上用户需求的快速多变 因此从海量的历史数据中直接挖掘知识而加以应用来有效满足用户快速多变的需求就是必然的了 发挥计算机计算能力强的优势 直接从海量的历史数据中挖掘知识 能力形成速度快 反应迅速人脑思考问题的信息量有限 AI 人工智能 则能同时处理海量的信息 在快速 大并发量 精确等方面比人强面对海量用户 能以最低的成本实现个性化的需求满足 智能化的优缺点 优点 计算机再先进也只是一种机器 不够灵活永远都是最大的不足人的需求千差万别 AI只适合处理某些需求 也做不到一劳永逸大部分情况下 AI都需要巨大的计算资源 CPU 内存 和较长的时间加以复杂的计算才能完成知识的挖掘 缺点 智能化的再认识 人类知识的形成过程 意识 实践 经验总结 知识化 是缓慢而成本高昂的 而且人类知识如果不够精确则应用起来也有很大的困难 如果信息量巨大 受限于人脑的处理能力也就无法形成相应的知识 而AI就是用计算的复杂化来换取某些情况下知识凝聚的快速化 精确化 代价当然是计算资源的巨大消耗 AI是设计好的机器按既定规则从海量的历史数据中挖掘出某些知识 所以其应用就只能是数据积累丰富且人为因素或外部不可知 不可控因素影响较小的环境 也就是说应用场景对效果好坏的影响比较大 尤其是在讲关系 讲变通 讲悟性的中国其应用领域的限制较大 知识就是力量 分类 知识的基础就是对事物的识别 大千世界 万物生灭 如果只针对单个事物那人如何一一识别 所以识别的前提就是归类 将相同 相似 相近的事物按其特征进行归纳后形成一个个的群体 这样人就不需要去记忆一个一个具体的事物而是只要记住特征就可以识别一群事物了 从一大堆历史数据中提取事物分类的特征并把事物特征和已知类别联系起来就是提取决策规则 利用决策规则就可以将一个新事物分类到某个已知类别中 知道了事物属于哪个已知类 那么就可以利用事物的相似性 相近性对刚分好类的事物套用该类的其它特征加以利用 如判断下来某用户偏好吃辣那么网站就可以向用户推荐其所在位置附近的湘菜馆 敬惜选取的分类技术是基于粗糙模糊集的算法 不需要人为的主观判断 可以从海量历史数据中直接挖掘出基于用户偏好的决策规则 粗糙集 处理不确定和不精确问题的数学工具 是智能计算的基础理论之一不象模糊集那样需要人给出一个主观的隶属度函数 而是从数据自身直接处理不确定性 比较客观 尤其适合人类认知不多 数据量巨大的情况 如电商网站的用户行为模式提取 大型设备或系统故障检测规则挖掘等核心思想 知识就是对事物的分类能力下近似 R X x x U x R X 上近似 R X x x U x R X 下近似即肯定属于X的最大子集 上近似即包含X的最小子集 如果两者不等即意味着X对于知识R存在不确定性 也就是说知识R对于事物X无法准确分类利用粗糙集理论就可以通过对决策属性关于条件属性的辨识能力进行检测与压缩 从而实现对决策规则的提取现实情况中会出现条件属性相同但决策属性不同 同一个人今天吃辣明天吃甜 的不相容现象 所以我们导入了模糊集进行支持度判定 用户偏好识别 对电商来说用户偏好就是用户有倾向性的购买 因此我们把用户属性分为用户的特征属性 用户的行为属性 用户的业务属性 用购买来刻画 经过这样的划分 用户偏好的识别就是从海量的历史交易记录中把用户属性和产品的业务属性之间的关联关系找出来 识别出了用户偏好 我们就可以 对老用户进行预分类 使之下一次登录时就可以根据其偏好对其界面 产品推荐 广告展示等进行个性化的定制 以促进有效点击率的提高对当前用户的兴趣点做出及时的反应用户偏好的个性化 预测 知识最大的价值就是在某些事情尚未发生前就有所估计 从而未雨绸缪 提前准备 不打无准备之仗 这在风险识别 前景评估 辅助决策等方面有巨大的应用价值 AI中的预测是在事情刚发生时 根据当前所掌握的不完全的信息就对目标问题做出一个基本判断 如车坏半路了 根据用户看到的几个故障现象就预判故障点所在而不需要全面检修 刚接触一个新客户 根据第一次接触所收集到的信息就预判成案概率以决定打单的资源投入力度 预测是否有效取决于知识的性质 如果知识是基于因果关系的 显然预测的结果更为可信 如果知识是基于相关性的 那么在一定程度上还是可信的 如果知识是基于相似性或相近性的 那么显然就是仅供参考了 敬惜利用蚁群算法求解贝叶斯网模型的相关技术可从历史数据中挖掘出基于因果关系的贝叶斯网模型 预测结果较为可靠 易于理解 贝叶斯网 主观概率 概率即合理信度 反映的是个体的知识状态和主观信念不确定性是智能计算所要解决的主要问题 这是因为我们对外部世界的观测存在误差 解决问题总是需要对世界进行简化和抽象从而导入了偏差 智能计算所面临的问题大多是人类还没有充分认识的问题 因此种种 概率论就是一个比较有力的数学工具 它非常直观得反映了我们对于事物的相信程度 所以在智能计算中越来越重要贝叶斯网即是将系统中各个相关变量的因果 作用 关系的连接成网状结构 这反映了事物之间的相互作用关系 同时还包含了这些变量的先验概率的分布 这样 当得到部分变量的当前状态后 就可以利用贝叶斯公式对其它变量的当前状态进行概率推导贝叶斯公式 P A B P A P B A P B 将后验概率转换为先验概率和已知证据的运算 实现了事情预测贝叶斯网模型 包括结构和参数 的挖掘是非常消耗CPU资源的NP难问题 敬惜利用蚁群算法实现了高效的模型挖掘 策略推荐 策略就是用户的行动方案 我们把用户提交的数据分为用户属性 所采取的策略 最终效果 目标变量 对这样历史数据我们就可以生成一个策略模型 当新的用户到达时 我们根据用户属性 计算各种策略的不同组合下最终效果的预测概率 这样就可以按照最终效果的概率排序来确定最优策略 这种策略推荐技术可用于用户偏好匹配 营销方案规划等 目前敬惜所实现的策略推荐方案可以支持目标变量为单字符串变量或多个数值变量等情况 单字符串变量按取值的概率进行推荐数值变量则可以计算该变量的期望值或期望值的和来进行推荐 技术架构 目前敬惜提供两种访问接口 Http接口和SOA接口 Http接口使用简单而且支持全手工操作 即直接在敬惜的BIZM平台上实现数据提交 推理查询等功能 使用SOA接口需部署敬惜提供的基于 net的编程访问接口 具有推理在用户本地实现 速度更快 可靠性更高 但需要用户编程访问 Web服务器 App服务器 互联网 敬惜BIZM平台 Web服务器 用户的应用 Web服务器 App服务器 App服务器 用户浏览器 SOA服务器 数据库服务器 敬惜以SaaS模式提供智能计算服务用户可以通过敬惜的BIZM管理平台手工使用我们的智能计算服务 或通过敬惜提供的SOA接口在自己的软件产品中直接嵌入敬惜的智能计算服务 即可让自己的软件产品轻松实现智能化用户使用敬惜智能计算计算服务有两个过程 提交数据 用户以文本文件 用空格或TAB分隔 提交历史数据 敬惜在后台进行模型挖掘的计算 由于模型挖掘非常消耗计算资源 所以模型的生成一般都需要一个较长的时间推理 在模型 知识挖掘的成果 生成后 用户即可提交当前数据进行推理以获取相应的结果 推理速度比较快可以即查即用 SOA的实现将推理部分在客户端实现 速度更快 可靠性更高 敬惜智能计算服务 基于 Net的WebService实现 用户通过敬惜编写的本地驻留接口访问 和调用本地函数无区别 使用简单历史数据提交 用UserID PWD声明访问对象 AIWSClinetwsc newAIWSClinet 1 123456 上传样本数据 wsc UploadCaseFile car2 cas 提交计算请求 wsc WantBuild test test AIType BN null null 由于模型计算非常消耗CPU时间 目前敬惜所提供的模型计算服务只能提供隔天交付 SOA接口使用 提交样本数据 推理过程 以贝叶斯网模型为例 先声明访问对象 AIWSClinetwsc newAIWSClinet 1 123456 根据模型的类型 贝叶斯网 粗糙集 创建推理对象 Reasoning BNreason newReasoning BN wsc aiid 下载模型 reason GetModel 根据当前采集到的数据设置查询条件等 reason PreSetVarValue varName varValue 开始推理并获取推理结果reason Start varrs reason GetRS Probability SOA的推理部分的实现是本地化的 大大缩短了HTTP接口下要通过网络连连接到BIZM平台执行推理所带来的网络延迟 速度更快 可靠性更高 SOA接口使用 推理 缺省每天可提交的模型计算次数 1缺省可同时下载用于推理的模型数 2总共可拥有的模型数 不限每天可提交计算次数和同时下载模型数可根据用户的业务需要按需购买由于所需CPU资源非常巨大 所以敬惜按优先级处理计算请求 Whe