大数据应用解决方案

交通行业大数据应用 背 景 随着经济发展迅猛 地方交通越来越繁忙 机动车辆不断增加 地方政府需要好的方法对 过往车辆进行监控管理 从而提供更好的交通服务 地方交通部门采用了数据驱动的方法 在市内重要检查点安装了上千台数字监控设备 这些设备 7 24 小时不间断捕获图像和视 频数据 每月数据量达 TB 级 现在 交通部门面临着如何通过有效利用这些不断增加的 交通信息数据该改进交通管理的挑战 要解决的问题 1 集中管理交通数据 集中访问分散存储在不同的支队数据中心的图像或视频等交通数 据和道路交通管理设施 装备和应用系统等 2 优化海量数据利用 提供尽可能长时间段的车辆监控数据为市公安治安 刑侦 经侦 部门人员及一线民警等提供信息支撑服务 3 改善交通 提高对各种交通突发事件的应急调度能力 依据历史数据预测交通或突发 事件的趋势 4 提升交通案件侦破能力 5 增强交通警察对机动车辆的监管能力 实施后的效果 1 实现基础过车结构化数据的永久存储 可以保存最近 24 个月的交通违法图像数据 实 时对数据检索 并可随时无缝扩容 2 单服务器允许平均每秒 250 次 500KB 尺寸图片同步传输或 2000 次异步并发存储 3 不到 1 秒即可得到从 24 亿条过车数据中的机动车号牌查询出的精确结果和行车轨迹 4 提升交通案件侦破能力 机动车违法图像信息在系统的保存周期从 3 个月延长到 24 个月 交通警察等部门可根据车辆的颜色 车型 号牌等信息实时查询其历史行为 行车 路线和车辆营运公司 驾驶人等关联信息 5 增强交通警察对机动车辆的监管能力 交警可以从 24 亿条过车数据中轻松检索被监测 机动车的号牌精确查询和行车轨迹 6 便捷利用关联车辆的分析数据 针对 24 亿条实际过车数据进行两卡点 多卡点的伴随 车辆和碰撞车辆的复杂分析 查询耗时仅为 10 秒左右 运营商详单账单查询大数据应用 新一代详单账单查询系统 省级 背 景 微博 微信的快速发展所带来的非结构化语言记录 音频 图片和视频等数据加快了电信 行业数据量的增长速度 海量的非结构化数据带来的并不仅仅是存储 传输的问题 做好 海量非结构化数据分析以更好的服务客户 提高效率已经成为全球运营商当前最为紧迫的 问题 随着移动设备 快速 3G 和 4G 连接 自助服务或帐户相关信息查询服务日益受到消费者 的青睐 除了传统的语音 上网 短信以及在线查询每月账单 电话详单信息相关的数据 通信部分迅速增加 随着业务不断扩展 3G 用户数量和计费数据记录已使查询数据请求 的数量明显增加 系统响应速度变慢 要解决的问题 1 现有计费系统维护成本高 降低了计费业务单位的盈利能力 2 速度慢 降低了服务质量 当前高科技个性化的客户支持模式不可扩展 无法应对爆 炸性的需求增长 可能会导致不满的顾客流向竞争对手 3 解决规模问题 RDBMS 解决方案无法满足存储规模和实时查询要求 进而无法为用 户提供优质服务 实施后的效果 1 个人用户能够查询并在线支付话费 准确实时查询六个月内的电话详单 2 X86 解决方案只以当前 RISC 平台价格的一小部分就实现了这些功能 但在规模上却 以经济的方式扩展到数亿个用户 3 新的分析数据功能 可显示实际客户使用情况 偏好和按照细分客户群提供服务的成 本之间的联系 同时可以主动监测网络使用情况 发现性能瓶颈 确定哪些网站与用户产 生的数据收费最高 4 性能更高 账单明细检索查询速度是 3 00000 份账单 秒 插入速度是 800000 份账单 秒 该系统目前每月无缝处理 30TB 的用户计费数据 每个表支持数十亿份账单 查询性 能提高了 30 倍 从而大大提高了新系统的负载能力 可以支持数百万用户同时在线查询 5 高可靠性 该系统不需要保存在一台中央计算机或单一 MPP 数据仓库中 从而改进 了跨集群 平均每个集群 80 个节点 的灾难恢复能力 HDFS 的自恢复功能可以使数据 的信息在集群中永远保留三份副本 这样数据就不会丢失 当硬件或网络不能运转时 它 仍然可以提供数据和文件读写能力 运营商网络优化大数据应用 背 景 运营商的网络环境日趋复杂 其中无线接入网就有 2G 3G WiFi LTE 等多种制式 基 站的分布密度越来越高 用户数也越来越多 对于海量的网络设备信息 网络运行信息 用户信息和终端呼叫信令等数据 系统的网络优化越来越困难 网络优化实时性要求非常高 一旦基站出现了故障 必须在非常短的时间内进行定位和修 复 否则不仅会造成直接的经济损失 而且会导致用户大面积的投诉 甚至导致用户流失 也对潜在的用户造成不好的影响 如何通过使用合适的大数据平台存储信令大数据 进行 端到端网络质量的分析 快速进行网络优化和故障定位 是运营商吸引增加用户 减少用 户流失 增加收入和实现精细化运营的一个关键问题 要解决的问题 1 海量数据存储 网优系统 6 个月处理的语音记录高达 90TB 2 历史记录查询 需支持超过 12 个月时间跨度的访问查询 3 实时并发入库 4 快速的信令分析平台 大量的信令 无线参数 网络配置参数等数据源源不断地涌入 到信令分析平台 这些数据如果不能及时得到处理 实时网络优化就无从谈起 5 平滑的系统迁移 多年以来 运营商已有大量的信令分析系统 硬件设备和网络数据 在大数据时代这一新的形势下 如何将这些已有的业务系统进行平滑迁移也是运营商需要 解决的关键问题 实施后的效果 1 可扩展的海量数据存储 Transwarp 大数据平台利用相对廉价的服务器提供的 HDFS 分布式存储技术 可以低成本方式实现 PB 级别的海量数据存储 而且利用集群的水平扩 展性 基本消除 I O 瓶颈 2 实时高并发的查询 Transwarp 大数据平台支持将关系表装载进分布式内存中 采用 Transwarp 自主研发的列式存储格式 支持高速查询 多维度分析以及迭代式分析应用 数 据分析效率高 3 海量信令综合分析 借助大数据平台存储的海量信息 网优专家可以调用包括结构化 信令数据 地图数据 语言数据 视频数据等各种形式的所有相关数据 选用各种模型 通过高性能的分布式计算框架快速地综合分析出 KPI 指标变化的原因 从而采取措施实施 有效的网络优化 4 提升无线环境质量 通过使用 Transwarp 大数据平台 网规网优专家合理构建了网络 架构 调优了无线参数 可使无线覆盖率大幅提高 信号更稳定 干扰程度得到显著降低 5 用户数增加 网络服务质量提升 客户投诉处理加快 增加了客户的满意度 吸引新 增用户 直接为运营商带来营收 实时视频监控大数据应用 背 景 视频监控系统已成为城市环境中的一种标准做法 旨在帮助协调应急响应 引导交通 并 加强公民的人身安全 要解决的问题 1 视频图像的实时分析 例如部署在治安系统应用中时 一旦通过前端摄像头采集到嫌 疑人的图像 需要快速地对采集到的图像做出分析 判断嫌疑人的身份属性 从而帮助公 安人员进行下一步行动 2 高效的视频数据存储系统 每个前端摄像头的码流速率都在 6Mbps 以上 势必会给后 台分析系统带来海量的数据 急需一个新的后台分析系统来处理海量数据 3 视频搜索效率低 在遇到如治安分析等业务请求时 由于分析性能的限制 无法达到 客户需要的实时性要求 4 访问吞吐带宽小 原有系统视频存放在集中式存储中 当需要大范围查询 调用时 存储系统带宽成为整个系统的瓶颈 妨碍查询业务的使用 5 搜索服务可靠性差 原有系统当有个别集群服务器出错时 无法做到集群自动修复 从而造成整个搜索任务的失败 6 集群管理维护难 原有系统没有一个从硬件到软件到服务状态的整体监控和管理系统 使用者无法监控 维护和保障整个集群运行 实施后的效果 1 性能提升 比原来的 Oracle 数据库性能提高 5 倍 2 与传统数据库相比 各个应用的分析耗时更短 3 Hadoop 分布式集群中的服务器既是计算节点又是存储节点 4 HDFS 分布式文件系统的访问带宽是整个网络的聚合带宽 可以达到几百 Gbps 以上 完全消除了视频存储的访问带宽限制 5 可以实现存储位置感知 将任务分配到视频所存储的节点之上 充分利用本地硬盘带 宽 使访问吞吐进一步提高 6 在执行较长时间的视频搜索任务时 如果主任务调度器发生故障 备用任务调度器会 自动接替 使搜索任务避免失败 当个别搜索任务失败时 任务调度器可以在集群中的另 一个节点上自动重试 金融行业大数据应用 行业需求 1 需要可扩展性开放架构做支撑 大数据量必然要求金融企业 IT 基础设施更易于数据 的整合与集中 扩展与伸缩以及管理与维护 同时还必须具备良好的可靠性 可控性 安 全性 2 大数据在加强风险管控 精细化管理 业务创新等业务转型中将起到重要作用 首先 大数据能够加强风险的可审性和管理力度 支持业务的精细化管理 利率市场化必然会对 银行业提出精细化管理的新要求 其次 大数据支持服务创新 能够更好地实现 以客户为 中心 理念 通过对客户消费行为模式进行分析 比如事件关联性分析 提高客户转化率 开发出不同的产品以满足不同客户的市场需求 实现差异化竞争 3 小额信贷是另一个大数据应用领域 阿里巴巴通过大数据技术自动分析判定是否给予 企业贷款 到 2012 年年底 阿里巴巴累计服务小微企业已经超过 20 万家 放贷 300 多 亿元 坏账率仅为 0 3 左右 低于商业银行水平 应用效果 1 某国有银行用户查询系统 用基于 Hadoop 的技术 将所有的交易数据实时增量导入这个平台 并且能够存放几年 交易数据查询可在 0 1 秒内完成 并发用户数达 600 交易数据增量处理每秒可达 15 万 条 每天处理时间约 4 到 5 分钟 Hadoop 还可以对于当中的所有交易数据进行批量的处理 定期账户批量处理 9 千万条不超出 15 分钟 该银行活期交易每年会产生 130 亿条数据 4 5TB 原有传统业务构架很难支持 但对于 Hadoop 技术来说 可以达到秒级查询 应用效果 2 某券商客户综合分析管理系统 目前券商竞争日趋激烈 证券公司越来越注重对客户的有效服务以及对营业部 经纪人的 业绩管理 而现有的 IT 系统通常只是面向业务交易而设计的 为了提升证券公司的客户服 务及精准营销的能力 券商需要采用大数据技术提升自身客户综合分析管理系统能力 围 绕客户维护生命周期 在不同的生命周期阶段采用有针对性的方式来降低客户流失率 如 主动关怀 客户营销 流失预警挽留和销户挽留等 采用 Hadoop 技术后 数据加载速度明显提升 100 万行数据入库仅需 6 7 秒 10GB 的数 据加载和导出也可以在 5 分钟内完成 同时 数据处理和查询的效率也显著提升 目前每 天的数据处理时间基本控制在 2 小时以内 对于日常简单查询 在 50 条并发查询的情况下 可以实现 1 秒内完成 对于长时间跨度 多条件的复杂查询 也能在 5 秒内完成 应用效果 3 某银行信用卡中心 某银行信用卡中心通过其大数据营销平台进行了 1286 个宣传活动 每个营销活动配置平均 时间从 2 周缩短到 2 3 天 并且市场活动中答应客户在刷满一定金额或次数后送给他们的 礼品 可以在客户刚好满足条件的那次刷卡后马上获得 实现了秒级营销 而不必像之前 那样等待好几个工作日 信用卡中心交易量增加 65 比其他股份制商业银行的平均水平 高 14 比中国所有银行的平均值高 4 该信用卡中心迄今已为客户进行了 4000 万次的 信用额度调整 信用卡不良贷款 NPL 比率同比减少了 0 76 信用卡中心电话销售中 心将所有外呼营销历史整合到数据仓库 通过对大量历史数据分析后调整客户提取和营销 策略 在上线后的第一个月便实现单位工时创收提升 33 笔均贷款额提升 18 电商大数据应用 背 景 大数据对于电商企业来说就是一座金矿 针对大数据进行深度分析挖掘 将能创造巨大商 机 目前各大电子商务网站如淘宝网 繁多的产品让人无从抉择 各种营销策略产生的比 对数据越来越庞大 用户的购买特征趋向于个性化 在线恶评 恶意抢货和恶意退货等时 有发生 如何收集存储网站的所有相关数据 提供快速有效的查询 通过数据挖掘技术快 速准确地分析和更新用户购物行为规律 作出高效的商品推荐和网站优化 已成为电子商 务企业亟待解决的问题 行业需求 1 路径优化 优化页面的排版和改进页面的跳转次序 达到吸引潜在客户和促成访客成 交的目的 2 转化率分析 3 联合营销 帮助商家分析商品之间的关联 并依此制定营销策略 比如 当发现便携 计算机和电脑支架关联度很高时 就可以推荐商家做联合营销 4 智能推荐 5 流量来源分析 统计分析网站点击流的区域来源 时间段分布规律 客户特征等 例 如 对重点访问区域进行抓潜和促销 对有较少页面访问的区域实行广告投放 6 实时预测 7 风险分析 实施后的效果 1 海量数据存储 支持包括用户数据 用户访问日志 商品数据 交易数据 用户评论 商品促销策略等结构化 半结构化和非结构化数据的存储 商户可根据这些海量数据 进 行深度数据分析和数据挖掘 从而做出更明智的决策 2 数据查询效率显著提升 可达到秒级查询 3 用户数增加 通过大量数据的整理和分析 对目标客户聚类 实行精准广告营销 吸 引了大量新增客户 4 实时推荐速度更快更精准 采用极速大数据平台 可在极短的时间内 通过算法解读 更多的用户行为 关联更多的商品 并在得到结论后作出实时推荐 5 商品购买的转化率增加 通过定期优化网站访问路径 减少了用户寻找目标商品的时 间 改进了从购物篮到最终成交的交易步骤 最大限度地提高用户使用便捷性和用户满意 度 大幅增加了商户的收入 6 退货率明显降低 通过对大量历史数据的分析 识别出退货频繁的用户 作退货原因 分析 从而补强退货因素 避免了退货引起的运费 信用和收入等各种损失 医疗卫生行业大数据应用 背 景 目前 大数据技术最具实际意义的应用在于健康档案数据的管理和服务 健康档案是个人 全生命周期的医疗健康数据的管理 例如 对于慢性病患者 以往病程的变化 治疗的过 程都对医生诊断和处置有着重要的辅助作用 过敏史 不良反应这些数据对避免出现医疗 差错和事故也有着积极的作用 传统的临床科研往往基于抽样调查进行 而随着健康档案数据的丰富可以大幅减轻工作量 同时提高科研数据的质量和数量以及数据处理的效率 要解决的问题 1 数据量庞大 区域卫生数据中心以城市为单位 分为存储健康档案 电子病历 卫生 管理三大数据库 300 万人口的中等规模城市卫生数据中心的规模在 20 年后预计会达到 PB 级 传统关系型数据库在大数据存储实现中存在局限性 在一张表中存储 500GB 之上 的数据就会存在性能方面的问题 2 数据类型复杂多变 区域卫生数据中心 将会存储大量的非结构化数据和半结构化数 据 如果采用传统关系型数据库 则面临众多不易解决的问题 PACS 影像 B 超 病理 分析等业务产生的非结构化数据大小不一 从数百 KB 到数百 MB 都有 病人的一次诊 断活动中需要存储 调阅数百张影像数据 由于医疗卫生行业的业务复杂性 很难制定统 一的数据标准 这就给数据访问和交换带来新的挑战 3 另外 未来的数据处理也将面临巨大挑战 譬如未来海量数据的存储 备份 扩容等 快速的检索特定数据 以及高效的数据交换等等 实施后的效果 1 海量数据存储 应对超过一亿条记录 文档 的存储需求 2 数据格式动态扩展 Hyperbase 提供的列式存储方式 可以轻松应对数据格式的灵活 调整 3 海量数据快速检索 高并发的并行海量数据检索 满足居民和医生实时检索健康档案 的需求 4 统计分析 开放的统计分析框架 接近实时的统计分析能力 5 平滑扩容 横向扩展性能卓越 应对未来业务和数据量的不断增长 6 使得医生可以快速检索就诊患者的个人基本信息 既有病史 就诊及处方等重要信息 通过辅助信息 帮助医生做出更准确的诊断 并且有效避免重复用药 药物不良反应等 工商大数据应用 背 景 工商部门作为市场经济主体活动的第一站 积累了大量的市场主体登记 年检 投资以及 主体行为的行政执法等数据 这些数据是 国家经济户籍库 的重要组成部分 开展工商 大数据研究可以更好地服务经济 对社会发展有重大意义 要解决的问题 1 复杂数据整合 在我国工商管理领域 政府机构的业务工作产生了大量独立零散的数 据 2 海量数据查询速度慢 海量数据的多维度查询在传统数据处理中有时需要几十分钟甚 至几个小时 在涉及到全量的数据时速度更慢 3 数据分析的深度不够 工商系统的数据综合分析利用工作还处于探索阶段 面临着数 据量大但是利用不足或者不知如何利用的尴尬境地 与大数据的发展潮流相背离 实施后的效果 1 提供可扩展的存储方案 工商数据客观上在不断增加 当达到现有的规划数据量后 通过增加廉价的机器 就可以无业务间断地实现存储容量的扩展 2 数据质量大幅提升 星环大数据解决方案提供高并发的实时数据读写 支持多租户 多用户在统一的界面上进行数据的录入和处理 3 快速信息查询 星环大数据平台采用持续优化的分布式内存数据库 最先进的分布式 计算引擎 可帮助用户实现秒级查询 极大提高用户的使用体验 4 企业生命周期分析 5 企业诚信分析 在企业的工商信息中 可选择注册资本 办公场所 所在行业 主要 产品 业务 年销售收入 年纳税额 企业荣誉记录 企业不良记录等多维度指标全面评 估企业的信用状况 将企业明确标定为一个信用级别 工商行政管理部门据此对企业进行 有效监督 减少企业的失信行为给国家造成的经济损失 弘扬守信企业 有效加强企业诚 信制度的建设 6 宏观经济走势预判 公安大数据应用 背 景 大数据可以有效协助公安部门提供公共安全服务 互联网信息 生物特征信息 图片 语 音 视频等大数据存储和处理分析 是当前公安信息化建设的重点和难点 要解决的问题 1 海量数据无法保证有效的存储 公安行业大数据包括 13 亿人口信息 指纹信息 驾驶 员 视频监控 抓拍 地图 社交媒体等 PB 级别的数据 这些数据形式多样 既有结构 化的数据 也有大量的半结构化和非结构化的数据 包含文档 图片 视频 栅格 矢量 和文字等形式 如何将这些不断增长的复杂格式海量数据进行有效的存储和备份 成为公 安行业当前热烈探讨的重要课题 2 海量数据的质量难以保证 公安行业存在交互复杂而繁多的系统 这些系统的数据并 不完全互通 数据的低精确度 低效 数据不一致成为发挥海量数据最大价值的一个大弊 端 3 海量数据无法快速地提供有价值的信息 在办案过程中 不太容易从海量的数据中快 速提取出有价值的信息 例如 海量的监控视频数据对公安人员侦破案件的帮助微乎几微 办案人员主要依靠人工识别监控资料 造成工作效率非常低下 无法迅速侦破案件 实施后的效果 1 公安数据的存储和整合 星环大数据平台支持将公安行业各信息系统的视频 音频 文本 网页等格式的相关数据快速抽取 转换和导入到数据中心 提供可视化的数据监控 和实时维护平台 2 快速检索 星环极速大数据平台独有的数据处理技术支持在数据中心库中提供秒级的 案件搜索 可根据搜索的内容及范围提供一键搜索 高级搜索 分类检索 3 实施有效抓捕 利用大量数据创建犯罪高发地区热点图 帮助警方定位那些最易受到 不法份子侵扰片区 为警察更具针对性地锁定犯罪易发点 抓获逃犯提供支持 4 实时轨迹分析 集成车管所车辆信息库 结合卡口系统 车辆识别系统 城市各个停 车场系统和视频监控系统等信息 实现案 事件 重点人员等