大数据的思维

大数据的思维王淳天云大数据2024/4/141IT的定位CIOCDOInformationTechnology

2024/4/142虚拟化Vs.大数据Vs.2024/4/143传统Vs.创新Linux/HDFSJ2EE存储设备数据库Web操作系统J2EEHive/HBase……WebX86PCServersVs.传统架构面临海量数据处理的瓶颈：数据的自由度和性能矛盾。固定字段、维度的表结构，限制了数据的入库和拓展。数据索引方式的瓶颈，依赖文件目录结构（NAS）或私有的位图块表结构（Block）。低成本-x86

PC服务器可扩展-线性扩展灵活的数据结构-schema

free海量数据下的超高性能-及时实时2024/4/144大数据创新在银行的应用核心系统保留13个月以内的数据查询时间段有限制，响应时间很快磁带库保留昨日以前数据线下保存，恢复时间长、效率低历史数据查询系统保留1个月以前数据查询没有时间段限制，响应时间很快数据仓库保留昨日以前数据不对外提供联机服务正文备份数据采集数据采集高TCO/低ROI2024/4/145核心减负、全量在线对公活期交易明细查询；活期法人透支户交易明细查询；对公定期交易明细查询；对私活期交易明细查询；对私定期交易明细查询；换卡登记明细查询……所有历史账务明细数据在线存储大量查询业务操作迁出核心系统大量并发查询请求毫秒级别响应丰富业务创新数据挖掘灵活实现2024/4/146银行客户精准营销2024/4/147基于上网日志的客户标签利用自然语言处理+支持向量机算法

基于用户上网行为和内容给客户打标签。确保营销活动实时有效全省7000多万用户，每天300+亿条上网记录，每条记录对应网页数据平局17.9KB，相当于每天网络传输约500+TB的数据量，每天进行自然语言处理和客户标签更新2024/4/148无人工干预的机器学习人数占比年龄年收入（元）累计标保和缴付保费合计件均标保寿险缴付金额两全缴付金额年金缴付金额万能缴付金额意外缴付金额医疗缴付金额重疾缴付金额投连缴付金额

0.60%47482002690080400190005005000767002500100200400400

1.37%51294001500096600107005009040058001160010080022003000

0.84%4018060010800213007800110038001240016001003007000

2.07%47294007400711001100060051001500637001005001300500

0.68%3382006500307005400200800293002000100100100

0.84%5336005800805001040005300250053000020077200

1.77%42974005300980039004003300300017001003004000年收入2.9万，总标保1.5万以上，高达9万的两全产品，产品覆盖面齐全年收入高达18万，总标保只有1万，寿险和年金金额较高，无投连产品年收入2.9万，高达6.3万的万能产品，产品覆盖面齐全年收入只有0.3万，高达7.7万的投连产品年收入9.7万，标保只有0.5万年收入只有0.8万，高达2.9万的年金产品年收入4.8万，总标保2.6万以上，高达7.6万的年金产品，产品覆盖面齐全打破经验与规则，去大师，去精英。Letdatatalk。2024/4/149秒级的犯罪嫌疑人排查乘坐同一班列车，住同一酒店的两个人可能是同伙，刑侦人员将不同线索拼凑起来排查疑犯，可是来自于多源数据的处理在传统IOE架构上，需要数小时甚至整日。天云大数据平台将这