大数据的思维

1、2021-5-241 it的定位 2021-5-242 业务支撑 创新引导 科研 algorithm 信息 化 machine 商业 people 虚拟化 vs. 大数据 2021-5-243 vs. 传统 vs. 创新 2021-5-244 linux/hdfs j2ee 存储设备 数据库 web 操作系统 j2ee hive/hbase web x86 pc servers vs. 传统架构面临海量数据处理的瓶颈： 数据的自由度和性能矛盾。 固定字段、维度的表结构，限制了 数据的入库和拓展。 数据索引方式的瓶颈，依赖文件目 录结构（nas）或私有的位图块表 结构（block）。 低成本-x

2、86 pc 服务器 可扩展-线性扩展 灵活的数据结构-schema free 海量数据下的超高性能-及时实时 大数据创新在银行的应用 2021-5-245 核心系统 保留13个月以内的数据 查询时间段有限制，响 应时间很快 磁带库 保留昨日以前数据 线下保存，恢复时 间长、效率低 历史数据查询系统 保留1个月以前数据 查询没有时间段限制， 响应时间很快 数据仓库 保留昨日以前数据 不对外提供联机服 务 核心减负、全量在线 2021-5-246 对公活期交易明细查询；活期法人透支户交易明细查询；对公定期交易明 细查询；对私活期交易明细查询；对私定期交易明细查询；换卡登记明细 查询 所有历史账务明

3、细数据在线存储 大量查询业务操作迁出核心系统 大量并发查询请求毫秒级别响应 丰富业务创新数据挖掘灵活实现 银行客户精准营销 2021-5-247 基于上网日志的客户标签 2021-5-248 利用自然语言处理+支持向量机算法 基于用户上网行为和内容给客户打标签。 确保 营销活动实时有效 l 全省7000多万用户， l 每天300+亿条上网记录， l 每条记录对应网页数据平局17.9kb， l 相当于每天网络传输约500+tb的数据量， l 每天进行自然语言处理和客户标签更新 无人工干预的机器学习 2021-5-249 人数占比 年龄 年收入 （元） 累计 标保和 缴付 保费 合计 件均 标保

4、寿险 缴付 金额 两全 缴付 金额 年金 缴付 金额 万能 缴付 金额 意外 缴付 金额 医疗 缴付 金额 重疾 缴付 金额 投连 缴付 金额 0.60% 47 48200 26900 80400 190005005000 767002500100200400400 1.37% 51 29400 15000 96600 10700500 904005800 1160010080022003000 0.84% 40 180600 10800 21300780011003800 1240016001003007000 2.07% 47 294007400 71100 110006005100150

5、0 637001005001300500 0.68% 33 82006500 307005400200800 293002000100100100 0.84% 53 36005800 80500 10400053002500530000200 77200 1.77% 42 974005300980039004003300300017001003004000 年收入2.9万，总标保1.5万以 上，高达9万的两全产品，产 品覆盖面齐全 年收入高达18万，总标保只有 1万，寿险和年金金额较高， 无投连产品 年收入2.9万，高达6.3万的万 能产品，产品覆盖面齐全 年收入只有0.3万，高达7.7万 的投连产品 年收入9.7万，标保只有0.5万 年收入只有0.8万，高达2.9万 的年金产品 年收入4.8万，总标保2.6万以 上，高达7.6万的年金产品， 产品覆盖面齐全 打破经验与规则，去大师，去精英。let data talk。 2021-5-2410 秒级的犯罪嫌疑人排查 乘坐同一班列车，住同一酒店的两个人 可能是同伙，刑侦人员将不同线索拼凑 起来排查疑犯，可是来自于多源数据的 处理在传统ioe架构上，需要数小时甚 至整日。