科大讯飞大数据方案和应用介绍

汇报提纲1讯飞大数据能力简介2大数据+金融征信3大数据+精准营销4大数据+智慧交通5大数据+商业智能第一页，共61页。汇报提纲1讯飞大数据能力简介2大数据+金融征信3大数据+精准营销4大数据+智慧交通5大数据+商业智能第二页，共61页。科大讯飞的大数据基础层应用层技术层云计算平台大数据处理平台深度学习平台讯飞语音云智慧教育智慧政府智慧公安…语音识别人脸识别手写识别声纹识别语义理解……分类聚类关联规则预测……异常检测第三页，共61页。讯飞语音云手写识别语音搜索语音合成语音识别语音评测讯飞语音云声纹识别语义理解讯飞语音云通过3000多台服务器构成的云计算平台向亿万用户提供多样的、实时的语音能力输出，日服务次数13亿次第四页，共61页。自主研发的Maple大数据平台Flume-ngSqoopETLHadoop(存储&计算)Storm&SparkHive&PigHbaseRedis缓存搜索引擎数据库语音云应用层AppsMaple-SDKMaple-BDWS500+高性能服务器从全国各地秒级延迟收集500亿条信息（100TB）支持多业务场景复合运算，支持全数据量10遍的计算处理每天整个大数据框架建立在分布式技术之上，具有水平扩展特性和能力，即简单加服务器即可Maple大数据平台第五页，共61页。全面的大数据挖掘建模技术高水平的数据挖掘研究团队大数据首席科学家：陈恩红教授（中科大计算机学院副院长、杰青、CCF大数据专委会副主任）讯飞大数据研究院：由近10个博士领衔，针对计算广告、个性化推荐、智慧交通、个性化学习、政府征信等领域开展数据挖掘分析工作全面的大数据挖掘建模技术能力意图理解关键词抽取文本分类文本聚类主题抽取文本建模行为建模Look-alike建模关联分析协同过滤回归模型Multi-armedBandit模型低秩分解L1正则化决策树卡方检验信息增益特征选择……第六页，共61页。讯飞已拥有的大数据宝藏toC大数据toB大数据教育大数据社管云运营商呼叫中心公共安全…讯飞输入法灵犀、酷音铃声讯飞语音云移动广告平台智能音箱、车机、电视、…微博、贴吧、微信公共账号区域教育解决方案智慧课堂智慧校园智学网…性别金融理财否音乐偏好游戏偏好否APP偏好是否有车网购兴趣否工作类型常住地常出差地消费能力当下潜在需求

有无小孩年龄段小孩年级小孩偏科否基于AI技术提取了200多个关键的用户画像标签总用户数7亿，月活跃用户1.8亿是否学生小孩强/弱学科小孩学习能力彩票股票基金保险借贷品类品牌价格奢侈品偏好否P2P车品牌车型购车意向否购车偏好偏好分类是否付费偏好风格自然属性子女教育金融购物汽车游戏其他智慧教育智慧政府智慧公安计算广告智慧医疗智慧交通……相关标签信息支撑服务到各个行业应用之中第七页，共61页。讯飞已有的大数据实践工作计算广告智慧教育智慧城市智慧交通科大讯飞大数据已经成功应用于多个行业和领域第八页，共61页。计算广告+大数据通过用户全渠道ID打通，整合多来源数据，采用数据分析、模型预测等技术实现多层次的用户画像标签，让广告更加精准的定向目标用户广告行为人口属性原始输入搜索行为事实有房人群有车人群高奢人群人口属性点击的广告类型应用行为GEO移动设备数据第三方业务数据…使用了哪些APP玩了什么游戏搜索过的购物词…人群属性商业兴趣消费能力品牌偏好当下需求潜在需求…模型预测业务类商务人群…结构化、统计建模机器学习建模业务定制规则采用“大数据+大规模计算能力+精准预测模型+高效算法+在线训练”等核心技术，科学预测点击率从而合理出价，最终达到广告投放的综合收益最大化精细、精准的人群标签智能的竞价模型第九页，共61页。大数据助力广告业务提升游戏用户定投，转换率提升50%0.5%%1.26%152%京东广告对接，点击率提升152%平均计算广告的点击率提升20%0.5%%0.6%20%0.6%%0.9%50%第十页，共61页。智慧城市+大数据进一步增强政府的数据利用能力，带动数据开放与共享，实现基于政务大数据的社管、征信和服务体系建设，提升政府在智慧城市、社会治理和民生服务领域的应用水平。政府公开数据A自带数据B模型构建和数据分析可视化及危险评估数据采集以城市管理为契机，建设政府数据共享体系，通过多源数据分析提升城市治理水平。促进政府各部门向社会开放共享数据资源，丰富面向公众的信用信息服务。充分整合政府积累的公共信用数据，提高金融征信模型评价水平。第十一页，共61页。自动监控：对特定重点区域进行自动监控，例如市政府、主要商区、景点等，一旦人群密度达到预设的警戒线，或者明显超出历史峰值，系统自动以语音、电话、短信等方式告警案例：重点区域自动监控第十二页，共61页。智慧教育+大数据辅助校级分析与建设校长主管部门学生家长跨区域的多维度等值评价高利害考试的组卷与质量分析学科与学生素质的关联分析辅助战略规划与决策辅助教学质量改进学业监督与人生规划提升个性化学习效率学科发展均衡度分析教师评价与教学改进学情分析及趋势预测学情智能诊断基于知识图谱的个性化辅导选科规划和报考决策教师通过对教育大数据（考试、作业、课堂教学等数据）的分析挖掘，实现教学规律建模及趋势预测，为教育相关的管理决策和参与执行提供智能的、个性化的解决方案。第十三页，共61页。案例：大数据助力学生成绩提升14合肥一中个性化学习显著提升成绩合肥一中参与实验的两个班级（18班、22班）相比其他平行的对比班级成绩有明显提升，数学成绩排名由中等水平升至第一、第二第14名第12名第1名第2名第十四页，共61页。人工智能+大数据的组合拳智能医疗智能助理智能课堂智慧城市智慧学习智能汽车第十五页，共61页。运营商大数据商业模式科大讯飞有数据、有能力、有平台、有客户、有意愿和运营商开展大数据合作第十六页，共61页。汇报提纲1讯飞大数据能力简介2大数据+金融征信3大数据+精准营销4大数据+智慧交通5大数据+商业智能第十七页，共61页。运营商数据在金融征信中的重要作用覆盖广三大运营商总用户12.77亿，普及率93%央行征信系统收录8.7亿自然人真实性2015年三部委要求全部手机实名制登记持续性手机用户不会轻易更换号码运营商数据保存周期长、时间可回溯消费能力手机话费、套餐开支与用户消费能力呈正相关社交关系手机联系人和线下社交圈的高度重合性翼支付（天翼征信）积极申请个人征信牌照中国移动与招商银行筹备成立征信合资公司中国联通与招商银行成立“招联消费金融公司”央行征信系统收集信息包括通讯缴费记录第十八页，共61页。案例：芜湖信用示范城市建设2015年8月，国家发改委和中国人民银行联合发文，将杭州、沈阳、青岛、南京、无锡、宿迁、温州、义乌、合肥、芜湖、成都等11个城市列入首批全国创建社会信用体系建设示范城市，进行为期2年的社会信用体系建设。第十九页，共61页。讯飞承建芜湖“一网三库一平台”企业征信库个人征信库更多应用社会组织征信库互联网政务网社会征信管理平台社会征信网服务查询三库：基于自然人、企业及社会组织的信用专题库一平台：在政务外网内实现信用数据整合、加工，通过信用模型建立信用主体的信用档案，并提供标准的对外信用服务接口一网：主要是开通信用主体的信用信息互联网查询服务，以及异议和投诉申请处理第二十页，共61页。芜湖个人信用评估体系第二十一页，共61页。业务(一)：反欺诈系统业务目标进行用户信息验真，甄别有欺诈倾向申请人，降低不良率应用场景向金融机构、支付机构提供欺诈预防服务，应用于支付商户所有者接入审核申请客户姓名身份证号手机号家庭住址单位地址…输入反欺诈系统真实性查验黑/灰名单信息网络行为挖掘手机号、姓名匹配运营商数据讯飞数据身份证号、住址、姓名匹配入网时长（社管云）公检法黑名单、日常民生逾期缴费手机逾期缴费、网络逾期还款（社管云）医保社保数据（语音云）上网行为习惯上网习惯、通话联系人与时长、短信内容姓名真实身份匹配手机号码单位地址固定收入医保社保学历状况房产车辆银行卡号联系人员重疾倾向活动区域逾期情况消费兴趣其他信息关联规则挖掘专家知识规则一/支持度/置信度规则二/支持度/置信度规则三/支持度/置信度规则四/支持度/置信度规则N/支持度/置信度输出应用申请通过/拒绝第二十二页，共61页。业务(二)：征信平台业务目标在授信前进行信用评定，在授信后进行逾期风险评估，进行预警应用场景用户话费透支额度厘定、讯飞信用芜湖项目征信建设、向第三方提供用户逾期风险预警服务待评估用户身份属性信贷历史行为偏好履约能力社交联系黑/灰名单年龄性别学历婚姻单位户籍收入住房企业主健康邮箱运营商数据讯飞数据信用卡还款记录笔均额度逾期还款社保低保在线支付电商购物甜橙理财商旅短信APP使用习惯语音文本支付还款民生逾期交通违章通话联系人短信联系人通讯录社交网络语音联系人手机欠费移动黑名单公检法黑名单加权信用评分花费透支额度厘定政府公共事业授信授信前：征信平台第二十三页，共61页。业务(三)：风控平台业务目标在授信前进行信用评定，在授信后进行逾期风险评估，进行预警应用场景用户话费透支额度厘定、讯飞信用芜湖项目征信建设、向第三方提供用户逾期风险预警服务被检测用户输入数据运营商维度讯飞维度入网后付费支付还款手机使用地手机联系人在线消费理财产品购买APP使用手机类型浏览器类型微博内容语音内容……机器学习模型决策树逻辑回归朴素贝叶斯支持向量机集成算法强化学习违约/不违约人群逾期/不逾期人群标记数据输出结果逾期概率高风险用户标识评估坏账率授信后：风控平台第二十四页，共61页。汇报提纲1讯飞大数据能力简介2大数据+金融征信3大数据+精准营销4大数据+智慧交通5大数据+商业智能第二十五页，共61页。运营商大数据与精准营销运营商大数据可以提供全量用户的通信行为、移动互联网行为和地理位置限于分析能力和隐私政策，运营商大数据的价值挖掘有待探索结合运营商数据、社交数据，金融数据建设自有DMP，实现金融产品新客精准营销结合移动自有运营商大数据，实现咪咕自有广告精准投放业务多维度人群分析筛选目标用户目标用户量化分析精准定向投放第二十六页，共61页。拟可开展精准营销业务概览个性化推荐平台建设运营商大数据&讯飞大数据融合平台业务精准全面的DMP数据业务讯飞个性化推荐平台建设经验讯飞个性化推荐业务运营经验数据及技术支撑讯飞全面的大数据挖掘建模技术移动DMP建设讯飞自有DMP优化套餐推荐移动设备推荐增值业务推荐因地因人实时营销特色营销业务LBS地理位置定向，实时带来目标人群第二十七页，共61页。业务（一）：全方位“描述”用户的DMP28全方位“刻画”用户的大数据宝藏讯飞toC大数据讯飞toB大数据讯飞教育大数据移动用户社交大数据移动用户上网轨迹大数据移动用户位置大数据移动大数据拥有更精准更全面的用户人口属性标签基于移动社交大数据进行相似人群拓展，可使得人群定向覆盖更广泛基于移动时序位置大数据，使得用户位置相关标签分析更到位讯飞拥有独特的用户教育相关标签大数据讯飞全面的toC和toB大数据可勾勒出用户多方面的商业兴趣标签（汽车、购物、旅游等）第二十八页，共61页。业务（二）：个性化推荐平台用户行为数据商品内容数据效果反馈数据用户行为分析文本挖掘&商品分析用户属性库（DMP）商品知识库核心推荐算法业务规则排序推荐控制和补足应用场景推荐渠道推荐交互和反馈优化数据层算法层应用层推荐时机推荐内容用户标签数据讯飞酷音铃声：推荐场景覆盖首页、单曲、来电等多个交互场景，业务开通量提升300%第二十九页，共61页。实时查询用户多维度标签业务（三）：因地因人实时营销30采用LBS地理位置定向锁定移动用户，并基于用户的商业兴趣标签，能夠实时带来周边目标人潮!设定商圈位置和覆盖半径基于基站定位数据，锁定覆盖范围内的终端用户DMP筛选目标广告人群定位与基站请求数据，从而让LBS位置定向实时投放成为特色实时带来周边目标人群，让受众更精准、牵引更高效终端广告定向投放第三十页，共61页。汇报提纲1讯飞大数据能力简介2大数据+金融征信3大数据+精准营销4大数据+智慧交通5大数据+商业智能第三十一页，共61页。智能交通+大数据基于运营商基站信令数据、移动设备GPS定位数据等，实现覆盖全面、划分精细、数据实时的城市密集人群监控和热点区域发现。综合运用交通大数据，分析拥堵规律，发现堵点时空位置，合理引导车流，实现快速及时疏解。进一步整合交通领域之外的移动运营、社交网络等多源异构数据，弥补数据缺失，减少数据误差，提供全面综合的数据视角，提升城市交通管控、交通服务和交通规划水平。第三十二页，共61页。案例：芜湖智慧城市项目基于手机用户信令数据，结合城市基础数据，助力芜湖交通、旅游和公共安全管理服务水平提升。出行轨迹统计分析关键路段车速预测工作居住地潮汐流动规律区域职住比分析实时预测拥堵发生路段景区人流量分析景区游客来源分析预测景区客流高峰发生分析景区发展水平景区宣传策略优化城市人群密度变化重点区域人群密度指导城建、交通规划商圈、路段人群疏导实时预警人群异常聚集第三十三页，共61页。网格人群流动分析网格人群流入、流出通过全市各网格区域之间人群分布流动与轨迹，分析各主要区域的人群在不同时段的来源和去向，以及其中的流动规律和特点，可为道路、公交规划与优化提供决策支持第三十四页，共61页。职住分析：早高峰人流轨迹通过对比周末与平时在早高峰时段（8:00-9:00）的区域间人流量降幅，降幅最大的是湾里—>龙山，其次是大砻坊—>滨江，可知湾里和大砻坊区域为居住属性为主，在工作日早晚高峰时需要更充足的公交运力。通过全市各网格区域的职住特点分析，可为城市管理、交通规划与优化提供决策支持第三十五页，共61页。在晚高峰时段（17:00-18:00），周末比工作日区域人流量降幅最为显著的是龙山—>湾里，因此龙山职住比高，该区域工作属性为主，工作日需重点加强交通运力。职住分析：晚高峰人流轨迹通过全市各网格区域的职住特点分析，可为城市管理、交通规划与优化提供决策支持第三十六页，共61页。海量历史交通数据实时上报位置数据实时路况每天200万条移动轨迹每5分钟更新全市数据实时流式计算平台100GB/小时计算能力实时交通路况目前：覆盖市区50个主要路段或路口监控点近期：覆盖全市高速、国道、市内各主干道中期：实现全市7*24小时全路段监控、预警提供覆盖全市各主要路段的实时交通路况，并通过易户网/城市令对外发布，提升交通信息服务水平，并有利于提高易户网的用户活跃度第三十七页，共61页。早高峰拥堵路段道路名称当前车速（Km/h）畅通车速（Km/h)拥堵指数北京中路与中山北路22301.35赤铸山中路与中江大道35431.24九华中路与赭山西路23281.21弋江北路与赤铸山中路35421.21长江中路与赭山西路24271.11道路名称当前车速（Km/h）畅通车速（Km/h)拥堵指数中江大道与北京中路35441.26长江北路与天门山路27331.23九华中路和赭山西路23281.21银湖南路与中山北路31351.15长江中路与赭山西路24271.11工作日周末公众出行时，可通过城市令等APP了解主要道路路况，避开拥堵，减少在途时间，缓解高峰期出行压力。第三十八页，共61页。道路名称当前车速（Km/h）畅通车速（Km/h)拥堵指数长江中路与赭山西路2026.681.33中山北路与长江中路2533.181.33九江北路与神山路3038.571.29赤铸山中路中江大道3743.361.17九江中路与赭山西路2427.841.16道路名称当前车速（Km/h）畅通车速（Km/h)拥堵指数赤铸山中路与中江大道2343.361.89仁和路与中江大道3440.561.19银湖南路与中山北路3235.641.11中江大道与北京中路4144.121.08鸠江北路与神山路3638.571.07晚高峰拥堵路段公众出行时，可通过城市令等APP了解主要道路路况，避开拥堵，减少在途时间，缓解高峰期出行压力。工作日周末第三十九页，共61页。重点路段路况分析初六17:30开始，长江大桥行驶车速下降，持续至22点，高峰时比平时车速下降20Km/h芜湖新闻网报道，长江大桥在初六迎来返程高峰，行驶速度受到严重影响，与长江大桥路况分析结果吻合第四十页，共61页。重点路段路况分析工作日、周末、节日（元旦）道路整体通行速度波动较大工作日早高峰主要集中7:30-9:00，晚高峰主要集在17:00-18:00周末早高峰主要集中在9:00-9:30，从13:00开始，各时段通行车速存在较大波动元旦早高峰主要集中在10:00-10:30，从18:00开始，通行车速有较大提升通过对重点路段的路况监控与分析，发现交通运行规律，提供交通路况预测，为交通管理、规划与优化提供决策支持第四十一页，共61页。重点路段路况分析工作日、周末、节日（元旦）道路整体通行速度相近。工作日早高峰主要集中10:30-11:00,和11:30-12:00两个时段，晚高峰主要集在17:30-19:00周末早高峰主要集中在8:00-8:30,和9:30-10:00两个时段，晚高峰集中在22:30-23:00。元旦早高峰主要集中在7:00-7:30，晚高峰主要集中在22:30-23:00，车速不足25km/h通过对重点路段的路况监控与分析，发现交通运行规律，提供交通路况预测，为交通管理、规划与优化提供决策支持第四十二页，共61页。重点路段路况分析工作日整体通行速度比较稳定，晚高峰16:30-17:30存在陡降周末整体通行速度较高，晚高峰18:00-18:30速度下降明显元旦整体速度较工作日和周末低，13:00-14:30和22:30-23:00时段通行速度较低通过对重点路段的路况监控与分析，发现交通运行规律，提供交通路况预测，为交通管理、规划与优化提供决策支持第四十三页，共61页。17:1017:5018:30图例：九华中路-赭山西路路口，历史统计最拥堵时刻17:50，堵点汇集方向：周边2公里范围，无明显方向，堵点主要发散方向：银湖北路由南向北重点拥堵路段分析通过对重点拥堵路段的路况监控，发现拥堵的来源和去向，分析拥堵成因，提供拥堵预测，为交通管理、规划与优化提供决策支持第四十四页，共61页。汇报提纲1讯飞大数据能力简介2大数据+金融征信3大数据+精准营销4大数据+智慧交通5大数据+商业智能第四十五页，共61页。汇报提纲1讯飞大数据能力简介2大数据+金融征信3大数据+精准营销4大数据+智慧交通5大数据+商业智能第四十六页，共61页。需求普遍存在但只有极少数企业有能力构建基于大数据的商业智能应用企业迫切需要统一大数据与商业智能平台资料分析机器学习统计学专业知识工程开发存储挖掘数据采集一体化平台可视化需要统计学、资料分析、机器学习、工程开发等方面的专业知识需要贯穿数据采集，存储，挖掘，可视化等全流程的系统因此企业挖掘数据金矿，需要强力工具第四十七页，共61页。易用用户不需要开发，通过鼠标拖拽连接组件，数据处理组件，标准化算法组件、可视化组件，设置参数，即可完成开发，甚至不用写一行代码全面具备算法与模型库，涵盖统计、挖掘、特征工程、深度学习、大规模机器学习、文本，图像，语音等领域的数据技术高效支撑海量数据的处理，以及更优的性能企业大数据与商业智能平台的核心要求第四十八页，共61页。一站式大数据与商业智能解决方案简化大数据分析的过程，让人人都能够快速从数据获得决策智慧。简洁的数据集成、数据清洗、数据预处理便可实现数据分析、数据挖掘、数据可视化、数据报告等的工具。集成性的平台，能够将您所有的数据,加载到Hadoop,Spark平台，并能够可视化您的数据，挖掘您的数据的高效平台第四十九页，共61页。企业级大数据平台特色特点竞争性比较特点非结构化数据处理基于业界领先的智能语音技术、语义理解技术，非结构化数据处理能力突出能够处理语音（例如呼叫中心通话录音）、文本（网站、微信等电子渠道用户交互内容）等典型非结构数据，挖掘其中丰富信息价值丰富的数据连接支持数据类型更多，数据源更丰富支持传感器数据连接，支持政府开放数据连接，支持互联网开放数据连接，支持文本、视频、语音数据连接高效的数据存储同时支持实时数据，大数据存储，OLAP查询业界流行开源方案的增强版，线性扩展全面的数据挖掘基于大数据拖拽式的数据挖掘与人工智能开发平台内置业界最全面、最丰富的数据挖掘算法与模型，灵活的数据可视化可视化能力突出国内最丰富的数据可视化呈现与交互，随心所欲呈现数据价值第五十页，共61页。海量非结构化数据的挖掘分析基于语音和语义技术，可自动将企业呼叫中心海量通话和各种用户单据内容结构化，打上各类标签，挖掘分析有价值信息，为服务与营销等提供数据与决策支持。海量非结构化语音或文本数据挖掘分析为服务与营销提供信息与决策支撑服务质量用户评价营销机会通话热点竞争情报反馈建议语音转写文本挖掘语义解析自动聚类建立索引第五十一页，共61页。系统无缝支持主流ETL工具，并能实现ETL统一调度、ETL调度监控Informatica工作流Kettle工作流统一数据访问支持RDBMS、OLTP、OLAP、ERP、CRM、大型机、云和各种非结构化数据高速数据导入和提取可以在源系统与目标系统之间或直接在Hadoop及数据仓库中，访问、加载、复制、转换和提取大数据无限可扩展性IT部门可以处理从TB（千吉字节）到PB（兆吉字节）任何范围的所有数据类型优化性能实现最低成本Hadoop上的提取、转换和加载(ETL)基于Hadoop的一系列预置转换功能，包括数据类型转换和字符串操作、高性能缓冲查找、连接器、排序器、路由器和聚合统一数据访问与高效数据处理第五十二页，共61页。丰富建模方法特点可拖拽式建模适应非数据分析人员使用简便的操作较低的实施和使用成本可扩展性强自定义模型，扩充组件主流数据对象的支持传统的关系型数据(mysql、Oracle等)列式数据库(Hbase等)非结构化数据(Hdfs、文件系统)大数据（Hbase、Hive等）R语言、其他算法模型等i-THINK数据挖掘产品颠覆了传统数据挖掘内存运算可视化数据挖掘全面的数据挖掘与建模分析方法第五十三页，共61页。仪表盘决策分析管理驾驶舱KPI绩效信息图地图分析多达102种数据展现形式示例示例示例示例示例示例丰富的大数据可视化展现形式第五十四页，共61页。即席查询自定义查询条件、无需写SQL语句，适合业务人员操作过滤设置、大数据量查询样式设置、可视化展现，无需MDX语法交互式统计分析允许用户任意选择指标、维度和过滤条件等，快速生成查询结果、统计图形等。

可方便进行猜想式、求证式分析，极大提升报表分析的交互能力能满足突发数据分析的需求。内置同比、环比、TOPN/TOP%分析、80/20分析以及常用的标准差离散度等数理统计分析指标灵活的交互式自助分析功能第五十五页，共61页。成本实施周期功能性能易用行业一体化平台，采购成本更低。采用内存计算技术，硬件采购成本更低。产品容易使用，比国内外产品实施节约50%快速实施，将BI实施周期由月提升到周业界唯一全栈大数据分析产品，覆盖数据挖掘、商业智能、报表等应用产品已经在多个行业获得使用，针对数据挖掘、数据分析有方法论与业务分析模型的支撑数据从GB到PB级别，速度从秒到毫秒最终用户能够在一天之内做到产品的灵活使用合作伙伴的使用和开发