大数据和商业决策

1、大数据大数据与商业决策与商业决策PALANTIR的故事的故事 硅谷情报分析公司硅谷情报分析公司 估值估值200亿美元亿美元 中情局风投部起家中情局风投部起家 传言协助击毙本拉登传言协助击毙本拉登 Palantir情报分析师培训期一年情报分析师培训期一年问题与挑问题与挑战战安然公司破产，指控其安然公司破产，指控其CEO（David Delaney）与）与Mariner公司发生内幕交易公司发生内幕交易，缺乏证据缺乏证据数据数据安然内部安然内部30万封邮件被公开，当时最大规模的公开司法数据万封邮件被公开，当时最大规模的公开司法数据模型模型自然语义分析：实体抽取，文本分类，事件抽取。自然语义分析：实体

2、抽取，文本分类，事件抽取。信息：近千条提及信息：近千条提及Mariner公司的邮件中，公司的邮件中，David发出的发出的3封邮件对其公允价值进行计算封邮件对其公允价值进行计算认知认知关联挖掘：关联挖掘：情报：情报：1）David对对Mariner公司的公允价值计算虚假高估公司的公允价值计算虚假高估2）邮件发出的时间）邮件发出的时间 vs. David出售出售Mariner公司股票时间同轴匹配公司股票时间同轴匹配3）全部邮件中的人名抽取，关联分析）全部邮件中的人名抽取，关联分析David关联人员关联人员理解理解1）David 发出虚估发出虚估Mariner公司公允价值的邮件时间节点与其出售该公

3、司股票的时间吻公司公允价值的邮件时间节点与其出售该公司股票的时间吻合合2）David邮件关联人员中，有多人在邮件关联人员中，有多人在Mariner公司重要部门担任要职公司重要部门担任要职安然内部交易案邮件分析2001年11月2日，安然公司宣告破产，这起美国历史上最大的倒闭事件震惊全球。同时，安然留下的百万封电子邮件，成为了当时最大规模的公开司法信息数据库。Palantir 通过整合结构化数据（财务交易记录、公司内部图表等）和非结构化数据（邮件、文档等），并加以分析处理，最终挖掘出支持指控安然前CEO David delainey进行内幕交易的重要证据。视频地址：https:/ delainey

4、控诉书中，提及其可能与Mariner公司存在关联，需判断是否存在内幕交易行为。Mariner公司公司结构化处理 跨数据分析研究 挖掘关键结点邮件库中提及Mariner公司的事件有近万条；通过观察Mariner公司的事件时间轴与“David Delainey出售股票”事件的重合点，定位可疑时间段，缩小范围；该时间段内David 共发出3封邮件，其中一封提及对Mariner的公允价值的计算存在虚假高估的情况。10,0003Mariner公司公司 +David Delainey 出售股票出售股票挖掘多维关联挖掘多维关联此外，对全部邮件事件进行关联挖掘，发现Daivd的关联人员中，多人在Mariner

5、公司重要部门担任要职。发现其中隐藏的发现其中隐藏的规律与关联规律与关联整合不同来源的海量数据整合不同来源的海量数据Palantir 做了什么做了什么？商业情报分析流程商业情报分析流程 大数据时代的认知大数据时代的认知获取数据获取数据分析数据分析数据信息认知信息认知理解解读理解解读决策制定决策制定对决策的影响对决策的影响机器的参与机器的参与？应用：应用：IMAGE SEARCH应用：应用：AUTO TAG图图像像识识别别获取数据获取数据分析数据分析数据信息认知信息认知理解解读理解解读决策制定决策制定对决策的影响对决策的影响机器的参与机器的参与？AlphaGO规则简单规则简单计算量大计算量大GO1

6、6万对局棋谱万对局棋谱几千万自我对局学习几千万自我对局学习问题规则？问题规则？学习数据？学习数据？信任？！信任？！应用：游戏应用：游戏应用：商业应用：商业商业情报分析流程商业情报分析流程 大数据时代的认知大数据时代的认知海量公开信息：G8开放数据宪章2013年6月，8国集团首脑签署了开放数据宪章，主要包括14类数据：数据类别数据举例企业类企业/公司注册信息司法类犯罪统计、安全地球观测类气象/天气、农业、林业、渔业、畜牧业教育类学校列表、学校绩效、学校数字化能力能源环境类污染水平、能源消费金融和合约合约预算、承包合约、招标信息、未来的招投标、地方预算、国家预算（计划和开支）地理空间地形、邮政编码

7、、国家地图、地方地图全球发展援助、食品安全、土地政府责任和民主政府合约、选举结果、立法和法令、工资（支付比例）、招待/礼品医疗卫生处方数据、绩效数据科研基因组数据、研究和教育活动、实验结果统计全国性统计数据、人口普查数据、基础设施、资源、技能社会流动性和福利住房、医疗保险及失业救济金交通和基础设施公共交通时间表、宽带接入点海量公开信息：中外部分国家数据公开对比公开数据项目中国美国英国新加坡企业公开信息（非上市）工商、专利等数据已公开，行政许可、处罚类数据有待完善。各州提供企业注册信息基本注册信息.uk/仅对新加坡公民和有效签证持有者提供注册.sg/政府各部门公开数据（农业，交通，经济等）以量化数据为主link以量化数据为主link以量化数据为主link以量化数据为主Link司法数据中国裁判文书网联邦法院、州法院各自公开三大司法系统：英格兰和威尔士法院，苏格兰法院，北爱尔兰法院Link免费公开最近3个月的审判Link什么是什么是“非结构化数据非结构化数据”非结构化数据非结构化数据结构化数据结构化数据视频视频文本文本图片图片语音语音带来的机