大数据和商业决策

大数据与商业决策PALANTIR的故事硅谷情报分析公司估值200亿美元中情局风投部起家传言协助击毙本拉登Palantir情报分析师培训期一年问题与挑战安然公司破产，指控其CEO（DavidDelaney）与Mariner公司发生内幕交易，缺乏证据数据安然内部30万封邮件被公开，当时最大规模的公开司法数据模型自然语义分析：实体抽取，文本分类，事件抽取。信息：近千条提及Mariner公司的邮件中，David发出的3封邮件对其公允价值进行计算认知关联挖掘：情报：1）David对Mariner公司的公允价值计算虚假高估2）邮件发出的时间vs.David出售Mariner公司股票时间同轴匹配3）全部邮件中的人名抽取，关联分析David关联人员理解1）David发出虚估Mariner公司公允价值的邮件时间节点与其出售该公司股票的时间吻合2）David邮件关联人员中，有多人在Mariner公司重要部门担任要职安然内部交易案－邮件分析2001年11月2日，安然公司宣告破产，这起美国历史上最大的倒闭事件震惊全球。同时，安然留下的百万封电子邮件，成为了当时最大规模的公开司法信息数据库。Palantir通过整合结构化数据（财务交易记录、公司内部图表等）和非结构化数据（邮件、文档等），并加以分析处理，最终挖掘出支持指控安然前CEO

Daviddelainey进行内幕交易的重要证据。视频地址：/2012/07/palantir-legal-intelligence-analyzing-the-enron-emails/搜索事件美国证监局对Daviddelainey控诉书中，提及其可能与Mariner公司存在关联，需判断是否存在内幕交易行为。Mariner公司结构化处理－>跨数据分析研究－>挖掘关键结点邮件库中提及Mariner公司的事件有近万条；通过观察Mariner公司的事件时间轴与“DavidDelainey出售股票”事件的重合点，定位可疑时间段，缩小范围；该时间段内David共发出3封邮件，其中一封提及对Mariner的公允价值的计算存在虚假高估的情况。10,0003Mariner公司+DavidDelainey出售股票挖掘多维关联此外，对全部邮件事件进行关联挖掘，发现Daivd的关联人员中，多人在Mariner公司重要部门担任要职。发现其中隐藏的规律与关联整合不同来源的海量数据Palantir做了什么？商业情报分析流程–大数据时代的认知获取数据分析数据信息认知理解解读决策制定对决策的影响机器的参与？✓✓？？？？？应用：Imagesearch✓应用：Autotag✘图像识别✓获取数据分析数据信息认知理解解读决策制定对决策的影响机器的参与？✓✓？？？？？✓AlphaGO规则简单计算量大GO16万对局棋谱几千万自我对局学习问题规则？学习数据？信任？！✘✓应用：游戏应用：商业商业情报分析流程–大数据时代的认知海量公开信息：G8《开放数据宪章》2013年6月，8国集团首脑签署了《开放数据宪章》，主要包括14类数据：数据类别数据举例企业类企业/公司注册信息司法类犯罪统计、安全地球观测类气象/天气、农业、林业、渔业、畜牧业教育类学校列表、学校绩效、学校数字化能力能源环境类污染水平、能源消费金融和合约合约预算、承包合约、招标信息、未来的招投标、地方预算、国家预算（计划和开支）地理空间地形、邮政编码、国家地图、地方地图全球发展援助、食品安全、土地政府责任和民主政府合约、选举结果、立法和法令、工资（支付比例）、招待/礼品医疗卫生处方数据、绩效数据科研基因组数据、研究和教育活动、实验结果统计全国性统计数据、人口普查数据、基础设施、资源、技能社会流动性和福利住房、医疗保险及失业救济金交通和基础设施公共交通时间表、宽带接入点海量公开信息：中外部分国家数据公开对比公开数据项目中国美国英国新加坡企业公开信息（非上市）工商、专利等数据已公开，行政许可、处罚类数据有待完善。各州提供企业注册信息基本注册信息.uk/仅对新加坡公民和有效签证持有者提供注册.sg/政府各部门公开数据（农业，交通，经济等）以量化数据为主link以量化数据为主link以量化数据为主link以量化数据为主Link司法数据中国裁判文书网联邦法院、州法院各自公开三大司法