大数据的多粒度智能认知分析与决策——王国胤

大数据的多大数据的多粒度粒度智能智能认知认知分析与决策分析与决策 Multi-Granularity Intelligent Cognitive Analysis and Decision Making Based on Big Data 王国胤王国胤 重庆邮电大学大数据研究院重庆邮电大学大数据研究院 计算智能重庆市重点实验室计算智能重庆市重点实验室 大数据智能计算国际科技合作基地大数据智能计算国际科技合作基地 wanggywanggy 2 人工智能的诞生与发展人工智能的诞生与发展 1956年夏季，以约翰 麦卡锡、马 文 明斯基、内森 罗切斯特和克劳 德 艾尔伍德 香农等为首的一批年轻 科学家在一起在达特莫斯大学召开了在达特莫斯大学召开了 两个月的学术两个月的学术研讨会研讨会，研究和探讨用 机器模拟智能的问题，首次提出了 “人工智能”这一术语，标志着“人 工智能”这门新兴学科的正式诞生。 AI三大学派 符号主义学派 连接主义学派 行为主义学派 内森 罗切斯特克劳德 艾尔伍德 香农 1919-2001 1916-2001 约翰 麦卡锡马文 明斯基 1927-2011 1927-2016 3 人工智能人工智能(AI)60(AI)60年一瞥年一瞥 图灵测试图灵测试, 1950 质疑：质疑：通过图灵测试，就意味着具有了人类智能吗通过图灵测试，就意味着具有了人类智能吗？ 艾伦艾伦 麦席森麦席森 图灵，图灵，1912-1954 4 人工智能人工智能(AI)60(AI)60年一瞥年一瞥 沃森在美国“危险边缘”节 目击败人类选手, 2011 李世石1：AlphaGo4 美交管局认定谷歌自动驾驶 系统为“驾驶员”, 2016 马云刷脸支付, 2015 讯飞听见字音同步直播, 2015 深蓝战胜国际象棋大师 KASPAROV, 1997 新版的阿法狗Master横扫横扫人类一流棋手 5 古力、柯杰、聂卫平、井山裕太、朴廷桓、 6 机器智能会否机器智能会否超越超越人类？人类？ 机器人也许不再冷冰冰机器人也许不再冷冰冰 2015年年6月月18日日，马云、孙正义，马云、孙正义、 郭台铭与郭台铭与Pepper挥手挥手对话对话 可佳云交互可佳云交互机器人机器人 7 阿兰会变得阿兰会变得更漂亮吗？更漂亮吗？ 8 机器人？机器人？机器实现人的部分能力机器实现人的部分能力 替代替代机器人机器人 我既是系统我既是系统 服务的服务的享受享受 者，者，也是系也是系 统服务的提统服务的提 供者供者 中国象棋机器系统中国象棋机器系统 我是系统服我是系统服 务的提供者务的提供者 人机器？人机器？人实现机器系统的部分能力人实现机器系统的部分能力 人机器人机器 人机混合智能系统：人机混合智能系统：机器人机器人VSVS人机器人机器 人机融合的混成智能系统人机融合的混成智能系统 9 “阿发狗阿发狗”实际上是一个人机融合的混成智能系统实际上是一个人机融合的混成智能系统 “人肉臂人肉臂”：棋手黄士杰仅是代替：棋手黄士杰仅是代替AlphaGo落子的工具；落子的工具； “高高参参”：AlphaGo是棋手黄士杰的高参是棋手黄士杰的高参。 “打狗还得看主人”“打狗还得看主人” “阿发狗”的胜利“阿发狗”的胜利= AlphaGo团队的胜利团队的胜利 10 机器智能会否机器智能会否超越超越人类？人类？ 第一种第一种观点：观点：超越超越派派 机器智能机器智能最终将超越人类。最终将超越人类。 第二种第二种观点：无限趋观点：无限趋近近派派 机器智能机器智能会永远接近人类智能，但不会超会永远接近人类智能，但不会超 越。越。 第三种第三种观点：观点：中立和已经发生中立和已经发生派派 机器智能机器智能与人类智能充分融合与人类智能充分融合。 机器智能已经超越人类？机器智能已经超越人类？ 最终会否超越人类？最终会否超越人类？ 11 机器智能会否机器智能会否超越超越人类？人类？ 个人管见个人管见 机器智能是人类智能的机器智能是人类智能的高级技术工具之一高级技术工具之一。 科学技术的进步发展科学技术的进步发展，意味着人类的工具手段进步意味着人类的工具手段进步，机器战胜人机器战胜人， 实质上是实质上是人战胜人人战胜人，是是利用利用先进先进科技科技工具的工具的一个人一个人或者一群或者一群人人，战战 胜胜了了另外一个或者另外一个或者一群一群没有这些科技工具的没有这些科技工具的人人。阿发狗挑战李世石阿发狗挑战李世石， 其实是阿发狗的主人挑战其实是阿发狗的主人挑战“没养狗没养狗”的李世石的李世石。 不不必杞人忧天必杞人忧天，担心有担心有那么那么一天一天，人工智能会战胜人类智能人工智能会战胜人类智能，甚至甚至 机器会消灭人类机器会消灭人类。 避免避免将人工智能技术和智能机器将人工智能技术和智能机器，应用于应用于危害人类危害人类，需要需要引起社会引起社会 各界关注的各界关注的。就像人类需要和平利用核能技术就像人类需要和平利用核能技术，但同时又要限制核但同时又要限制核 武器一样武器一样。 如果某一天如果某一天，核武毁灭人类核武毁灭人类，是人类消灭自己是人类消灭自己，人工智能亦如此人工智能亦如此。 发展人工智能不可怕发展人工智能不可怕，而且还亟需大力发展而且还亟需大力发展，拥抱智能科技的进步拥抱智能科技的进步！ 12 科技用于民生：科技用于民生：造福人类造福人类 科技用于战争：科技用于战争：毁灭人类毁灭人类 AI不例外，可以下不例外，可以下围棋围棋，也可以建“，也可以建“天网部队天网部队”。”。 13 咱们会面临失业吗？咱们会面临失业吗？ 教授会失业吗？教授会失业吗？ 企业家会失业吗？企业家会失业吗？ 不掌握不掌握先进先进智能技术的教授、企业家难免被淘汰智能技术的教授、企业家难免被淘汰 14 智能智能技术的发展技术的发展倒逼倒逼社会管理的前行社会管理的前行 什么是什么是考试作弊考试作弊行为？行为？ 15 国务院关于促进云计算创新发展国务院关于促进云计算创新发展 培育信息产业新业态的意见培育信息产业新业态的意见 国国发发20155号号 国家战略方向国家战略方向 ，着力突破着力突破云计算平台大规模资源管理与调度云计算平台大规模资源管理与调度、运行监运行监 控与安全保障控与安全保障、艾字节级数据存储与处理艾字节级数据存储与处理、大数据挖掘分析大数据挖掘分析 等关键技术等关键技术，提高相关软硬件产品研发及产业化水平提高相关软硬件产品研发及产业化水平。 16 国务院关于积极推进“互联网国务院关于积极推进“互联网+”行动的指导意见行动的指导意见 国国发发201540号号 国家战略方向国家战略方向 重点行动重点行动 （一）“互联网一）“互联网+”创业创业创新创新 （二）“互联网（二）“互联网+”协同协同制造制造 （三）“互联网（三）“互联网+”现代现代农业农业 （四）“互联网（四）“互联网+”智慧智慧能源能源 （五）“互联网（五）“互联网+”普惠普惠金融金融 （六）“互联网（六）“互联网+”益民益民服务服务 （七）“互联网（七）“互联网+”高效高效物流物流 （八）“互联网（八）“互联网+”电子商务电子商务 （九）“互联网（九）“互联网+”便捷便捷交通交通 （十）“互联网（十）“互联网+”绿色绿色生态生态 （十一）“互联网（十一）“互联网+”人工智能人工智能 云计算云计算(15次次) 大数据大数据(23次次) 互联网互联网+ (61次次) 智智能能(71次次) 智智慧慧(6次次) 数据挖掘数据挖掘是是发现发现大数据价值的大数据价值的关键关键 人工智能是人工智能是实现实现大数据价值的关键大数据价值的关键 高频词：高频词： “互联网+”创业创新 建立智慧小企业创业基地 发展新型研发组织模式 发展众包、云设计等 “互联网+”协同制造 提升制造业智能化水平 推进智能制造、大力发展智能制造 以智能工厂为发展方向，开展智能 制造试点示范 加快推动智能工业机器人 推进生产装备智能化升级 在智能感知元器件等核心环节取得 突破 支撑制造业智能化转型 构建智能制造产业生态 为开展个性化定制提供决策支撑 开展故障预警、远程维护、质量诊 断、远程过程优化等在线增值服务 “互联网+” 现代农业 实现智能化的现代“种养加”生态农业 新模式 实施智能节水灌溉 推动智能设备的应用普及和互联互 通 灾害预警、耕地质量监测、重大动 植物疫情防控、市场波动预测、经营 科学决策等提供服务 “互联网+” 智慧能源 加快电网智能化改造 推进能源生产智能化 加强生产消费智能化 突破智能微网等关键技术，构建智 能化电力运行监测、管理技术平台 使电力设备和用电终端基于互联网 进行智能调控 推进以智能电网为配送平台 融合储能设施、物联网、智能用电 设施，发展用户端智能化用能 依托智能电网发展家庭能效管理等 新型业务 “互联网+”普惠金融 提供多样化、个性化、精准化的金 融产品 利用云计算、移动互联网、大数据 等技术手段，加快金融产品和服务创 新 提高金融服务安全性，有效防范互 联网金融风险及其外溢效应 “互联网+” 益民服务 促进智慧健康养老产业发展 发展智能试衣等新技术 支持智能健康产品创新和应用 利用大数据分析手段，提升各级 政府的社会治理能力 提高重大疾病和突发公共卫生事 件防控能力 “互联网+”高效物流 建设智能仓储体系 提升物流仓储智能化水平 建设深度感知智能仓储系统 鼓励应用智能化物流装备 完善智能物流配送调配体系 “互联网+”电子商务 加强互联网食品药品市场监测监 管体系建设 鼓励企业利用移动社交、新媒体 等新渠道，发展社交电商、“粉丝” 经济等网络营销新模式 “互联网+”便捷交通 提供智能停车等服务 推动车联网等智能化技术应用 支撑故障预警、运行维护以及调 度智能化 加强对交通运输智能化监管 “互联网+”绿色生态 利用智慧地图等技术，加强资源 环境动态监测 大力发展智慧环保 利用智能监测设备，完善智能多 源感知体系等的建设 开展信息采集、数据分析、流向 监测，优化逆向物流网点布局 “互联网+”人工智能 依托互联网平台提供人工智能公共创新服务，加快人工智能核心技术 突破，促进人工智能在智能家居、智能终端、智能汽车、机器人等领域的 推广应用，培育若干引领全球人工智能发展的骨干企业和创新团队，形成 创新活跃、开放合作、协同发展的产业生态。 1. 培育发展人工 智能新兴产业 加强人工智能基础资源等创新平台建设 推进智能语音处理、智能决策控制的研发和产业化 推动人工智能在智能产品的规模商用，为产业智能化升级夯 实基础 2. 推进重点领域 智能产品创新 提升家居产品的智能化水平 加快智能辅助驾驶、车载智能设备等技术产品的研发与应用 提升安防产品的智能化服务水平 3. 提升终端产品 智能化水平 做大高端移动智能终端产品的市场规模 提高移动智能终端核心技术研发 推动智能感知、模式识别、智能分析、智能控制等智能技术 在机器人领域的深入应用，提升机器人产品智能化水平 国务院关于积极推进“互联网国务院关于积极推进“互联网+”行动的指导行动的指导意见意见 19 促进大数据发展行动纲要促进大数据发展行动纲要 国国发发201550号号 国家战略方向国家战略方向 建立建立“用数据说话用数据说话、用用数据决策数据决策、用数据管理用数据管理、用数据创新用数据创新”的管理机的管理机 制制，实现实现基于数据的科学决策基于数据的科学决策，。 围绕围绕数据科学数据科学理论体系理论体系、大数据计算系统与分析大数据计算系统与分析理论理论、大数据驱动的颠大数据驱动的颠 覆性应用模型覆性应用模型探索等重大基础研究进行前瞻布局探索等重大基础研究进行前瞻布局，开展数据科学研究开展数据科学研究， 引导和鼓励在大数据理论引导和鼓励在大数据理论、方法及关键应用技术等方面展开探索方法及关键应用技术等方面展开探索。采取采取 政产学研用相结合的协同创新模式和基于开源社区的开放创新模式政产学研用相结合的协同创新模式和基于开源社区的开放创新模式，加加 强海量强海量数据存储数据存储、数据清洗数据清洗、数据分析发掘数据分析发掘、数据可视化数据可视化、信息安全与信息安全与 隐私保护等领域关键技术攻关隐私保护等领域关键技术攻关，形成安全可靠的大数据技术体系形成安全可靠的大数据技术体系。支持支持 自然语言理解自然语言理解、机器学习机器学习、深度学习深度学习等人工智能技术创新等人工智能技术创新，提升提升数据分数据分 析析处理能力处理能力、知识发现知识发现能力和能力和辅助决策辅助决策能力能力。 20 “十三五十三五”国家战略性新兴产业发展国家战略性新兴产业发展规划规划 国发国发201667号号 国家战略方向国家战略方向 发展发展人工智能人工智能。培育人工智能产业生态培育人工智能产业生态，促进人工智能在经济社会重点领域促进人工智能在经济社会重点领域 推广应用推广应用，打造国际领先的技术体系打造国际领先的技术体系。 加快人工智能支撑体系建设加快人工智能支撑体系建设。推动类脑研究等基础理论和技术研究，加快基于人工智能的计算机视 听觉、生物特征识别、新型人机交互、智能决策控制等应用技术研发和产业化，支持人工智能领域的基础 软硬件开发。加快视频、地图及行业应用数据等人工智能海量训练资源库和基础资源服务公共平台建设， 建设支撑大规模深度学习的新型计算集群。鼓励领先企业或机构提供人工智能研发工具以及检验评测、创 业咨询、人才培养等创业创新服务。 推动人工智能技术在各领域应用推动人工智能技术在各领域应用。在制造、教育、环境保护、交通、商业、健康医疗、网络安全、 社会治理等重要领域开展试点示范，推动人工智能规模化应用。发展多元化、个性化、定制化智能硬件和 智能化系统，重点推进智能家居、智能汽车、智慧农业、智能安防、智慧健康、智能机器人、智能可穿戴 设备等研发和产业化发展。鼓励各行业加强与人工智能融合，逐步实现智能化升级。利用人工智能创新城 市管理，建设新型智慧城市。推动专业服务机器人和家用服务机器人应用，培育新型高端服务产业。 专栏专栏 5： 人工智能创新工程人工智能创新工程 推动基础理论研究和核心技术开发推动基础理论研究和核心技术开发，实现类人神经计算芯片、智能机器人和智能应用系统的产业化， 将人工智能新技术嵌入各领域。构建人工智能公共服务平台和向社会开放的骨干企业研发服构建人工智能公共服务平台和向社会开放的骨干企业研发服 务平台务平台。建立健全人工智能建立健全人工智能“双创双创”支撑服务体系支撑服务体系。 21 “十三五十三五”国家战略性新兴产业发展国家战略性新兴产业发展规划规划 国发国发201667号号 国家战略方向国家战略方向 高频词高频词 8 15 26 37 3940 50 65 92 117 0 20 40 60 80 100 120 140 22 生活在今天的你，看到了明天吗？生活在今天的你，看到了明天吗？ 生活在互联网时代的你，看到了什么？生活在互联网时代的你，看到了什么？ 数据与信息？信息爆炸？数据与信息？信息爆炸？ 知识与智能？知识与智能？ 23 从数据到决策从数据到决策 数据数据(感知感知)信息信息知识知识(认知、智能、智慧认知、智能、智慧)决策决策(行动行动) 大数据时代的智能认知分析与决策大数据时代的智能认知分析与决策 一、数据时代的变革：从小数据分析到大数据分析一、数据时代的变革：从小数据分析到大数据分析 二、大二、大数据催生数据催生三元空间三元空间世界世界 三、多粒度智能认知分析与决策三、多粒度智能认知分析与决策 大数据的多粒度智能认知分析与大数据的多粒度智能认知分析与决策决策 一、一、数据时代的变革数据时代的变革： 从小从小数据分析到大数据分析数据分析到大数据分析 大数据的多粒度智能认知分析与决策大数据的多粒度智能认知分析与决策 数据挖掘分析研究的数据挖掘分析研究的兴起兴起 1763 年年，Thomas Bayes的论文在他去世后发表的论文在他去世后发表，他提出他提出 的的 Bayes 理论理论将当前概率与先验概率联系起来将当前概率与先验概率联系起来，帮助理帮助理 解基于概率估计的复杂现况解基于概率估计的复杂现况，成为了数据挖掘和概率论成为了数据挖掘和概率论 的基础的基础。 1805 年年，Adrien-Marie Legendre和高斯和高斯Carl Friedrich Gauss使用回归使用回归(最小二乘法最小二乘法)确定了天体确定了天体(彗星和行星彗星和行星)绕绕 行太阳的轨道行太阳的轨道。回归分析回归分析的目标是估计变量之间的关系的目标是估计变量之间的关系 ，成为了数据挖掘的重要工具之一成为了数据挖掘的重要工具之一。 1936年年，Alan Turing发表发表论文论文”On computable numbers on computable numbers, with an application to the etscheidungs problem”，提出了通用机提出了通用机，计算机时代计算机时代即将即将 到来到来，它让海量数据的收集和处理成为可能它让海量数据的收集和处理成为可能。 数据挖掘分析研究的兴起数据挖掘分析研究的兴起 1943年年, Warren McCullon 和和 Walter Pitts 发表发表论文论文”A logical calculus of the ideas immanent in nervous activity”， 提出提出神经网络神经网络的概念模型的概念模型，阐述了网络中神经元的概念阐述了网络中神经元的概念，每每 一个神经元做三件事：接受输入一个神经元做三件事：接受输入，处理输入和生成处理输入和生成输出输出。 1965年年, Lawrence J. Fogel 成立了成立了Decision Science Inc，这是这是 第一家专门将第一家专门将进化计算进化计算应用于解决现实世界问题的应用于解决现实世界问题的公司公司。 1975年年, John Henry Holland出版出版 Adaptation in Natural andArtificial Systems,成为成为遗传遗传算法算法的开创的开创性性著作著作。 1992年年, Berhard E. Boser, Isabelle M. Guyon和和Vladimir N. Vapnik提出提出改进改进支持支持向量机向量机，充分考虑到非线性分类充分考虑到非线性分类问题问题。 2006年年,Geoffrey E. Hinton等等人提出人提出深度学习深度学习的的概念概念。 数据挖掘分析研究的兴起数据挖掘分析研究的兴起 1970年代年代, 数据库管理系统趋于成熟数据库管理系统趋于成熟，存储和查询巨量数据存储和查询巨量数据(高达千万高达千万 亿字节亿字节)成为可能成为可能。数据仓库数据仓库的出现的出现，促使用户的思维方式从促使用户的思维方式从面向事面向事 务处理务处理转变到转变到注重数据分析注重数据分析。不过不过，从这些多维模型的数据仓库中从这些多维模型的数据仓库中 提取复杂深度信息的能力有限提取复杂深度信息的能力有限。 1989年年, Gregory Piatetsky-Shapiro 在在IJCAI 1989提出术语提出术语“数据库数据库 中的知识发现中的知识发现”(KnowledgeDiscovery in Database, KDD) KDD workshops:1989,1991,1993,1994,KDD conferences:1995- ACM SIGKDD: 1998年成立年成立 PAKDD, IEEE ICDM, ECML PKDD, CCDM, 2015年年, DJ Patil成为白宫第一位成为白宫第一位首席数据首席数据科学家科学家和和 制定制定数据策略的副首席技术官数据策略的副首席技术官。 数据分析数据分析数据挖掘数据挖掘海量数据挖掘海量数据挖掘大数据大数据挖掘挖掘 小数据小数据大大数据数据 数据挖掘分析研究的兴起数据挖掘分析研究的兴起 二二、大数据催生三元空间世界、大数据催生三元空间世界 云计算环境中的大数据挖掘与智能处理云计算环境中的大数据挖掘与智能处理 数量（数量（VolumeVolume） 种类（种类（VarietyVariety） 速度（速度（VelocityVelocity） 价值（价值（ValueValue） 真实性真实性（VeracityVeracity） 大数据大数据：指指无法无法在可承受的时间范围内用在可承受的时间范围内用常规常规软件工具进行捕捉、管软件工具进行捕捉、管 理和处理的数据集合，是需要理和处理的数据集合，是需要新处理模式新处理模式才能具有更强的决策力、洞才能具有更强的决策力、洞 察发现力和流程优化能力的海量、高增长率和多样化的察发现力和流程优化能力的海量、高增长率和多样化的信息资产信息资产。 -百度百科百度百科 大大数据数据：是以容量大、类型多、存取速度快、应用价值高为主要特征：是以容量大、类型多、存取速度快、应用价值高为主要特征 的的数据集合数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据，正快速发展为对数量巨大、来源分散、格式多样的数据 进行进行采集、存储和关联分析采集、存储和关联分析，从中，从中发现新知识、创造新价值、提升新发现新知识、创造新价值、提升新 能力的新一代信息技术和服务业态能力的新一代信息技术和服务业态。 -促进大数据发展行动纲要促进大数据发展行动纲要(国国发发201550号号) 大数据定义大数据定义 大数据何在？大数据何在？ 互联网、云计算的发展催生大数据的出现互联网、云计算的发展催生大数据的出现 事实上，大数据已出现千万年事实上，大数据已出现千万年 高精度智能视听觉传感器高精度智能视听觉传感器早已诞生早已诞生：眼睛、耳朵：眼睛、耳朵 遗憾的是遗憾的是：没有数据化、互联没有数据化、互联 互联网大数据互联网大数据 行业大数据：金融、医疗、保险、交通、气象、制造行业大数据：金融、医疗、保险、交通、气象、制造 、 物理物理- -数据数据- -社会空间社会空间世界世界 自然科学社会科学数据数据/计算科学计算科学? 物理空间物理空间社会空间社会空间数据空间数据空间 网民网民人人 三元空间世界三元空间世界 世界的世界的“一元空间一元空间”“二元空间二元空间”“三元空间三元空间”演化过程演化过程 人类社会诞生之前人类社会诞生之前，世上仅有世上仅有物理空间物理空间(一元一元)； 人类社会形成和发展人类社会形成和发展，产生了产生了社会空间社会空间(二元二元)； 人类社会进入信息社会人类社会进入信息社会，形成形成数据数据空间空间(三元三元)：数据成为数据成为物质物质、能源能源 之外的新型资源之外的新型资源。 人类对传统二元空间的认识人类对传统二元空间的认识，形成了自然科学形成了自然科学、社会科学社会科学，对对 三元空间三元空间的认识将逐渐形成的认识将逐渐形成“数据科学数据科学/计算计算科学科学”。 在数据空间演化成熟在数据空间演化成熟，并被人类深入认识之前并被人类深入认识之前，实践和技术的发展实践和技术的发展 正在正在倒逼倒逼科学的发展科学的发展，正如现代科学技术正如现代科学技术的诞生与形成过程的诞生与形成过程。 数据数据/计算科学计算科学，未来也将未来也将反过来反过来指导指导社会实践和技术的进步社会实践和技术的进步，正如正如 现代航空航天现代航空航天、核能技术核能技术、电子技术等诸多现代科技对社会发展的电子技术等诸多现代科技对社会发展的 推动推动。 数据信息，人类并没有充分利用数据信息，人类并没有充分利用 卫星遥感图像卫星遥感图像，目前，目前用得上的不到用得上的不到5%， 剩下的剩下的95%都被浪费了。都被浪费了。 虽然虽然人类基因组测序人类基因组测序已完成，但其中，已完成，但其中， 现在能现在能读懂的还不到读懂的还不到10%，大部分仍是，大部分仍是 “天书”。全世界的生命科学界都把基“天书”。全世界的生命科学界都把基 因测序搬到中国。原因很简单因测序搬到中国。原因很简单中国中国 有足够大的样本。然而，在中国做完测有足够大的样本。然而，在中国做完测 序，数据却被对方拿走、分析。序，数据却被对方拿走、分析。 -2013年上海工博会“院士圆桌会议” 物质、能量、环境资源物质、能量、环境资源不能浪费不能浪费， 数据数据资源资源同样也不能浪费！同样也不能浪费！ 褚君浩褚君浩院士院士 中科院上海技术物理研究所中科院上海技术物理研究所 赵国屏赵国屏院士院士 中科院中科院上海生命科学研究院上海生命科学研究院 36 促进大数据发展重大促进大数据发展重大工程工程 发改办高技发改办高技201642号号 国家战略方向国家战略方向 重点支持重点支持大数据示范应用大数据示范应用 开展开展社会治理社会治理大大数据应用数据应用 开展开展公共服务公共服务大数据应用大数据应用 开展开展产业发展产业发展大数据应用大数据应用 开展开展创业创新创业创新大数据应用大数据应用 重点支持重点支持大大数据共享开放数据共享开放 建立建立完善公共数据共享完善公共数据共享开放制度开放制度 建立统一的公共数据共享开放平台体系建立统一的公共数据共享开放平台体系 重点支持重点支持基础设施统筹发展基础设施统筹发展 整合分散整合分散的政务信息中心的政务信息中心 探索构建国家数据中心体系探索构建国家数据中心体系 开展绿色数据中心试点开展绿色数据中心试点 重点支持重点支持数据要素流通数据要素流通 建立完善国家大数据标准体系建立完善国家大数据标准体系 探索建立大数据交易平台和制度探索建立大数据交易平台和制度 三三、多粒度智能、多粒度智能认知分析与决策认知分析与决策 粒计算思维粒计算思维 多粒度多粒度计算模型方法计算模型方法 多多粒度认知粒度认知 多粒度多粒度聚类聚类 多多粒度联合问题求解粒度联合问题求解 大数据的多粒度智能认知分析与大数据的多粒度智能认知分析与决策决策 粒计算思维粒计算思维 Granular Computing Granular computing can be conceived as a framework of theories, methodologies, techniques, and tools that make use of information granules in the process of problem solving. It is used as an umbrella term to cover topics that have been studied in various fields in isolation. Granular computing can describe a way of thinking that relies on the human ability to perceive the real world under various levels of granularity (i.e., abstraction) in order to abstract and consider only those things that serve a specific interest and to switch among different granularities. By focusing on different levels of granularity, one can obtain different levels of knowledge, as well as a greater understanding of the inherent knowledge structure. Granular human thinking Human problem solving is based on levels of granularityand can switch between granularities. Granular computing extracts the common elements from human problem solving. It would lead to more effective information processing systems. 粒计算思维粒计算思维 Framework of Multi-granularity computing in Big Data processing Deep Learning as Multi- Granular Computing Big Data Requirement Oriented Granulation: Conquering big volume On line/Incremental Learning: Guaranteeing timeliness Granule-based Data Integration: Reducing variety and uncertainty Volume Velocity Variety Large-scale normalized data Small-scale information granules Specific Models Base from GrC Methodology Color, Shape, Size is not; Color, Shape, Size are not. Question : with 9 decisions, what is the reduct? 多粒度计算模型方法多粒度计算模型方法 Quotient Space Solve problems hierarchically Network Routing Problem WAN MAN LAN a problem(or problem space) is described by a triplet (X, f, T) X : domain f : attributes T : structure. R is an equivalence relation on X X:quotient set under Rnew problem : (X,f,T). 多粒度计算模型方法多粒度计算模型方法 Fuzzy quotient space quotient space model extended to the fuzzy granular world via fuzzy equivalence relation. Fuzzy equivalence relation Hierarchical quotient space structure Cut Set Normalized isosceles distance function B. Zhang, L. Zhang The Theory and Applications of Problem Solving, Tsinghua University Press, 1990 G.Y. Wang, Q.H. Zhang, Uncertainty of rough sets in different knowledge granularities, Chinese Journal of Computers, 2008,31(9):15881598 G.Y. Wang, Q.H. Zhang, etc., Granular Computing Models for Knowledge Uncertainty, Journal of Software,2011,22(4):676694 多粒度计算模型方法多粒度计算模型方法 Examples of fuzzy quotient space X=apple, pear, Kiwifruit 1234 0.3,0.4,0.8,1.0 1234 ( ) ( ),(),(),() X RXXXX X(1) X(2) X(3) X(4) coarse 多多粒度认知粒度认知计算计算 Multi-Granularity Cognition: Cloud Model 多多粒度认知粒度认知计算计算 Data mining (which is the analysis step of Knowledge Discovery in Databases) focuses on the discovery of (previously) unknown properties from data. Unidirectional Computational Cognition from Finer Granularity Levels to Coarser Levels Machine Learning Machine learning is a scientific discipline concerned with the design and development of algorithms that allow computers to evolve behaviors based on empirical data, such as from sensor data or databases. Data Mining DataKnowledge Common characteristic Unidirectional transformation Knowledge discovery is the creation of knowledge from structured (relational databases, XML) and unstructured (text, documents, images) sources. Knowledge Discovery Finer Coarser n layers of NN Convolutional layer Max-pooling layer Fully connected layer 多多粒度认知粒度认知计算计算 Bidirectional Cognition Model ? Intension of concept Extension of concept IDNameBirth date. Forward Cloud transformation(FCT) Backward Cloud Transformation(BCT) C(25, 3, 0.3) Young people Cognitive Transformation 10152025303540 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Cloud drops x Certainty degree Human brain Computer Cloud Model 多多粒度认知粒度认知计算计算 Three numerical characters of cloud represent a concept as a whole. Numerical Characters of Cloud Model 10152025303540 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 x Ex=25, En=3, He=0.3 (x) He Ex 3En Expected value Ex the expectation of cloud drops in the universe. Entropy En describes the uncertainty measurement of the qualitative concept. Hyper entropy He the uncertainty measurement of En, and measure whether the concept can be formed. 多多粒度认知粒度认知计算计算 Cloud Transformation Forward Cloud Transformation (FCT) Forward cloud transformation is a mapping from quality (intension) to quantity (extension). It generates cloud drops according to (Ex, En, He). C (Ex, En, He) yi=RN(En, He)Ex xi=RN(Ex, yi) x1, x2, , xn The process of 2nd-order forward cloud transformation (2nd FCT） Concept Cloud Drops (i=1, 2, , n) 多多粒度认知粒度认知计算计算 C(25, 3, 0.3) Young people 2ndorder FCT n=1000 10152025303540 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Cloud drops x (age of young people) Certainty degree Let (Ex, En, He)=(25, 3.0, 0.3), the shape of the normal cloud is as follows 多多粒度认知粒度认知计算计算 Backward Cloud Transformation (BCT) Backward cloud transformation is the model for transforming from the quantitative values (extension) to a qualitative concept (intension). It maps a quantity of precise data to a qualitative concept expressed by (Ex, En, He). There are five kinds of backward cloud algorithm as follows: SBCT-1stM-(C.Y. Liu, D.Y. Li) SBCT-4thM-(L.X. Wang) MBCT-SD-(G.Y. Wang, C.L. Xu) MBCT-SR-(G.Y. Wang, C.L. Xu) pth-BCT(p2)-(G.Y. Wang, C.L. Xu) 2nd order (Ex, En, He) High order One-step Multi-steps (Ex, En1,Enp-1, He) 多多粒度认知粒度认知计算计算 Generic Normal Cloud Transformation 2nd-order Generic Forward Cloud Transformation (2nd order G-FCT) 2nd-order Generic Backward Cloud Transformation (2nd order G-BCT) pth-order Generic Forward and Backward Cloud Transformation (pth order G-FCT, pth order G-BCT) 多多粒度认知粒度认知计算计算 2nd order FCT 2nd order G-FCT C (Ex, En, He) yi=RN(En, He) Ex xi=RN(Ex, yi) x1, x2, , xn The process of 2nd order FCT Concept Cloud Drops (i=1, 2, , n) The process of 2nd order G-FCT 2nd order G-FCT C (Ex, En, He) yi=RN(En, He) Ex xij=RN(Ex, yi) x11,x12, , x1r1; Concept (j=1, 2, , ri) (i=1, 2, , m) Cloud Drops x21,x22, , x2r2; ; xm1,xm2, xmrm; 多多粒度认知粒度认知计算计算 60 Let (Ex, En, He)=(25, 3.0, 0.55), r1=r2= = rm=r, n=5000. When m, r take different values respectively (m*r=n), the shapes of the 2nd order G-FCT are as follows 10203040 0 0.2 0.4 0.6 0.8 1 x 10203040 0 0.2 0.4 0.6 0.8 1 x 10203040 0 0.2 0.4 0.6 0.8 1 x 10203040 0 0.2 0.4 0.6 0.8 1 x 10203040 0 0.2 0.4 0.