大数据时代信息化发展趋势修改

“大数据时代”信息化发展趋势

杨学山

二o一三年五月十日2023/1/13主要内容

大数据的由来和发展

信息技术为大数据开辟了前进道路

大数据是走向信息时代的奠基石

大数据发展的关键环节电子政务发展中的大数据一、大数据的由来和发展大数据是一个自然形成的发展中、阶段性概念

本报告所称大数据是指具有数量巨大、多类型、不同结构化程度、不均衡价值密度、不一致动态特征、不同应用处理特征等特点信息集合。

本报告所称大数据系统是指一个围绕特定目的而形成的数据及其处理系统。并不是每一个大数据系统的信息集合都具有上述全部特征，一种或两种类型，数量巨大，也是大数据。在计算机处理能力不断发展、信息系统处理的信息日益增长，特别是互联网（包括移动互联网）的发展、传感技术的广泛应用，大数据概念应运而生在这里，大数据和信息、信息资源是同义词为什么叫大数据：一是数量大YB:2的80次方，ZB的1000倍ZB:2的70次方，EB的1000倍EB:2的60次方，PB的1000倍PB:2的50次方，TB的1000倍TB:2的40次方，GB的1000倍GB:2的30次方，MB的1000倍绝大部分应用在这两个数量级我们每个人都在制造和使用信息每秒发出290万条短信每天Twitter上发布5000万条微博每天Google处理的数据24PB2012年11月11日第一秒，用户向阿里网购提出1千万请求全球新增网页571个过去3年数据量比以往数万年还多2020年数据产出量将比2009年的44倍还多2006年全球生成、复制的数字化信息量大约16.1万PB，当年的信息产生量约是历史上图书信息总量的3000倍二是类型多结构特征：结构化、半结构化、非结构化拥有特征：私有、共有、公开形态特征：语音、文本、数值、图像、视频为什么叫大数据：二是类型多三是更接近把握信息资源的本质大数据真正开始把信息变成资源有的文章将大数据看作石油，大数据研究与自然资源利用发现、开采、提炼存在一定的相似之处研究大数据，首先要研究各种有用的信息在何处，就是找矿其次是把满足特定需求的信息收集过来，就是开矿第三是把收集的信息按应用需求进行结构化处理，就是提炼，如同石油必须经过炼化才能变成消费用的汽油、柴油或作为原料用的聚乙烯、聚丙烯第四是将这样的信息与具体的应用结合，使之发挥作用，这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。大数据是一个阶段性的概念大数据是信息和信息资源开发利用这个稳定概念在今天这个特定时期的代表名词。关于大数据所有作用和意义的期待，都包含在1970年哈佛大学关于资源三角形的论述中。这个论述简而言之就是材料、能源、信息是推动社会发展的三种基本资源。美国人相信它40多年了，并为之持续不断地做了大量的工作，也是美国在IT领域，包括信息资源领域，一家独大的一个原因。材料信息能源管理二、、信息息技技术术为为大大数数据据开开辟辟了了前前进进道道路路信息息技技术术进进展展是是大大数数据据产产生生和和发发展展的的主主要要动动力力传感感技术术：：大大数数据据的的主主要要来来源源存储储技术术：：不不仅仅数数据据量量大大，，而而且且要要有有信信息息存存储储模模式式传输输技术术：：不不仅仅提提供供传传输输能能力力，，还还是是数数据据的的创创造造者者处理理技术术：不不仅仅是处处理理能能力力，，更更是是处处理理方方法法（（结结构构化化语语义义处处理理））12信息息技技术术继继续续快快速速发发展展，，技技术术体系系更更趋趋完完善善1、处处理理、、传传输输、、存存储储技技术术延延续续高高速速发发展展2、感感知知、、显显示示、、获获取取技技术术驶驶入入快快车车道道3、内内容容处处理理、、智智能能系系统统技技术术不不断断成成熟熟4、技技术术体体系系不不断断完完善善传输输技技术术：：走走向向宽宽带带泛泛在在普普及及2022/12/31传输输人与与人人物与与人人物与与物物人与与物物走向向G级从个个位位数数到到T级P级甚至至更更高高超高高速速泛在在新的的体体系系架架构构更加加深深入入的的融融合合：：三三网网、、固固移移，，工工作作网网、、物物联联网网、、互互联联网网当前前的的关关键键技技术术：：端端到到端端G级、、下下一一代代互互联联网网、、新新技技术术条条件件下下的的城城域域网网和和骨骨干干网网体体系系架架构构，，………端到到端端数数百百兆兆到到吉吉比比特特，，4个以以上上数数量量级级的的汇汇接接带带宽宽，，3D及虚虚拟拟现现实实等等传传输输要要求求，，许许多多场场景景下下并并发发数数量量急急剧剧增增加加处理理存存储储技技术术：：20年内内提提升升3个数数量量级级2022/12/31处理理/存储储集成成度度，，从从当当前前的的32/28nm，快快步步前前进进到到14/16nm及以以下下低功功耗耗、、嵌嵌入入式式、、可可靠靠性性、、小小型型、、可可移移动动高性能，，超级计计算机、、汇聚计计算资源源能力高性能，，一些重重要的应应用，需需要继续续沿摩尔尔定律提提升3个以上数数量级处理能力力的集成成，更加加复杂的的存储与与处理系系统更加复杂杂和智能能化的应应用，需需要寻找找新的技技术感知获取取技术：：一组需求求驱动快快速发展展的技术术2022/12/31感知/获取RFID生物/光磁转换换声音/文字转换换遥感技术类型型声纳热、压、、声构成成、损伤伤、关系系空间、地地球、生生物、生生命、社社会等全全方位、、细粒度度的感知知各类感知知远、细细、清的的要求机器阅读读及其他他语义信信息的获获取感知什么么显示反应应技术：：走向智智能2022/12/31显示/反应生物/光磁转换换声音/文字转换换表情语言3D及多维控制技术术机器人文字与感知、、网络能能力并行行的反应应、行动动能力，，在不同同空间范范围信息息系统的的物理行行为无需需人来执执行虚拟现实实虚实结结合的现现实三维空间间精确行行为清晰色彩轻便节能适应可靠打印机、、复印机机、传真真机、扫扫描仪软件和系系统集成成：承载载信息社社会运行行控制2022/12/31软件和系系统集成成建模技术术、软件件工程技技术、自自动编程程技术、、验证技技术设备和技技术的多多样复杂杂、非结结构化事事务和信信息的处处理、2的50-100次方级大大数据的的组织与与利用、、跨领域域且物理理世界相相对松散散的事务务处理、、设备（（系统））控制与与事务处处理的融融合，复复杂系统统、不同同类型对对象的建建模重用、测测试、可可靠性、、安全性性、生产产率、适适应新模模式使设备和和系统变变成可靠靠的工作作系统Saas及新的业业态，构构建智能能的系统统应对设备备和系统统复杂化化和多样样化的进进程信息内容容的技术术：走向向智能的的核心2022/12/31信息组织织、管理理和利用用文字声音音的转化化、声音音处理、、图像处处理机器翻译译为代表表的自然然语言处处理应对数量量变化，，2的50-100次方应对应用用需求的的变化应对音视视频信息息类型的的变化概念体系系为基础础、不同同粒度、、不同场场景的大规模信信息组织织、管理理和利用用信息技术术体系架架构不断断完善，，信息、、能源、、材料技技术融合合，以智智能技术术为标志志的新一一代生产产力体体系逐渐渐成形2022/12/31感知/获取处理/存储显示/反应传输输软件和和系统统集成成信息组组织、、管理理与利利用大数据据技术术，从内容容角度度要重视视三个个方面面的来来源一是关于于数据据管理理和处处理研研究，，包括括物理理和语语义两两个领领域数数据管管理。。数据据结构构、算算法和和数据据库相相关领领域取取得的的进展展最为为突出出，如如文件件系统统、数数据库库、数数据仓仓库、、元数数据、、数据据模型型、内内存处处理、、云存存储的的研究究。应应当看看到近近十年年来，，关于于多维维数据据结构构和算算法、、机器器视觉觉和摄摄录象象研究究和技技术，，对于于大数数据研研究具具有极极其重重要的的参考考意义义。二是关于于数据据利用用及适适应应应用需需求的的研究究，包包括用用户视视图、、联机机数据据分析析、数数据挖挖掘、、检索索等。大数据据技术术，内容角角度要重视视三个个方面面的来来源三是关于于语义义上理理解信信息的的研究究，几几乎可可以将将人工工智能能研究究的全全部成成果作作为大大数据据研究究的基基础，，因为为从语语义角角度理理解信信息是是人工工智能能的基基础。。从图图灵测测试到到专家家系统统，从从五代代机到到cyc，从模模式识识别到到神经经网络络，从从自然然语言言识别别和理理解到到机器器人，，都是是从不不同角角度研研究理理解信信息的的技术术、方方法理理论。IBM的DeepQA，通过过针对对广泛泛收集集特定定应用用领域域的信信息和和知识识，在在适度度结构构化、、一系系列规规则和和算法法的基基础上上，具具备这这一领领域人人的智智能。。其代代表作作“沃沃森””，已已经击击败了了美国国电视视台““危险险”这这个具具有之之力竞竞赛性性质的的娱乐乐节目目的冠冠军，，今天天，又又落户户纽约约州的的伦斯斯勒里里工学学院，，与学学生一一起学学习，，英语语和数数学。。Google的“谷谷歌大大脑””将1.6万个处理器器构成当前前世界上最最大的人工工脑，模拟拟人类脑神神经系统，，通过算法法从互联网网中提取信信息识别猫猫。三、大数据是走向信息息时代的奠奠基石35亿年前开始始生命形成生生物进化千万年猴子到人的的进化约300万年人的进进化约8000年文字形成约2000年纸和印刷术术的发明形形成最近几十年年计算机、信信息网络、、传感和记记录等技术术的发明35亿年生命史史，展示了了信息是智能能进化的主主要因素感知、传递递、反应意识、思维维、概念（更高层次次的抽象））模仿（抽象象）、记忆忆、判断、、反应感知、传递递、反应模仿（抽象象）、记忆忆、判断、、反应意识、思维维、概念（（更高层次次的抽象）文字、记录录感知、记录录、传输、、存储、处处理数亿年动物的进化化语言、概念念体系语言、概念体系系文字、记录录感知、记录录、传输、、存储、处处理形成了当今今世界的智智能体系和和水平2022/12/31有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数设一个具有有若干个紧紧密联系群群体且有一一定相互关关联地域，，其信息与与社会发展展关系函数数为f(d)：令f(d)={∑Y+∑Z+∑S+∑T}xƿ其中Y=有效信息总总量Z=知识总量和和质量S=使用者总量量和质量T=同一交流平平台参与人人数Ƿ=发展环境系系数实际上，YZST是非独立的的，最关键键的因子是是T2022/12/31有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数以T主线，我们们可以初步步推论信息息交流平台台和参与人人数与社会会发展的关关系有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数1--10百--千万--十万十万--百万千万--亿-几十亿原始社会农业社会工业社会信息社会这是发展速速度的示意意图，不是是规模原始家族经过约300万年：语语言记忆思维概概念等能力力的形成约8000年文字形成约2000年纸和印刷术术的发明形形成最近几十年年计算机、信信息网络、、传感和记记录等技术术的发明示意图时间间尺度不成成比例信息能力不不仅是生命命、智能进进化的基础础，也与产产业发展正正相关2022/12/31对历史纵切切面的分析析有两点主主要结论历史发展进进入一个新新的转型期期：从工业业社会走向向信息社会会，在这个历史发发展转型期期，中国存在在超越的可可能这个可能在于13亿人的素质质：知识、、聪明、勤勤奋，我们们会有5亿以上的人人口进入经经济社会发发展的综合合平台上，，形成强大大的发展动动力，远远远超过其他他强国中国的IT梦与中国梦重重合的历史史必然2022/12/31信息战：显显示了将所所有战争要要素集中在在一个信息息平台上的的力量从人工细化化分工到自自动化生产产线2022/12/31从大规模生产产到个性化生生产主要的变化也也是信息感知知、传输、处处理、利用的的能力增加灵活供应链建模与仿真智能工厂分销配送用户应对消费者需需求及供应商商变化的IT供应链连接产品开发发与设计，再再到制造的工工艺工厂工人用知知识为基础的的技术，优化化生产、降低低成本简化产品移动动的工厂与配配送中心的实实时信息流用户定制产品品，产品使用用全过程跟踪踪以及产品回回收和再制造造全球先进制造造业发展新趋趋势先进制造企业业概念信息资源成为为现代化发展展的基础资源源在这样的企业业中，起引领领作用的是什什么？四、大数据发展的的关键环节：收集、组织、、管理、利用用认识、技术、、法律、制度度、标准主体、商业模模式或运行机机制信息的结构化化大数据管理系系统（一）收集、组织、管理理、利用找矿开矿炼矿用矿找矿：发现需需要的信息资资源定义需要的信信息资源确定的信息资资源在哪里是否已经以信息形形式存在是否需要采集集开矿：收集和和获取用何种方法收收集、获取要用什么样的的方式采集已有的怎么获取：购买、交换、、再收集没有的怎么采集：委托、技术方方案、自采提炼：变成适适用信息相对于信息，提炼的本质质是按应用需求进行行结构化处理按需求语义和物理的的机构化语义相对于应应用的目的物理相当于处理、、存储、传输输的速度和成成本利用：与具体体应用的结合合将结构化的信息与具体的应用结合，使之发发挥作用这就是基于大数数据的应用系系统，或称之之为围绕应用用的大数据管管理系统，如如同汽油通过过加油站加到到消费者的汽汽车内，石化化原料变成衣衣服、设备或或其部件。企业信息示意意人员信息：业务流信息1：客户信息资金信息：注册信息供应链信息：法人、管理层层、职工，薪薪资、岗位、、业绩……供应链信息：零部件件、原材料、、能源、供应应商……物流信息：研发设计、生生产、库存、、管理、决策策、销售、服服务、统计、、年报……业务流信息2：业务流信息n：承运者、工具具、地点、计计划……注册资本、应应收、应付、、营收、成本本、库存、固固定资产、投投资、利息……机构客户：名称、法人人代表、货品品名称、供货货时间、联系系方式、信誉誉等级……个人客户：姓名、货品品、时间、地地点、联系方方式注销信息记录文本信息状态信息音视频场景因果信息客户信息客户信息财富信息：与应用，如质质量管理的要要求一致吗？？还要做什么？？个人信息示意意奖惩信息：工作信息1：财富信息：健康信息：出生信息学习信息1：奖励事项、惩惩处事项、违违法记录、失失信记录学习信息2：单位、岗位、、职务、职称称、起止时间间、工资……工作信息2：工作信息n：学校、专业、、科目、成绩绩、入学毕业业时间、活动动……病历、基本健健康信息存款、证卷、、保险、其他他投资、不同同产……死亡信息学习信息n：生活信息：关系信息：家人、亲戚、、朋友、同事事、学术、网网友……吃、睡、行、、休闲，类型型、品种、特特点……记录文本信息息状态信息音视频场景因果信息息与应用，如质质量管理的要要求一致吗？？还要做什么？？质量信息示意意材料1信息：材料、部件检测信息息：生产工艺销售环节信息：产品质量信息息部件1信息：材料生产、运运输、保管信信息，略部件2信息：生产过程信息息……产品检测信息息：部件生产、运运输、保管信信息，略运输、保管、、销售、服务务见下图部件n信息：执行标准、检检测方法、将将侧工具、检检测结果……记录文本信息息状态信息音视频材料2信息：材料n信息：执行标准、检检测方法、检检测工具、检检测结果、生产过程信息息执行标准生产装备生产班次责任人生产过程检测包装可溯源的完整整信息流与应用，如质质量管理的要要求一致吗？？还要做什么？？（二）认识、技技术、法律、制度度、标准认识:走向透明的社社会、智能的的社会、被数数据包围的环环境，认识准准备好了吗？？经济社会发展展模式管理：政府与与企业科技、教育和文化人的发展与生生存生活方式认识、技术、法律、制度度、标准技术：下面专门分析析传感处理存储数据管理数据分析认识、技术、法律、制度度、标准法律：收集利用管理权利义务认识、技术、法律、制度度、标准制度：相对于法律的的关于信息资资源的制度国家层面：如资产产、责任、利利用、安全机构层面：如资产产、责任、使使用、安全认识、技术、法律、制度度、标准标准：范围，国家、、行业、机构构类型，收集、、存储、处理理、管理、利利用；文本、、数值、图像像、音频、视视频目的，保密、安全全、连接、共共享（三）信息的结构化信息的结构化是大大数据技术的核心、关键和难点大数据结构化是是一个不断发发展的渐进过程追求结构化是数据据管理的基本本动力和目的的。获取、处理、、存储、传输输、利用的效效率，特别是是利用的有效效性基于信息息的机构化程程度。数值及事务处理等等计算机信息息系统早期对对象结构化已已经成熟，成成为大数据结结构化的基础础。其他相关关类型的信息息：文本、音音视频、图形形图像等也在在数据库或数数据管理发展展实践中得到到不同程度的的关注，产生生了一些技术术方法，大数据正是在这样的基础础上发展。结构化的两个个维度：内在在逻辑完备度度和应用完备备内在逻辑的完备度度与应用需求求的完备度之之间的约束。。这类约束超超越了一个具具体系统的范范畴。人类科科学和文明进进步的主要客客观存在物是是概念体系，，概念体系的的主要载体又又是文本。即即使是严格定定义的科学著著作，也没有有将其内在语语义结构表示示作为要求，，科学越发展展，积累的文文献越多，文文本信息结构构化的难度越越大、任务越越重。学术界界及不少国家家已经认识到到这个问题对对科学研究和和提升创新能能力的重要性性，并着手部部署相应的研研究计划和工工程，著名的的有美国和英英国科学基础础设施计划。（四）大数据管理系统关键流程分析析基本功能要求求体系架构分析析比较与重点大数据管理系系统一般架构构示意图第一层前置处处理体系：通通信、场景、、任务分配、、安全等第二层信息结结构化处理体体系：场景分类、单单元划分规则则、算法、单单元地址和语语义命名规则则、单元为基基础的记录数数据库及其管管理系统、地地址函数库、、语义特征函函数库、物理理标识库和语语义标识库及及其管理系统统第三层信息存存储体系：实体库、规则则库、函数库库、标识库、、算法库、索索引库的存储储结构，中间间库、原始库库、工作库第四层信息处处理体系：信息获取处理理、信息组织织处理、内部部处理（包括括学习、反馈馈、整理等等等）、应用处处理第五层软硬件件资源：网络、软件、、计算机等体系架构分析析目前已经商用用的大数据管管理系统或工工具，还没有有全面应对大大数据系统的的需要，这正正是我们的机机遇所在（五）大数据据演进方向机构事务服务研究是指一个机构构（包括企业业）为自身发发展目的而构构建大数据系系统，并不断断推向完善这样的大数据据系统基于机构，服务于于机构。基于机构的大数据系统数量上构成全全社会拥有量量的主体这样的大数据据系统演进，特点是是目的明确、、类型多样、、利用已有技技术和方法为为主要路径大数据系统演演进的领域：：机构是指基于一类事务或一类重要信信息类型而收收集信息、组组织信息、提提供服务。人口、企业、、空间信息、、交通、水务务等都是基于于事务的大数数据系统与基于机构的的大数据系统显著著不同就是追追求一类事务务或一类信息息的完备度，，并具有跨机机构性质。事务大数据系系统演进的主主要特点是对对该类信息的的逻辑分析在在技术上要求求居于领先水水平大数据系统演演进的领域：：事务是指提供基于于互联网服务的大数据系统统。显著特征是赢利为目的，演进以商业业模式要求为为前提要区分同一企业业服务型和研研究型的大数数据系统及相相关研究工作作，大型互联联网和信息技技术企业服务务企业都可能能存在这两种种类型要区分一个企业业商业化产品品、公布的研研究成果与其其前沿研究的的差别除了数据结构构、算法，也也就是本报告告所称语义特特征函数的基基础理论和方方法研究，以以科学研究为为基础的信息息结构化外，，该领域大数数据系统的研研究和服务均均处于领先水水平大数据系统演演进的领域：：服务是指主要目的的是科学研究究，研究结果果为大数据系系统所用。三种主要类型：一是特定类型科科学研究，如如基因、地震震波、声纹等二是人工智能及部分应用系系统的研究，如“DeepQA”,“谷歌大脑””，感知识别别、自然语言言理解、机器器人等领域，声纹库、指纹库、、交通监视视视频、安全监监视视频，相相片集、计算算机辅助设计计集、自然事事件观察集等等等。三是数学、计计算机科学的的基础研究。主要贡献在数数据结构和算算法大数据系统演演进的领域：：研究大数据系统演演进的技术方方法研究如何提升升逻辑能力和和处理能力研究大数据特特有的演进模模式，如何在在网络环境下的互动动参与平台，，开放与管理理的原则与方方法。交互式为主，适度采用计算或推推理是信息结结构化的主要要模式通过内部学习习和调整处理理，使系统具备自我演进的功能。。大数据系统演演进的技术方方法建立大数据管理系统最重要的技术术方法问题是信息结构如如何形成。关系数据库中实体和关系系的确立，即即单元的切分分和标识的形形成是人为的的。但面对类类型多样、来来源不一、数数量庞大的信信息，如何切切分单元，如如何给予成熟熟的、可处理理、可利用的的语义标识，，人们会首先先倾向于通过过算法或推理理，实际上这这是行不通的的。五、电子政务发展展中的大数据以质检部分事务务系统为例信息化应用已已经延伸到质质检各个领域域，在检验检检疫、质量技技术监督认证证认可、标准准、政府网站站、局行政管管理等工作中中发挥重要作作用，信息安安全保障能力力逐步提升，，大数据对进进一步提升质质检系统信息息化水平具有有十分重要的的作用，要在在质检总局电电子政务发展展全局中推进进。利用信息技术术完善食品、、农产品安全追溯体系推广RFID、二维码、条条形码等技术术应用，在供港澳牛奶、、猪肉、蔬菜菜等食品率先先建设食品安安全追溯体系系，实现食品、进出口口农产品安全全监管“一一键溯源”。提供包括食品追溯溯相关记录信信息查询、统统计、分析等等功能。建立进出口食品质量安全全数据库和服服务平台，食品问题预警和事事后快速处理理提供支持。。推广商品条条码标识在食食品安全追溯溯中的应用，，制定标准，实实现食品安全监管从粗粗放模糊型向向集约精确型型转变。信息收集更好利用结构化，质量量需要进一步完完善的工作：：信息是否满满足溯源需求求、信息来源源及质量如何何保证、信息息如何支持预预警和事件处处置利用信息技术术加强质量诚诚信体系进一步完善质质量信用信息息管理制度，，规范信息的的记录、归集集、处理、使使用、公开等等工作。以组组织机构代码码为基础，有有效整合质检检系统内部质质