大数据导论课件

大数据思维、技术与应用大数据导论目录Contents01.大数据时代——日新月异04.大数据技术——神兵利器03.大数据思维——革故鼎新02.洞悉大数据——庖丁解牛05.大数据安全——固若金汤06.军事大数据——运筹帷幄09.农业大数据——强本节用08.医疗健康大数据——妙手仁心07.社会治理大数据——秩序井然10.大数据产业——风生水起11.大数据的未来——缤彩纷呈01Bigdataera--changingwitheachpassingday大数据时代——日新月异1.1大数据的崛起数据大爆炸

小数据与大数据核心：建立在相关关系分析法基础上的预测。1.2大数据的成长数据数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。信息信息是指通信系统传输和处理的对象，是关于世界、人和事的描述，比数据更为抽象。知识一般认为，知识是人类在实践中认识客观世界及自身的成果，包括事实、信息的描述或在实践中获得的技能，并具有一致性和公允性。1.3国外战略美国《大数据研究和发展计划》《大数据：把握机遇，守护价值》《联邦大数据研发战略计划》欧盟开放数据战略云计算战略高性能计算战略科学知识开放获取战略1.3国内战略发展规划1.3国内战略战略蓝图大数据与“一带一路”大数据与“军民融合”1.3国内战略数据产权的关系数据共享和数据权益保护的关系数据参与分配需要法律制度的保障数据要素:用户的挑战与机遇技术的挑战与机遇数据的挑战与机遇1.4挑战与机遇行业的挑战与机遇02Bigdataera--changingwitheachpassingday洞悉大数据——庖丁解牛2.1对大数据的理解大数据的定义大数据的“三元世界”数据循坏大数据的内涵大数据的“六度空间”大数据的“第四范式”研究”大数据的“时空观”大数据的外延2.2大数据相关术语数据资产数据治理数据科学数据湖黑暗数据2.3大数据的特征2.4大数据价值数据汇总和统计关联规则挖掘描述性挖掘其他高级功能预测性挖掘特征画像数据应用2.5大数据标准化2.6大数据应用金融交易商品营销公共安全医疗健康城市管理03Bigdataera--changingwitheachpassingday大数据思维——革故鼎新3.1哲学思维总体思维容错思维相关思维逆向思维3.2赋能思维创新思维02体系思维+号思维0103推理思维博弈思维3.3模型思维3.4计算思维抽象思维并行思维分解思维随机思维迭代思维04Bigdataera--changingwitheachpassingday大数据技术——神兵利器4.1大数据技术概述大数据技术“金字塔”大数据技术框架4.2大数据处理框架HadoopStorm4.2大数据处理框架SamzaSpark容错处理状态管理API简单即插即用资源隔离可扩展持久性运行速度快操作方便通用性强运行模式多样4.3数据采集与清洗数据采集数据清洗4.4数据存储与管理分布式文件系统优势支持海量数据存储兼容廉价设备硬件故障检测和快速自动恢复流数据访问简单一致性模型高容错性4.4数据存储与管理NoSQL4.4数据存储与管理多维索引技术4.4数据存储与管理其他存储技术NewSQL数据库技术云存储数据中心4.5数据挖掘与分析数据挖掘的过程4.5数据挖掘与分析新型数据挖掘技术特异群组挖掘图挖掘4.5数据挖掘与分析集合相似性连接向量相似性连接空间数据相似性连接字符串相似性连接图数据相似性连接相似性连接融合技术4.5数据挖掘与分析情感语义分析02用户兴趣分析通用分析技术0103面向领域的预测分析技术4.6数据可视化文本可视化时空数据可视化网络可视化多维数据可视化4.7大数据与新一代信息技术大数据与物联网种类多速度快数量大

大数据与云计算存储计算服务减少运营成本大数据与区块链安全数据存储可靠数据保护数据资产交易

大数据与人工智能思考决策4.8知识图谱知识图谱概述知识图谱构成知识图谱的特征与分类知识图谱构建流程05Bigdataera--changingwitheachpassingday大数据安全——固若金汤5.1大数据安全体系大数据安全体系架构5.1大数据安全体系大数据安全技术体系5.1大数据安全体系大数据安全管理框架5.2大数据安全技术传统数据数据机密性、完整性、真实性和平台自身等安全目标的同时，也要支持高效的数据查询、计算与共享。新型大数据大数据平台安全技术、隐私保护技术。未来大数据目前区块链应用正逐步与金融、物联网等相结合，在带来科技革命创新的同时也需要时刻关注安全和隐私保护方面面临的问题。5.3大数据安全管理数据收集安全管理数据存储安全管理数据使用安全管理数据使用审计管理数据销毁安全管理06Bigdataera--changingwitheachpassingday军事大数据——运筹帷幄6.1军事大数据概述.军事大数据的理解军事大数据的来源军事大数据的特点美军大数据发展军事大数据发展瓶颈6.2军事大数据技术途径数据监护与分析数据监护的目的是为半结构化与非结构化数据改善结构性，从而能够进行自动化的数据分析。边缘计算边缘计算也在朝着提高自主性的方向不断发展，特别是无人机与地面无人车辆。人机交互随着各种人机交互方式的发展，人机接口获得了极大地发展。6.3指挥控制大数据指挥控制的概念大数据下的指挥控制新挑战大数据下的指挥控制新特点指挥控制应用案例6.4智慧军营大数据体系架构6.4智慧军营大数据体系组成6.4智慧军营大数据应用数据挖掘智能分析安全管控6.4智慧军营大数据发展趋势服务智能管理面向备战利战07Bigdataera--changingwitheachpassingday社会治理大数据——秩序井然7.1社会治理大数据概述社会治理大数据解决风险研判、诉求表达、应急管理、行动轨迹描述等方面发挥着重要作用为社会治理的科学性提供了重要的技术支撑7.2公共安全大数据物理空间多类物理行为分析网络空间跨媒体网络行为分析以案(事)件为中心基于多种行为的实体(嫌疑)对象分析警务大数据安全态势感知、预测及应急处置的能力用大数据分析火灾高发原因“智慧消防”消防大数据7.2公共安全大数据反恐大数据基于人机群智协同的区域反恐数据感知技术区域反恐大数据元数据动态知识图谱基于复合救援路径的区域反恐应急资源配置优化及调度技术多粒度区域暴恐事件主动防控预测模型体系7.3市场监管大数据大数据对市场监管的作用打破监管信息孤岛，创新破解监管难题提升监管质量效果，提高预测预警水平善用消费维权信息，保障消费者权益强化企业信用约束，强化服务职能7.3市场监管大数据市场监管新模式物联网+市场监管互联网+市场监管区块链+市场监管7.3市场监管大数据体系国内市场监管大数据的发展7.4生态环境大数据生态环境大数据概述要从质量、总量和风险三个层面确定生态环境保护目标以辅助管理人员把控环境污染治理强化落实环境保护责任高质量、高效率完成各项治理任务7.4生态环境大数据生态环境大数据的特点数据量大产生速度快种类多7.4生态环境大数据细分行政区域自然资源发展趋势分析锁定自然资源督查来源分布情况分析案源特征分析自然资源督查案源数据应用08Bigdataera--changingwitheachpassingday医疗健康大数据——妙手仁心8.1医疗健康大数据概述8.2医疗健康大数据挖掘分析技术8.3医疗健康大数据应用样本筛选健康评估疫情防控个性化治疗健康监测预警临床决策支持数据应用8.4医疗健康大数据展望私人御医金钟罩智能+医疗健康去中心化开放性信息不可篡改自治性区块链在医疗健康中的应用09Bigdataera--changingwitheachpassingday农业大数据——强本节用9.1农业大数据概述农业是人类的“母亲”产业农业的发展水平直接影响民生，影响国家的长治久安农业农业现代化是国民经济现代化的重要组成和强力支撑大数据是达成农业现代化目标的重要途径之一农业现代化9.2农业现代化的新机遇大数据为农业农村发展指明了新方向资源的合理分配及生产效率的显著提高农业多样化发展农业精准预测9.2农业现代化的新机遇互联网为农业信息铺设了“高速路”9.2农业现代化的新机遇物联网为农业感知延伸了“触角”新疆生产建设兵团某师的棉花田安装了基于物联网的膜下滴灌智能灌溉系统，集墒情监测、用水调度、灌溉控制于一体，能够实现滴水、施肥的计算机自动控制，每亩节省水肥10%以上，同时棉花产量提高10%以上。9.2农业现代化的新机遇电子商务为农业销售拓展了“渠道”以电子商务、线上平台为典型代表的大数据应用飞速发展，农业产业也融入这场变革的洪流之中，在调整优化中催生了更多商机，同时也开拓出更精细的市场，为农业销售拓展了“渠道”。9.3农业大数据的发展美国政府主导公司参与基于平台英国政府主导创新先行资金支持日本信息主导协作组织德国政府扶持资源配置9.3农业大数据的发展国家政策《促进大数据发展行动纲要》《关于推进农业农村大数据发展的实施意见》《农业农村大数据试点方案》《“十三五”农业科技发展规划》《关于大力实施乡村振兴战略加快推进农业转型升级的意见》9.3农业大数据的发展加强整体大数据资源规划强化农业大数据治理丰富农业大数据来源提升农业农村数据资源利用率发展方向以农业农村大数据助推乡村振兴在边远小散农村区域部署泛在网络依托农业农村大数据平台挖掘数据价值对策建议9.4农业大数据应用共享休闲农业农村产权交易对象征信病虫害防护农产品品牌精准营销农业环境监测农产品质量追溯数据应用9.5粮食大数据粮食生产领域粮食流通领域粮食监管领域大数据对粮食行业的影响9.5粮食大数据的国内外现状英国制定了“粮食技术战略”美国将政府投入与资本市场运营结合德国将“数字农业”作为重要推手国外现状粮食物资管理平台建设工作已在国家层面启动大数据在粮食安全方面得到了有效利用加快大数据、区块链等信息技术在农业的应用国内现状9.5粮食大数据的发展趋势数据收集数据整合数据分析信息安全发展重点粮食采集感知技术粮食大数据存储模型与技术粮食大数据分析理论与技术技术解决方案监测预警欺诈检测质价分析舆情预警应用领域10Bigdataera--changingwitheachpassingday大数据产业——风声水起10.1大数据产业概述产业现状产业领域产业链商业模式10.2数字经济概念数字经济是随着移动互联网、大数据等的发展出现的一种新型经济形态特点1．数据成为重要生产资料

2．数字基础设施成为了新的基础设施3．人人都需要具备数字素养

4．催生了一批新产品、新模式发展遵循“数据化-信息化-数字化-智能化”的发展路线10.3新基建之数据中心概念特点发展10.3新基建之数据中心概念指以数据为基本管理对象，包含IDC、云计算、人工智能等新技术，集数据、算力、算法三要素与一身的数据基础设施特点1．模块化构建2．标准化实施3．集中化管理发展未来数据中心将向边缘化和智能化方向发展11Bigdataera--changingwitheachpassingday大数据的未来——缤彩纷呈11.1大字当头大问题大问题是指探究现象背后之统一规律、且与人类生存生产生活息息相关的问题，看似简单实则困难。大数据大数据对应于小数据而存在，小数据表述局部、单一的传统样本数据，以及以单个对象为中心的数据采集、管理、分析和可视化。大服务大服务一般涵盖了企业注册、咨询、规划、设计、建设、运营和注销的全生命周期。11.2经济发展趋势针对数据的处理分析及商业智能工具大数据发展的主方向增强安全保障加快互联网发展健全法律法规未来重点发展方向11.3科技发展趋势从人工知识表达向大数据驱动的知识学习跃升。从分类处理的多媒体数据向跨媒体的认知、学习、推理跃升。从智能机器向高水平人机、脑机协同融合