供应链大数据分析与应用 课件 项目一：认识大数据分析与供应链

项目一认识大数据分析与供应链CONTENTS目录01

认识大数据02

大数据分析的应用过程03

大数据分析常用平台04

供应链大数据分析05

了解大数据分析工具“魔镜”06

了解供应链大数据分析与应用配套教材认识大数据认知01大数据的起源

数据的历史演进数据历史可追溯至上古结绳记事，印加帝国曾用其管理庞大帝国。

信息工具的进步从甲骨文、造纸术到互联网，信息工具推动数据处理方式演进。

大数据时代的价值大数据可帮助企业了解客户需求、发现市场趋势，助力政府提高治理效率。大数据的定义大数据的定义大数据的字面含义

大数据指巨量数据，计量单位已从TB级发展到PB、EB等更高级别。机构定义对比

麦肯锡认为大数据是超出传统工具处理能力的数据集合，具有4V特征；Gartner强调新处理模式的必要性。技术视角解读

大数据的战略意义在于专业化处理，通过加工实现数据增值。大数据的5V特征大数据的5V特征数量（Volume）全球数据年增40%，2010年全球企业存储数据超7EB，相当于美国国会图书馆数据的3万倍。多样性（Variety）数据形态包括结构化、半结构化和非结构化数据，如网络日志、音视频等。速度（Velocity）数据量每20个月增长一倍，需快速处理以满足时效性需求，如搜索引擎和个性化推荐。价值（Value）价值密度低但潜在价值大，如监控视频关键数据仅占1-2秒，Face-book用户数据价值上千亿美元。真实性（Veracity）需确保数据真实性，通过分析还原事物本质、预测发展规律是未来趋势。小贴士

英国教授维克托·迈尔—舍恩伯格曾经在《大数据时代:生活、工作与思维的大变革》中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，他说大数据是人们获得新的认知，创造新的价值的源泉，大数据还是改变市场、组织机构，以及政府与公民关系的方法。小案例了解我国大数据产业

根据大数据产业生态联盟最新发布的《2023中国大数据产业生态发展报告》，2022年我国的数据产量为8.1ZB，同比增长22.7%持续高速增长，占全球数据总产量的10.5%，排名世界第二。在同期发布的“2023中国大数据企业50强名单中”，华为、中兴通讯、百度、腾讯、阿里云等悉数在列，是我国头部大数据企业的代表，中国联通、中国移动则是国企中大数据产业的代表企业。大数据分析的应用过程02大数据采集

数据采集系统结合软硬件实现自定义测量，应用于摄像头、麦克风等领域。

采集层级划分智能感知层负责数据识别、传输等，基础支撑层提供虚拟服务器和数据库等环境。

采集挑战并发数高，需部署大量数据库并解决负载均衡和分片问题。大数据处理

数据导入与预处理将前端数据导入分布式数据库或存储集群，可进行简单清洗和预处理。

实时计算需求部分用户使用Twitter的Storm进行流式计算，满足实时需求。

处理挑战导入数据量大，每秒可达百兆甚至千兆级别。大数据治理

数据治理的定义作为商业资产的管理机制，消除数据不一致性，建立标准，提高数据质量。

数据治理的意义缺乏有效治理会产生劣质数据，导致决策错误、成本增加等问题。

涉及技术领域包括元数据、数据标准、数据质量、数据安全等多个主题。大数据分析与展现

分析的战略意义大数据技术的价值在于专业化处理，分析是决策的决定性因素。

企业应用需求企业需借助专业服务和人才挖掘数据价值，为决策提供科学依据。

展现形式利用直观技术将数据转化为可视化图表，多维立体呈现分析结果。大数据挖掘挖掘的目标从海量数据中发现有价值信息，转化为知识，应对全球性挑战。挖掘与分析的区别挖掘无预设主题，通过算法实现预测，如Kmeans、SVM等。挖掘挑战算法复杂，数据量和计算量大，常用算法多为单线程。小案例Google对流感活动的评估Google搜索引擎每天接受数亿次查询。每个查询都被看做一个事务，用户通过事务描述他们的信息需求。随着时间的推移，搜索引擎可以从这些大量的搜索查询中学到什么样的新颖的、有用的知识？有趣的是，从众多用户查询中发现的某些模式能够揭示无价的知识，这些知识无法通过仅读取个体数据项得到。例如，Google的FluTrends（流感趋势）使用特殊的搜索项作为流感活动的指示器。它发现了搜索流感相关信息的人数与实际具有流感症状的人数之间的紧密联系。当与流感相关的所有搜索都聚集在一起时，一个模式就出现了。使用聚集的搜索数据，Google的FluTrends可以比传统的系统早两周对流感活动作出评估。大数据分析常用平台03

InfoSphereBigInsightsIBM推出，处理流数据与持久性数据，提供内置分析技术和无分享集群，减少网络流量提升性能，可自动从故障中恢复。

BigQueryGoogle推出的Web服务，用类SQL语法分析超大型数据库，支持统计函数，适合交互分析。

魔镜国云数据研发的可视化工具，支持多数据源，自动拖拽建模，操作简单，超万家企业使用。

Anaconda流行的Python数据科学平台，含NumPy等库，可管理环境、安装库，支持多操作系统，适用于数据科学与机器学习。供应链大数据分析04认识供应链大数据

供应链大数据的定义指供应链业务中产生的海量数据，包括生产、销售、物流等多维度数据。认识供应链大数据

供应链大数据的作用帮助企业了解供应链状况、发现瓶颈、制定策略，提升效率降低成本。认识供应链大数据

发展趋势未来将向人工智能与机器学习、网络协同、风险管理、客户体验优化等方向发展。供应链大数据分析应用场景帮助实时监控物流运输大数据分析技术可以通过实时监测车辆位置、路况、道路交通量等信息，实时反馈物流运输状况，从而提高运输效率、降低运输成本。帮助优化库存管理通过大数据分析技术，可以实时监控库存数据，预测需求，并及时调整采购订单，从而降低库存成本和预测误差。帮助实现供应链可视化大数据分析技术可以将数据模型引入到供应链全流程，将数据转化为可视化图表、报表等形式，帮助管理者更直观地了解物流情况、库存状态，及时发现问题并作出解决方案。为数字供应链融资提供支撑数字供应链融资可以将金融机构抵押担保的要求向应收账款、存货、未来货权等进行转换，提供控制金融风险的新渠道、新方法。企业供应链大数据分析案例Glasfloss公司利用数据分析评估承运商表现、分析最经济的运输模式。利用数据分析优化运费运营，降低货损索赔。Avnet公司小案例Amazon的供应链大数据应用Amazon坚持走自建物流方向，将集成物流与大数据紧紧相连，从而在营销方面实现了更大的价值。由于Amazon有完善、优化的物流系统作为保障，它才能将物流作为促销的手段，并有能力严格地控制物流成本和有效地进行物流过程的组织运作。Amazon利用大数据实现了全球可视化的供应链管理，在中国就能看到来自大洋彼岸的库存。Amazon平台可以让国内消费者、合作商和Amazon的工作人员全程监控货物、包裹位置和订单状态。从前端的预约到收货到內部存储管理、库存调拨、拣货、包装，再到配送发货，送到客户手中，整个过程环环相扣，每个流程都有大数据的支持，并通过系统实现对其的可视化管理。了解大数据分析工具“魔镜”05大数据分析工具“魔镜”

“魔镜”工具大数据分析工