版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
智慧物流与供应链管理第5章支撑智慧物流与供应链的关键技术——计算技术学习目的通过本章的学习,学员应该能够:理解智慧物流与智慧供应链中智能计算技术的重要性了解智慧物流与智慧供应链中常用的智能计算优化方法掌握常用智能优化算法、云计算与大数据的基本原理了解智能计算技术在物流与供应链中的应用/案例5-1进入智慧物流与智慧供应链时代,关键是计算技术?•加拿大阿尔伯塔大学计算机科学教授RichardS.Sutton被称为是“强化学习的教父”,是DeepMind的杰出研究科学家。2019年他发表一篇文章《苦涩的教训》,指出人工智能在多年的发展中所走的弯路是没有很好地利用计算能力,认为人工智能中的搜索和算法是智能与智慧技术水平的长期提升动力。IBM开发基于RS6000的超级计算机“深蓝”,其中输入了100年以来所有国际象棋特级大师的开局、残局的下法,2017年击败世界冠军卡斯帕罗夫的方法,就是基于计算机强大的存储能力、快速深度的搜索与匹配计算技术。
•在物流与供应链领域中,每天都会产生大量的交易与业务数据,如我国的淘宝网新增的交易数量每天超过10TB,Amazon在其电子商务平台上每秒处理订单超过70个,而eBay的数据处理和分析能力是每天100PB。依据国际数据公司IDC的推断,全世界数据量每18个月就会翻一番。而伴随着这么大数据量的商业订单交易过程,商品、货物等会通过遍布全国、甚至全球的物流系统网络或者供应链信息集成系统,来控制与协调其中的各种各样物流活动,如仓储进出、分拣与装载等调度、运输多资源多式联运的衔接、车辆配送路径问题优化等问题。因为网络规模大、资源协调因素多、环境复杂多变,故常常属于NP-hard问题,为了求解智慧物流与智慧供应链中的这些问题,智能优化技术与算法在其中发挥了巨大的作用。案例来源:RichSutton,TheBitterLesson.[EB/OL].(2019-3-13)[2020-11-07]./IncIdeas/BitterLesson.html.5.1
智能优化算法及其在物流供应链中的应用5.1.1传统优化方法与智能优化算法及其区别
在物流与供应链系统中处处会用到优化方法,如配送中心的选址优化、车辆路径优化问题等。优化是在给定的约束条件情况下,从众多解决方案中获得最佳结果的行为。事实上,优化是一种以数学为基础的方法,主要用于求解各种问题的应用技术。各种优化方法在很多领域都得到了广泛应用,并且已经产生了巨大的经济效益和社会效益。实践证明,通过优化方法,能够合理地利用资源,提高系统效率,降低能耗,并且随着处理对象规模的大大增加,这种效果也会更加明显。
然而,随着经济的全球化发展,在全国性供应链网络、全球性跨境电商配送系统中,正在不断涌现出许多大型复杂的优化问题,比如:规模大、节点多、网络连接很复杂。面对这种问题,传统运筹学中的优化方法如牛顿法、共轭梯度法、模式搜索法和单纯形法等需要遍历整个搜索空间,无法在短时间内完成搜索,且容易产生搜索的“组合爆炸”。因此,探索高效的智能优化算法成为必然。
受到人类智能、生物群体社会性或自然现象规律的启发,很多智能优化算法被开发研究来解决诸如物流与供应链领域的大型复杂优化问题。常用的智能优化算法主要包括:模仿自然界生物进化机制的遗传算法(GeneticAlgorithm,GA)、模拟蚂蚁集体寻径行为的蚁群算法(AntClonyOptimization,ACO)、模拟鸟群和鱼群群体行为的粒子群算法(ParticleSwarmOptimization,PSO)、源于固体物质退火过程的模拟退火算法(Simulatedannealing,SA)、模拟人类智力记忆过程的禁忌搜索算法(TabuSearch,TS)、模拟生物免疫系统学习和认知功能的免疫算法(ImmuneAlgorith,IA)等,在优化领域称它们为智能优化算法。其中模拟退火算法(SA)等是基于个体的智能优化方法,而遗传算法(GA)、蚁群算法(ACO)和粒子群优化算法(PSO)等都是基于种群的智能优化方法。智能算法主要特点:•是一类不确定的优化算法。不确定性体现了自然界生物的生理机制,并且在求解某些问题时优于确定性算法。•是一类概率型的全局搜索算法。随着搜索优化过程的不断推进,找到优质解的概率大于得到劣质解的概率,能以更大概率求得全局最优解。•在优化过程中,不依赖于优化问题本身的某些数学特性。如目标函数和约束条件的精确数学描述、目标函数的连续性及可导性等。•是一类基于多个智能体的算法。各个智能体之间通过相互协作来更好适应环境,以获取所需性能,具有潜在的并行性。•搜索过程同时从多点出发,分布式并行计算模式极大地提高了整个算法的运行效率、鲁棒性和反应能力,具有很好的学习能力。•在复杂的、不确定的、时变的物流与供应链的问题环境中,能通过自我学习不断提高个体的适应性。5.1.1传统优化方法与智能优化算法及其区别传统优化算法一般针对结构化问题,有较为明确的问题和条件描述大多属于凸优化范畴,有唯一明确的全局最优点一般是确定性算法,有固定的结构和参数,计算复杂度和收敛性可做理论分析智能优化算法一般针对较为普适的问题描述,一般缺乏问题的结构性信息绝大多数属于多极值问题,旨在防止陷入局部最优,以尽可能找到全局最优属于启发性算法范畴,收敛速度较慢,计算复杂度较高智能优化算法和传统的优化算法之间的区别5.1.2智能优化方法简介1.遗传算法(GeneticAlgorithm,GA)
遗传算法对于组合优化中的NP-hard问题非常有效,已经在求解旅行商问题、背包问题、装箱问题、物流配送中心选址、物流配送等方面得到了成功应用。GA最早是由美国密执安大学Holland教授于20世纪70年代提出,是模拟生物在自然环境中遗传与进化过程中形成的一种自适应全局优化概率搜索算法。
其基本原理是仿效生物界中的“物竞天择、适者生存”的演化法则。遗传算法的做法是把问题参数编码为染色体,再利用迭代的方式进行选择、交叉以及变异等运算来交换种群中染色体的信息,最终生成符合优化目标的染色体,即优化问题的最优解或满意解。遗传算法的优化流程见图所示,其中的适应度一般就是优化问题的目标函数,如成本最小化或利润最大化等。5.1.2智能优化方法简介另外,遗传算法中包括三种关键的基本操作算子,来进行进化计算:(1)选择算子:从群体中选择优胜的个体,淘汰劣质个体的操作叫选择算子。选择算子有时又称为再生算子(reproductionoperator)。选择的目的是把优化的个体(或解)直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代,选择操作是建立在群体中个体的适应度评估基础上的。(2)交叉算子:在自然界生物进化过程中起核心作用的是生物遗传基因的重组(包括变异)。同样,遗传算法中起核心作用的是遗传操作的交叉算子,交叉是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。(3)变异算子:变异算子主要是模拟生物在自然的遗传环境中由于各种偶然因素引起的基因突变,其基本内容是对群体中表示染色体的符号串的某一位的值做变动。5.1.2智能优化方法简介遗传算法具有以下一些特点:•算法从问题解的串集开始搜索,而不是从单个解开始。因而可以有效的防止搜索过程收敛于局部最优,有较大的可能求得全部的最优解。•
遗传算法具有并行计算的特点,因而可通过大规模并行计算来提高计算速度。•遗传算法对于适应度函数基本无限制,它既不要求函数连续,更不要求可微;既可以是数学解析式所表达的显函数,也可以是映射矩阵甚至是神经网络等隐函数,因而应用范围较广;•遗传算法不是采用确定性规则,而是采用概率的变迁规则来指导他的搜索方向。
•具有自组织、自适应和自学习性。遗传算法利用进化过程获得的信息自行组织搜索时,适应度大的个体具有较高的生存概率,并获得更适应环境的基因结构。
•算法本身也可以采用动态自适应技术,在进化过程中自动调整算法控制参数和编码精度,比如使用模糊自适应法。
总结以上,遗传算法是一种概率化的随机捜索方法,具有自我调节机制,能根据捜索结果自适应的调整捜索方向。同时,还是一种隐性的并行算法,具有较强全局捜索性能,且算法的通用性强,对问题的已有知识和性能要求不髙。但其也有一定的缺点,如初始解的选取对算法的效率和求解质量有较大影响,而对于复杂问题,需要捜索的空间大,造成较长时间的搜索,早熟收敛的现象也会时常发生。2.模拟退火算法(SimulatedAnnealingAlgorithm,SAA)
模拟退火算法也被经常用于求解车辆路径优化、物流整车运输、物流网络优化等问题。模拟退火算法最早是由N.Metropolis等人于1953年提出。1983年,S.Kirkpatrick等成功地将退火思想引入到组合优化领域。SAA来源于固体退火原理,是基于Monte-Carlo迭代求解策略的一种随机寻优算法,其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。将固体加温至充分高,再让其徐徐冷却,加温时,固体内部粒子随温度升高变为无序状,内能增大,而徐徐冷却时粒子渐趋有序,在每个温度都达到平衡态,最后在常温时达到基态,内能减为最小。因此实际操作中从某一较高初温出发,伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解,即在局部最优解能概率性地跳出并最终趋于全局最优。SAA算法的基本步骤如图所示:(1)初始化:初始温度T(充分大),初始解状态S(是算法迭代的起点),每个T值的迭代次数L(2)对k=1,…,L做第(3)至第(6)步(3)产生新解S′(4)计算增量ΔT=C(S′)-C(S),其中C(S)为评价函数,即优化的目标函数(5)若ΔT<0则接受S′作为新的当前解;否则以概率exp(-ΔT/T)接受S′作为新的当前解.(6)如果满足终止条件则输出当前解作为最优解,结束程序。终止条件通常取为连续若干个新解,都没有被接受时终止算法。(7)T逐渐减少,且T=T-1,T>0,然后转第2步。
模拟退火算法是一种通用的优化算法,是局部搜索算法的扩展。它与局部搜索算法的不同之处在于以一定的概率选择邻域中目标值大的状态。从理论上讲,它是一种全局最优算法。另外,模拟退火算法具有十分强大的全局搜索性能,这是因为它采用了许多独特的方法和技术,基本不用搜索空间的知识或者其他的辅助信息,而只是定义邻域结构,在邻域结构内选取相邻解,再利用目标函数进行评估。同时,采用概率的变迁来指导它的搜索方向,它所采用的概率仅仅是作为一种工具来引导其搜索过程朝着更优化解的区域移动。因此,虽然看起来它是一种盲目的搜索方法,但实际上有着明确的搜索方向。SAA的优点是捜索过程根据Metropoli准则决定接受新解与否,即以一定概率接受劣解,来使算法具有避免陷入局部极值与过早收敛的全局优化能力,具有较强的跳出局部最优值的能力,该算法求解效率高、灵活性强,同时具有较好的鲁棒性和通用性。但是,SAA对初始值,如初始湿度和退温系数有较强的依赖性,初始参数选择合理与否对求解结果影响较大。2.模拟退火算法(SimulatedAnnealingAlgorithm,SAA)3.禁忌搜索算法(TabuSearch,TS)算法的基本流程如图所示:(1)给定算法参数,随机产生初始解x,置禁忌表为空。(2)判断算法终止条件是否满足?若是,则结束算法并输出优化结果;否则,继续以下步骤。(3)利用当前解的邻域函数产生其所有(或若干)邻域解,并从中确定若干候选解。(4)对候选解判断藐视准则是否满足,也就是若成立,则用满足藐视准则的最佳状态y替代x成为新的当前解,即x=y,并用与y对应的禁忌对象替换最早进入禁忌表的禁忌对象,同时用y替换列表中“目前最好”状态,然后转步骤6;否则,继续以下步骤。(5)判断候选解对应的各对象的禁忌属性,选择候选解集中非禁忌对象对应的最佳状态为新的当前解,同时用与之对应的禁忌对象替换最早进入禁忌表的禁忌对象元素。(6)转步骤(2)。
禁忌搜索算法的主要特点是在搜索过程中可以接受劣解,因此具有较强的“爬山”能力;同时,新解不是在当前解的邻域中随机产生,而或是优于“bestsofar”的解,或是非禁忌的最佳解,因此选取优良解的概率远远大于其他解。由于TS算法具有灵活的记忆功能和藐视准则,并且在搜索过程中可以接受劣解,所以具有较强的“爬山”能力,搜索时能够跳出局部最优解,转向解空间的其他区域,从而增强获得更好的全局最优解的概率,所以TS算法是一种局部搜索能力很强的全局迭代寻优算法。
另外,通过采用禁忌搜索技术,前面被搜索过的节点将被跳过,避免了重复搜索。且通过将已访问的局部最优点记录到禁忌表,此后不再重复访问,可帮助算法摆脱局部最优。但TS算法执行过程是是串行的,不能并行执行,从而降低了求解效率。另外,算法对初始解的依赖性很强,对不同质量的初始解,求解结果将会出现很大的差异性。3.禁忌搜索算法(TabuSearch,TS)4.蚁群算法(AntColonyOptimization,ACO)
现代物流系统中蚁群算法的应用主要集中在物流配送路径优化问题中,通过应用蚁群算法可降低物流成本、提高经济效益。蚁群算法是由意大利学者M.Dorigo、V.Maniezzo和A.Colorni等人于20世纪90年代初期通过模拟自然界中蚂蚁集体寻径行为而提出的一种基于种群的启发式随机搜索算法,是群智能理论研究领域的一种主要算法。蚂蚁间借助于信息素这种化学物质进行信息的交流和传递,并表现出正反馈现象:某段路径上经过的蚂蚁越多,该路径被重复选择的概率就越高。正反馈机制和通信机制是蚁群算法的两个重要基础。算法的基本流程如图所示:将蚁群算法应用于解决优化问题的基本思路为:用蚂蚁的行走路径表示待优化问题的可行解,整个蚂蚁群体的所有路径构成待优化问题的解空间。路径较短的蚂蚁释放的信息素量较多,随着时间的推进,较短的路径上累积的信息素浓度逐渐增高,选择该路径的蚂蚁个数也愈来愈多。最终,整个蚂蚁会在正反馈的作用下集中到最佳的路径上,此时对应的便是待优化问题的最优解,蚁群算法的特点包括:•采用正反馈机制,使得搜索过程不断收敛,最终逼近最优解。•每个个体可以通过释放信息素来改变周围的环境,且每个个体能够感知周围环境的实时变化,个体间通过环境进行间接地通讯。•搜索过程采用分布式计算方式,多个个体同时进行并行计算,大大提高了算法的计算能力和运行效率。ACO实现容易,且不需要调整太多的参数。但也容易受到群体全局的最优位置的影响,陷入局部最优解。5.免疫算法(ImmuneAlgorithm,IA)
最早的免疫系统模型是由Jerne于1973年提出的,他基于Burnet的克隆选择学说,开创了独特型网络理论,给出了免疫系统的数学框架,并采用微分方程建模来仿真淋巴细胞的动态变化。Farmal等人于1986年基于免疫网络学说理论构造出免疫系统的动态模型,展示了免疫系统与其他人工智能方法相结合的可能性,开创了免疫系统研究的先河。
免疫算法(ImmuneAlgorithm,IA)是模仿生物免疫机制,结合基因的进化机理,人工构造出的一种新型智能搜索算法。免疫算法具有一般免疫系统的特征,采用群体搜索策略,通过迭代计算,最终以较大的概率得到问题的最优解。
基本思想是将想要求解的各类优化问题的目标函数(约束条件)与抗原相对应,找到可以与抗原进行亲和反应的抗体,该抗体就是要求的最优解。算法的基本流程如图所示:(1)抗原识别,即理解待优化的问题,对问题进行可行性分析,提取先验知识,构造出合适的亲和度函数,并制定各种约束条件。(2)初始抗体群,通过编码把问题的可行解表示成解空间中的抗体,在解的空间内随机产生一个初始种群。(3)对种群中的每一个可行解进行亲和度评价。(记忆单元的更新:将与抗原亲和性高的抗体加入到记忆单元,并用新加入的抗体取代与其亲和性最高的原有抗体(抗体和抗体的亲和性计算))(4)判断是否满足算法终止条件;如果满足条件则终止算法寻优过程,输出计算结果;否则继续寻优运算。迭代:(5)(6)(7)(5)计算抗体浓度和激励度。(促进和抑制抗体的产生:计算每个抗体的期望值,抑制期望值低于阈值的抗体;可以知道与抗原间具有的亲和力越高,该抗体的克隆数目越高,其变异率也越低)(6)进行免疫处理,包括免疫选择、克隆、变异和克隆抑制。免疫选择:根据种群中抗体的亲和度和浓度计算结果选择优质抗体,使其活化;克隆:对活化的抗体进行克隆复制,得到若干副本;
变异:对克隆得到的副本进行变异操作,使其发生亲和度突变;克隆抑制:对变异结果进行再选择,抑制亲和度低的抗体,保留亲和度高的变异结果。
(7)种群刷新,以随机生成的新抗体替代种群中激励度较低的抗体,形成新一代抗体,转步骤(3)。
相比较于其他算法,免疫算法利用自身产生多样性和维持机制,保证了种群的多样性,克服了一般寻优过程中(特别是多峰值的寻优过程中)不可避免的“早熟”问题,可求得全局最优解。免疫算法具有自适应性、随机性、并行性、全局收敛性、种群多样性等优点。5.免疫算法(ImmuneAlgorithm,IA)5.1.3智能算法在物流与供应链中的应用1.车辆路径问题(VehicleRoutingProblem,VRP)VRP问题可简要描述为:在某个货物的供求物流系统中,有若干个装货节点(如配送中心、仓储中心等)和多个卸货节点(如需求客户的位置),要求合理安排车辆的行车路线和旅行时间,从而在满足一定约束条件下,如货物需求量、车辆容量、单次最大行驶距离、时间窗限制等,把客户需求的货物从配送中心运送到客户所在地,并实现一定的优化目标,如费用最省、行驶里程最短、所需车辆数最少等。
由于VRP问题是典型的NP-hard问题,随着客户节点数的上升,问题的解集将会出现指数级增长,优化问题的计算时间也将呈指数级増长,即出现组合爆炸现象。由此,精确算法很难在有限时间内获得满意的可行解,故构建高效的智能启发式算法有着重要意义。2.物流配送中心选址(LogisticsLocationofDistributionCentor)问题
配送中心是物流系统中的一个重要节点。配送中心通过集货、拣选、配装和送货等活动可获得规模效应、减少流通环节和上下游的库存等。配送中心可以看做是一个物流系统的神经中枢,其作为企业物流系统的信息中心和指挥调度中心的作用已经在物流系统中显得越来越重要。配送中心的集约化运作不仅降低了企业的运营成本、提高了服务水平,还有效降低了整个社会的物流成本。因此,作为企业物流系统规划或优化的首要问题,配送中心选址的合理与否至关重要,配送中心选址也成为热点问题。配送中心的选址决策主要是确定配送中心的数量、位置和分配方案。其方法主要有传统的重心法、数学规划法、多准则法等,但随着供应链网络的急剧扩张,全球性、全国性的配送中心的选址问题变得越来越复杂,采用启发式算法进行优化计算成为研究热点。北京仓沈阳仓西安仓成都仓武汉仓上海仓广州仓云仓备货退货
如图展示一个顺丰速递的云仓定位网络图。云仓是多个超级的货物集散中心以共同集成供应链系统的上下游资源,为供应商和消费者实现一体化的服务。当前云仓的思想在我国大型电商企业大量实施。诸如顺丰企业通过遍布全国的云仓间骨干网络,可形成高效配载的供应链网络系统,还可为中小规模各种供应商提供少量化、多频次、快进快出的仓储一体化优化方案。另外,云仓的定位与建设还能支持人工智能、大数据技术支持下的整体供应链网络的货物调拨。显然,各个云仓的管理实时动态管理库存,就需要在供应链成本最优化下,快速实现运仓间资源的智能调度和大数据的优化支持。因此,云仓能够成功运营的基础是人工智能、大数据、智能优化算法的支持。3.汽车零配件供应链中的循环取货问题
在目前汽车装配厂的前端零配件供应物流中,常采用多频少批、循环取货的物料供应方式。这里的循环取货就是运输卡车依据生产订单安排,从汽车整车装配厂出发,沿着一定的固定路径线路,也就是每次取货的路径路线是相同的,前往此条路线上的所有供应商处依次进行零部件的取货作业,然后再返回汽车总装配厂,就算完成了一次取货的供应过程,如图所示,汽车整车总装厂直接从区域配送中心(RDC)供应零配件,而循环取货的卡车从RDC出发,在各个供应商(S1-SN)处进行循环取货,每个循环取货也被称为牛奶取货(Milk-Run)。因为这种供应循环取货问题考虑因素多,如零配件、标准箱等数量、汽车数量、运输路线、时间窗、供应商地点等,属于一个NP-hard问题,传统优化方法无法处理大规模的这种问题,常会采用智能计算算法,如遗传算法等,来进行所有优化求解。
案例5-2日日顺物流的仓储排产优化问题
日日顺物流是物联网场景物流生态品牌,基于数字化、科技化、场景化创新服务,致力于为品牌商和用户提供“仓、干、配、装、揽、鉴、修、访”全链路、全场景服务体验。在胡润研究院发布的《2020胡润全球独角兽榜》中日日顺物流连续2年上榜。
日日顺建立了辐射全国的分布式三级云仓网络,在全国建立了10个前置仓,178个智慧仓,6000余个大件送装网点,总仓储面积达650万㎡,并在全国2915个区县实现了“按约送达,送装同步”,基本实现了全网覆盖,是全国首个大件“国家智能化仓储物流示范基地”。但其仓储出库环节仍有一些发展痛点。
日日顺出库作业的现状为:首先从京东、小米等平台通过接口获得订单,订单实时获取进入日日顺系统的订单池;其次,判断订单的时效、路由、末端配送的车辆、网点等信息;然后,将配送任务分配到车队调度;接着司机会根据应达时间倒推提货时间;最后配车完成后,仓储管理系统(WarehouseManagement,System,WMS)按照订单的顺序安排拣货。在以上日日顺出库作业中,存在的主要问题有:(1)人工配车下,多车型最优装载率实现困难
目前大部分配送司机的工作模式是凭经验规划取货时间,并安排每趟车所载货物的送货顺序,联系门店预约送达时间。人为推算总会存在一定的主观偏差,而多车型最优装载率、约束条件下的装载方式仅仅依靠人工是难以完成的,缺乏一个智慧化系统进行智能计算,依据成本、时效、运能与路径最优等进行最优分配,提高配送效率。(2)出库拣货与提货环节衔接不畅通
在完成配车环节后,司机根据应达时间倒推进行提货,并未有强制规划,而仓库管理系统按照订单顺序进行拣货,忽略了车辆到达时间,只关注拣货作业进度,于是产生了一个时序问题,即匹配的货物已经在拣货区等待而提货司机并未到达;同时缺乏两环节之间的信息交互,当两端作业出现不匹配时司机并不能及时知晓并做出调整,对于司机来说该拣货作业的任务量无效,甚至会导致拣货区过载难以继续拣货。(3)拣货排产任务缺乏动态调优
拣货作业排程的唯一依据是订单的时效顺序,如果有紧急订单或其他订单调整,拣货作业排程只能依靠人工进行安排,处理缺乏智能化,拣货作业的节奏与波次难以实现动态调优。
可能的优化方案包括:第一是对货车分配问题建立多车型车辆的路径规划模型,配送中心可根据订单需求,安排出运计划的车辆时刻表,寻找最佳配送线路,从而更好地实现出入库的车货匹配。第二是可以根据存取协同的拣货策略,建立拣选路径的优化模型,旨在解决拣货排定混乱、与车辆信息不对称的问题,提高拣货出入库效率。
以上的优化方案中,多车型车辆路径规划模型和拣选路径优化模型都可通过合适的优化算法来求解,如遗传算法、蚁群算法等。案例来源:日日顺物流官方网站.[EB/OL].[2021-2-17]./5.2云计算及其在智慧物流与供应链中的应用1.定义到目前为止,业界对云计算的定义已有上百种,尚没有一个统一的定义。云计算行业的领先者如Google、Microsoft等IT厂商及研究机构,依据各自的利益和各自不同的研究视角给出了对云计算的定义和理解,以下做简单举例。1)Google:作为大数据应用最为广泛的互联网公司之一,Google于2006年率先提出了云计算的概念——将所有的计算和应用放置在“云”中,终端设备不需要安装任何软件,通过互联网来分享程序和服务。2)IBM:将云计算定义为一种用户通过访问Internet按需租用服务商提供的硬件或软件、从而获取与地域无关的计算资源并根据使用情况付费的模式。3)微软:与Google忽略终端的计算资源不同,微软将云计算定义为“云+端”的计算,认为计算资源的分散分布的,部分资源放在云上,部分资源放在用户终端,部分资源放在合作伙伴处,最终由用户选择合理的计算资源。5.2.1云计算的概念与特点公司时间要点相关应用和平台Google2006年08月强调“云”淡化“端”GoogleDocS、GoogleApps、GoogleSites、GoogleAppEngineIBM2007年11月仅关注
“云”BlueCloud、AnalysisCloud微软2008年10月强调“云”和“端”WindowsAzure、动态数据中心、Live和Online解决方案
随着云计算的发展,维基百科对云计算的定义也在不断更新,据2020年给出的最新定义是:“云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备,使用服务商提供的电脑基建作计算和资源。”
虽然云计算有许多的含义,但概括而言,云计算作为一种独特的IT服务模式,其本质是一种服务提供模型,通过这种模型可以随时、随地、按需地通过网络访问共享资源池里可被动态分配、灵活划分和调整的资源,这个资源池的内容包括计算资源、网络资源、存储资源等。2.云计算的特征与优势
为了将云计算更方便地匹配到现实世界的IT架构中,美国国家标准与技术实验室(NationalInstituteofStandardsandTechnology,NIST)提出了一个定义云计算的标准“NISTWorkingDefinitionofCloudComputing/NIST800-145”,即一个标准的云计算需要具备五个基本特征,分别是:广泛的网络访问形式、按需自助服务、资源池化、资源的灵活调度和可计量的服务,通过这五个特征能够快速地将云计算系统同传统计算机系统区分开来这五个基本特征详述如下:1)广泛的网络访问方式:客户可以通过各种网络渠道,使用多种多样的客户端(如移动电话、笔记本电脑、平板电脑和工作站等),以统一标准的机制(如相同的API,浏览器等)获取服务。2)按需自助服务:客户可以根据需要方便地获得如服务器时间和网络存储等计算资源,而不需要与服务供应商进行人工交互,获得了更加快捷、高效的体验。3)资源池化:供应商的计算资源可以被整合为一个动态资源池,根据客户需求动态分配不同的物理和虚拟资源,以多租户模式服务所有客户。客户一般不需要了解所使用的资源的确切地理位置,但在需要的时候客户可以指定资源位置(如国家、数据中心等)的要求。4)快速可伸缩性(灵活调度):可以迅速、弹性地提供和释放服务。对客户来说,可以租用的资源看起来似乎是无限的,可在任何时间购买并占用任何数量的资源。对供应商来说,可以快速地添加新设备到资源池中,满足不断增长的需求。5)可计量的服务:系统以针对不同服务需求(如存储空间、CPU运算时间、网络带宽、用户账号的使用率高低等)来计量资源的使用情况和定价,从而提高对资源的管控能力和资源的使用效率。并且整个系统资源可以通过监控和报表的方式对服务提供者和使用者透明化。与传统计算机系统相比,云计算还具有以下优势:1)具有大规模并行计算能力。基于云端的强大而廉价的计算能力,为大粒度应用提供传统计算系统或用户终端所无法完成的计算服务。一般企业私有云有成百上千台服务器,有的甚至是上百万台服务器。2)数据量巨大并且增速迅猛。由于在云计算环境下,人们既是信息的使用者,也是信息的创造者,导致互联网上的信息量剧增。数据创造价值,如何使用这些数据为人们提供更好的服务成为目前的研究热点,也产生了典型的大数据处理技术,如Hadoop、Spark、Storm等,而这些技术都与云计算密不可分。3)虚拟化,虚拟化体现在资源虚拟化和应用虚拟化。每一个应用部署的环境和物理平台是没有任何联系的。通过虚拟平台进行管理完成对应用的扩展、迁移、备份等操作。4)高可靠性,云计算应用了数据多副本备份、计算结点同构可互换等措施保证高可靠性,单点服务器出现故障也可以通过虚拟化技术将分布在不同物理服务器上面的应用进行恢复或利用动态扩展功能部署新的服务器进行计算。5)通用性,云计算不针对特定的应用,同一个云可以支持不同的应用运行。6)高性价比,云计算的服务器能够兼容不同的型号和规格,对物理资源的要求较低,用户可以使用廉价的服务器组成云,以减少成本和费用的支出。5.2.2云计算的框架结构及其作用1.云计算的概念模型1)用户的公共性。云计算面向各类用户,包括企业、政府部门、学术机构、个人等最终用户,也包括应用软件、中间件平台等“用户”。中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/服务器的操作系统之上,管理计算机资源和网络通信,它是连接两个独立应用程序或独立系统的软件。2)设备的多样性。云计算用于提供服务的设备是多样的,既包括各种规模的服务器、主机、存储设备,也包括各种类型的终端设备,如计算机、智能手机、各种智能传感器、RFID(RadioFrequencyIdentification,射频识别。它是一种通信技术,可通过无线电信号识别特定目标并读写相关数据,而无须在识别系统与特定目标之间建立机械或光学接触)设备等。3)商业模式的服务性。云计算以服务的方式提供设备和应用,它的服务特性体现在两个方面:简化和标准的服务接口、按需计费的商业模式。4)提供方式的灵活性。云计算既可以作为一种公用设施,提供社会服务,即“公有云”,也可以作为企业信息化的集中计算平台来提供,即“私有云”。5.2.2云计算的框架结构及其作用云计算的概念模型2.云计算的分层服务模式通过对现有的云计算系统进行深入剖析,云计算系统内部可以看作是一组服务的集合。虽然云计算的服务模式仍在不断进化,但业界普遍接受将云计算按照服务的提供方式划分为三个大类:软件即服务(SaaS,SoftwareasaService)、平台即服务(PaaS,PlatformasaService)和基础架构即服务(IaaS,InfrastructureasaService),如图所示。三者分别面对不同的需求,下面将分别进行介绍。1)基础架构即服务IaaS。位于最底层的IaaS为用户提供直接访问底层实体或虚拟的计算资源、存储资源和网络资源的服务。为了优化硬件资源的分配,IaaS层引用虚拟化技术将服务器等计算平台同存储和网络资源打包,通过API接口的形式提供给用户。用户不需再租用机房、维护服务器和交换机,只需购买IaaS服务就能够获得这些资源。Amazon是目前最大的IaaS服务提供商之一,AmazonEC2不但包括基本的基础架构环境,还通过自身强大的数据中心为用户提供一定级别的高可用性保障,提供可靠性高、可定制性强、规模可扩展的IaaS层服务。2)平台即服务PaaS。位于IaaS之上的PaaS为程序开发者提供应用程序部署与管理服务,主要包括并行程序设计和开发环境、结构化海量数据的分布式存储管理系统、海量数据分布式文件系统以及实现云计算的其他系统管理工具。开发者通过使用PaaS服务,不用担心应用运行时所需要的资源,可以将更多的精力投入到业务软件的开发中。除了形成软件本身运行的环境,PaaS通常还具备相应的存储接口,这些资源可以直接通过FTP等方式调用,用户无需从头进行裸盘的初始化工作。互联网上比较著名的PaaS包括GoogleAppEngine、MicrosoftAzure和Hadoop等。3)软件即服务SaaS。位于最上层的SaaS为企业和需要软件应用的用户提供基于互联网的软件应用服务和用户交互接口等。SaaS的目标是将一切业务运行的后台环境放入云端,通过一个瘦客户端(如Web浏览器)向最终用户直接提供服务。最终用户按需向云端请求服务,本地无需维护任何基础架构或软件运行环境。目前,SaaS已经是一个经过验证的成功商业模式,S通过向大企业销售云端CRM服务已经成长为一家年收入超过20亿美元的纳斯达克上市公司。3.云计算的部署模式美国联邦云计算战略报告中,云计算按照部署模式可以分为公有云、私有云、社区云与混合云四种,它们的比较如表所示。由表所知,每种云计算的部署模式各有其特点,分别为:1)公有云:提供面向社会大众、公共群体的云计算服务,如Amazon云平台等。公有云一般规模较大,规模共享经济性较好,对可靠性、安全性的要求较高,基础架构的组成往往也比较复杂,并且存在难以保证数据私密性的缺点。2)私有云:提供面向企业或组织内的云计算服务。如政府机关、企事业单位、学校等内部使用的云平台。私有云可较好地解决数据私密性问题,对数据私密性要求特别高的行业或组织,建设私有云将是一个必然的选择。3)社区云:提供面向社团组织内有共同目标、利益的用户群体使用的云计算服务。如美国航天局(NationalAeronauticsandSpaceAdministration,NASA)的Nebula云平台为NASA的研究人员提供快速的IT访问服务。4)混合云:包含上述两种以上云计算类型的混合式云平台。同单独的公有云、私有云或社区云相比,混合云具备更大的灵活性和可扩展性,能够更好地应对需求的快速变化。5.2.3云计算在智慧物流与供应链中的应用1.云计算在智慧物流中的应用
智慧物流是指通过智能硬件、物联网、大数据等智慧化技术与手段,提高物流系统分析决策和智能执行的能力,提升整个物流系统的智能化、自动化水平。
当前,物流企业对智慧物流的需求主要包括物流数据、物流云、物流设备三大领域。随着智慧物流技术不断发展,集成共享大系统的物流信息资源,以“云”的方式来为各类用户提供各类按需使用的物流服务,解决大系统动态性差、响应迟缓、可传递性低以及系统维护和扩展成本极高的问题,是业界的共识。
云物流是依托云计算并引入物流管理的现代物流模式,依托云计算的信息处理能力,实现物流信息共享及智能决策。通过建立云计算物流体系、云计算服务平台、云物流运作标准化流程等组成环节,扩展物流业务的覆盖面及物流企业对各环节业务的控制能力。
从业务角度,云物流由云物流服务提供端、云物流服务平台以及云物流服务请求端三个重要部分组成,如图所示。
云物流服务提供端指向云物流服务平台提供各种异构的物流资源和物流服务的运输车队、仓储公司等;云物流服务请求端指整个供应链或供应链上个别成员;云物流服务平台是以云计算和大数据为支撑下的操作平台,它将云物流服务提供端提供的物流资源进行整合,针对云物流服务请求端提出的个性化服务需求在“资源池”中进行检索和匹配,通过信息的配对达成共同意向,建立适合客户的个性化服务解决方案并进行物流云调度,同时在服务过程中对服务质量进行管理和监控,为双方创造不断优化的服务质量和服务价值,降低物流产业链运营成本,提高物流运作效率。相比于传统物流模式,云物流具有以下特点:1)业务覆盖范围更广。传统物流模式服务单一,具有分散及跨区域的特征,只能提供已经计划好的物流业务服务。而云物流基于云计算的信息处理能力和平台的物流资源整合能力,可以充分利用平台中的所有资源,拓展物流企业业务服务范围,满足消费者的个性化物流服务需求。实现物流信息共享、物流各环节高效协同,提高物流运作效率。2)物流技术更高。在云物流模式中,云计算、大数据、云仓储、物联网等新型互联网技术相互融合,物流企业可以通过GPS、RFID等技术对运输产品进行实时监控。云物流平台也可以对物流服务业务进行全生命周期的监督管理,保证服务质量和信息安全。3)物流企业运作成本更低。云物流平台对数据资源的整合与共享可以减少市场信息的不对称问题,帮助物流企业优化配送路线。通过云物流服务平台也可以使多个物流企业协同完成同一物流业务,根据不同物流企业的布局减少物流转运环节及物流运输的空载率,实现成本的降低,同时提高物流业务运作效率。
采用云物流模式,可以将我国大部分存在规模较小、业务功能单一化,信息能力弱的物流、运输企业进行有效的整合,解决服务同质化、物流布局不合理等问题。2.云计算在智慧供应链中的应用
在信息技术助推下,如今的供应链已发展到智慧供应链阶段,逐步实现业务全流程的数字化和网络化。新兴技术在供应链中的渗透日益增强,形成云计算、互联网、物联网、大数据、人工智能、5G网络等在内的智慧供应链技术支撑体系。其中,云计算技术结合网络与互联网的虚拟化资源,使智慧供应链拥有强大的运算能力。
传统供应链是由产品生产和流通过程中所涉及的供应商、制造商、分销商、零售商、客户组成的一个自下而上的网链结构,信息只在与供应链相邻节点之间流动。然而整个供应链管理环节是非常复杂的。例如,生产型企业可能会充当原材料供应商、零部件供应商、终端产品制造商等供应链上中游的多种角色。由于传统的企业内部管理系统过于封闭,主体之间无法进行实时共享、信息难以准确汇总、协同性差、供应链流程不统一,导致上游的企业无法及时了解真实用户的需求,只能依据下游的企业来预判产量,最终造成库存大量积压、资金周转不灵、产品线无法及时调整等问题,制约着企业的发展。
在云计算模式下,所有的供应链节点通过云计算供应链平台进行连接,使供应链的信息传递方式由线性转变为非线性关系。基于云计算平台强大的运算能力,处理大规模集成的供应链信息,实现跨级的信息实时共享、上下游交易可视化和交易全过程的监控和管理,见图所示。
云计算供应链组织模式案例5-3华为云——智慧物流行业解决方案
华为云是致力于提供专业的公有云服务的华为品牌。基于华为自身供应链实践,华为云与物流客户和合作伙伴共同孵化了智慧物流行业解决方案。利用云计算、大数据、物联网和人工智能等数字化技术,打通生产、运输、仓储、分销等供应链信息流,降低物流成本,提高物流效率,促进物流业务向数字化智能化的转型和升级。
针对目前物流行业仓储业务效率低下、自动化程度低、公路运输“小散乱差”、货损率高、难以追溯、物流多方信息不透明等痛点,华为云利用IoT技术智能识别出库入库、实时感知仓内货物位置;通过云计算构建AI开发所需的大量算力,减少人工干预环节、提高物流运作效率;利用区块链技术实现货物运输的监管和追溯、整合规范道路运输;搭建统一的物
流云平台实现多方数据可视可信,实现物流的改进和创新。
具体而言,华为云基于其丰富的云服务产品组合,结合客户的终端或应用,面向物流不同的领域和市场,提供了5种典型的端到端的场景化解决方案,如图所示:1)网络货运平台解决方案
通过构建基于大数据底座的网络货运平台,整合配置运输资源,实现销售、采购、物流、仓储、质检、财务环节的相互连接。通过IoT车联网技术,实现全场景物流可视化,对车、货、司机进行实时监控和管理。同时,通过车货匹配、智能装箱、路径优化等服务,提升厂内运转和运力周转效率,帮助建设者构建专业物流服务能力和精细化运营体系。2)数字化仓储解决方案
通过将华为RFID接发器和接收器分布式地部署在仓内,达到信号全覆盖,感应仓内任何位置与货物资产关联的RFID标签,实现对资产的出入库管理、自动分拣、自动盘点和定位追踪,为客户实现透明化、自动化、智能化资产管理,帮助企业提升工作效率和整合系统资源。3)智能配送管理解决方案
华为云将快递全流程业务归纳为4步流程:下单收件、运输中转、配送签收和售后服务。在这4个快递流程中通过提供OCR文字识别服务,实现身份证、电子面单、网络截图、纸质面单等信息的自动识别,提升自动化分拣效率;自动识别配送流程中分拣装卸出现的暴力分拣行为,规范现场作业,有效降低包裹损坏率;通过配送信息汇总分析,导入配送路径优化算法模型,实现对快递员的配送工作优化管理;通过智能外呼机器人,帮助企业做客户回访、预约服务、问卷调查等,大量节省客服人力,并结合智能快递柜等设备,使用户取件更便捷。助力ToC快递企业提升揽收、运输、配送、取件、售后、管理等各环节的运作效率。4)智慧物流园区解决方案
华为云智慧物流园区围绕人、车、货、场四个方面进行了全方位覆盖,结合大数据、车联网、AI算法等技术,实现园区内人员考勤及定位、车辆智能调度、货物可视管理和园区安全风险管理等。基于ROMA构建多设备、多系统的数据集成平台,集成对接监控系统、物流应用系统、仓储设备,支撑资源动态调配和异常处理,以支撑高效决策。5)物流供应链可信解决方案
华为云基于区块链技术,打造物流供应链关联平台,满足供应链物流业务中的征信、无纸化、融资、监管等需求,实现物流供应链的可信可追溯。该解决方案可用于供应链物流全程跟踪、运单电子化、供应链金融、运输监管以及物流征信等需求场景,并具有配置简单、系统安全性高、性能行业领先、支持多云互通等优势。目前,在物流行业,华为云提供的智慧物流解决方案赢得了多家知名物流企业的青睐,比如:1)德邦快递与华为云联合打造智慧园区。在德邦多车多人的复杂物流场景下,通过实现园区人员人脸识别通行和考勤打卡,提升园区管理及运营效率;通过对上万路视频的智能分析,实现分拣路径优化;通过识别暴力分拣行为及自动告警,极大提升物流效率。2)顺丰DHL基于RFID识别和华为云IoT智慧仓储服务,推出RFID+AIoT的智慧新仓储。通过对料箱数量、进出门方向、装载料箱耗时及周转率等进行全面监控分析,实现100%标签读取率和高效库内作业。3)J&TExpress基于华为云全球化部署能力,通过上云,在优化跨国IT架构的同时降低了运营成本,实现高效服务东南亚及南太7国的6亿+用户的快递业务需求以及业务的快速扩张。4)华能智链基于华为云区块链服务搭建供应链金融服务平台,将核心企业的优质信用延伸至供应链上下游的客户和供应商,实现采购供应链信息全流程明晰展示,帮助供应链上中小企业获得高效率、低成本的供应链金融合同存证等服务,建立采购供应商产业的生态圈。案例来源:华为云官网—华为云智慧物流解决方案介绍.[EB/OL]./solution/logistics/.5.3大数据技术及其在智慧物流与供应链中的应用21世纪是信息与技术的时代,随之发展的还有大数据及其相关技术。由于计算机、信息技术以及通信等各行各业所产生的数据,一直呈指数爆炸型增长。早在2006,个人用户的数据量便已迈进“TB”时代,个人计算机硬盘的容量从GB扩展到了TB,而全球新产生的数据约达180EB。而到了2010年,全球数据量便达到了ZB级规模。此前,IDC(国际数据公司)也曾预计到2020年是全球的数据总量将接近40ZB。其中,数据量的单位对应大小分别为:1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB,ZB之后还有YB,NB以及DB,而当单位可以以PB衡量的数据便可称之为大数据。从字面上看大数据似乎仅仅代表了大规模数据(largedata)和海量数据(massivedata),但事实上不是这样,因为大数据的概念随着技术的发展而发展,大数据的定义也有多种.5.3.1大数据技术的概念与特点
从字面上看大数据似乎仅仅代表了大规模数据(largedata)和海量数据(massivedata),但事实上不是这样,因为大数据的概念随着技术的发展而发展,大数据的定义也有多种,如:
从维基百科上给出的大数据(BigData)概念为:又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的、大或复杂的数据集。此外,大数据也可以定义为来自各种来源的大量非结构化和结构化数据。大数据通常包含的数据量超出了传统软件在人们可接受的时间内进行处理的能力。
而智库百科的定义为:大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括了大规模并行处理(MPP,MassivelyParallelProcessing)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网及可扩展的存储系统。
从上述两个对大数据的概念描述中可以看出,大数据技术与传统的数据管理技术,如数据库技术,具有很大的区别,即在数据规模、数据类型、数据处理模式和数据处理工具、技术等方面都有区别。事实上,大数据是现有数据库管理工具和传统数据处理方法很难处理的大型、复杂的数据集,大数据技术的范畴包括大数据的采集、存储、搜索、共享、传输、分析和可视化等。IBM提出大数据的“5V”特点:大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)和真实性(Veracity)。其中,Volume指的是数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。Velocity(高速)表明数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。Variety(多样)说明大数据的种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等,多类型的数据对数据的处理能力提出了更高的要求。Value(低价值密度)表明大数据的价值密度相对较低。随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。Veracity(真实性)代表大数据技术要保证数据的准确性和可信赖度,即数据的质量。将5V特点归纳总结于表所示。案例5-4阿里对大润发的数字化改造2017年11月20日,阿里集团合计投资224亿港元入主高鑫零售(大润发母公司),占股36.16%。阿里战略投资大润发并帮助其进行新零售数字化改造,其核心力量源于阿里强大的大数据技术能力,并以此期望为线下零售业的转型和发展提供借鉴参考。在接受阿里投资半年后,大润发已有100家门店完成了新零售数字化改造,实现3公里范围1小时送达并全面加入天猫618狂欢节。大润发数字化改造的重点内容主要有:1.淘鲜达项目落地,大润发门店周围3公里的消费者均可线上下单并于1小时内收到商品。2.借鉴盒马鲜生的模式,在生鲜餐饮和物流配送方面进行升级,缩短了从下单出货到配送的时间。3.借助大数据技术陈列商品,基于大数据分析将热门商品摆放着显目位置。并通过后台数据查看每日销量以进行每日微调、每周大调,以保证商品及时的进出。4.推出智能购物区,大润发率先在上海杨浦店推出“天猫智能母婴区”以实现货品的跨界升级。智能专区的设立可以帮助后台更好地统计消费数据,以便掌握消费者需求,进行精准营销。5.黑科技的运用。部分大润发门店通过配置了天猫云货架、天猫智能试衣魔镜和智能试衣间,打造沉浸式和趣味性的购物场景,为客户带来更佳的购物体验以吸引更多消费者。案例来源:曝光!阿里改造大润发第一份成绩单![EB/OL].(2018-6-30)[2021-03-07]./article/2485.html.
大数据技术用于在成本可承受的条件下,通过非常快速(Velocity)的采集、发现和分析,从大量化(Volumes)、多类别(Variety)的数据中提取价值(Value)。目前对大数据的操作方式主要包括:数据生成(也叫数据采集或数据获取)、数据存储、数据处理和数据应用(也叫数据分析与挖掘)。为了完成这四项任务,需要计算机从硬件到软件的全面支持,每层完成不同的功能,也就需要相应的技术支持。
右图展示了从计算机的不同架构层面是如何支持大数据的不同处理方式的。可以看出,在IT硬件方面,需要各种诸如传感器、红外线、RFID等物联网系统中的采集设备、存储设备和服务器的支持;在基础软件视角,数据库软件系统、分布式系统也是必须的;而应用软件方面,就需要大量的面向应用视角的采集、监测系统,如GPS、GIS、室内监测系统等,还需要一些智能搜索与分析软件系统。最后是面向用户提供的信息服务功能和信息安全功能,如需求预测分析、客户流向分析、物流资源调度分析等。5.3.2大数据的关键技术及其价值大数据的四项关键技术及其细分技术层面如图所示:1)大数据预处理技术大数据预处理技术包括以下几个方面。(1)数据采集:常采用ETL(Extract-Transform-Load)技术,是利用某种装置(比如摄像头,麦克风),从系统外部采集数据并输入到系统内部的一个接口,即将数据从来源端通过抽取(extract)、转换(transform)与加载(load)至目的端的过程。。在互联网行业快速发展的今天,数据采集已经被广泛应用于互联网及分布式领域。(2)数据存取:常采用关系型数据库,诸如SQL,来取数据进行存储。(3)基础架构支持:指的是采用云存储、分布式文件系统等来支持大数据的存入、取出及其其他计算工作。(4)计算结果展现:可采用诸如云计算、标签云(关键词的视觉化描述,用来汇总用户生唱的标签)、关系图等对大数据的计算结果进行形象展示,以便用户决策应用。2)大数据存储技术
数据存储技术在应用过程中主要使用的对象是临时文件在加工过程中形成的一种数据流,通过基本信息的查找,依照某种格式,将数据记录和存储在计算机外部存储介质和内部存储介质上。
数据存储技术需要根据相关信息特征进行命名,将流动数据在系统中以数据流的形式反映出来,同步呈现静态数据特征和动态数据特征。大数据存储技术同时应满足以下三点要求:存储基础设施应能持久和可靠地存储数据,提供可伸缩的访问接口供用户查询和分析海量数据,对于结构化数据和非结构化的海量数据要能够提供高效的查询、统计、更新等操作。3)大数据分析技术大数据结构复杂,数据构成中更多的是非结构化数据,单纯靠数据库管理系统对结构化数据进行分析已经不太适用,所以需要技术的创新,这就产生了大数据分析技术,主要包括:(1)数据处理:主要采用自然语言处理技术、多媒体内容识别技术、图文转换技术和地理信息技术等来处理各种数据。(2)统计和分析:包括应用文本情感分析技术;语义分析技术、A/Btest、topN排行榜、地域占比等技术来实施分析。(3)数据挖掘:常采用诸如关联规则分析、分类与聚类分析、智能优化算法等。(4)模型预测:诸如各类预测模型、机器学习模型、建模仿真工具及其模式识别技术等。4)大数据计算技术
目前采集到的大数据85%以上是非结构化和半结构化数据,传统的关系型数据库系统无法胜任这些数据的处理。如何高效处理非结构化和半结构化数据,是大数据计算技术的核心要点。如何能够在不同的数据类型中,进行交叉计算,是大数据计算技术要解决的另一核心问题。
大数据计算技术可分为批处理计算和流处理计算,批处理计算主要操作大容量、静态的数据集,并在计算过程完成后返回结果,适用于需要计算全部数据后才能完成的计算工作;而流处理计算会对随时进入的数据进行计算,流处理计算无须对整个数据集执行操作,而是对通过传输的每个数据项执行操作,处理结果立刻可用,并会随着新数据的抵达继续更新结果。案例5-5利用大数据技术的苏宁与美的C2M反向定制计划2019年12月,苏宁易购对外公布“冰箱洗衣机C2M(CustomertoManufacturer)反向定制”20年计划,首批苏宁&美的定制洗衣机下线仪式亮相江苏无锡。然后,苏宁计划将在2020年持续高效推进,联合其他行业领先品牌,推出更多用户期待的深度定制产品,开启家电厂商与渠道方合作反向定制的新模式。
冰箱洗衣机C2M反向定制计划是苏宁易购通过用户大数据挖掘,联合品牌厂商,整合产业资源,共同打造的满足用户需求、超出用户期望的高质量冰箱洗衣机产品战略,也是“更好的产品+更好的服务”战略和一项持续20年的长线战略。苏宁拥有线上线下销售强大的数据整合及用户运营的能力,而美的多年来持续不断探索以用户为中心,探索反向定制新战略。
苏宁与美的小天鹅携手推出的首批C2M定制洗衣机――小天鹅水魔方系列,比佛利国米联名款反向定制洗烘一体机,为高端消费群体带来了高品质的定制化洗衣体验,6档烘干功能,高效解决用户除菌健康洗、高端精致面料呵护洗、即洗即穿免晾晒的需求。此外定制洗衣机从零部件还是外观都是根据苏宁搜集的消费者数据所制作的,自然更加受到消费者的喜爱。基于大数据分析,直面用户需求,反向定制推动了产业升级。案例来源:苏宁美的首批反向定制洗衣机发布,C2M计划引爆家电市场.[EB/OL].(2021-1-1)[2021-03-10]./s?id=1654518656230041640&wfr=spider&for=pc.5.3.4大数据在物流与供应链中的应用1.在零售端的应用零售连接着终端消费者与上游供应商,也是商品在市场流通中的主要关键点。随着经济和信息化技术的发展,公众的消费水平越来越高,传统零售模式已无法应对这一现状。因此,需要借助大数据技术对零售端进行改革和创新。大数据技术在零售端主要通过以下四个方面来发挥作用。(1)消费者:在大数据背景下,信息化技术让消费者获取商品信息的途径更加多样且简便,有利于客户更加充分地了解各类商品,从而提高消费者的购买主动性。大数据技术可以通过收集客户感兴趣的商品信息数据并进行分析,根据数据预测消费者的消费习惯并推荐商品,还可以通过监视社交媒体并及时做出相关响应。(2)零售商:消费者在店内(线上线下的店铺均包含)有购买行为时,可以利用大数据技术进行信息浏览跟踪并对采集到的信息进行数据分析。还可以对店铺中的产品卖点和活动进行数据统计并以此分析预测,或者通过人流量进行商品优化。由于企业的数据信息可能类别和结构有所不同,所在的地区也不同,因此可以利用大数据技术对零售企业内部各个部门之间的数据信息实现数据共享,以此提高零售商的市场分析能力。(3)营销:大数据技术可以帮助零售商精准发掘潜在消费者,建立精细化的营销体系,从而扩大消费市场。首先,企业可以根据历史消费信息进行数据分析,挖掘消费者的购买需求以及预测市场消费动向;其次,大数据技术可以帮助企业对消费群体进行基本画像和划分,然后基于此预测不同消费群里的购买承载力并进行针对性的营销工作,从而实现精准营销。
(4)商品:零售商可以借助大数据技术监测记录商品销售情况,并根据历史的销售业绩数据对下一销售季的销售额进行预测。通过分析历史的价格数据和销售数据,还可以对商品的价格进行优化。在商品产生的成本方面,大数据技术可以对商品的库存、进补货、退货等一系列环节进行监控和信息记录,在数据统计的基础上进行分析,并以此提出更完善有效的商品库存策略和售后方案。2.在制造端的应用制造环节是供应链物流的重要传输环节,它将生产企业的所有生产资料投入转变成最终产品与服务。大数据技术应用于供应链物流的制造环节,可以帮助生产企业进行合理的生产调度安排。例如,大数据技术在生产企业的库存管理应用可以让生产企业有更多的精力和资源专心用于生产环节,不仅可以提升生产企业的生产效率,同时还可以改善生产企业的产品服务质量,对生产资源进行最优化安排。此外,互联网大数据技术也可以帮助生产企业对自身的生产能力进行科学评价,及时找出生产不足之处,帮助制造企业在生产环节进行针对性调整。制造企业对大数据技术、基于数据的应用和服务的采纳行为和选择决策,有助于制造企业实现有效预测并辅助相关决策,帮助企业获取竞争优势、创造企业价值。3.在供应链系统中的应用大数据产业的兴起使得互联网与各个行业开始出现深度融合,这一特点在供应链领域尤为突出。大数据技术在供应链管理中的不同环节都有着重要的应用,主要可以分为产品设计研发、需求计划制定、采购、产品的生产与库存、供应链网络设计以及终端营销等环节。下表展示了大数据技术在供应链的各个主要环节中的作用。大数据技术在供应链的各个主要环节中的作用案例5-6DHLExpress—快递业中的大数据应用DHLExpress(敦豪快递)是一家跨国快递公司,其业务遍及全球,但想要在全球范围成功还需要从每一个区域做起。因此,DHLExpress一直在思考如何利用数据创造价值,目前其已经实现了数据可视化,以及利用大数据进行商业模式创新。DHL是全球著名的邮递和物流集团DeutschePostDHL旗下公司,其成立于1969年,业务覆盖220多个国家和地区的12万个目的地,拥有33000部车辆和4000处物流设施。交通运输行业是一个竞争非常激烈的行业,想要与众不同,大数据是一个很好的帮手
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 餐饮业加盟合同协议2026年
- 电器电子产品有害物质限制使用达标管理目录(2026年版)
- 鱼虾养殖水质调控技术规范
- 重点岗位安全巡检实施管理办法
- 前台接待服务规范
- 环境保护税申报纳税操作指南
- 理疗仪器设备维护保养指南
- 特种作业人员资格复审管理办法
- 减脂期轻食配餐定制规范手册
- 肩颈理疗推拿手法规范手册
- 外科手术基本操作考核评分表(切开、止血、缝合、打结与拆线)
- 安置小区外电供配电工程工程量清单
- TCHAS 10-2-23-2022 中国医院质量安全管理 第2-23部分:患者服务高压氧治疗
- 《微生物基础》课件-革兰氏染色
- 现代财产保险(中国)有限公司雇主责任保险(2021版)条款
- 古诗词诵读《李凭箜篌引》课件++2023-2024学年统编版高中语文选择性必修中册
- 人工智能基础题库(含答案)
- 教师与学生谈心谈话记录表
- 会务接待礼仪培训
- 2023年07月内蒙古自治区残联事业单位公开招聘9人上岸笔试历年难、易错点考题附带参考答案与详解
- 广东省深圳市2023年高三二模语文试卷及答案
评论
0/150
提交评论