CN113110800B 数据处理方法、装置、电子设备及存储介质 （百度在线网络技术（北京）有限公司）

司网络的数据提供端发送数据文件的第一文件块第一获取请求提供的所述数据文件的第一文件空间用于存储所述业务进程运行时直接调取的2根据目标数据下载端的业务进程，向点对点网络的数据提供端发获取所述数据提供端根据所述第一获取请求提供的所述数据文将所述数据文件的第一文件块存入所述业务进程对应的内存空间，其中，所述根据目标数据下载端的业务进程，向点对点网络在通过目标数据下载端的虚拟文件系统确定所述目标数据下载端不存在所述第一获其中，所述点对点网络还包括数据源端；所述数据提供其中，所述向多个数据下载端共用的分发服务器获取点对点网络的数据提供端之前，采用所述目标数据下载端的业务进程，发起读取请求到所述目标数据采用所述目标数据下载端的数据服务生成读接口，通过所述读接口采用所述目标数据下载端的下载服务，在所述目标数据下载端启动点对点下载客户通过所述点对点下载客户端向所述分发服务器发起所述第一文件块的数据提供端获根据所述第一文件块在所述数据文件中的顺序，将所述第一文件块在所述数据文件对应的缓冲存储区满的情况下，将缓冲存储区所述业务进程调取的第一文件块移至业务进程对应接收所述点对点网络中其它数据下载端发送的数据文件的文件块的根据所述第二获取请求，将所述目标数据下载端上存储的数据文通过所述目标数据下载端的下载服务，获取用于下载所述数据文件的第3根据所述种子文件，向点对点网络的数据提供端发送数据文件的第一据下载端共用的分发管理控制器的分发策略以及第一获取请求发送模块，用于根据目标数据下载端的业务进提供端发送数据文件的第一文件块的第一获取请求,其中，所述目标数据下载端运行至少第一文件块获取模块，用于获取所述数据提供端根据所第一文件块存入模块，用于将所述数据文件的第一文件块存数据提供端获取单元，用于在通过目标数据下载端的虚拟文件系其中，所述点对点网络还包括数据源端；所述数据提供读取请求发起模块，用于采用所述目标数据下载端的业务进程，读接口模块，用于采用所述目标数据下载端的数据服务生成读接提供端获取请求模块，用于通过所述点对点下载客户端向所述缓存单元，用于根据所述第一文件块在所述数据文件中的顺序，将第一转移单元，用于在所述数据文件对应的缓冲存储区满的情和/或，第二转移单元，用于所述业务进程调取所述缓冲存储区的第一文件块的情况第二获取请求接收模块，用于接收所述点对点网络中其它数4第二文件块发送模块，用于根据所述第二获取请求，将种子文件单元，用于通过所述目标数据下载端的下载服务，获种子文件处理单元，用于根据所述种子文件，向点对点网络的数据下载端共用的分发管理控制器的分发策略以及所述所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被5构架下数据源端的各个数据下载端的下载数据6[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特7数据文件的需求，向点对点网络的数据提供端发送数据文件的第一文件块的第一获取请间，可以是将数据文件的第一文件块存入业务进程的程序数据和依赖数据所在的内存空[0051]在具体实现方式中，业务进程可以是目标数据下载端底层服务模块的业务进根据对底层各个服务模块的部署耗时统计，复杂策略和数据带来的启动前准备时间过长，容器(比如搜索进程的容器、地图进程的容器等不同容器)混合部署，共同使用磁盘HDD8[0055]在通过目标数据下载端的虚拟文件系统确定目标数据下载端不存在第一获取请从能够最快获取数据文件的文件块的数据下载端对点网络中各数据下载端的分布确定下载效率最高的数据提供端，整体提高数据下载速9[0064]在一种实现方式中，可以将能够最快提供文件块的数据下载端作为数据提供[0066]本实施例中，可以将点对点网络中的数据源端或其它数据下载端作为数据提供[0071]步骤S34：通过点对点下载客户端向分发服务器发起第一文件块的数据提供端获间大小允许放入第一文件块以及第一文件块的前一文件块(数据文件的第一顺序的文件块)的情况下，将未完成下载的第一文件块之前的文件块连同第一文件块一起存入缓冲存[0086]步骤S41：接收点对点网络中其它数据下载端发送的数据文件的文件块的第二获将业务进程调取的第一文件块移至业务进程对据源端连接的多个数据下载端112；多个数据下载端中的至少一个包括如本公开任意一项[0125]在本公开一种示例中，数据处理系统基于P2P网络的数据下载无盘化实现数据网据下载端可共用一个分发服务器123和一个数据分发管理122，一个数据服务125可对应多器进行容器管理，每个容器对应一个主要的业务进程。同时，还可采用MIS(Management[0133]下载服务还可用于与数据源端和对等的数据下载端的节点进行交互，通过P2P网数据服务133中的数据文件地址通过软链接(S[0146]仍然参照图13，在数据下载端的数据服务133中设计实现元信息(Meta_Info)管理、种子文件(Seeding)管理和数据持久化(Persist)，在业务进程发起挂载点(Mount[0149]在P2P网络中为快速文件传输下载，将网络里一个数据文件会被拆分成多个小数[0150]在本公开示例中，仍然参照图13，在下载服务134中增加数据文件的缓冲存储区135。缓冲存储区135可以以P2P的方式下载数据，也可以通过备用的集群下载方式下载数[0152]本公开实施例通过控制性地提高P2P网络的下载速率，并通过对下载服务增加文[0155]同时，本公开实施例提供的技术方案有效地提速远程词典(数据文件)的下载速[0160]图14示出了可以用来实施本公开的实施例的示例电子设备140的示意性框图。电142中的计算机程序或者从存储单元148加载到随机访问存储器(RAM)143中的计算机程序通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息者全部可以经由ROM142和/或通信单元149而被载入和/或安装到电子设备140上。当计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0165]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计