CN112765119B Hdfs api的调用方法、装置、设备及存储介质 （深圳市茁壮网络股份有限公司）

A,2016.03.23A,2017.05.31A,2016.11.23A,2014.09.17质的文件读取请求，利用接口对接模块对接HDFSAPI以获取目标文件标识发送至客户端，为分布API高效调用的基础上，对大文件的异步传输进2采用多线程接收客户端发送的文件读取请求，所述文件读取请求中携根据所述目标文件路径与所述映射关系，利用接口对接模块从HDF将目标文件信息发送至所述客户端，所述目标文件信息中包括所述采用多线程接收所述客户端发送的数据读取请求，所述数据读取用于作为Hash算法中的Hash_key值以查找所述目标根据所述预设偏移值、预设数据块大小与所述目标文件标识，按照排队后的顺序，将所述目标文件的部分数据发送至所述客户端将处理线程的请求处理速度与HDFS文件读写接口的数据读写速度之间的比值配置为3客户请求接收单元，用于采用多线程接收客文件信息获取单元，用于获取预设的文件路径与文文件信息发送单元，用于将目标文件信息发送至所述客所述客户请求接收单元，还用于采用多线程接收所述客户端发送的数文件数据缓冲单元，用于将所述目标文件的部分数据写入文件数据发送单元，用于按照排队后的顺序，将所述所述处理器用于调用所述存储器中存储的所述接口调用程序，以执行如权利要求1~69.一种计算机可读存储介质，其特征在于，所述计算机可读存用程序，所述接口调用程序在被计算机设备调用时实现如权利要求1~6任一项所述的HDFS4调用线程堵住，而nginx是一个进程内只有一个单线程的工作模型，无法完成高并发的调决目前HDFSAPI无法在高并发环境下被5[0023]将处理线程的请求处理速度与HDFS文件读写接口的数据读写速度之间的比值配[0035]所述客户请求接收单元，还用于采用多线程接收所述客户端发送的数据读取请6述接口调用程序在被计算机设备调用时实现前述所述的HDFSAP储介质，服务端采用多线程接收客户端发送的文件读取请求，利用接口对接模块与HDFS接收客户端发送的数据读取请求，直至接收到客户端发送的文件读取完毕指示，从而在[0052]OpenResty是一个基于Nginx与Lua的高性能Web平台，其内部集成了大量精良的7[0053]OpenResty充分利用了Nginx的非阻塞I/O模型，而Nginx采用的是master-worker[0055]epoll是Linux内核为处理大批量文件描述符而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃[0058]本发明所提供的HDFSAPI的调用方法，实际上也是一种在OpenResty的高并发环8需要进行三次握手发送与接收十几个TCP包才建立好连接，这对于成千上万的连接请求来9关系，VFID为64bit位整型值，为了查找效率本发明采用HASH算法，并以VFID作为其中的保证在文件传输过程中只需要传输VFID值而不[0086]处理请求的异步非阻塞式模型是一种被动的的通知模型、将相应的fd加入到[0087]首先由于内存资源的限制，不可能将一个几G大小的文件全部读取到内存然后再[0094]④将数据挂载在此连接套接字的epoll发送队列中，发送完成后释放共享缓冲区[0097]②将该套接字挂载到epoll接收队列中，按照协议头的体长度接收完成通知WR[0108]本实施例提供的HDFSAPI的调用方法，是站在整个交互系统的层面来描述客户预设偏移值加预设数据块大小进行封装再次发送数据读取请求，此数据块大小一般为4M，[0135]服务端在接收到客户端发送的文件读取完毕指示，或达[0140]该示例主要面对HDFS文件读写接口的I/O速度与处理线程的请求处理速度之间的本发明实施例提供的HDFSAPI的调用方法，下文描述的HDFSAPI的调用装置的技术内容，可与上文描述的HDFSAPI的调用方法的技术内容与