数据采集系统设计思路

数据采集系统设计思路基本功能将各采集点，如医院，药店等数据库（或其它数据载体）中的数据按照一定的规则提取，生成适合传输和存贮的文件，通过互联网将文件上传到服务器，服务器对数据进行分析处理，并按照一定的配置条件进行数据告警处理，最后把数据存贮于数据库服务器中，提供给其它应用系统进行数据查阅。基本架构主要包括前端数据采集和后台数据存贮两大功能。前端采集负责把各种数据源中的数据按要求存为文件上传到后台服务器；后台服务主要将上传的文件进行分析和存贮，如下图。功能组成模块n 前端采集系统功能模块：前端采集系统主要包括配置服务、数据查询、文件上传、日志、错误处理、自动更新服务、安全服务、网络服务等模块，各模块主要功能如下：1. 配置服务模块l 配置模块至少提供二类接口，一是本地配置接口，本地可以通过配置界面进行相关参数设置；二是远程配置接口，远程服务器可以通过此接口下达配置命令，实现远程配置，方便以后前端系统的维护。l 需要实现的基本配置项： 服务器相关，包括服务器地址，端口，使用长连接还是短连接等。 文件传输相关，自动上传时间；文件在服务器上存贮的相对位置；多个文件传输时使用单连接还是多连接传输。文件上传失败的重传间隔等。 数据库访问相关，数据库连接相关配置，包括数据库类型，连接串，用户名，密码；获得查询结果的相关SQL查询语句和查询条件；数据定时采集的时间；多条采集命令的优先级等。 程序升级更新相关，包括手动还是自动更新，自动更新的时间等。 其它配置，包括是否记录日志文件，日志文件存放的路径，单个日志文件的大小，日志文件最长存放的时间，采集文件存放路径，是否删除已经上传的采集文件，是否对可用磁盘空间进行监控和剩余空间不足告警；登录相关配置等注：招唤采集不提供单独的配置，招唤采集其实就是定时采集，由服务器下达一个优先级较高并立即执行的采集配置命令即可。l 配置数据读取功能，读取配置数据，提供给其它模块使用。2. 数据查询模块l 针对不同的数据库，根据配置条件或接收的命令，查询数据库，生成查询结果记录集，系列化为二进制文件，使用高效压缩算法对文件进行压缩，按照文件命名规则存贮于指定位置。3. 文件上传模块l 按照配置条件或接收到的命令，上传文件，包括需要的任何文件，如采集的二进制结果文件，日志记录文件等。4. 日志模块l 提供日志记录功能，其它模块可以通过本模块提供的接口进行日志记录。以及日志查询功能。5. 错误处理模块l 包括输出程序出错信息，向服务器提供出错信息，便于程序排错升级。6. 自动更新服务l 提供手动或自动更新服务，或者为服务器强制更新提供服务。7. 安全服务l 提供前端系统登录认证服务，防止非法使用系统。8. 网络服务l 提供与服务的连接服务，维护与服务的连接，与服务进行信息传输和文件传输，接收命令，将命令分发给相应的模块，转发各模块向服务器发送的服务请求。n 前端采集系统模块之间的层次关系各模块功能独立，通过各自提供的服务接口进行关联。实现网络，业务逻辑，界面分离。n 后台存贮系统功能模块1. 基本参数配置功能，包括网络相关配置，告警参数配置，存贮配置,登录用户配置等，如网络参数配置:2. 网络服务模块，提供socket连接的服务端，为前端系统提供连接服务。接收前端系统发送的数据，解析数据，分发给其它模块；转发各种命令给前端采集系统。3. 数据分析处理模块，如更新服务请求，招唤采集命令等的执行结果，文件传输。4. 数据告警模块，告警模块提供各种告警服务，每种服务对自己关心的数据进行告警；根据告警的优先级，最高级的告警服务先接收数据分析模块传来的数据，判断是否告警，然后传给下一级的告警服务，直到配置的所以告警类型全部处理完毕。5. 数据存贮服务模块，将采集结果写入数据库。6. 提供升级更新服务的模块。为前端提供手动，自动，和强制升级服务，包括升级程序和配置。7. 日志服务和前端登录认证服务。n 后台存贮系统模块之间的层次关系n还认真开展了6次全国统一行动，遏制了因三超一