环保管家服务企业环保大数据库的构建

第一节数据库架构和功能 1第二节设计思路 2第三节基本数据库表 5第四节数据分析方案 6一、基础数据采与整合 6二、基于认知计算的环境信息大数据分析 7三、重污染预警与决策支持 8四、工业园区污染来源解析 9五、区域异常污染自动监管系统 10第一节数据库架构和功能数据库总体架构包括基础技术架构、应用架构和数据架构等。根据系统架构中的组件划分，针对每个组件所处理的业务进行组件单元的数据库设计。本项目数据库的组件主要包括企业基本信息、环保管理信息、排污及监测信息、环境风险监管信息、环境质量监测信息等。同组件间所对应的数据库表之间的关联应尽可能减少，如果不同组件间的表需要外键关联也尽量不要创建外键关联，而只是记录关联表的一个主键，确保组件对应的表之间的独立性，为系统或表结构的重构提供可能性。数据库拟实现的基本功能包括：1.数据的录入和存储；2.数据的基本分析：统计、对比、交叉分析等。3.预警功能：不合格、超标等情况的提示；4.输出统计报表。还可以根据需要定制其它功能。第二节设计思路1.采用自上而下的思路进行数据库设计，首先分析系统业务，根据职责定义对象。对象要符合封装的特性，确保与职责相关的数据项被定义在一个对象之内，这些数据项能够完整描述该职责，不会出现职责描述缺失。并且一个对象有且只有一项职责，如果一个对象要负责两个或两个以上的职责，应进行分拆。2.根据建模进行数据库表的映射，此时一个表中的所有非关键字属性都依赖于整个关键字。关键字可以是一个属性，也可以是多个属性的集合，不论那种方式，都应确保关键字能够保证唯一性。在确定关键字时，应保证关键字不会参与业务且不会出现更新异常，这时，最优解决方案为采用一个自增数值型属性或一个随机字符串作为表的关键字。3.建立的数据库模型中的每一个对象只有一项职责，所以对象中的数据项不存在传递依赖。4.同样，由于对象职责的单一性以及对象之间的关系反映的是业务逻辑之间的关系，所以在模型中的对象存在主对象和从对象之分，从对象是从1对多或多对多的角度进一步主对象的业务逻辑，所以从对象及对象关系映射为的表及表关联关系不存在删除和插入异常。5.在映射后得出的数据库表结构中，应进行进一步修改，确保不存在多值依赖。这时，应根据反向工程的思路反馈给模型。如果表结构中存在多值依赖，则证明领域模型中的对象具有至少两个以上的职责，应根据前一条设计进行修正。即一个表如果满足BCNF，不应存在多值依赖。6.在经过分析后确认所有的表都满足上述的情况下，表和表之间的关联尽量采用弱关联以便于对表字段和表结构的调整和重构。并且，我认为数据库中的表是用来持久化一个对象实例在特定时间及特定条件下的状态的，只是一个存储介质，所以，表和表之间也不应用强关联来表述业务（数据间的一致性），这一职责应由系统的逻辑层来保证，这种方式也确保了系统对于不正确数据（脏数据）的兼容性。当然，从整个系统的角度来说我们还是要尽最大努力确保系统不会产生脏数据，单从另一个角度来说，脏数据的产生在一定程度上也是不可避免的，我们也要保证系统对这种情况的容错性。这是一个折中的方案。7.应针对所有表的主键和外键建立索引，有针对性的（针对一些大数据量和常用检索方式）建立组合属性的索引，提高检索效率。虽然建立索引会消耗部分系统资源，但比较起在检索时搜索整张表中的数据尤其时表中的数据量较大时所带来的性能影响，以及无索引时的排序操作所带来的性能影响，这种方式仍然是值得提倡的。8.目前，有很多技术可以替代存储过程的功能，如“对象/关系映射”。在数据库中放置数据一致性保证将对版本控制、开发和部署以及数据库迁移产生重大影响。然而，不可否认的是，存储过程具有性能优势。因此，当系统的可用硬件得不到改进并且性能是一个非常重要的质量属性时，可以通过平衡考虑来选择存储过程。9.当处理表间的关联约束所付出的代价（常常是使用性上的代价）超过了保证不会出现修改、删除、更改异常所付出的代价，并且数据冗余也不是主要的问题时，表设计可以不符合四个条件。四个条件确保了不会出现异常，但也可能由此导致过于纯洁的设计，使得表结构难于使用，所以在设计时需要进行综合判断，但首先确保符合四个条件，然后再进行精化修正是刚刚进入数据库设计领域时可以采用的最好办法。10.设计出的表要具有较好的使用性，主要体现在查询时是否需要关联多张表且还需使用复杂的SQL技巧。11.设计出的表要尽可能减少数据冗余，确保数据的准确性，有效的控制冗余有助于提高数据库的性能。第三节基本数据库表1.用户信息表：t_org_user2.公司信息表：t_factory3.设备信息表：t_devices4.FID实时数据表：t_fid5.VOCs实时数据表：t_vocs6.特征因子实时数据表：t_early_warning7.大气网格化实时数据表：t_daqi8.重点污染源实时数据表：t_wuran9.FID过去十一小时各小时平均数据表：t_FIDHis10.VOCs过去十一小时各小时平均数据表：t_VOCHis11.特征因子过去十一小时各小时平均数据表：t_WarnHis12.大气网格化过去十一小时各小时平均数据表：t_XianHeHis13.重点污染源过去十一小时各小时平均数据表：t_XinHeHis14.企业基本信息：t_company15.环保管理信息：t_manage16.大气污染物有组织排放：t_org_daqi17.大气污染物无组织排放：t_noorg_daqi18.水污染物排放：t_water_wuran19.固体废物排放：t_waste_wuran20.噪声排放信息：t_noise_wuran21.环境风险监管信息：t_Monitor22.大气环境质量检测：t_mon_daqi23.水环境质量检测：t_mon_water24.声环境质量检测：t_mon_noise25.各监测参数阈值表：s_yuzhi26.预警报警信息表：s_yujing27.标准文档表：s_standard28.应急预案表：s_emeManager29.决策报告表：s_report30.新闻表：s_news31.评论表：s_remark第四节数据分析方案一、基础数据采与整合覆盖全市的空气质量监测网络，构建环境信息数据库，开发一体化的数据实时采集、数据解析处理、自动质量控制、数据加工、叠置分析、预警识别等功能模块，实现数据一体化的统一加工处理和计算，保障服务于XXX市的空气信息原始数据、过程数据、结果数据和发布数据的一致性，并为今后实现全自治区，乃至全国多级联动的重污染天气应急响应体系提供坚实的数据基础。系统实时采集各种类型、不同来源、多点分布的环境和大气数据，包括地面常规观测数据、探空观测数据、超级站数据、排放清单、模式数据、气象辅助产品、监测站信息数据连接和集成、气象局提供的相关气象资料信息。此外，整合其他相关业务数据，如地形数据，交通流量数据，企业信用数据，企业用电量、用水量、煤炭消耗量、化工原料消耗量，以及重型设备位置信息、工人到岗密集程度等信息，为辅助决策提供更完善的数据支持。开发一体化的数据自动质量控制、数据加工、AQI计算等功能模块，实现数据一体化的统一加工处理和计算，开发多级数据交互平台，实时交互原始数据、过程数据和各种加工后的成果数据，保障多级原始数据、过程数据、结果数据和发布数据的一致性，最终实现多级数据一致的分区空气质量实时发布系统，并将数据实时与环保信息数据中心进行数据交换。主要实现以下功能：一体化质量控制、一体化数据加工、多级数据实时交换，与环保信息数据中心的数据实时交换、数据查询统计，整合污染源监控监测中心、气象、交通，信用监管等相关部门和行业和数据。二、基于认知计算的环境信息大数据分析利用平台中积累的各类数据，通过经典统计分析、数据挖掘、机器学习领域中超过30种模型和方法，通过认知计算方法使得这些模型和方法协同起来，实现了与空气质量相关的一系列分析，产生更大的价值。在专家知识的基础上，系统对污染站点的特征进行挖掘和聚类，通过时空分析、多污染关联分析等手段，为空气质量管理提供新的洞察能力。主要包括：各种污染物以及气象元素之间的相关性分析，污染与风速风向的相关分析，基于时间序列分析，基于空间分布的分析，周边地市排放源对于XXX市的污染传输分析，案例匹配分析（结合气象条件，根据一系列的判断准则，进行案例匹配，从而辅助分析），知识规则在线自动生成（生成空气质量分析相关的决策树），等等。这些分析模型和方法构成了我们大数据分析平台的核心，也为后期实现更多的环境分析应用提供了基础。三、重污染预警与决策支持与环境管理部门的空气重污染应急工作相衔接，提供相关重污染预报预警的技术支持及决策信息服务。通过污染源和污染扩散进行仿真，建立减排效果评估模型，针对给定预案进行提供精细化、量化评估。根据重污染天气应急预案中的要求，提供污染源调控措施。可根据不同调控措施的组合生成应急预案。根据上述生成的应急预案，提供不同预案相对应的主要污染物减排量及减排比例，以专题图形式直观显示，同时支持统计、分析结果的打印输出。系统能够向空气质量数值模拟系统提交基于应急预案的网格化源清单，并接收和处理模式运行结果。根据不同的应急预案，展示空气质量模拟得到空气质量改善效果和变化趋势。展现在各种应急预案下PM2.5、PM10、SO2、NOX、O3、CO等主要污染物的时空分布图、指定站点的污染物浓度等。系统可以图表形式显示指定预案实施后PM2.5、PM10、SO2、NOX、O3、CO等主要污染物的环境观测与方案模拟对比结果，评估空气质量改善效果。展示重污染天气污染物来源分析（动态展示效果图），及采取应急措施后，根据不同的调控方案，展示不同的调控方案效果和趋势展现。四、工业园区污染来源解析对于一定范围内的工业园区污染源以及周边输入性污染源实现在线源解析。分析不同工业园、不同行业的排放源对XXX市及周边区域的主要污染物浓度的贡献量和贡献率，提供不同地区、不同行业污染排放源对一定历史时期（重污染过程、月度、季度、年度等）和未来3天主要污染物浓度的影响程度和影响范围相关分析，评估一定时期各工业园区污染互相传输对主要污染物浓度水平的影响，用于确定对于相关地市空气质量有较大影响的区域及行业。其中，不同地区包括各区县及周边地市市；不同行业包括工业源（火电、钢铁、水泥、石油、化工、制药等）、生活源、交通源、农业源等；追踪的污