清洁生产数据库的建立与应用

1、清洁生产数据库的建立与应用余沁园，彭轲，刘刚（重庆新颜科技咨询有限公司401147）作者简介：余沁园（1973），男（羌），籍贯四川省北川县，工程师，硕士，研究方向清洁生产、环境信息化。电子邮箱 yuqinyuan 。摘要：清洁生产一种预防污染的环境战略，而开展清洁生产审核、实施清洁生产方案则是提升企业清洁生产水平、提高资源利用效率和从源头削减污染物的有效手段1。本文介绍一种基于关系型数据库的数据表模型和导入规则，用于从清洁生产审核报告中提取清洁生产方案，经数据抽取、转换、装载和清洗等步骤构建清洁生产数据库。同时，借助软件开发工具，实现清洁生产方案的查询和多样性呈现，为工业企业和咨询机构开展清

2、洁生产审核、实现节能降耗提供技术支撑。关键词：清洁生产；数据库；污染预防Creation and Application of Cleaner Production DatabaseYU Qin-yuan, PENG Ke, LIU Gang(Chongqing New Look Technology Consulting Co., Ltd, Chongqing 401147)Abstract: Cleaner production is a pollution-prevention oriented environmental strategy. Cleaner production ass

3、essment (CPA)and implementation of corresponding solutions are efficient and effective ways of elevating cleaner production level, optimizing resource utilization, and cutting pollutants from the source. This article introduces a relational-database based table model and import rules, by which clean

4、er production solutions are extracted from the CPA report, and database is built through data extraction, conversion, loading, and cleaning. At the same time, with proper software development tools, the query and diversity of cleaner production solutions can be realized. In this way, it can provide

5、technical support for the industrial enterprises and consulting organizations to carry out CPA, save energy and reduce consumption.Keywords: Cleaner production; database; pollution prevention在清洁生产审核过程中，工业企业通常会产生和实施不同类型的清洁生产方案。这些方案有的花钱多，有的花钱少或者不花钱，有的侧重于工艺技术改造，有的侧重于加强管理或提高员工技能，然而都可以帮助企业提高资源利用效率、从源头削减污

6、染物的产生，有一定的环境效益和经济效益。清洁生产审核咨询机构如果注重基础资料采集的完整性和准确性2，以及清洁生产方案的有效收集和积累，则可为后续的其他清洁生产审核项目提供帮助，而构建有特色的清洁生产数据库则是实现知识积累最基础也最重要的工作。2009年，重庆新颜科技咨询有限公司承担了“重庆清洁生产技术支撑平台”的建设，至今从审核过的200多个清洁生产项目中收集和积累了5000多项清洁生产方案，经数据清洗、整理后导入数据库，初步形成了涵盖汽摩、机械、化工、医药、建材等多个行业的清洁生产数据库。1 数据库构造清洁生产数据库选用全球应用最广泛使用的开源数据库MySQL，运行于Linux操作系统之上。

7、清洁生产数据库配置为关系型数据库，其E-R模型比较明晰，最基础的数据表为清洁生产方案表（solutions），字段设置如下表所示。表 1数据表字段设置（Table Columns Configuration）序号列名字段类型Null默认值1.项目编号proj_novarchar(6)否2.企业简称abbreviationvarchar(10)否3.行业industryvarchar(8)否4.区域areavarchar(6)否5.方案编号seq_novarchar(3)否6.方案类别categoryvarchar(28)否7.方案状态statusvarchar(8)否8.名称namevarch

8、ar(64)否9.简介introductionvarchar(256)否10.环境效益environmentvarchar(128)是NULL11.经济效益economicvarchar(128)是NULL12.总投资（元）investmentint(11)是NULL13.年收益（元）incomeint(11)是NULL14.节水（吨）water_savedint(11)是NULL15.节电（kWh）electricity_savedint(11)是NULL16.节煤（吨）coal_savedint(11)是NULL17.节天然气（方）gas_savedint(11)是NULL18.减排废水（

9、吨）water_reducedint(11)是NULL19.减排COD(t)COD_reducedint(11)是NULL20.减排SO2(t)SO2_reducedint(11)是NULL21.减排粉尘(t)dust_reducedint(11)是NULL22.减排危废(kg)hazard_reducedint(11)是NULL23.方案规模scalevarchar(8)否其中，“项目编号”和“方案编号”构成数据表的主关键字。按清洁生产审核的有关规范，“方案类别”共分8类，包括：提高员工素质或完善激励机制、加强管理、资源能源节约或原辅材料替代、优化过程控制或完善计量、回收利用废弃物或削减污染

10、物、更新或维护设备、技术工艺改造、改进产品或包装物。“方案状态”共分3类，包括：已实施、正在实施和计划实施。“方案规模”共分2类，包括：中/高费方案和无/低费方案。2 数据清洗和整理从形式上看，清洁生产方案的主要数据来源是咨询机构编制的清洁生产审核报告。然而，由于报告本身是非结构化的文本格式（多为MS Word格式），其中与清洁生产方案有关的汇总表的样式随编制人员不同而有一定差异，使得数据的抽取比较困难。同时，文本格式的表格数据存在段落符号不一致，中、英文符号不统一，半角全角符号混用，以及在Windows系列操作系统下数据编码格式与数据库装载工具要求有差异等问题，因此在进行数据装载时常常存在关

11、键数据的导入异常中断，以及部分数据冗余、重复、缺失等问题。数据的不规范，是建立清洁生产数据库的难点。要解决这个问题、确保数据装载成功，就需要在获取清洁生产方案后进行数据的抽取、转换和装载（数据ETL，即Extract, Transform & Load），通常如果缺乏专业的数据ETL工具，则利用几个常见工具也可完成，主要包括以下工作步骤：1) 新建一个MS Excel工作表。从清洁生产审核报告“方案的产生和筛选”一章中拷贝清洁生产方案分类汇总表，并从“方案的实施”一章中拷贝已实施的清洁生产方案成果汇总表和正在实施以及计划实施的清洁生产方案汇总表至Excel工作表，并按表 1内容进行数据

12、列标题和内容调整2) 在Excel工作表中，将半角逗号“,”全部替换为全角逗号“，”，并将半角双引号""替换为全角双引号“”3) 将文件另存为.csv文件（逗号分隔符文件）4) 再用Excel重新打开.csv文件，将所有数字类型的字段格式全部改为“常规”5) 在Excel中，将数字中的千分号全部删除，并确保所有单元格中的软回车字符全部删除，保存文件6) 用Word打开.csv文件，将连续两个半角逗号“,”替换为“,NULL,”7) 重复上一步骤，确保所有“,”全部被替换为“,NULL,”8) 利用替换功能将“空格+逗号”替换为“逗号”，并利用高级替换功能将段落标记“,P”替

13、换为“,NULLP”，保存文件9) 将.csv文件用Notepad打开，另存为solutions.csv文件，记住选择编码为“utf”数据按上述步骤清洗、完善之后，再用数据库管理工具（比如phpMyAdmin）导入solutions.csv文件，记住选择“Ignore duplicate rows”，字段分隔符选择逗号“,”。导入和装载作业完成后，就初步建立了清洁生产方案数据库。值得注意的是，如果在清洁生产审核过程中善于使用Excel等软件工具，则可以从Excel中直接进行数据转换和清洗，跳过上述步骤1，简化工作。3 数据库应用MySQL数据库的一大优势是有多种数据操纵平台可供选择，流行且简易

14、的平台选择为LAMP（Linux操作系统+Apache服务器+MySQL数据库+PHP编程语言），因此笔者选择PHP程序语言和Smarty模板引擎开发了“方案查询”功能。 目前，可以实现以下5种形式的方案查询：1) 按投资额查询2) 按方案种类查询3) 按行业查询4) 按企业查询5) 组合查询PHP程序方面，首先是连接数据库，关键语句如下：$connection = mysql_connect($db_host,$db_username,$db_password);if (!$connection)die("Could not connect to the database: <

15、;br />".mysql_error();mysql_select_db($db_database, $connection);然后是构造SQL查询（以组合查询为例），关键语句如下：$sql = "select abbreviation, seq_no, name, environment, economic, investment from $db_table where $strCond limit $iStartRecord, $nRecordsPerPage"$result = mysql_query($sql, $connection);if (

16、!$result)die("could not get results from the table: $db_table <br/> query condition is: ".$strCond);while ($result_row = mysql_fetch_array($result)$arrResult = $result_row;mysql_close($connection);最后，将查询结果的表现与逻辑分离。这样做有两个好处，一是使用同样的代码可为不同的目标生成数据，二是应用程序设计人员可与开发人员独立工作3。笔者选用Smarty模板引擎对查询结

17、果进行规整和修饰，可实现分页显示，代码不赘述。比如，笔者正在协助一家机械企业开展清洁生产审核，想查找一下与之有关的中/高费清洁生产方案，于是以投资额为“50-500万”，方案类别为“技术工艺改造”和“更新或维护设备”，以及所属行业为“摩托、汽车和机械”进行数据库查询，如下图所示。图 1数据查询界面（Data Query UI）可以查询到多条清洁生产方案，查询结果如下图所示。图 2数据查询结果（Data Query Result UI）由于正在审核的这家工业企业正好拥有一条自泳线，现场观察发现存在的资源浪费和环境问题较多，于是点击查询结果中的第1个项方案“自泳线改阴极电泳线”，则可以查看详细情况

18、，如下图所示。图 3数据查询结果详情（Data Details UI）从中可以查看“长安xx”公司实施该方案的简介、经济效益、环境效益等描述，以及具体投资额、节电量等定量数据，对于笔者有重要的启迪。此外，将清洁生产数据库作为外部数据源与Excel等电子表格工具结合，可实现Web发布数据透视图。下图是按“行业”和“方案类别”发布的清洁生产方案在“节约天然气”绩效方面的数据汇总透视图。图 4数据透视图（Data PivotChart）4 结论选择恰当的数据结构和数据清洗、整理方法，可以快速构建清洁生产数据库，从而将清洁生产审核过程中产生的大量数据，特别是清洁生产方案等予以整理和应用，一方面便于探寻和积累有价值的行业清洁生产方案，另一方面也有助于提高清洁生产审核效率、快速提供有针对性的方案，做到事半功倍。清洁生产数据库的应用范围很广，可以为技术和管理工作提供更多、更好地支撑。除了进一步优化数据装载和查询效率，以及完善基于web的数据透视表和数据透视图功能