（计算机应用技术专业论文）基于web的电子产品信息平台的设计与实现.pdf

北京邮电大学硕士研究生学位论文 北京邮电大学硕士研究生学位论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：趁12 。! k 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。 本学位论文 本人签名： 导师签名： 本授权书。 日期：2 型 坠主：! 垄 日期：色2z 组f ! 垄 北京邮电大学硕士研究生学位论文 一 北京邮电大学硕士毕业论文 基于w e b 的产品信息平台的设计与实现 摘要 近几年来，电子商务己进入飞速发展时期，了解市场、为消费者 提供满意的服务是公司取得成功的关键。当今的商业环境比从前更加 复杂并且充满竞争，如何有效的为生产商提供市场消息，如何合理的 指导消费者消费，如何为消费者展现生产商的消费，保障消费者的利 益，就成为刻不容缓的待解决问题。某行业协会的电子产品信息平台 就是要解决这些问题。 电子产品信息平台的研究和实现，基于数学理论和计算机科学 知识。两者有效的结合能够为消费者和生产商提供有效的信息，指 导消费者消费和生产商生产商品。 对于电子产品信息平台来说，怎么有效的利用理论分析收集到 的数据和怎么合理有效的收集数据、怎样过滤、整合数据、怎样提 供有效的信息、怎样展示数据都是其中关键的环节。本文主要论述 了利用数学理论、计算机科学知识来实现系统，包括其利用数学理 论方法和分析方法分析数据，以及系统的的设计与实现。 本文所完成的中电子产品信息平台是来源于某行业协会研究 合作项目，用于为生产商和消费者提供有效的信息服务，目前使用 效果良好。 根据某行业协会提供实际需要，本文设计并实现了电子产品信 息平台系统。该系统解决了如下问题： ( 1 ) 实现了数据的有效采集 ( 2 ) 实现了有效的数据清洗功能 ( 3 ) 利用多种数学理论分析数据 ( 4 ) 实现了有效的信息展示图形。 ( 5 ) 系统的整体建设 关键字：数据采集；别名识别；景气度；数据分析 i i 北京邮电大学硕士研究生学位论文 h 一 北京邮电大学硕士毕业论文 t h ed e s i g na n di m p l e m e n t a t i o nf o r e l e c t r o n i cp r o d u c ti n f o r m a i t i o np l a t f o r m b a s e do nw e bs y s t e m a b s t r a c t i nr e c e n ty e a r s ，t h er a p i dd e v e l o p m e n to fe - c o m m e r c eh a se n t e r e dt h ep e r i o dt ou n d e r s t a n dt h e m a r k e ta n dp r o v i d ec o n s u m e r sw i t hs a t i s f a c t o r ys e 州c et ot h ec o m p a n y sk e yt os u c c e s s t o d a y s b u s i n e s se n v i r o n m e n ti sm o r ec o m p l e xa n dc o m p e t i t i v et h a ne v e l ，h o wt oe f f e c t i v e l yp r o v i d e p r o d u c e r s 谢mm a r k e tn e w s ，h o wt og u i d ear e a s o n a b l ec o n s u m e rs p e n d i n g ，h o wt od i s p l a y m a n u f a c t u r e r sf o rt h ec o n s b n l e rc o n s u m p t i o n ，t op r o t e c tt h ei n t e r e s t so fc o n s u m e r 8 ，h a sb e c o m e i m p e r a t i v et h ep r o b l e mt ob es o l v e d a s s o c i a t i o no fc h i n e s eg o o d si n f o r m a t i o np l a t f o r mf o r e l e c t r o n i cp r o d u c t si st os o l v et h e s ep r o b l e m s e l e c t r o n i ci n f o r m a t i o np l a t f o r mf o rr e s e a r c ha n di m p l e m e n t a t i o n ，b a s e do nm a t h e m a t i c a lt h e o r y a n dc o m p u t e rs c i e n c e e f f e c t i v ei n t e g r a t i o no fb o mc o n s u m e r sa n dm a n u f a c t u r e r sc a np r o v i d e e f f e c t i v ei n f o r m a t i o nt og u i d ec o n s u m e rs p e n d i n ga n dm a n u f a c t u r e r st op r o d u c eg o o d s f o ri n f o r m a t i o np l a t f o r mf o re l e c t r o n i cp r o d u c t s ，t h et h e o r e t i c a la n a l y s i so fh o wt oe f f e c t i v e l y u s et h ed a t ac o l l e c t e da n dh o wr e a s o n a b l ea n de f f e c t i v ec o l l e c t i o no fd a t a ，h o wt of i l t e r , i n t e g r a t e d a t a ，h o wt op r o v i d ee f f e c t i v ei n f o r m a t i o n ，h o wt od i s p l a yt h ed a t aa r ea m o n gt h ek e yl i n k t h i s p a p e rd i s c u s s e st h eu s eo fm a t h e m a t i c s ，c o m p u t e rs c i e n c ek n o w l e d g et oa c h i e v et h es y s t e m ， i n c l u d i n gi t su s eo fm a t h e m a t i c a lt h e o r ya n da n a l y t i c a lm e t h o d st oa n a l y z ed a t a a n ds y s t e m d e s i g na n di m p l e m e n t a t i o n 1 1 1 i sc o m p l e t e dt h ec h i n e s ee l e c t r o n i c si n d u s t r ym a r k e ti n f o r m a t i o ns e r v i c ep l a t f o r mi sd e r i v e d f r o mt h ea s s o c i a t i o no fc h i n e s eg o o d sr e s e a r c hc o o p e r a t i o np r o j e c tf o rp r o d u c e r sa n dc o n s u m e r s f o r t h ep r o v i s i o no fe f f e c t i v ei n f o r m a t i o ns e r v i c e s ，c u r r e n t l yu s i n gg o o de f f e c t a s s o c i a t i o na c c o r d i n gt ot h ea c t u a ln e e d so fc h i n e s eg o o d s ，t h i sp a p e rd e s i g n sa n di m p l e m e n t s e l e c t r o n i cp r o d u c ti n f o r m a t i o np l a t f o r ms y s t e m t h es y s t e mt os o l v et h ef o l l o w i n gp r o b l e m ： ( 1 ) t oa c h i e v ea l le f f e c t i v ec o l l e c t i o no fd a t a ( 2 ) t oa c h i e v ea ne f f e c t i v ed a t ac l e a n s i n gf u n c t i o n ( 3 ) t h eu s eo fav a r i e t yo fm a t h e m a t i c a lt h e o r yo fa n a l y s i so fd a t a ( 4 ) t oa c h i e v ea ne f f e c t i v ei n f o r m a t i o nd i s p l a yg r a p h i c s ( 5 ) n es y s t e ma saw h o l e - b u i l d i n g k e yw o r d s ：d a t ac o l l e c t i o n ；a l i a si d e n t i f i c a t i o n ；b o o md e g r e e s ；d a t aa n a l y s i s 北京邮电大学硕士研究生学位论文 ， 北京邮电大学硕士研究生学位论文 目录 第一章引言1 1 1 课题背景1 1 2 现状分析1 1 3 本文结构2 第二章系统分析3 2 1 系统模块3 2 2 系统的功能模块4 2 2 1 基础数据录用采集模块4 2 2 2 数据清洗筛选模块7 2 2 3 数据统计分析模块8 2 2 4 数据表示模块9 2 3 系统难点分析1 0 2 3 1 企业信用度评价1 0 2 3 2 别名识别技术1 1 2 4 系统技术介绍1 1 第三章系统设计2 l 3 1 系统架构2 l 3 2 数据处理层的设计2 1 3 2 1 数据采集模块2 1 3 2 2 数据清洗模块2 2 3 2 3 数据分析模块2 5 3 3 数据表示层的设计2 8 3 3 1 价格信息发布模块2 8 3 3 2 企业服务评价模块2 8 3 3 3 产品信息发布模块2 9 3 3 4 信息服务模块3 0 3 3 5 产品信息发布模块3 1 3 3 6 综合信息发布模块3 2 3 3 7 综合管理模块3 2 3 4 数据库设计3 2 i 北京邮电大学硕士毕业论文 3 4 1 概述3 2 3 4 2 数据库设计原则和规范3 3 3 4 3 应用服务映射关系3 7 第四章系统实现3 8 4 1 网络架构3 8 4 2 数据库实现介绍3 9 4 2 1 数据库版本介绍3 9 4 2 2 数据库详细实现3 9 4 3 关键技术的实现4 2 4 3 1 别名识别4 2 4 3 2 数据清洗4 2 4 4 用户操作介绍4 5 4 4 1 用户查看的统计表4 5 4 4 2 用户查看的统计图4 6 4 5 商家操作介绍4 7 4 5 1 生产厂商供货报表4 7 4 5 2 销售商销售报表4 8 4 6 系统统计分析介绍4 8 4 6 1 价格指数4 9 4 6 2 销量统计5 1 4 6 3 景气度5 2 4 6 4 厂家销量5 3 4 7 产品管理5 6 第五章总结6 2 致谢6 4 参考文献6 5 n 北京邮电大学硕士研究生学位论文 1 1 课题背景 第一章引言 如今随着经济的高速发展，各个行业和领域正在成为或已经成为全球最重 要的产地和消费市场。这其中，电子消费品领域是最能体现这一市场发展的产 业之一。另一方面，我们的消费者的消费观念也在发生着巨大的变化，但不同 于其他国家的中国特色也依然存在。在政治对市场引导方面也在发生着从政府 派发生产计划和行政命令管理市场逐渐过渡到由政府引导，市场调节和行业自 律的转变。这样各种行业协会的纷纷建立在现阶段就起到了承上启下的重要作 用，并在将来中国社会主义市场经济一旦成熟以后他们必将成为各行业的领军 机构。 近些年，发达国家的经验和目前我国的发展趋势来看，能否快速准确的获 得所需的信息已经成为厂家制定有效的研发或生产计划，商家采取适当的经营 行为以及消费者做出正确的购买抉择的决定性因素之一。而自上世纪8 0 年代 以来，互联网在全世界的普及和急速发展使这一切成为可能。我们可以说网络 面前人人平等，现在的问题是，看谁能最有效的利用这一性能无比强大的信息 工具去赢取胜利果实和实现梦想。 1 2 现状分析 在我国社会主义市场经济高速发展的大背景下，作为高科技行业的电子消 费品产业毫无疑问的是在各个领域中发展最为迅速的一个。就像上面提到的， 与很多类似产业一样，我国已经成为名符其实的全球最大电子消费品生产国和 消费国之一，近年来我国已经具备了从设计到开发，再到生产制造的完整产业 链。而在市场上，电子消费品的更新速度和极为丰富的产品种类也基本可与发 达国家媲美。产品种类和功能可以说已经极大丰富，完全可以满足各类消费者 的需求。人们的快速富裕也造成了电子消费品市场极为活跃。 但问题也来了，科技带动产品的更新升级速度越来越越快，品种也越来越 丰富这给人们带来各种各样的好处的同时，也给消费者带来了难题，也就是我 们常说的往往使一个消费者挑花了眼，在种类繁多的产品及其功能面前，经常 令人很难抉择，需要获得大量的相关产品信息并进行大量的比较分析来使自己 做出消费选择。在产品厂商方面，难题也同样存在，怎样以最快的速度从市场 获得各种信息和数据并加以分析以便能准确掌握消费者真正消费心理和及时得 到最时尚和流行趋势也变得极为重要了。 现在看来，无论是从电子消费品整个产业结构还是电子消费品市场情况来 讲，如果能建立一个具有权威性的信息平台来为产业和市场各利益相关者提供 可靠而内容全面，更新及时而简单易查的数据和信息源，那么就变得极为迫切 了。而利用传播速度快，信息量大的互联网来建立这样一个网站平台可能是我 们达到上述目的唯一手段。 随着市场经济的发展，政府对市场管理的职能也在发生着巨大变化，现阶 段政府引导，市场自行调整地态势正在逐步形成，但必须承认我国市场与发达 北京邮电大学硕士毕业论文 国家相比还不成熟，很多市场矛盾还影响甚至是制约着整个产业的发展。这其 中市场诚信的建立已经成为当前必须认真面对的急迫问题。厂家因为利润的驱 使制造低质产品而遭致用户的抱怨；商家因为市场竞争而做出虚假宣传伤害了 消费者；买家因为没有充分了解产品性能而做出错误消费发现后的可能做出不 理智行为在我们身边到处都可以看到，电子消费品由于其是高科技的产物这些 问题就更加突出。根据发达国家的经验来看，一个权威性的行业协会应该成为 该行业的行业规范和自律的领导者。结合中国的历史和现状来看，由信息产业 部承办的中国电子商会应该在将来社会主义市场经济基本成熟以后成为这样的 权威行业协会，从而成为这个中国电子消费品产业的领军组织。那么现阶段能 利用此信息平台向消费者、商家和厂家发布及时、准确、全面和实用的数据和 信息必将大大帮助中国电子商会成为电子消费品行业的权威机构。 市场是最能体现一个行业繁荣程度的地方，同时也最能体现电子消费品竞 争激烈程度的阵地。在当前的中国市场，从消费者的购买渠道即商家的销售方 式来讲，电子消费类产品可以说形式是最多样的，最复杂的。特别是在像北京， 上海等大城市，你可以遵循传统到大型百货商场的电器或通信产品柜台和售货 部购买；当然近些年可能大家买一件电器更多的是去像国美、大中和苏宁这样 的电子消费品非常集中网络店、全国覆盖面的大型电器连锁店；在北京如果你 想买i t 产品很多人可能会去一趟中关村，像当今北京的海龙、鼎好、科贸，上 海的太平洋，深圳华强这样的大型i t 、及电子产品集中市场所呈现的繁荣场面 会告诉你挑选高科技产品应该到这里；专业产品的连锁店也是一些产品的主要 销售渠道，特别是手机等个人通信产品，迪信通，新飞鸿等跨地域的连锁手机 专卖店可能是你的最佳选择；网络商城和电视购物可能是近来发展最为迅速的 电子消费品新兴售卖渠道，他们可以满足你足不出户就可以购买自己心仪的时 尚高科技产品的愿望；还有个体街边小型销售店和厂家专卖店一起灵活的价格 政策和贴心的服务也吸引着很多买家。 一面是复杂的销售环境带来的竞争，使各个商家都想方设法 费者认知他们，光顾他们，了解他们的最新销售信息，特别 面，他们也想了解最新的市场变化和竞争对手的销售态势。 处在市场经济的发展阶段，市场规范和管理水平与发达国家 性竞争，无序竞争比比皆是。电子消费品信息平台在这方面 师益友。 分析，介绍系统所需的模块、相关技术，以及技术难点分析 设计与技术论证，论述了业务逻辑设计、系统角色设计，从 点论述了相关技术的选型和研发方向。 实现，介绍系统的网络架构，数据的实现以及相关技术的实 户说明和系统展示。 工作。 2 北京邮电大学硕士研究生学位论文 2 1 系统模块 第二章系统分析 电子产品信息平台的建设根据前期的某电子商会市场调查，重点定位在为广 大消费者提供有效的信息，根据调查，系统的模块大致可以分为：数据采集模块、 数据清洗模块、数据分析模块、数据表示交互模块。详细关系如下图所示： 数据清洗模块 图2 - 1 系统模块 3 北京邮电大学硕士毕业论文 2 2 系统的功能模块 2 2 1 基础数据录用采集模块 1 ) 信息和数据源 电子产品信息服务平台的信息可能由信息来源渠道或信息可能提供者提 供。从整个中国电子消费品行业来讲，大致可以把信息源定位以下几类： 品牌厂商： 他们是产品详细信息和相关技术信息的提供者，同时他们作为电子产品信 息服务平台的会员也需要提供自身公司的基本情况。其中的产品信息将是作为 数据库的重要基础数据，作为日常报表统计、分析和评价的根数据。在采集数 据的难度上来讲，由于电子消费品是属于高科技企业，大多数主流厂家本身都 具有自己比较完善的业务管理数据库系统。因此只要是双方认可的情况，收集 数据从技术角度来讲相对容易和准确。但一些小厂家可能自身条件有限可能没 有完善的企业i t 管理系统，所以在采集数据方面可能会遇到很大麻烦，即使可 以提供一些数据，也可能必须采取手动操作，另外，在数据准确性方面，也需 要加大对数据准确性的监管，确保数据的准确性。 销售渠道： 在这方面中国目前的现状是比较复杂的。形式多种多样，规模，素质参差 不齐。但他们是主要的市场数据和信息来源。总结起来有以下几类： 大型电器专业连锁商城： 在大城市里，像国美，大中，苏宁这样的大型电器专业连锁商城已经成为 人们购买电子消费品的最主要场所。他们销售种类齐全，售中服务好，价格一 般较合理。这样大型的商城拥有自己的e r p 业务管理数据库系统。有很好的数 据采集条件，数据和信息内容也很丰富，数据也很可靠。 大型电子和计算机产品集中市场： 经常买i t 产品的人中绝大多数的人熟悉这种市场。最典型的要数北京中关 村的海龙、鼎好、科贸等，上海的太平洋和深圳的赛格等。它们一般规模大， 电子消费品种类特别是i t 商品可能非常齐全，出货量也很大。 专业电子消费品连锁店： 在一些种类的电子消费品中，这种销售方式很流行。特别是手机，像迪信 通和新飞鸿等，它们覆盖面大，可以在全国建立几百家甚至是上千家连锁店。 4 北京邮电大学硕士毕业论文 专业经营的产品出货量大，消费者认知度也较好。 大型商场和超市： 传统综合性大型商场和超市，现在也一般设立专门的电子消费品柜台，他 们管理规范，价格稳定而透明，信誉度非常好，可以为我们带来很好的数据来 源。 品牌厂商直销方式和政府大团体采购： 现在很多产品制造商对一些产品特别是高端产品采取自行直接面对客户的 销售方式，并且往往把服务和硬件产品一起打包出售。 电视购物和网络直销方式： 近些年电视购物和网络直销发展速度很快，电子消费品本身的产品性质也 是最适合这种消费方式的种类之一。它们一般都是由一些正规的专业机构运行， 并且销售方式本身就是采用高技术，所以采集数据非常容易，可靠性高。 2 ) 数据的录用形式 根据信息和数据源的确定中的分析所表现出的复杂性，再加上我国幅员辽 阔，地区文化差异大，经济总量虽很大( 即销售总量非常大) 经济发展却不平 衡的情况来看，数据收集的难度本来就很大，另一方面也是最关键的问题是由 于在当前中国市场诚信制度还不是很成熟。在这种情况下，确保数据的准确性 和可靠性就变得非常棘手。而电子产品信息平台与同类业态相比最大的特点就 是权威性和公正性要超越盈利性而被摆在第一位。但保障发布数据的准确性和 可靠性是权威性和公正性被普遍认可的最基本必要条件。上面有了厂家商家和 产品的基础信息，系统就可以根据这些基础信息来从上面所列的信息和数据源 争取获取整个中国电子消费品市场和行业统计数据。根据信息源的种类和数据 管理水平不同，我们把他们分为两类：一类是有较完善的e r p 等数据管理系统 得企业；另一类是还未建立适当的r r 管理系统来管理自己的业务数据，只能通 过手动记录或使用简单的电子表格( 例如：e x e x l ) 来记录经营数据的。但无 论怎么操作，首先应该先建立系统自己的统计报表格式。然后再考虑收集数据 的方式。这里只列出了一些类型的报表格式，在项目成熟后，还应该收集客户 的反馈消息，以确定最好的标单格式。 产品属性是指约定的四类属性：元器件，配件，成品，耗材及小附件；而 产品类型也是上面提到的按照信息产业部官方网站上公布的产品类型。s n 详情 时指大部分商品厂家会为每个商品一个单独的序列号，s n 是英文s e r i a ln u m b e r 的简称。 5 北京邮电大学硕士毕业论文 对于具体出货量可能对于大多数厂家来说机密资料。但有时有些厂家处于 一些商业宣传的目的可能会公布他们的产量，特别是在某种商品货源比较紧张 的情况下，一些中小企业可能增加市场认知度也许会跟电子产品信息服务平台 合作。另外中国商品协会还可以有价收购这些信息并和信息提供者达成合作协 议，把它们出售给一些需要这些信息和数据的会员。 服务统计表单信息 企业售前，售中和售后服务水平评价体系统中已经定义了服务应该包括售 前，售中和售后几个阶段的服务，可以说关系到整个消费活动中。而服务的评 价是比较复杂而敏感的问题，比较复杂是因为它要综合考虑品牌厂商和销售商 的硬件和软件环境，而服务质量一旦公布出来往往对一个产品甚至是一个厂家 的销售都产生非常巨大的影响。其中硬件情况基本上包括热线电话( c a l lc e n t e r ) ， 官方指定服务网站的水品和服务维修网点的情况。软件情况当然就是服务人员 素质，热线电话接线率，服务网站的信息准确性和更新速度，处理问题的质量 和其他服务方面的管理水平。对于厂商和消费者都关心的投诉问题，系统设计 了一个较好的统计方式。首先应该明确定义什么是投诉，即怎样就形成为投诉? 首先投诉是消费者在购买和使用所购买的产品时，对产品本身和制造商及销售 商的服务都抱有良好的愿望和期望值，但这些愿望和期望没有得到满足时，心 里就会失去平衡而产生的向第三方抱怨或讨个说法的行为。要把投诉和客户的 询问区分开来。建议只统计向非产品制造和销售的机构的投诉行为，因为由于 投诉的敏感度很高，厂商都不愿透露，所以数据收集的可能性很小。 维修网路的分布 热线电话和官方服务网址 虽然在企业基本信息里已经有热线电话和官方网址，但如果一个重视服务 的企业，他会为不同需求的客户非常全面方便的远程支持手段的，特别是在针 对功能强大的高科技产品的电子消费品来说就更有实际意义。 客户咨询，维修和相关服务的情况统计 咨询多长时间可以解答? 机器多长时间可以修好? 能不能上f - i n 务? 这些 极为实际的问题可以充分反映客户的消费和使用体验，比起冷冰冰的统计数据 更具有实际意义。 产品和厂商信息上面已经有了，类别分为，咨询，维修，上门安装，远程 支持等类别。服务结果应该包括解决和不能解决。解决在总单量中的比例是成 功率。客户满意评价设计了评分标准，非常满意，满意，一般，比较差，非常 差并设定分数，然后算平均值即为客户满意度。 6 北京邮电大学硕士毕业论文 这些数据主要来自于与系统合作的非厂家和商家的第三方机构，以及中国 商品协会的统计，这其中当然包括我们的咨询投诉平台( 电话和网络平台) 所 直接收到的数据和信息。同时与一些厂商有条件的合作也不是完全不可能。 故障率、投诉、服务种类的统计 一个产品什么样的故障最容易出现? 客户投诉最多的问题到底是什么原 因? 什么样的服务最受客户欢迎? 这些问题对客户有实际意义，这对于厂商来 说更具现实意义，他们很大程度上就是厂家改进、开发下一代产品和服务以及 采取什么样的经营或销售政策的最主要依据。 2 2 2 数据清洗筛选模块 数据清洗模块从用户( 这里包括普通用户，制造商，销售商等v i p 用户) 和管理员获取用户信息，产品信息，管理员信息，报表信息数据如用户名，密 码，登录名，产品名称，属性，报表号，报表日期等，通过各种接口技术将采 集的数据单向传递到数据库服务器中。采集的实时数据必须进行数据检验以保 证其正确性和可靠性，可根据各种算法和预测模型剔除掉“坏点 ，并用预测值 替代。 1 准确获取实时数据，是统计分析功能计算和处理分析的基础。因此，采 集数据预处理是优化计算中极其重要的一个环节。根据平台实际功能，基于数 据采集，数据校验，数据转换算法分别对数据进行了预测验证和转换。如时间 日期的输入，标准为“x x x x ) 【) 【x x ( 4 位数字年，2 位数字月份和日期，精确到 某一天) 或“x x x x x x ”( 4 位数字年，2 位数字月份，精确到某一个月) 。当然， 系统为避免出现由于输入数据的不合法导致崩溃，会自行检查并转换成正确格 式，如用户输入“) 【】【】【) 【x ，系统可以自动识别，并将时间更改为“x x x x 一) 【) 【 。 输入的时间要保证和数据库服务器时间同步，否则将会引起不可预知的错 误和系统崩溃。基于业务上的考虑，业务人员处理数据的过程应该实时进行， 至少不应拖的太久，否则会造成数据的失真，使获得的数据毫无价值。 2 在我们的统计报表中，有些内容并不是必填内容，所以必然会造成有些 数据不是齐全，所以这些数据录用到数据库中时是属于坏数据，但是这些坏的 数据并不是脏数据，有些数据内容不齐全，但是有的数据丢失的是非主要数据， 所以有些内容不全的数据是可以使用的，所以我们系统采用识别主要内容的方 法，来判定收集的数据是否能够被采用，如，一个产品再设计时，产品名称， 产品i d ，产品价格等等是主要信息，但这个产品的备注并不是必须内容，所以 7 北京邮电大学硕士毕业论文 数据处理模块判定产品内容是否确实主要数据，如果这个产品没有确实主要数 据，则判定这个产品的数据是可以被录用的。 对于产品的主要内容缺失的，或者数据错误的，我们系统的数据清洗模块 会判定这个产品数据是脏数据，予以丢失。 3 在输入的过程中要求用户输入的信息有一些在进入数据库之前需要转 换，转换成表中规定的数据类型。如在填写渠道信息时，用户需要选择地域信 息，而在数据库中，我们只是存一个地区信息的i d 号，这个i d 号在a r e a 表 中是有对应的，这样就完成了数据的转换，这样的转换有利于数据的分析和挖 掘。 对数据的采集和预处理过程提出专门的规定，包括适合应用的数据格式、 预定的数据通信媒体和对输入的时间要求等。对于需经模拟转换或数字转换处 理的数据量，要给出转换方法和转换因子等有关信息，以便软件系统使用这些 数据。 2 2 3 数据统计分析模块 数据统计分析模块的主要功能是对数据采集模块传送过来的数据进行分类 和统计，将各类数据按照其类别放入相应数据库中，并判断该数据的实时性是 否向上层继续传送。对异常数据进行预警。如下图所示。 7” ? 1 露 数据采集模块 7 。 础 1r 数据分类 数据统计 控制图模型 - i预警 r 用户信息j 弦品信息统计信息 数撅库数据库数据_ | 车 数据库 图2 - 2 数据分析模块结构图 8 北京邮电大学硕士毕业论文 数据分类 根据前章对数据类别的划分对各个信息数据进行分类，按照数据的类型生 成结构化的x m l 文档数据。x m l 与数据库相结合的方式有四种，我们将根据 数据信息的特点混合采用下列4 种方式，大体分为【1 1 ： 1 直接存储x m l 文档，即将x m l 文档作为大对象存储在数据中； 2 将x m l 数据模型影射到其他模型，如关系模型、对象模型，每项x m l 数据都作为一个记录存储； 3 同时采用2 种方法，即存储x m l 文档的同时，将数据从文档中抽取出 来，按记录存储； 4 综合方式，即对x m l 数据按一定的方法分成较大的块，以块为单位存 储数据。 数据统计 依据统计学原理和公式对各个类别的数据按需求进行统计计算，由于数据 量庞大和数据来源的混杂，在统计的工程中难免出现无效数据、偏差过大数据 和恶意数据，在这里引入控制图模型对统计过程质量加以测定、记录，将无效 数据、偏差过大数据和恶意数据送往预警处。 预警 对无效数据、偏差过大数据和恶意数据分别执行丢弃、审核和预警等动作。 2 2 4 数据展现模块 1 ) 价格信息发布 功能：有静态发布机制和动态发布机制，静态发布机制主要对厂家和商家 的各类产品的价格快速并且准确的发布给用户进行查询；动态发布机制主要引 导厂家和商家的经营策略，能够通过对各类收集的数据的分析和 格变化趋势。 2 ) 企业服务评价发布 功能：企业服务评价模块负责对企业服务信息的统计及计算 牌价值进行预估，表现形式可以为企业品牌价值排行榜、同类产 排行榜等可分成2 个子模块：投诉率统计、会员信息统计。 3 ) 信息服务发布 9 北京邮电大学硕士毕业论文 信息服务模块提供以下功能： 供求信息：提供某类产品的供货信息、采购信息，该类信息以时间为约束 条件，分为长期、短期以及一段时间内的供货采购情况。按照发送消息的方式 在平台上进行显示。 行业动态：主要提供企业对自身信息的发布，电子商会对企业信息的发布、 对企业信息的审核和评价。 4 ) 产品信息发布模块 产品信息发布模块是整个电子消费品信息发布平台的信息出口，可为消费 者提供准确的各种电子消费品信息，并且为企业用户提供市场供求信息、行业 动态消息以及消费者对产品的反馈信息。 5 ) 综合信息发布模块 提供各类政策法规、新闻、厂家商家信息，这些信息将放在专门的数据库中， 供用户快速准确的查找相关信息。 6 ) 数据管理模块 综合管理模块主要对主要用于后台管理员对系统进行管理和维护，对用户身 份、用户角色和系统资源进行统一分类和管理，对各类系统参数、系统状态、日 志备份等进行统一管理和维护，并对用户发布的信息进行审核。 2 3系统难点分析 2 3 1 企业信用度评价 系统已经统计了产品和服务质量以及投诉，结合收集的企业基本信息可以制 定一个评价机制，从客观上和主观上，使消费者和厂商知道，什么品牌的产品好? 哪个型号性价比高? 哪家企业的服务令人满意。除价格因素外，这些方面肯定也 是消费者作出消费决定的主要依据。特别是越高端的产品的消费者对价格的敏感 度越低，反而对产品本身品质，品牌威望和厂家的服务和信誉非常再意。 不同消费群体对各项性能的要求也是不一致的。所以，在实现推荐度方面系 统会增加不同消费群体，产品推荐度也是不一致的。 对于故障率，投诉率等质量和服务相关的内容系统已经在上面作了一定统 计。当然可以按照上面销量的排名方式做类似的排名。但系统在这里再加一些细 节的评价和比较，以便得出对一个品牌，一个型号的产品和对一个厂家的推荐消 费评价。中国商品协会调查一个品牌厂商的热线电话接线率，处理一个问题的平 1 0 北京邮电大学硕士毕业论文 均时间，客户满意度( 是否解决问题，服务态度等) ，产品和服务实际性能和表 现与宣传的符合度等给出一些评价标准和评价数据然后综合所有上面因素给出 一个推荐值，这是根据客观统计的评价部分，具有很高的可信度。具体形式举例 如下： 无论是产品还是企业的信用度评价都是由一些客户评价的因素构成，但是客 户评价的构成因素每个在评价系统中占据的地位是不一致的，比如产品的信用度 评价，用户最关心的是产品的质量、性能和售后服务，外观和价格不是出于做出 决策的最高位置，但对于企业的信用度评价，用户比较关心的是服务和品牌认知 度，各项产品用户关心的重点是不一致的，所以我们不能够笼统的对各种产品和 企业信用度评价采用各项性能指标一致的算法。采用何种方法计算产品和企业的 信用度指标就是一个很大的技术难剧2 1 。 2 3 2 别名识别技术 对采集的数据，有些数据的内容可以有多种表示方式，例如摩托罗拉产品的 录用时，产品名称可以有多种表现方式，m o t o 、m o t o r o l a 、摩托罗拉等都是摩托 罗拉的正确表示方式，作为系统，如何识别出这些名字都是属于一个产品，这就 是所说的别名识别。 2 4 系统技术介绍 电子产品信息发布平台作为一个能准确、迅速反映电子消费品市场的价格变 动、供求关系变化，满足消费者和企业对市场相关信息的需求。电子产品信息发 布平台的总体设计思想在相关的国家技术标准基础上，集合基础网络设施、数据 库、应用系统服务器、安全设施，采用的技术遵循j 2 e e 标准，项目采用 w e b l o g i c s p r i n g t u x e d o 为w e b 系统服务框架，数据库使用o r a c l e ，以j a v a 作 为编程语言达到跨平台性。 总体架构采用b s 加c s 的混合型方式，b s 适用于对产品各类信息统计的 发布( 浏览器) ，方便用户浏览和参考，对于数据量不大的数据源可以用b s 的 提交表单方式对数据进行采集；同时信息发布平台的后台管理也采用b s 方式， 管理员在系统局域网内无需在本机上安装客户端软件就可对平台进行维护和管 理。c s 用作需要采集拥有大量数据的数据源，以中间件或应用程序的方式将数 据自动收集到平台的数据处理系统中，从而实现高效、快捷和准确的录入数据。 具体开发采用s p r i n g 架构，组成s p r i n g 框架的每个模块( 或组件) 都可 以单独存在，或者与其他一个或多个模块联合实现。每个模块的功能如下： 北京邮电大学硕士毕业论文 核心容器：核心容器提供s p r i n g 框架的基本功能。核心容器的主要组件是 b e a n f a c t o r y ，它是工厂模式的实现。b e a n f a c t o r y 使用控制反转( i o c ) 模式 将应用程序的配置和依赖性规范与实际的应用程序代码分开。整个项目就是要基 于此项特性，实现高度灵活的可扩展的配置。 s p r i n g 上下文：s p r i n g 上下文是一个配置文件，向s p r i n g 框架提供上下 文信息。s p r i n g 上下文包括企业服务，例如j n d i 、e j b 、电子邮件、国际化、 校验和调度功能。此项特性有待于今后发掘利用，项目目前还不涉及到上述企 业级应用，但是相关配置文件还是必须的。 s p r i n ga o p ：通过配置管理特性，s p r i n ga o p 模块直接将面向方面的编程 功能集成到了s p r i n g 框架中。所以，可以很容易地使s p r i n g 框架管理的任何 对象支持a o p 。s p r i n ga o p 模块为基于s p r i n g 的应用程序中的对象提供了事 务管理服务。通过使用s p r i n ga o p ，不用依赖e j b 组件，就可以将声明性事务 管理集成到应用程序中。以后拟用此特性来支持报表生成，以及相关的调度任 务。 s p r i n gd a 0 ：j d b cd a o 抽象层提供了有意义的异常层次结构，可用该结构 来管理异常处理和不同数据库供应商抛出的错误消息。异常层次结构简化了错误 处理，并且极大地降低了需要编写的异常代码数量( 例如打开和关闭连接) 。 s p r i n gd a o 的面向j d b c 的异常遵从通用的d a o 异常层次结构。应该利用这个 模块作为链接数据库的标准，才能达到相关的性能要求。 s p r i n go r m ：s p r i n g 框架插入了若干个o r m 框架，从而提供了o r m 的对 象关系工具，其中包括j d 0 、h i b e r n a t e 和i b a t i ss q lm a p 。所有这些都遵从 s p r i n g 的通用事务和d a o 异常层次结构。但是我们考虑到效率和安全性的问 题，并没有采用o r m 映射。 s p r i n gw e b 模块：w e b 上下文模块建立在应用程序上下文模块之上，为基 于w e b 的应用程序提供了上下文。所以，s p r i n g 框架支持与j a k a r t as t r u t s 的集成。w e b 模块还简化了处理多部分请求以及将请求参数绑定到域对象的工 作。 s p r i n gm v c 框架：m v c 框架是一个全功能的构建w e b 应用程序的m v c 实 现。通过策略接口，m v c 框架变成为高度可配置的，m v c 容纳了大量视图技术， 其中包括j s p 、v e l o c i t y 、t i l e s 、i t e x t 和p o i 。而在本项目中，采用的就是 j s p 技术。 j 2 e e 的介绍 j 2 e e 的概念 目前，j a v a2 平台有3 个版本，它们是适用于小型设备和智能卡的j a v a2 平 1 2 北京邮电大学硕士毕业论文 台m i c r o 版( j a v a2p 1 a t f o 髓m i c r oe d i f i o n ，j 2 m e ) 、适用于桌面系统的j a v a2 平台标准版( j a v a2p l a t f o i t ns t a n d a r de d i t i o n ，j 2 s e ) 、适用于创建服务器应用程 序和服务的j a v a2 平台企业版( j a v a2p l a t f o