8本小组开题报告

1、题 目：基于大数据的产业圈风险管控学院： 软件学院 专业： 软件工程 学生学号：1项目概述一、选题的来源与背景企业竞争竞争情报竞争情报源于军事、政治领域。其含义就是的国家或政治，利用各种去收集、分析各种具有政事价值的情报为其服务，以取得对抗的主动性。随着市场竞争的激化，该概念被于经济领域中，形成了企业竞争情报。企业竞争情报是指在经济活动中，企业为了战胜对手，提高竞争能力而展开的对竞争对手、竞争环境的情报收集、分析，并作出相应对策的情报活动。它是一个分析过程，它将原始的资料转化为相关的、精确的、实用的知识，以满足企业了解商业环境的需要，从而制定出争取获取竞争优势的或技术计划。与普通的科技情报概念

2、相比，企业竞争情报更具针对性和智谋性，它是“关于竞争环境、竞争对手和竞争策略的情报”。竞争情报在企业发展中的作用企业智囊的决策作用：企业的决策者在制定决策时，往往需要一个过程，这个过程就是情报信息的收集、分析并做出实施方案的过程。2尽管这种过程是处于纸上谈兵的思维、筹划过程，但其对将要实施的方案具有举足轻重的作用。在决策的过程中，其主要依据就是竞争情报。决策者通过对竞争情报的收集、分析、处理，减少或排除对客观环境认识上的不定度、未知度、疑义度、混杂度，进而对客观环境获得正确认识，把握时机，看清形势，的决策判断。产品开发的导向作用：在的市场竞争中，单纯依靠提高产品质量是远远不够的，还必须依靠技术

3、进步，不断开发新产品，占领市场。在开发新产品的过程中，首先就应以竞争情报作为向导，通过竞争情报去了解竞争对手的实力，去了解市场的需求，去确定产品开发的方向，做到“人无我有，人有我优，人优我廉，人廉我转”。市场经营的警示作用：处于竞争环境之中的企业，必须竞争情报对企业的警示作用。一个企业或企业生产的产品，无时不受到来自市场的压力和 。而应付 的良策之一就是“知己知彼”。对于正在畅销或处于高速生长期的产品，也 着外部的竞争，随时会进入滞销或衰老期，要保持其畅销不衰，必须依靠竞争情报。通过竞争情报，可以发现在市场需求、产品结构、生产厂家等方面发生的一系列明显或不明显、宏观或微观的变化，可以充分掌握竞

4、争对手、竞争环境和有关信息，可以提前看到企业 的 。3二、选题开发意义与现实意义由上述分析的竞争情报在企业发展中的作用可以看出竞争情报的重要作用。产业圈风险管控 (bizbook)提供所关注的 信息，包含宏观政策、行业动态、法律、竞争对手、合作伙伴及客户等；覆盖市场风险、法律风险、人事及组织变化风险、产品及 风险，以及行业参照等。应用优势：多数据源整合：数据覆盖范围更广。多样化的展现方式：移动端、网页，浏览、多种格式报告，并可与企业现有系统对接。低成本云数据：在上直接使用，无需本地安装系统，低成本，高效率、实时信息更新。产品价值：市场风云变幻，掌握信息，决胜千里。企业竞争监测服务，侦测市场和竞

5、争对手，寻找新商机，快人一步，确保竞争优势。监测企业动态与风险、监测竞争对手动态与风险、及时掌握宏观行业政策与动态、全面掌控与。4三、项目与实习的关联题目来源于本人在信科技实习所参与开发的 bizBook-产业圈风险管控项目信利用互联网及大数据的前瞻技术，建立基于互联网的信息。信对互联网大数据有着独到的见解，通过对行业市场信息和海量数据的整合、分析，帮助企业把握外部风险。在信科技实习期间，本人负责爬虫算法的实现，相关数据爬取，数据 etl算法实现，各种类型的数据，从 word、pdf、excel 等类型的文件中抽取文本数据以及消息推送模块的开发等内容。四、项目开发的内容本项目面对企业用户，发布

6、企业信用信息、商机、行业信息等，并提供、决策分析等信息推送服务。可根据模糊搜索企业信息、监测信息、行业信息、商机信息。 也可通过该系统查询企业信用情况。系统发布企业信息、最新监测、行业焦点、最新商机、企业 、。并通过这类信息为用户推送风险信息。用户设置个人资料、行业、竞争对手、合作伙伴、关注企业。系统通过这些资料获取用户感的信息范围进行推送。5数据来源:1.用户填写企业相关信息，加入数据库。2. 行业，数据库接口提交。3. 第数据采购。4.相关信息数据爬取。目前主要的数据来源为网络爬虫获取。我负责的内容：数据抓取模块完成企业信用信息公示系统份数据抓取（企业信用信息、经营异常 、严重违法企业、

7、检查公示、信息公告）。Etl(主要)对抓取的数据进行。数据。消息推送（两部分。通知和。部分）包括的所有企业的N 个子模块的内容有新增时提醒如：1）企业 新增 1 条2）企业详细信息有更新（企业信息变更）五、项目的重点与难点工作数据获取：虽然 web提供了成爬虫框架，但针对不同类型的要使用不同的策略。最开始针对进行数据抓取，总结数据类型，后面修改为针对类型进行数据抓取，缩小代码量。数据：etl 数据针对不同的数据类型进行，少数类型解决6百分之九十以上问题。采用枚举的方式进行非表格类，避免无限枚举，生成数据字典。Jsoup 进行表格类，迭发形成通用算法。各官网数据杂乱，涉及数据和模式识别。文件数据

8、抽取：利用 jar 包对 word、excel、pdf 等类型的文件抽取数据进行数据：多种分类方式，枚举方式，避免清除需要的内容，避免无限枚举。六、特色工作最开始接收的是数据抓取工作，针对单个 单个类型设计抓取算法，做完十几个省的数据抓取后开始考虑优化总结，针对类型开始设计算法。使用少数类型解决绝大多数类型的抓取，特殊类型再进行单个设计。实习第二个月开始接手数据 ，将抓取到的html 数据 为所需的格式化数据，主要面对的问题是 的准确性，格式，数据 ，数据缺失等。后面开始总结通用于所有类型的 算法。从word、excel、pdf 等文件中抽取数据进行 。利用的PIO。七、参考文献1，Maven

9、 3 in actionM,: 机械工业，2011,978-7-111-32154-5Computer Networks and ISDN Systems, 1995, Vol.27(6), pp.823-8297联网多信息发布系统产品介绍消息推送系统-新浪Zhang Shuzhuang，Wu Zhigang，Luo Hao 一种高效的正则表达式匹配方法，2014, 24(6)一、项目背景签约之前，您了解商业风险有多大吗？市场风云变幻，掌握信息，才能决胜千里！企业竞争监测服务，为您侦测市场和竞争对手，寻找新商机，快人一步，确保竞争优势。监测企业动态与风险、监测竞争对手动态与风险、及时掌握宏观行

10、业政策与动态、全面掌控与。发现客户潜在风险，减少潜在经营损失。及时监测相关的各种潜在风险，弥补信息盲点。二、理论基础web爬虫框架html 协议正则表达式、xpath、Hbase 数据库Etl 数据maven 编程、java 语言、数据结构、算法8三、解决问题的方法与步骤1步骤学习 web爬虫框架、学习 html 协议、正则等基础知识；现有的代码怎样进行的数据抓取和；尝试自己进行设计抓取策略；验证策略的正确性（实现）；对开发的结果进行单元测试。申请提测修改 bug。上线2系统运行的软硬件环境软件环境：eclipse，配置 maven，、hbase 数据库、配置 host硬件环境：windows 系统3系统的部署企业的系统部署图如下：9四、预期成果（效果）满足逐步上线的新数据源工作，做到新的数据能用现有的代码进行。Bug 量不超过三十个。贡献的通用方法超过三十个。对已经开发完成的代码进行优化，提高效率。毕业设计进度安排：序号毕业设计（）各阶段内容时间安排备注1实习。熟悉业务规则。总结工作内容。2016.2.14-2016.2.29完成2确定选题并撰写开题和任务书2016.3.1-2016.3.8完成3开题答辩及实习中期检查2016.3.8-2016.3.184准备毕业设计撰写，毕业设计中期答辩2016.3.18-2016.4.155