互联网舆情监测与分析平台V1.0

互联网舆情监测与分析平台陈辉2024年5月3日汽车产业大数据应用战略助力产业研究，分析市场趋势洞察消费者的潜在需求产品分析产品需求，优化产品结构洞察改善空间，优化产品设计制造C2B定制制造流程优化营销精准营销渠道管理创新销售个性化推荐改造销售流程，优化用户体验服务针对性，个性化服务服务流程优化洞察需求预测趋势精准营销个性化定制运营优化大数据应用价值竞争对手情报一切基于大数据的探索发现客户需求获取竞品对比分析舆情技术监测与人工监测人工监测技术监测监测模式被动查询（事后检索）主动监测（预置关键词和监测站点）监测工具Google，Baidu搜索引擎爬虫定向采集和结果索引监测范围搜索引擎涵盖站点，大部分论坛，微博，封闭系统无法监测定点监测，可监测论坛，微博等个性化封闭系统监测方式特定时间，间断实时，全天候，无人值守及时性很难做到及时，依赖于人工查询实时采集，第一时间发现，预警分析研判基础数据不完整，容易导致判断不准确自动化获取点击量，评论数等基础数据，语义分析，情感分析等支持舆论倾向性判断，定量和定向分析结合成本效率成本投入大，效率低采集，加工和初步分析自动完成，只需少量人工分析，大大提高效率舆情监测的创新点全，快，准监测范围广快速地主动发现判断准确体验好自主性高易用性好转换思路互联网思维产品更新迭代及时拥抱市场变化数据源数据集成数据整合数据分析数据可视化决策探索分析组织存储采集整理iUAPDatalnsightYonyouBQBQMobile3rdiUAPDl（数据集成）DataIntegratoriUAPCDC（实时数据同步）ChangeDataCapture数据采集数据质量模型管理模型管理数据转换组件文件插件化，可扩展的数据类型支持JDBCODBCJMSSOAPOthers实时增量pushpullYonyouAE（加速引擎）AccelerstionEngineiUAPUDH（大数据引擎）iUAPDistributionforHadoopClusterManagerNoSQLSQLHadoop/HDFSSQLonHadoop统一建模与管理海量结构化数据分析DataStudio调度用户元数据仓库日志监控OLAP模型挖掘模型元数据语义模型用友数据平台应用架构高级分析平台UDH大数据平台日志采集分析用户行为分析个性化推荐服务互联网舆情分析OpenAPI……机器数据监控公有云平台数据采集数据API数据集成云仓社交数据宏观数据电商数据行业数据企业数据精准营销竞争对手分析满意度分析广告效果监测市场热点预测公开数据服务SaaS云应用架构舆情监测互联网舆情简报与热点趋势行业竞品监测报告产品口碑监测关键事件预警定向监测（不同行业，微博等）关联分析与数据挖掘服务个性化定制分析开放API接口，与第三方系统集成联合第三方伙伴，提供数据服务定制分析开放平台应用服务应用架构数据源采集/存储分析引擎数据排重关键词过滤清洗整理超链分析全文索引编码识别内容存储入库磁盘阵列网页爬虫OpenAPI中文分词舆情词库自动聚类自动摘要信息过滤热点发现趋势分析近期热点专题侦测服务平台简报专题报告短信预警邮件预警微信预警词云传播路径图时间趋势图褒贬分析话题演化热点聚类声量排行榜网页弹窗…..垂直应用1垂直应用2垂直应用3垂直应用4垂直应用5垂直应用6….电商家电旅游汽车金融能源….销售人员客服人员公关人员产品人员运维人员…….客户行业领域产品优势数据抓取系统并行高效的数据抓取系统，按需扩展支持实时和定时调度，灵活指定抓取策略智能化网页提取技术，复杂网站情况下的数据获取技术大数据处理平台基于Hadoop／Spark技术构建存储平台，支持PB数据量支持多种文本处理，数据挖掘分析算法支持私有化部署的管理监控，提供针对数仓的查询工具数据分析模型丰富的商业分析模型原型，与分析挖掘工具集成支持企业内部数据推送到云平台，利用云端工具实现智能分析核心流程与文本处理技术简介数据获取与整理爬虫管理系统爬虫版本管理爬虫1爬虫N…...爬虫元数据文件调度系统调度队列／定时器／负载均衡加入调度队列调度周期／当前状态执行节点1执行节点2执行节点N…...按需，动态扩展指定网站URL（如:)URL扫描（排除autohome域名下的链接）写入NoSQL数据库爬虫管理系统爬取流程读取增量更新的网页URL语义解析，提取元数据和内容解析后的结构化数据写入大数据平台深度<8实时创建索引情感分析，打分1234567示例地址标题发布时间内容爬虫管理系统数据仓库数据存储模型文本分析—分词Content(正文）中文分词器清洗（CSS，Tag，编码）分词组词典去停用词分词结果词性标注魅星MX5已经装好了！效果很赞，首先是灯泡很不错跟原车瓦数很匹配，近光很亮，白天感觉，灯光就已经强大了。而且店家解释很耐心详细，完全都是自己动手安装的。当然建议没有安装经验的还是找专用师傅装啊词典停留词文本分析—情感分析分词结果文本评分得到整段文本的情感倾向正面／负面词库0.0-0.4:负面0.4-0.6:中性0.6-1.0:正面回写到仓库字段中（sentiment）分析服务数据仓库（Hbase）索引文件（新闻）索引文件（论坛）索引文件（电商）…...实时更新索引统一查询服务竞品动态舆情走势来源统计分析定制分析…...业务流程概览数据抓取数据仓库数据应用爬虫脚本爬虫管理并行调度网页解析数据存储文本分析实时索引预置功能个性化定制增加定向网站的内容抓取，需要按照脚本模版增加新的脚本，并加入到管理系统中正面和负面词典（post.txt，neg.txt)—共享个性化的分析模型，以及可视化展现要求支持查询工具检索数据，导入导出，支持R，Tableau，用友BQ等工具进行分析云端大数据管理系统采集系统租户管理调度监控来源管理门户社交政府论坛商业网站博客企业内部系统资源数据排重关键词过滤清洗整理中文分词全文索引数据仓库HBaseSearch(Solr)ImpalaSparkStorm分析引擎社交媒体行业专题仓库自动分词数据分类聚类分析关系识别相似性识别关键词抽取褒贬分析热词分析业务模型热点分析库竞品分析库负面监控库舆情资料库新闻媒体类博客论坛案例介绍案例介绍案例介绍案例介绍案例介绍产品属性／特点问题规则发现解决方案转化问题相关文本规则数据知识发现搜索文本处理挖掘分析深度探索由单向深入的传统知识系统，转化为基于业务问题的数据探查和知识发现过程针对大数据，提供的是知识探索的工具，而不是预定问题的答案（专家系统）案例介绍3.7

行业成功应用在现有系统之上可以进行哪些扩展“商品舆情”功能中增加专业性指标现有的demo上，“商品舆情”功能上，还没有将汽车按照各个专业性指标进行划分，如下图：“商品舆情”中增加专业性指标未来的深化应用，可以把北汽B40下面，扩展出外观、机动性、内饰、油耗等属性，可以针对某一个具体的功能点进行分析，如下图：“商品舆情”中增加多维度分析在增加专业性指标后，可以以某个指标为维度来进行分析。比如，以“越野能力”为维度，对比各个车型的性能，如下图：“商品舆情”中增加多维度分析也可以以功能点下面的某个评价为维度，对比各个车型。比如，以“爬坡慢”为维度，对比各个车型，如下图：其他汽车厂商如何应用舆情系统上海大众柯斯达一汽马自达竞争对手情报监测用于竞争对手的情报监控。针对具体的竞争对手，设置关键词，创建简报，若竞争对手有任何动态，都可以及时把消息发送到指定邮箱。监控范围可以是专业性的网站，也可以是某些论坛。很可能北汽也在他们的监控范围。如图：技术监测用于技术情报的监控。针对具体技术领域，设置关键词，创建简报，若该技术领域有任何动态，都可以及时把消息发送到指定邮箱。监控范围可以是专业性的网站，也可以是某些论坛。很可能北汽也在他们的监控范围。如图：售后服务监控这是在一个汽车论坛发现的。推测一汽马自达对一些常用的汽车论坛进行监控，如果用户发表一些抱怨信息、服务合规性信息等，舆情系统会即使把这些信息已简报形式发送到售服人员的邮箱，确保一汽马自达马上做出反应。这是对