价监竞争数字化监测平台运营服务需求

价监竞争数字化监测平台运营服务需求（一）数据处理运营服务直销数据维护服务1.直销企业基础信息库维护对直销企业、分支机构、服务网点、直销员、经销商基础信息进行维护与更新，保证监管对象信息的完整、及时。主要包括：登记信息、分支机构信息、服务网点信息、直销员信息、经销商信息等。2.直销企业产品信息库维护对直销企业的直销产品和非直销产品信息进行维护与更新。主要包括：直销产品、非直销产品信息。3.直销企业监管信息库维护对市场监管部门针对直销企业监管产生的数据进行维护与更新。主要包括：行政处罚、信用风险信息。4.投诉举报数据维护对直销、网络传销投诉举报信息进行维护与更新。5.网络监测信息维护对直销、网络传销监测信息进行维护与更新。（1）直销监测信息库维护主要包括：直销网络敏感信息信息库、直销活动监测信息库、网络交易监测信息库等。（2）网络传销监测信息库维护主要包括：投诉举报信息库、网络传销监测数据维护。（3）打传规直工作信息管理包括快讯信息管理、已核实涉传信息管理、直销企业违法信息管理、直销企业活动舆情信息管理。（二）数据采集治理服务数据治理服务内容包括数据治理规划服务、数据采集服务、数据加工服务、数据分析应用、数据安全服务等。1.数据治理规划服务通过对互联网感知数据以及各个业务部门交换、系统采集、企业上报的数据进行有效的治理，建立模型，规划实现各类服务。2.数据采集服务根据具体任务需要，提供批量交换、动态采集和服务接口等多种方式，将各部门涉及直销监管、投诉举报、互联网及第三方机构等相关信息，交换汇聚至直销企业数字化监管监测平台系统大数据中心。按照相关数据标准，将汇聚的数据进行抽取、清洗、去重、比对、校核、标准化转换、关联整合等处理并入库，不断提高数据质量和规范性。通过数据采集子系统、数据调用子系统、系统接口实现相应功能。（1）互联网数据采集互联网数据采集包括直销数据采集和网络传销数据采集。①服务内容：对互联网渠道的各类信息进行采集，为直销监管监测提供基础数据，包括：直销企业APP、直销企业网络交易主体、微信公众号、微信小程序、社交类平台、网站、新闻客户端、短视频数据（采集的短视频发布者不超过300个）、直播数据、其他数据（支持对指定对象的定向信息采集）。②采集字段包含：基础数据：包括正文、标题、原文链接、发布平台、发布用户、敏感属性等字段信息，能够快速实现基本信息的抓取。用户数据：包括用户ID、用户注.册.地、IP属地、用户认证信息、粉丝数、用户描述等字段信息，实现对多次发布敏感信息的用户进行重点关注。AI识别结果：包括OCR图片识别、ASR语音转文字、图像标签识别、视频画面识别等字段内容，有效扩大信息覆盖范围。（2）业务数据采集需要采集的数据主要包括：局内业务数据（省局大数据中心）、局外业务数据（省“一网共享”平台）、直销企业上报数据。①数据调用通过数据交换实现数据获取。将各类业务应用对应物理分散在各部门、各地区的监管对象业务信息数据进行获取与运用。②系统接口通过系统接口，提供数据虚拟化功能，可以屏蔽数据的复杂性，实现获取数据的方便性和实时性，同时控制数据访问与数据内容的安全性。系统接口设计内容包括：系统接口对接、通用接口、内部接口、外部接口。（3）网络传销数据采集①服务内容：对互联网渠道的各类信息进行采集，为网络传销监测提供基础数据，包括：微信公众号、微信小程序、社交类平台、网站、新闻客户端、短视频数据（采集的短视频发布者不超过300个）。②采集字段包含：（1）基础数据：包括正文、标题、原文链接、发布平台、发布用户、敏感属性等字段信息，能够快速实现基本信息的抓取。（2）用户数据：包括用户ID、用户注.册.地、IP属地、用户认证信息、粉丝数、用户描述等字段信息，实现对多次发布敏感信息的用户进行重点关注。（3）AI识别结果：包括OCR图片识别、ASR语音转文字、图像标签识别、视频画面识别等字段内容，有效扩大信息覆盖范围。（4）价格数据采集①服务内容采集省范围内的重点商品价格数据。②采集字段包含包括商品名称、行政区划、价格等信息。3.数据处理服务（1）AI数据处理服务搭建算法模型对采集信息实现多维标签处理和多模态数据特征处理，包括基础标签（如发布时间、作者、地域、正文等），智能识别标签（如OCR识别、图像识别、语音识别等），情感类属性（风险等级）、行业类标签（针对用户行业属性的事件型分类，包括广告、来源等），保障数据监测的针对性与精准性。采用机器学习算法和深度学习模型解决数据有效性问题，并通过数据增强、过拟合处理等技术，以及对模型进行精细调整和优化，实现算法模型在有限数据下的性能达成，以及对标签数据（评价类、情绪类、有价值类等）的高准确率和召回率，满足项目数据需求。根据实时数据和用户需求，自动优化算法和标签体系，通过不断学习和调整，在保证准确性的同时，不断提高标签标记的效率和质量。（2）文本处理①服务内容利用自然语言处理技术，基于深度学习技术和神经网络，提取海量文本数据的潜在特征，提升文本挖掘效果，解析语句的结构关系，精准识别句法成分，准确判断文字表达的情感倾向、敏感词识别、文章涉及地域等，对语句主干实时抽取，快速理解文本内容，消除语义歧义。能够满足词汇级识别、句法级识别、篇章级识别②图像处理通过OCR技术将海量视频、图像、海报中的信息转化为文本，实现对视频图文内容的汇聚及检索，通过设置关键词，即可获取舆情上的相关信息。OCR技术实现步骤：（1）图像预处理，为了更好的文本行定位和识别，从而提高识别准确率；（2）将文档图像的所有文本行进行定位，对文本文字信息转换成可编辑的文字信息；（3）根据规则和大数据分析对识别结果进行矫正，提高字符识别的准确率；（4）将识别结果按原文本图像原来的版面还原到web界面。③视频处理短视频主要以抖音、快手、小红书、好看视频、B站等等以短视频为主的媒体。由于短视频媒体的直播带货、种草等营销方式火热，出现了很多违规行为，如虚假种草、商业诋毁、夸大产品功效等等。④文章相似度识别基于舆情数据判重能力，结合自然语义分析模型与判重引擎，根据舆情内容进行分类定义，进而判断是否存在相似文章，实现对重复文章的数量、标题、来源和采集时间等大数据处理计算以及自动去重，同时可对具有连续性的多个网页内容进行自动合并，提高用户的阅读效率。⑤关键词分词提取通过知识词库的实体信息识别，通过智能提取企业名称、简称、人名、地名等实体词信息，对每一个采集信息进行自动学习、自动识别、自动分析，把舆情信息词库进行自动扩充。基于积累的舆情相关词条，能准确识别舆情信息，避免歧义，并能对其关联关系进行识别。4.数据加工服务（1）数据加工①服务内容：（1）数据提取根据监管监测需求，提取采集的信息，包括网址、名称、平台、市场主体、标题、内容、摘要、发布者等内容。（2）数据清洗根据清洗规则，利用互联网大数据分布式排重技术，去除不符合要求的垃圾数据和重复数据，进行归一化处理。（3）数据关联建立自动关联规则，将不同来源的数据信息与直销企业建立关联关系，将相应数据归集到直销企业名录下。（4）数据标识数据标识根据样例或用户规则，确定数据区域、数据敏感级别等标识。数据标识的标签可以分为基础标签、行为标签、业务标签等。（5）数据分流根据预设的数据分类规则和比对模型，数据在比对中满足条件，则触发分流，将数据自动分流到相应的直销类别、网络传销类别。（2）数据存储对采集的互联网信息进行加工，针对含有图片的信息，应能识别图片中的文字内容，并对信息开展去重、分类、情感分析等处理。存储采集和加工后的互联网数据，并支持平台数据检索，数据存储时间不少于6个月。对于视频文件，存储的直播视频文件，不少于1个月；存储的违法违规视频文件，不少于6个月。（3）多源数据融合服务数据融合是整个直销风险预警系统的关键环节，通过信息采集工具整合两方面数据，包括外部互联网数据和内部业务数据。其中：（一）外部互联网数据包括对各种原发媒体的监测，包括对新闻、论坛、博客、微博、电子报刊、微信、视频等信息的采集、萃取；（二）内部业务数据包括市场监管部门各机构内部的数据及其他相关部门数据，如直销管理部门、市场监管部门公司注册信息、食品药品审批及网站认证信息，主要通过对已有数据库整合构建内部统一的大数据仓库。（三）直销风险监测运营服务1.直销网络敏感信息风险监测服务（1）网络敏感信息事件发现①网络敏感信息数据分析（1）媒体级别对采集的网络敏感信息的信息来源进行识别，通过构建对中央、省级、市及以下等媒体平台库，自动划分网络敏感信息的信息媒体级别，为研判网络敏感信息重要性提供参考。（2）企业主体对采集的网络敏感信息进行处理，提取其中涉及的市场主体，按网络敏感信息是否涉及直销企业进行划分，区分事件与监管职能范围的相关度。（3）情感属性对网络敏感信息提及的内容进行识别，判读网络敏感信息事件的敏感程度，分为敏感、中性、非敏感，划分网络敏感信息事件的正负面影响。（4）发布时间支持根据网络敏感信息发生时间范围进行检索，可按照选定的时间段检索网络敏感信息。②重点领域网络敏感信息围绕直销企业产品质量、虚假宣传、价格欺诈、涉嫌传销、违规直销等类别，构建重点领域网络敏感信息识别模型，对网络敏感信息涉及的领域进行分类。③重点事件网络敏感信息构建重点事件网络敏感信息识别模型指标体系，根据网络敏感信息的情感、发布的媒体级别、企业主体所在地等，主动识别和预警重点事件网络敏感信息，如系统识别为省的直销企业被主流媒体报道敏感网络敏感信息，则视为重点事件网络敏感信息。（四）网络传销监测运营服务1.网络传销模型优化（1）网络传销数据处理模型优化根据不同的网络传销模式，收集经研判后存在网络传销风险的信息，提取信息中涉及传销的特征，归纳不同模式的网络传销信息特征，制定相应的采集规则和数据处理模型。对采集的信息做文本分类、去重、聚类等处理，为下一步机器学习模型输送信息。（2）网络传销识别模型优化基于传销需要网络作为传播载体的特征，深度分析网络传销模式，构建网络传销机器学习模型，主动识别涉嫌网络传销信息。（3）传销行为风险评估服务对于发现的涉嫌传销的组织，综合考量其对社会的危害性，构建风险评估模型对其风险进行评估，为监管部门实施分类监管提供参考。（五）业务管理运营服务1.涉嫌违法线索运营服务（1）人工清洗涉嫌违法线索服务①直销涉嫌违法线索服务根据《直销管理条例》所述关于直销企业、服务网点、经销商、直销员等对象规制的行为进行人工确认，人工运营需要研判的内容包括但不限于：违规直销、违规招募、挂靠套牌、虚假宣传、涉嫌传销等违法行为。对搜集的涉嫌违法线索进行人工筛查、判断、整理。②涉嫌传销违法线索服务根据《禁止传销条例》第七条下列行为，运营人员根据法律条文需要做以下研判，包括但不限于：排除干扰信息，对所属涉传销项目主体进行所在行政区域确认，确认是否为官方发布信息、如非官方发布，仍需人工挖掘官方发布信息，排除历史干扰项目，确认人员链、资金链等。③直销企业活动监测服务加强对直销企业宣传活动的监督检查，严格按照《反不正当竞争法》《直销管理条例》等有关要求，依法查处直销企业及其直销员在从事直销活动中存在的欺骗、误导等虚假宣传和推销行为。运营人员需要整理各直销企业发布活动的信源，包括官方网站、微信公众号、小程序、短视频平台、电商平台等。进一步根据法律规定和相关文件，筛选出可能存在风险隐患的活动信息及监管部门需要了解且可能存在线下核查的活动信息。④直销企业注册变更监测服务包括直销企业注册变更监测包括重大变更信息、一般性变更信息，及时风险预警。⑤直销企业风险信息监测服务直销企业风险内容主要包括法律诉讼和经营风险两方面，涵盖司法裁判文书、行政处罚、经营异常、严重违法、税收违法、环保处罚等内容。（2）直销监测结果报告服务对直销企业进行常态化监测，日常监测包括违规直销、涉嫌传销、虚假宣传、网络交易、直播违规、涉疫等违法违规行为。形成周报、月报、半年/年报，直销企业全国性风险网络敏感信息、重大网络敏感信息监测分析报告，直销企业各类突发、紧急、重要事件监测分析报告，直销企业投诉举报数据分析报告，直销企业经营数据分析报告，直销企业违法违规行为专项分析报告等。（3）传销监测结果报告服务对涉嫌传销行为进行常态化监测，日常监测包括微信公众号、APP、小程序、手机商城、网站、客户端、短视频等渠道中涉嫌发布涉嫌传销信息或实施涉嫌传销的行为。形成周报、月报、半年/年报、涉嫌传销项目/企业风险评估报告、涉嫌传销投诉举报数据分析报告、涉嫌传销行为专项分析报告。（4）在线固定涉嫌违法行为证据服务对所有网络中涉嫌传销、违规直销、违法直销等违法违规的行为内容进行固证，包括网页、手机端APP、小程序、微信，形式不限于短视频、视频、文字、页面等，并输出电子数据取证确认函，确认函包括哈希值、固证时间、固证内容、固证环境等内容。2.系统平台运营服务对省直销企业数字化监管监测系统平台进行运营，提供线索管理服务、平台数据管理服务（平台企业数据管理、平台业务数据管理）、台账管理服务、直销企业直播/短视频管理服务。3.驻场运营服务根据项目需求提供1名驻场人员进行全职驻场服务,工作时限：项目合同签订之日起至项目完成验收之日，服务时间：工作日5*8驻场支持，工作内容：处室需求对接，对监测数据及违法违规线索进行处理，与地市人员进行上传下达等，及其处室交办其他任务。（六）运营服务的交付物根据上述各项运营服务内容，对应输出的交付物如下表所示：应在项目完成时，将本项目所有文档、资料汇集成册交付给采购人，所有文件要求用中文书写或有完整的中文注释。验收后，按国家、省以及采购人档案管理要求，向采购人提供装订成册的纸质文档至少3套，电子文档至少2套。具体验收的文档包括但不限于以下材料：1.《需求调研报告》；1份2.《项目工作实施方案》；1份3.《业务周/月》；按周期4.《业务半年报/年报》；2份5.《专项分析报告》；20份6.《网络敏感信息监测分析报告》；12份7.《传销领域业务监测台账》；1份8.《直销领域业务监测台账》；1份9.《传销监测模型优化方案书》；1份10.《数据治理方案》；1份11.《数据运营服务标准文档》；1份12.《数据库维护文档》；1份13.《数据安全管理报告》；12份14.《数据质量管理报告》；12份15.《数据清洗规则》；1份16.《数据处理脚本》；1份17.《项目工作周报/月报/半年/年报》；按周期18.《阶段性总结报告/服务总结报告》；2份注：《专项分析报告》主题包括但不限于：网络传销重点线索监测分析、直销重点线索监测分析、重大网络敏感信息监测分析、直销重要事件分析、直销经营数据分析等。二、服务要求（一）技术要求1.自行承办开展本项目所需要的数据采集、数据处理、直销风险监测运营、网络传销监测运营、涉嫌违法线索运营、系统平台运营服务等事项，并确保本项目数据的安全和保密，未经采购人同意，不得将分析后的数据泄露给第三方。2.采购人已在建省直销企业数字化监管监测平台系统的数据内容在平台内的，需在平台内进行更新，未纳入平台内的，由自行建立、维护和存储，供采购人查询和使用。3.需协助采购人运营省直销企业数字化监管监测平台系统（现名），包括信息录入、更新、管理等事项。4.应组建不少于9人（含驻场人员1名）的项目实施团队，实施团队人员包括不限于承担模型优化、网络爬虫、系统运行、数据处理、数据标准化、业务运营、报告编制等相关职责的技术、业务人员；驻场人员工作时间按照采购人办公时间，并确保人员的稳定。5.在项目服务期内，运营服务团队人员必须获得采购人的认可。未经采购人允许，不能更换项目经理。运营服务团队人员变动不能超过总人数的1/3，团队人员发生变化需经过采购人同意。6.应根据项目服务要求，按照计划完成业务运营服务和数据处理运营服务，形成并向采购人提交阶段性报告。7.提供对相关违法行为的方法论理解：应提供对违规直销、直销虚假宣传、网络传销3类违法行为的理解。8.应自备或租赁能实现采购人需求的网络监测工具。9.互联网数据采集应提供不少于3类信源的官方合作文件，保证互联网数据采集的合法性。（二）管理要求1.服务人员须书面承诺，如在项目实际执行过程中发生项目经理不能按采购文件要求胜任相关工作的，采购人有权要求更换项目经理，必须在两周内调整为符合采购文件要求且能胜任相关工作的项目经理并到位开展工作，否则采购人有权终止合同并报相关管理部门进行处理。承诺的项目经理和项目实施的主要技术人员未经用户同意不得调整；若在合同期内更换项目经理和主要技术人员，应征得用户同意，否则采购人有权终止合同。应指派固定的团队为本项目提供专业服务，服务团队成员不得少于9人（含1名驻场人员）。项目经理应具备5年以上项目管理经验。如须调整服务团队成员，须书面向采购人提出申请，说明申请理由，经采购人书面同意方可调整团队人员，调入人员的资历和从业经验不低于调出人员，否则视为违约行为，采购人有权终止服务合同。2.组织实施要求为使项目按质、按量、按时及有序实施，应建立完善、稳定的项目团队、内部组织管理方式及管理机构、协调机制、技术基础，支撑保障要求及其他相关要求。在机制保障方面，成立组织实施小组和项目专家组的双轨制的组织模式。在项目日常管理和条件保障方面，从行政组织、后勤保障和支撑条件各方面创造良好的服务环境，确保项目的顺利实施。3.