xxxxxxx 算法安全自评估报告 (信息检索)算法备案

北京xxxxx有限公司互联网信息服务算法安全自评估报告（信息检索类）算法类型：信息检索类目录一、算法情况 5（一）算法流程 5（二）算法数据 6（三）算法模型 7（四）干预策略 8（五）第三方服务 11二、服务情况 11（一）Abcde服务 11三、风险研判 13（一）算法滥用 13（二）算法漏洞 13（三）算法恶意利用 13（四）其他风险 14四、风险防控情况 14（一）风险防范机制建设 14（二）用户权益保护 18（三）内容生态治理 20正能量内容扶持2．权威信源扶持 223．防范和抵制不良信息 224．违法信息过滤 22（四）多样性保障 23（五）检索优化行为保障 24五、安全自评估结论 28六、其他应当说明的相关情况 28拟公示内容主体名称北京xxxxx有限公司统一社会信用代码算法名称算法类型信息检索类算法应用领域算法使用场景Abcde的算法模型是一款创新的AI技术产品，其设计初衷是为了解决金融投资领域中的信息过载问题。通过利用先进的自然语言处理技术，该算法能够快速从海量的文本数据中提取关键信息，为用户提供精准、高效的投资决策支持。这一算法模型的开发和应用，旨在提高金融分析的效率和质量，降低人力成本，同时增强投资决策的科学性和前瞻性。算法上线情况R已上线，时间：☐未上线，正在内测阶段☐未上线，正在开发阶段自评估时间2024年3月8日星期五报告撰写时间2024年485日星期一算法基本情况Abcde的算法流程是一个复杂而精细的过程，它从用户输入的问题开始，通过一系列的处理步骤，最终输出用户所需的信息。这个过程包括用户意图理解、意图识别、内容召回、精拍和产品干预策略等环节。每个环节都是精心设计的，旨在提高搜索的准确性和效率。通过这一流程，Abcde能够快速地从大量的数据中提取出最相关、最有价值的信息，为用户提供精准的答案。算法备案类型R算法未备案☐算法已备案，备案编号：☐备案已注销，备案编号：☐其他拟公示内容落实主体责任基本情况评估算法描述评估算法风险描述真实性声明我方承诺：提供的所有材料准确、真实、合法、有效，并愿为此承担有关法律责任。算法安全负责人联系电话一、算法情况（一）算法流程输出数据示例：包含相关资源文件、AI提供答案及推荐的关联问题，如下图：（二）算法数据北京xxxxx有限公司Abcde算法输入数据算法线上服务的数据来源：用户主动输入数据（文字、文档、图片、音频），相关数据只会用于算法处理，使用后删除相关数据，数据规模为x万条。北京xxxxx有限公司Abcde算法输出数据输出数据：相关资源文件、问题答案及推荐的关联问题，数据类型为文字/文档链接，数据规模为x万条。北京xxxxx有限公司Abcde算法训练数据算法预训练数据：公开网络资源获取数据，包含财经类分析报告、公司公开财报等，数据类型为文本，数据规模为XTB（三）算法模型北京xxxxx有限公司Abcde算法模型Abcde算法的模型Abcde的算法模型采用了多种先进的机器学习技术，包括深度学习的神经网络、支持向量机（SVM）、朴素贝叶斯、Transformer等，更新时间为2023年。深度学习的神经网络介绍：svm介绍：朴素贝叶斯介绍：BERT模型则是在xxxxxxxxxxx的基础上进行改进而来的，旨在解决传统语言模型的单向性和上下文理解的不足。BERT模型采用了双向编码器结构，通过使用掩码语言建模和下一句预测任务的预训练方式，从大规模语料中学习通用的语义表示。这样的预训练方式使得模型能够学习到更全面的语义信息，从而提升了模型在各种下游任务上的表现。模型优化目标是使对于用户输入理解更加准确，输出内容关联性更高，以及算法的鲁棒性尽可能的好。干预策略北京xxxxx有限公司通过自建特征库对方式实现干预策略，通过自建特征库对方式对用户上传内容进行干预。自建特征库来源主要是来自用户上传数据，进行人工识别之后形成策略库，用户上传及输出所有内容均会经过机审和人审，通过正则匹配方式进行识别。特征库整体规模为10w条左右，其中涉及黄赌毒、涉政言论、色情、血腥暴力等黑五类信息。特征库在线上通过准实时模式更新。二、内容解析用户输入信息后，需要对其进行解析。对于文本信息，可以通过分词、语法分析等技术将其转换为计算机可以理解的形式；对于图片信息，使用图像处理及OCR识别技术将其转换为计算机可以处理的数据。解析后的内容可以方便后续的处理和分析。对文档及输入的音频文件，三、内容过滤内容过滤是内容安全审核的核心环节。在这个环节中，会使用一系列算法和规则对解析后的内容进行筛选和过滤。常见的过滤手段包括敏感词过滤、图片内容识别、色情内容识别、暴恐信息识别等。通过对内容进行比对和匹配，可以筛选出其中的不良信息。不良信息审核如下，包括血腥暴力、早恋等内容。四、人工审核内容过滤的结果并不是完全准确的，会存在一定的误判和漏判。为了提高审核的准确性，互联网平台往往会配备专门的审核团队，对通过过滤的内容进行人工审核。人工审核可以针对一些复杂的情况进行判断，提高审核的准确性和灵活性。五、风险评估在人工审核的过程中，会对内容的风险进行评估。对于一些违法、有害、低俗等严重的内容，可以进行封禁或删除;对于一些轻微违规的内容，可以进行警告或限制;对于一些合法的内容，可以通过审核。风险评估的结果可以帮助平台做出相应的处理和决策。六、处理反馈审核结果需要及时反馈给用户。对于未通过审核的内容，需要告知用户原因，并提供相应的处理建议；对于通过审核的内容，可以正常显示在平台上。同时，用户也可以对审核结果进行申诉，平台需要及时处理用户的反馈，并根据实际情况进行调整。持续监测内容安全审核并不是一次性的工作，而是一个持续的过程。随着互联网内容的更新和用户行为的变化，平台需要不断地更新审核规则和算法，提高审核的准确性和效率。同时，也需要对审核结果进行监测和统计，及时发现问题并进行处理。（五）第三方服务Abcde在算法流程中使用了多种第三方服务，有开源方案如OCR（光学字符识别）和ASR（自动语音识别），Rerank（精排）等。也有第三方商业化大语言模型，这些服务由行业内知名的厂商提供，保证了服务的效果和更新频率。通过整合这些第三方服务，Abcde能够处理更多样化的输入数据，提供更全面的服务。服务情况Abcde服务服务简介Abcde是一款基于AI大模型的投资研究深度内容问答引擎，可以方便的对A股、港股美股公司财报、电话会议、研报和新闻进行问答、总结、浏览、翻译。该服务以Web应用的形式展现，用户可以通过浏览器直接访问。服务的入口位置明显，易于用户在应用产品中找到并使用。服务的流量和用户情况良好，用户反馈积极，表明服务已经得到了市场的认可。上线时间：2024年1月展现形态：用户输入问题后，根据用户意图输出相关资源报告链接、问题答案及推荐的关联问题。服务在应用产品的入口位置：https://abcde.cc网页-发现-新会话服务流量：月活1万用户情况：服务于金融行业的专业人士，如投资者、分析师、基金经理等等算法在服务中应用情况北京xxxxx有限公司Abcde算法使用在网页https://abcde.cc中，面向金融行业的专业人士，如投资者、分析师、基金经理等。用。算法线上服务的数据来源：输出数据：相关资源文件、问题答案及推荐的关联问题，数据类型为文字/文档链接等搜索内容展示，数据类型为文字，数据规模为x万条。算法预训练数据：公开网络资源，数据类型为文字、图片，数据规模为XTB。风险研判（一）算法滥用算法提供者不存在对算法的不当利用行为，算法不会针对特定用户行为进行记录、分析，因此不存在不当利用风险。（二）算法漏洞算法本身机制机理健全，有充分的监控兜底机制保障服务的稳定性。算法开发设计阶段会引入算法安全相关人员进行充分评估，算法上线前会进行测试。（三）算法恶意利用算法的结果仅用于向用户展示搜索结果及回答问题，算法结果会经过严格的评测，不存在被第三方恶意利用的风险。（四）其他风险无风险防控情况（一）风险防范机制建设算法机制机理审核（1）算法开发阶段：代码权限管理：代码权限根据代码路径层次实现分级权限管理，按照部门及工作需求对不同模块代码划分权限级别，只有对应权限的开发人员才能具备对应模块的查看、修改。代码开发流程：算法开发人员会在内网安全的网络环境中进行代码开发，算法开发人员开发完之后，会使用测试环境进行性能和正确性验证，保证代码的合理性和准确性。代码审核：在算法开发完成并通过测试后，所有的代码都必须经过对应上级领导和架构同学审核，确保代码规范性和策略合理性，确认没有其他安全隐患后方可进入上线流程。（2）算法正确性评审：在算法开发完成并通过模拟环境测试后，所有的代码都必须经过研发团队及信息安全团队交叉审查，确保代码没有其他安全隐患及漏洞后方可进入上线流程。（3）上线实验阶段：代码正式上线之前，会在测试环境中进行离线评估，确保效果符合预期。同时，需要经过线上仿真环境压测，通过后可申请代码上线；正式上线时，会按照一定的流程进行线上变更：首先进行预发布和离线指标检查，然后进行线上小流量实验保证线上小范围无问题，最后进行在线指标检查，确认无误后逐步放量推全。（4）算法推全阶段自评估：算法上线后一般先生效于少部分用户，确保上线一段时间，稳定运行且效果符合预期后，申请推全流程。算法研发部门整理实验结果，填写申请文档，进行组内审查，直属技术负责人审批，算法安全负责人审查，信息安全部门进行最终代码安全评估，最终通过的算法才会生效于全量用户，确保相关业务知晓算法生效情况，并为算法安全性负责。同时，依据算法本身优化和目的，建立从上线到后期运维的全链路数据和监控手段，确保线上算法最终效果始终符合预期；建立多样性数据监控指标、多样性人工审核、多样性算法干预的完整链路，对于全量用户的推荐多样性进行监控，当用户的推荐内容过于收敛时及时在看板或回查系统中发现并及时进行算法干预。该风险防范机制可有效应对算法滥用、算法漏洞和算法恶意利用风险。算法安全评估监测北京xxxxx有限公司建立了监控指标、内容监控、监控值班机制、快速干预等一系列安全监测机制实现系统稳定性和效果安全保障。a.监控指标建立了请求数、无结果监控、结果过滤监控的大盘数据监控，确保发生问题时能及时从监控指标反映出来。b.内容监控建立了内容聚类监控机制，确保有不同类型问题发生时能够尽早发现并处理，避免恶意内容扩散。基于服务可用性，内容过滤相关服务模块均有相应的监控指标确保服务安全;c.监控值班机制建立了运营+产品+技术团队为核心的完善的oncall机制，如出现异常会自动产生告警并推送至当日值班人员，并会同步告知其领导，确保线上出现任何问题都有人员立即处理并同步处理结果。d.快速干预机制针对发现反馈的问题，可以通过人工干预模式，快速优化对应查询的线上效果，确保合法合规、积极正向。该风险防范机制可有效应对算法滥用、算法漏洞和算法恶意利用风险。算法安全事件应急处置1）适用范围北京xxxxx有限公司建立了应急响应管理机制，制定明确的应急响应流程，包括事故报告、应急启动、事故调查、风险评估、应急处置和事故总结等环节。适用于全公司，公司各部门定期进行应急演练。其次，技术部门定期进行故障演练，对故障切换流程、节点切换、修复方案、报警策略等问题作出测试，以便需要时复盘总结。定期组织应急响应演练，提高团队应对事故的能力；同时，开展相关培训，确保团队成员熟悉应急响应流程。2）责任人及协调调度及处理流程算法安全委员会制定算法安全专职负责人，负责算法安全管理和监督的具体执行。统筹处理各类算法安全事件，并根据具体事件分门别类下达指令要求，产品运营部门协同落实；针对算法遇到的各种突发技术性问题以及热点管控事件要求，第一时间报告算法安全委员会，由委员会详细了问题情况，取证材料，影响范围等信息，并在10分钟之内向算法团队传达指令要求，做到10分钟内及时响应，30分钟完成相关内容的分发屏蔽效果，防止违法违规信息的扩散；算法安全负责人负责协调算法团队着手处理问题，确定预计修复时间、备用方案，并及时同步相关方问题处理的进展；基本目标包括：处理的时效性、降低问题的影响范围、确保修复过程其他链路的安全性、确保问题不复发等。同时告知办公室排查结果，同步相关方修复后的操作方法和流程并做好复盘和后续跟进工作。处理处置完毕后，针对发现的违法违规样本、产生问题原因，以及采取的处理处置措施、信息传播情况等，由运营团队向有关部门报告，包括对事故进行简单描述（故障时间、受影响的用户、受影响的业务方、影响的时间等）、事故排查及修复过程进行详情描述、原因分析及后续完善事项等。 该风险防范机制可有效应对算法滥用、算法漏洞和算法恶意利用风险。用户权益保护用户知情权北京xxxxx有限公司充分尊重用户的知情权，用户在首次使用服务时，会通过弹窗的方式展示产品隐私政策，充分告知用户在哪些场景分别收集用户哪些信息，在获得用户主动同意之后，方可收集用户个人信息。用户在使用过程中，可以通过页面下方随时查看隐私政策。用户个人信息保护北京xxxxx有限公司制定了用户个人信息规范及数据安全管理工作制度（即为数据生命周期安全管理机制），规定了用户信息的保护措施、明确用户个人信息保护的角色及职责、用户权益管理、安全评估要求等内容。另外制定了监测巡查机制、数据备份与恢复保护机制、应急响应机制等细化机制。其他权益保护无内容生态治理正能量内容扶持算法推荐服务中如何实现正能量内容扶持，从算法扶持机制、干预扶持策略、正能量稿源稿池维护、正能量识别与发现等维度进行阐述，并提供截图证明等相关佐证材料（请说明该风险防控机制对第三章的哪几种风险有效）权威信源扶持描述算法推荐服务中如何实现权威信源扶持，从算法扶持机制、干预扶持策略、权威信源池维护、权威信源识别、发现与认证等维度进行阐述，并提供截图证明等相关佐证材料（请说明该风险防控机制对第三章的哪几种风险有效）防范和抵制不良信息北京xxxxx有限公司通过自建特征库对方式实现不良信息识别及拦截，通过自建特征库对方式对用户上传内容进行干预。自建特征库来源主要是来自已投稿用户对数据，进行人工识别之后形成策略库，用户上传及输出所有内容均会经过机审和人审，通过正则匹配方式进行识别。特征库整体规模为10w条左右，其中涉及黄赌毒、涉政言论、色情、血腥暴力等黑五类信息。特征库在线上通过准实时模式更新。违法信息过滤北京xxxxx有限公司通过完善的内容审核机制过滤违法信息，内容审核流程一般分为七步，内容收集、内容解析、内容过滤、人工审核、风险评估、处理反馈、持续监测。一、信息收集内容安全审核的第一步是收集待审核的信息。用户上传的内容通过接口传输到审核平台，以便进行后续的审核和管理。二、内容解析收集到信息后，需要对其进行解析。对于文本及文档内容信息，可以通过分词、语法分析等技术将其转换为计算机可以理解的形式;对于图片和音频信息，可以使用图像处理和音频转文字技术将其转换为计算机可以处理的数据。解析后的内容可以方便后续的处理和分析。三、内容过滤内容过滤是内容安全审核的核心环节。在这个环节中，会使用一系列算法和规则对解析后的内容进行筛选和过滤。常见的过滤手段包括敏感词过滤、图片识别、色情内容识别、暴恐信息识别等。通过对内容进行比对和匹配，可以筛选出其中的不良信息。不良信息审核如下，包括血腥暴力、早恋等内容四、人工审核内容过滤的结果并不是完全准确的，会存在一定的误判和漏判。为了提高审核的准确性，互联网平台往往会配备专门的审核团队，对通过过滤的内容进行人工审核。人工审核可以针对一些复杂的情况进行判断，提高审核的准确性和灵活性。五、风险评估在人工审核的过程中，会对内容的风险进行评估。对于一些违法、有害、低俗等严重的内容，可以进行封禁或删除;对于一些轻微违规的内容，可以进行警告或限制;对于一些合法的内容，可以通过审核。风险评估的结果可以帮助平台做出相应的处理和决策。六、处理反馈审核结果需要及时反馈给用户。对于未通过审核的内容，需要告知用户原因，并提供相应的处理建议;对于通过审核的内容，可以正常显示在平台上。同时，用户也可以对审核结果进行申诉，平台需要及时处理用户的反馈，并根据实际情况进行调整。持续监测内容安全审核并不是一次性的工作，而是一个持续的过程。随着互联网内容的更新和用户行为的变化，平台需要不断地更新审核规则和算法，提高审核的准确性和效率。同时，也需要对审核结果进行监测和统计，及时发现问题并进行处理。该风险防范机制可有效应对算法滥用、算法漏洞和算法恶意利用风险。该风险防范机制可有效应对算法滥用、算法漏洞和算法恶意利用风险。多样性保障在算法生命周期不同阶段均对模型安全性及多样性保障有所考量。算法推荐服务提供者为了建立良好的内容分发机制，避免算法带来的信息茧房和马太效应等负面影响所采取的内容多样性保障机制，如去重机制、打散机制、兴趣发现机制等该风险防控机制对第三章算法漏洞风险有效。检索优化行为保障检索算法提供哪些检索优化行为，对检索优化行为是否有过滤机制及策略北京xxxxx有限公司内部有完善的数据安全管理体系来保障算法推荐服务开发过程中和上线后的数据安全，体系内容包括：建立明确的数据安全管理制度与流程；将数据进行分类分级，然后不同等级的数据采用不同安全级别技术进行管理，以确保各项业务数据的安全性、完整性、可用性。(1)管理制度：北京xxxxx有限公司内部制定《数据安全管理规定》、建立数据分类分级管理规则，确保公司的所有员工获取并使用公司业务、技术等各方面数据的安全性，保证公司利益不受损害，降低公司信息资产被泄漏或破坏的风险。制度与流程中明确规定了数据安全管理过程中各部门的职责、数据安全的基本原则、数据分类分级标准、数据安全管理流程、数据生命周期安全管理要求以及违规行为的处罚与举报。(2)技术保障：a.数据分级分级管理公司内所有形式数据进行分类分级管理，根据数据的使用场景分析，将公司的数据定划分为企业经营管理数据及用户数据，并按照数据价值和敏感程度，从低到高划分为3个安全级别：可公开数据、一般数据、敏感数据。具体如下：可公开数据：适合于公开的数据，公开后不会对数据主体公司及用户的财产，形象，名誉，人身安全以及合法利益造成影响的数据。一般数据：不对外公开，但可对公司内部人员开放的数据。敏感数据：公司内部人员访问需要进行严格限制的数据，该类数据仅业务主管部门、数据使用协同部门及相关人员可见。该等级数据一旦被泄露或者公开，会对数据主体（用户，合作伙伴，员工和公司）的财产，形象，名誉，人身安全，以及合法利益造成严重损害。算法样本数据、模型、算法安全评估相关的内容均属于此等级的数据。b.数据生命周期安全保护技术北京xxxxx有限公司围绕数据采集与获取、传输、使用、存储、外传、备份与恢复和销毁全生命周期，建立了数据加密传输保护、数据存储保护、数据防泄漏、数据脱敏、细粒度访问控制等安全防护功能。Ⅰ.数据采集安全：向用户采集信息时，主动通过隐私政策弹窗等方式明示数据采集的原则