大模型在企业的应用实践分享

大模型在企业的应用实践分享大模型企业AI落地“八问”1.都说大模型存在“幻觉”，AI只是“玩具”还是真的有用？2.企业现在是否是入局AI的时机还是再等等？3.AI在我们企业能拿来做什么场景，解决什么问题？4.我们没有AI的专家和经验，现在该如何去建设AI能力？5.AI应用开发落地，是要自己做好还是找外部的供应商来做？6.企业做AI实践有没有方法论或正确的路径？7.去做AI要投入多大的成本？预算有限是不是不能做AI转型？8.企业向AI转型，失败的风险会不会很大？影响智能体效果的因素1.模型的选择2.提示词的设计3.数据的质量4.知识库的能力5.工作流的设计1.模型的选择2.提示词的设计3.数据的质量4.知识库的能力5.工作流的设计任何人3分钟可以手搓一个智能体，但做一个生产级的智能体专业AI工程师可能要花半个月、甚至更久。传统AI效果更好，性价比大模型是原有应用做补充和辅助传统AI效果更好，性价比大模型是原有应用做补充和辅助依赖人完成不适合AI流程再造对原有的IT、OA、客服等系统的自动化改造，并结合AI实时数据分析，驱动业务流程的优化如智能报销、智能请假等感知类AI应用场景CV/NLP/语音类模型已具备良好的表现，满足实时性、精度例如：人脸考勤、人证比对、车情感分析……高度定制化服务高度个性需求，强人际交互特质、高度复杂决策场景，生成式AI有较大局限，例如：企业战略咨询服务、商务谈判、投资决策、心理治疗……数据分析与决策通过自然语言交互、数据总结、预测分析等方式，辅助用户更高效地获取洞察并做出数据驱动的决策。如，AI+BI，智能问数大模型技术在知识检索、生成式任务领域的替代或增强作用较为明显。对大模型的应用目标切忌一刀切，而制定过高的期望目标，导致整个落地过程受挫。大模型对原有应用做替换或者增强内容生产创新AI创建全新的内容，如自动生成新闻、报告、设计稿等个性化服务在个性化推荐、客户服务等领域，AI能实时生成个性化的内容，如商品推荐、服务推荐等产品研发AI辅助编写代码、测试，辅助产品设计，加速产品迭代周期AI转型的目标/的AI转型的目标/的AI创新的目的是为了帮助员工提升效率，从而实现快速扩张，业务的增长。提升除了客服，任何以减员为目的的AI项目都会失败AIAI转型成功的关键AI转型是企业一次改革和重构，它不仅仅是一个技术，企业全员应该正确的认识AI，并且深度参与到AI的实践中来。而不是技术部门的事情，技术部门AI转型帮企业实现0-1,1-10-100业务部门是唯有加快智能化转型的步伐，才能适应不断变化的市场环境。拒绝转型的企业终将被淘汰！AI落地，各行各业已经在行动客服助手文档处理中枢（ROI提升标杆）营销内容工厂05培训数字员工04数据分析助手客户简介客户简介XX生物科技集团是中国植萃美白领域的领军企业，连续两年蝉联《人民日报》中国品牌创新案例奖，获欧睿国际“全国第一中国美白品牌”认证，抖音渠道2024年GMV达19.75亿元，位列美妆榜前三。••大模型落地咨询服务：针对XX的现状和需求，结合我司落地的服务经验，提供分步建设的一站式大模型落地咨询方案；•算力服务：提供价格极具竞争力的3台8卡H20算力服务器；•大模型部署和调优：部署DeepSeek满血版、Qwen3-235B、SGLang推理引擎等工具，针对部署参数进行调优；•AI开发和管理平台：提供自研QinAgent（Kymo）平台提升客户Agent的开发效率，便捷接入企业的业务系统；•培训/带教陪跑：帮助XX团队构建内生的AI落地能力。•AI咨询服务•私有化大模型建设和调优•大模型落地配套工具的建设•落地建设赋能和陪跑解决方案客户需求研发等多个领域进行AI赋能，客户价值项目背景合作价值项目背景合作价值一本教育成立于2009年，是专注高中艺体生文化课培训的权威机构。XX教育计划6月份暑假期间发刊语文阅读理解能力提升刊物，面向广大学生，题型包括语文选择题、填空题、主观题等，需要支持学生通过拍照批改答题。•区别类似小猿搜题等基于运用OCR+知识库的技术方•解题答疑：教育场景中家长要求解题答疑的结果准确率高，容错率低，是面临的最大挑战。因为题目案实现批改，本项目运用了大模型能力，解决传统拍涵盖各个学段的内容，题目的内容也会包含图片和表格等。照作业批改中针对主观题评分的难题，提升了批改效率20%。•拍照批改：家庭辅导场景中家长更愿意拍整页进行批改，对批改返回的结果准确率和批改速度的要求•主观题批改：传统拍照批改主要采取题库加持的RAG技术方案，对客观题的批改有较好效果，但对主观题的批改难以结合主观题的评判依据进行专业打分。•主要采取题库+豆包大模型1.6+OCR加持的技术方案用户发起问题请求（拍照输入基于图像识别、知识库搜索、大模型推理生成评分、手写内容及坐标位置识别、图片渲染（根据评分展示客观题和主观题的对错图标）等功能，实现智能批阅的全流程自动化。 客户简介阿道夫是一家集研发、生产、营销于一体的专业洗护用品企业。为全面提升公司运营效率，客户计划引入AI技术进行场景化落地。客客户需求客客户价值解解决方案•公司内部事项解答•公司内部IT服务请求管理项目背景xXX教育AI转型项目：构建教育行业智能体应用项目背景米塔教育是领先的国内在线艺术教育平台，汇集了一线导师与企业项目资源，专注于3D建模、原画设计及影视后期培训，打造人才从创业到就业的培养闭环奇墨科技携手米塔打造在线教育AI应用智能化转型，依托于火山AI能力，在帮助客户解决视频云痛点卡点的同时，为米塔内部的教育创作，画像分析，异动评估等定制相关教育业务AI链路创新，帮助客户做到业务侧及运营侧的提效•原有视频云服务（百家云）存在高延迟、低画质转码问题，客户一直反馈视频卡顿率频繁•用户画像分析效率不足，无法支撑响应千人千面教学服务•业务异动监测依赖人工，风险预警响应周期比较长••教学效能革新：AI辅助重构教学流程，课材及创作生成效率提升，学情反馈实时化管理决策升级：构建智能决策网络，学员上课及退学倾向预警提前报备，运营成本降低57%••合作合作价值•••••模式创新示范：沉淀教育数据资产体系，树立智能化模式改造，争创教育行业全业务链路AI改造标杆原画助教AI：课程素材生成效率提升70%用户画像提取器：用户标签维度提升了2~3倍异动透视机：异动提醒从被动转化为实时其它：问题咨询、反馈收集、智能评估客户现状：缺少统一的知识管理平台和培训系统，所有外部养殖户及内部员工通过个人微信联系专员或公司内部IM获取产品使用规范、养猪指导说明等指导性文档、培训视频新养殖户和新员工获取标准指导文档效率低，不利于业务开展。解决方案：帮助客户搭建养殖专家智能体，解决知识获取的效率慢的问题，提升养殖户技能的专业性，对提升养殖存活率有重要意义。通过人工每天收集养殖户的养殖数据，以表格记录后手动上传到系统中，以跟踪养殖户饲料、药品等的用量，养殖动物的数量变化情况借助大模型能力帮助客户搭建养殖数据采集的智能体，养殖户可通过对话式自助上报养殖数据，智能体经过处理后按照一定格式要求录入系统。客户现状：通过人天去现场收购时评估鸡的质量等级，费人力、费时间，且不客观。耗费人工成本和时间成本，且可能不客观解决方案：开发鸡分类专家智能体，快速对用户农户的所有鸡进行快速统计和分类。客户现状：企业内部定期会对部分员工进行视询，但通过人工方式访谈缺乏中立性和真实性，同时避免老熟人尴尬等痛点，想通过数字人的方式来代替员工进行访谈落地的场景：①人工视询：视询人（以数字人形象出现）和被视询人都是真人，但不见面，同时结合变声技术，隐藏视询人真人。②半人工视询：视询人为数字人，被视询人为真人，通过数字人跟被视询人进行问题对话。解决方案：Kymo视询管理+智能体+火山数字人+腾讯RTC广州家居龙头AI实践场景：通过MCP服务实现ERP订单数据实时查询客户现状：欧X是家居行业，在业务中涉及大量系统化操作，员工学习系统操作培训和学习成本高。系统迭代频繁，更新内容宣贯成本大，响应不及时。员工跨平台手动查询订单数据并整合反馈，效率低。解决方案：快速反馈系统操作路径和过程。析订单信息，返回整合数据。客户收益：理时间。茵梦达-AI建设及场景实践项目背景项目背景签字授权法务助手差签字授权法务助手差旅助手智能问数产品推荐运维助手RAGflow集成RAGflow集成工作流知识管理向工作流知识管理向量切片AI门户AI助手权限权限AI场景水星家纺-AI场景实践AI场景项目背景项目背景客户前期基于Dify开源版智能体开发平台进行了AI的探索和实践，并初步尝试了一些场景的落地，验证了AI在企业应用的可行性。因此决定正式构建AI中台并组建专业团队，为企业更多的职能部门和业务更AI结合，实现企业智能化奇墨以Dify为基础的智能体开发的培训服务进行合作切入，完成整体AI建设的解决方案交付。①为客户定制了从AI基础、Dify平台基础应用到高阶培训课程，为AI技术团队及业务部门分别提供了系统性的AI赋能。落地方案 ②通过Kymo+Dify商业版的组合方案，构建了企业从AI智能体开发到前端用户使用的一体化的AI中台。AI门户AI门户AI流水线AI流水线③通过定制化CAS身份认证集成，实现了基于现有身份认证体系的SSO单点登录，无缝应用，让前端用户零操作成本使用平台。通用场景通用场景华X数科-集团AI中台华X数科是由华X集团数字化部门独立出来的数字科技服务子华X数科是由华X集团数字化部门独立出来的数字科技服务子项目背景为集团数百家子公司提供一个开通即用的AI创作中台为集团数百家子公司提供一个开通即用的AI创作中台，同时需实现子公司之间的逻辑隔离，每个子公司管理员可以维护自己的空间和权限。同时需提供系统的大模型AI启蒙和培训课程体系，为集团子公司员工提供AI能力赋能。奇墨联合华X数科共建集团AI中台及运营和赋能，为整个华X集团提供AI服务。落地①定制了大模型赋能体系课程，为全集团用户提供从零基础到AIAgent开发的全栈能力培训和AI顾问服务。②通过Kymo+Dify商业版的组合方案，构建了企业从AI智能体开发到前端用户使用的一体化的AI中台。③通过定制化服务，满足AI中台与企业现有身份认证、现有自研统一办公平台的集成。④预设数十款企业常用的通用智能体，为个子公司开箱即用。方案AD方案AD身份认证+“X工作”办公平台QwenQwen|doubao|DeepseekV3矢崎中国-AIhelpDesk项目介绍矢崎（中国）是矢崎総業株式会社在中国设立的地区性总部，主要开展汽车零部件制造及商务服务业务，尤其在汽车线束领域占据全球30%市场份额，想通过AI去升级优化现有的工单及OA审批流程，来有效提升日常工作中的效率。架构与部署架构与部署应用场景基于大模型+企微机器人+企业制度知识库，打造内部数字员工，实现从考勤、出差、报销、审批、培训、产品等等百事通AI员工，在企微为一线员工提供服务依托于大模型底座、知识库，将“智能体+OA+IM”完美结合，实现有答案直接基于知识库回答，没有答案则根据意图自动创建工单，并路由到不同的审批流，极大力度的便捷了提升了AO及工单的流程效率。技术方案kymoAI开发平台+企微+ITSC+知识库+大模型利用大模型+知识库+企微+工单平台，实现超酷的智能工单系统，通过企微对话直接建工单或基于知识库回答解决方法。各行业企业AI应用场景-通用各行业企业AI应用场景-电商写各行业企业AI应用场景-美妆基于大模型每周定期爬取同行业热点事件并各行业企业AI应用场景-医疗各行业企业AI应用场景-酒水基础信息等数据结合大模型能力、算法规则构建各行业企业AI应用场景-教育企业落地大模型应用面临的挑战企业的场景和流程繁专业AI人员去构建应用AI应用强依赖企业内部的知识、经营数据等有较高隐私性的内专属企业级智能体需要调用内部的系统、合业务特点定制复杂端对端流程和插件、乏丰富灵活的集成方从头构建复杂应用的试错成本高，无法保证应用效果场景应用场景应用集成钉钉飞书企微OA企业门户小程序APPBI系统业务系统…智能体基基础设施智能体开发SaaS低代码开发平台私有化低代码开发平台（私有化）（私有化）外部知识库（私有化）模型训练、精调SaaS化模型（模型训练、精调OpenAIDeepSeek文心一言通义千问豆包大模型腾讯混元LLaMA…OpenAIDeepSeek文心一言通义千问豆包大模型腾讯混元通用模型语音模型音译模型文生视频模型文生图模型行业模型…大模型基础服务公共云公共云GPU服务器阿里云GPU服务器火山GPU服务器华为GPU服务器DeepSeeK一体机AICP一体机01起步阶段02推广阶段让AI装上企业记忆和手脚让应用像人一样思考私有数据01起步阶段02推广阶段让AI装上企业记忆和手脚让应用像人一样思考私有数据+大模型+「AdvancedRAG」助手级应用专家级应用03深度应用AI引领业务发展让应用像专为公司配套的咨询专家一样为公司服务微调：03深度应用AI引领业务发展让应用像专为公司配套的咨询专家一样为公司服务微调：私有训练数据+基础大模型+机器学习平台推理：私有数据+精调大模型+RAG+Workflow行业专家级应用Prompt设计专业的金融资讯分析师人设Prompt设计专业的金融资讯分析师人设第二步第二步：巧用插件+知识库打造稳定的企业知识系统->查找->资讯搜索系统效果：金融/财经类资讯查询大语言模型节点，该节模型处理文本生成任务持续扩充工作流的能力知识库节点知识库节点，根据输入参数从关联知识库代码节点，通过IDE编写代码处理输入参数，并返回输出值。条件节点，if-else逻辑判断，满足设置条件则运行if分支，否则运行工作流节点。工作流中嵌套多个工作流，实现工作流无限复用与复杂流程编排使用机器学习平台或开源模型训练工具训练私有化模型，投喂企业训练数据，完成精调。精调资源需求，和训练精度相关，一般模型训练更费算力资源，为推理算力的2~3倍。可观测能力全程跟踪训练效果及日志可观测能力全程跟踪训练效果及日志，助力客户轻松做出适配自身业务需成本与时间，LoRA模型部署无需独占机器资源，LoRA推理轻量便捷智能营销产品查询41智能客服员工培训智能创作研发助手629智能营销产品查询41智能客服员工培训智能创作研发助手629决策分析8智能排产7舆情监测智能化可行性指数智能体实现难度指数业务价值指数智能化可行性指数智能体实现难度指数业务价值指数企业AI成熟度级别智能体风险系数数据质量指数衡量智能体在实际应用中，对除大模型以外的各类辅助功能的依赖程度的量化指标。辅助能力依赖度模型选择推荐•根据具体需求和数据特点型类型及参数配置的专业建议•综合考量各种因素，为解决特定问题给出最优模型选项的指导性意见•基于对问题的深入分析和对不同模型性能的了解，向用户推荐能够实现最佳效果的模型方案解决AIAgent到企业中怎么应用、如何管2B海量行业应用、插件、MCP服务，让AI开发更简单AI智能体一键式管理、发布、集成及SSO，让AI应用更容易数据、安全、合规多维集中管控，让企业AI使用更放心超低的成本，让AI实践成本更低应用发布智能应用低代码开发管理与安全海量工具应用发布智能应用低代码开发管理与安全海量工具商业模型API开源