2024AI私有化大模型发展

20242023年，是人类历史的第三个科学奇迹年底层范式正在改变，智能和技术“涌现”，新的创新机遇开启1666年牛顿开辟光学，创立微积分推导出引力公式1905年1666年牛顿开辟光学，创立微积分推导出引力公式1905年爱因斯坦发表狭义相对论、质能方程等四篇论文2023年GPT引领AI浪潮技术的底层范式发生重大变化AI将带来整个社会的底层重构如何抓住这次创新大潮？让我们从上一次科技大潮的小故事开始20年前一个年轻人怀揣400元来到北京过着很卷的北漂生活尽管有幸加入互联网大潮，每天起早贪黑30岁前三个愿望一个都没有实现回头来看，每个大变革的时代普通人的有心无力，往往都是类似的32岁时，一次跨国旅行让自己意识到只靠勤奋，没有办法让自己NB起来同质化的勤奋只会更卷不同的道路才可能胜出所谓创新，就是找到不同的路以更少的投入换取更大的产出曾以为ThinkDifferent猛然一刻意识到它是创新的底层思维模式ThinkBetterThink与其更好不如不同Part1ThinkDifferen创新的不二法门为什么伟大不能被计划？只有ThinkDifferent找到新的道路才能实现伟大但新的道路不在大多数人的认知地图中2012猎豹移动ThinkDifferent，Allin出海2016年，共享经济如火如荼ThinkDifferent，AllinAIAI起步早取得了一些技术优势自研全链条AI技术行业领先的语音、导航技术小米小爱同学 小雅音箱 华为AI音箱 小美AI音箱

北京冬奥服务型机器人创新测评大赛五项产品入选，独占半壁猎户N猎户NPV2.0猎户语音合成v1.0猎户语音识别猎户语音识别v1.0猎户人体&物体检测猎户NPV1.0AI1.0时代深度学习成为热潮猎户星空抢先出击全行业一起卷却难破瓶颈一个小小的分支正在成长直到2022年11月30日ChatGPTAI进入2.0时代，彻底开启生产力革命AI2.0时代ChatGPT

猎户NPV2.0猎户语音合成v1.0猎户语音识别猎户语音识别v1.0猎户人体&物体检测猎户NPV1.0回头看，CatGTTkfftAIAIOpenAIIreOpenAI让机器像人一样使用计算机

Ie用于玩DOTA2

魔方机械手secd

Chatbot也就是后来的ChatGPTOenAI从“学外语模式”变成了“学母语模式”学外语模式 学母语模式系统达到一定语言能力，但是无论如何优化，依然答非所问

建立基本的逻辑认知产生逻辑能力和推理能力OpenAI,与其说是技术积累的成功不如说是技术信仰的成功更是ThinkDifferent的成功ChatGPT的横空出世更像是哥伦布航海不是舰队多牛，而是走了别人不敢走的路回顾互联网创业大潮再看这次AI技术浪潮ThinkDifferent都是ThinkDifferent的成果如苹果、特斯拉、OpenAI但在最初，都是被质疑甚至被嘲笑的Part2AI大模型创新依然可以ThinkDifferentChatGPT是一次底层范式正在改变每个业务用大模型重做一遍都能获得十倍增长Microsoft（微软）2023年市值超越苹果成为全球市值最高公司

Midjourney“设计外包公司”40名员工年收入超2亿美金估值100亿美金

HeyGen“视频翻译公司”30名员工收入超过1800万美金估值7500万美金

ka“视频制作公司”4名员工融资5500万美金估值超2亿美金面对这一次的AI大潮每个人都跃跃欲试，但不知所措来得太猛了，不懂技术被淘汰？变得太快了，刚学一点又变了！万变不离其宗躬身入局，以终为始找到适合自己的道路我们也曾很焦虑：2023年3月，国内千亿大模型创业如火如荼，团队躁动不安“老板，再不动手训大模型就落伍了A100要大涨价了”20233月2023训练千亿大模型是技术皇冠上的明珠技术团队都有摘取的愿景但我关心的是，怎样才有独特的价值？对于AllinAI七年的猎户星空一次训练，上千万美金，数月周期Tobeornottobe?在千家万户都在卷千亿大模型的彼时只有做千亿大模型才是唯一路径吗？况且如果没有商业落地，那只是技术狂欢脱离市场的技术投入，就是资源浪费大力发展Copilot应用的微软成为最大赢家ibit igitisit ieit ThinkDifferent不是只有跟随OpenAI才能成功我们1挖掘应用场景我们1挖掘应用场景2垂直模型3打造最适合模型主流训练千亿级模型垂直模型4月寻找应用场景

StepStepStep20233月2023从我开始:内部生长出AI应用对外提供咨询服务4月20233月2023CFO助理写出的小工具震惊了所有程序员自设计线上服务机器人

自写小工具 自建应用开发交流平台垂直技术领域，AI可能带来生产力的跃迁家 员 员 模型组件应用组件猎豹移动内部产生13个课题组半年生长出16个AI应用组件模型组件应用组件通过近一年实践，我们发现：大模型在企业中增效明显，但只靠员工自驱动难以落实需要一把手亲自抓，对公司流程进行I重构需要深度结合企业流程开发I应用AI前景很大，但尚处早期大模型落地，需要强应用纸上得来终觉浅只看朋友圈，真的以为要吞噬人类绝知此事要躬行真正动手做，发现还是创业最好时代2023年5月客户问能否帮我私有化部署大模型但当时私有化千亿参数大模型数千万千亿参数大模型

数百万服务器配置数百万A100x8服务器每台价格约160万，只能满足很小的并发请求客户说：“我就是解决客服问题，一年投入几千万难以承受，有没有便宜，但不损失性能的方案？”猎户N猎户NP0猎户语音合成10猎户语音识别猎户语音识别v1.0猎户人体&物体检测猎户NP10恰逢其时LLaMA来了开源社区使得千亿参数大模型性能护城河消失小参数模型能力迅速提升“涌现”出智能忽然一夜开源来千模万模智能开AI大模型进入二元对立时代ThinkDifferent规律再次应验更高参数看谁能造出“爱因斯坦”

闭源阵营 开源阵

更小资源看谁能造出平民化大模型我们发现，在企业应用场景中千亿参数大模型数据千亿参数大模型数据&应用百亿参数基座千亿全面，百亿专业在企业场景中，专业足矣，更具性价比会议纪要 规章制

知识管理数据图表 文案打

创意脑暴合同审核客户案例，通过百亿参数+应用打磨专业回答问题超越GPT-497%回答准确率%回答准确率企业应用百亿参数就够了Part3每个企业都有私有化大模型的时代到来了三个时代企业核心价值的变化土地、厂房、生产线 互联网和信息化 经营数据和数智化A在企业内部到底能做什么？难道只是GPT风的汇报文档和花哨的图片?AIGC到底是什么？t公有数据IAI私有数据C2套件+应用C3数字员工和辅助决策才是真正的AI提效公有数据I）C1宣传文案，图片据IRAG+AgentC2数字员工，降本I企业定制应用C3辅助决策，提效OpenAI“阳谋”ChatGPT只从公开出版物上获取数据所以，大模型在解决企业问题上无法深入OpenAI“阳谋”推出GPTStore，是为了获取私有数据，进一步提升“智商”互联网公开大数据

GPTStoreAI用户 用户 企业调侃的说：AppStore要交“苹果税”GPTStore要交“智商税合同、财务、业务数据等公司机密给ChatGPT短期内可以提高效率长期来看，每用一次ChatGPT都可能在帮你的竞争对手成长ChatGPT这件事正在发生山姆·奥特曼只给了我500美金OpenAI代金券却毁掉了我300万美金的初创公司为了让企业有持久竞争力应该使用私有化大模型让经营数据内循环生长企业实现应用AI的王者段位私有数据私有大模型数字员工私有数据私有大模型数字员工强应用套件辅助决策Part4猎户星空大模型为企业应用而生以终为始的思考：寻找破局点太多人只关心千亿模型刷分高不高

我们更关心百亿模型用的好不好企业应用百亿参数就够了是时候打造我们的百亿参数模型了主流 我们训练千亿级模型垂直模型寻找应用场景

Step1Step2Step

挖掘应用场景垂直模型打造最适合模型七年磨一剑来自于Facebook总部、Yahoo总部、来自于Facebook总部、Yahoo总部、百度等全球顶级大厂的上百名顶级算法科学家上千家企业应用适配近7年数据积累，百亿级真实用户数据，数十万亿级别token数据顶级团队技术路线从DNN、i,/NLP全栈追踪行业技术演进场景认知全球20亿用户级应用打磨经验数据积累算法理解应用打磨猎户星空大模型140亿参数千亿效果

七大应用微调方向

千元显卡即可运行用得好 用得起 用得安心看性能，先看为什么有些大模型在榜单上靠前，用起来一般般?对大模型来说，(为此，我们发布了一个“应试教育版”)模型C-EVALCMMLUMMLULambadagOrion-14B(应试版）93.683.187.579.085.8GPT469.971.083.065.591.4当然，我们今天正式发布的是（没有刷过题）所以遇到没有见过的新问题时，它的水平是一致的模型CMMLU学科MMLU学科C-EVAL知识模型CMMLU学科MMLU学科C-EVAL知识AGEval知识Lambada理解RACE理解HeaSwag推理BBH推理Orion-14B70.670.072.854.778.891.3556.5LLaMA2-13B40495956Skywork-13B47168173Baichuan2-13B35041280QWEN-14B29794380.27nternLM-20B01868315基于第三方机构OpenCompass独立评测结果700亿参数以下基座模型中文第一140亿参数320Ktokens一次读入一本小说在三十万文字中任意位置随机隐藏关键信息，对模型进行提问，结果INT4量化性能损失＜1%模型模型大小(GB)模型模型大小(GB)推理速度(tokens/s)性能评测C-EvalCMMLUMMLURACEellaSagOrionStar-14B28.013572.870.670.093.378.5OrionStar-14B-NT48.317871.869.869.293.178.0模型大小降低70%推理速度提升30%用得起

猎户星空大模型小企业专用版 为满足小企业需求推出量化后智能水平几乎无损的版本

市价1500元显卡即可运行（可实现每秒31token，约50个汉字）日语、韩语评测百亿模型全球第一多语言能力

模型训练语料日文平均韩文平均中文平均英文平均iB多语言69.179.567.6模型训练语料日文平均韩文平均中文平均英文平均iB多语言69.179.567.65iB多语言1781Qwen-14B多语言8754B多语言3743iB多语言12768.8B英，韩-7--KOGPT-6B英，韩-1--B英，日51.1---B英，日3---B英，日7---ELYZA-7B英，日8---即便在评测成绩上超越了某些更大参数的模型但坦率地说，跟GPT-4的全面性还是有差距定义好专业场景，微调和应用打磨，结合企业数据，在实际使用中企业应用场景可超越GPT-4用得好

猎户星空大模型下一个MoE多专家模型架构专注百亿，敬请期待！通用对话微调插件微调RAG微调通用对话微调插件微调RAG微调长token微调知识抽取微调问答对生成微调日韩文微调为了企业更好应用独家推出微调全家专业，百亿级 ，媲美20B以下开源模型Agent、ReAct知识边界控制能力、支持320K长度将非结构化数在保证知识覆盖日、韩文水平在里，通用能力最mi能力，回答精准度，接近token；开源模型据，转化为结度的前提下，生20B以下开源模型佳的对话模型接近千亿级模型千亿级模型效果中，支持长token构化成问答对中最佳效果最好的模型数据猎户星空大模型猎户星空大模型用得好同头部客户一起用得好着重打磨 主要用于知识库问答、企业客服等结合企业私有数据的场景

用来把大模型和业务系统深度打通用得好-检索增强生成用得好用检索的方法配合大模型进行任务处理，可以很好的使用企业数据进行知识问答为什么周鸿祎先生喜欢穿红色衣服？

得到答案：检索算法【构造Prompt检索算法【构造Prompt】请根据知识片段，回答问题：为什么周鸿祎先生喜欢穿红色衣服？知识片段：1、新浪科技：周鸿祎解释为啥喜欢穿红衣服：提醒别人叫对名字...2、腾讯云：...会上主持人调侃360集团创始人、董事长周鸿祎喜欢穿红色上衣，“买光了中国一半的红色衣服”。对此，周鸿祎强调...大模型最匹配的知识段落TOP:知识库新浪科技：周鸿祎解释为啥喜欢穿红衣服：提醒别人叫对名字...腾讯云：...会上主持人调侃360集团创始人、董事长周鸿祎喜欢穿红色上衣，“买光了中国一半的红色衣服”。对此，周鸿祎强调...用得好用得好RAG开源框架很多,可现实很骨感一周出Demo 半年用不好用得好休闲跑步(普通)普通RAG套件

(专业)猎户星空大模型RAG套件知识蒸馏清洗归并元数据构建多引擎场景m知识蒸馏清洗归并元数据构建多引擎场景migRAG全链路流量评估RAG全链路流量回放VectorDatabase多路召回和重排推荐算法Q2SQDRAG全链路流量评估RAG全链路流量回放VectorDatabase多路召回和重排推荐算法Q2SQD和稀疏检索技术结合猎户星空传统NLP技术插件Q2CoTQ2E自动化质量评估体系MMI知识边界的控制等CPT场景化SFT猎户星空大模型基座猎户星空大模型基座用得好

RAG套件牛，行业头部客户才用得好（混沌实例）课程解析52.88%

课程解析80.77%

课程解析94.5%胡编乱造1.3%模型不可用正确率优化到70%

基于客户服务重做RAG

虽然回复超预期但无法落地

更多高质量数据更惊喜的微调迷茫·焦虑·痛苦

能力：根据目标进行实验寻找最优方案价值：使用LLM基于客户业务搭建应用并优化效果用得好用得好让大模型像人一样工作自主完成任务。····与企业系统打通用得好做应用所需的用得好90.3%90.3%100%%91.07%91.37%意图识别成功率

首轮抽参成功率

多轮抽参成功率

缺槽反问成功率

插件调用成功率一般的百亿参数大模型表现不超过70%用得好用得好RAGAgent企业数字员工应用最牛套件用好RAG和Agent套件才是黄金段位公有数据I）C1宣传文案，图片私有数据IRAG+AgentC2数字员工，降本数据I企业定制应用C3辅助决策，提效用得安心用得安心私有化部署：大模型服务器可放置于企业内网所有数据不连公网免费 开

可商用

社区技术支持猎户星空百亿参数大模型企业标配首选用好企业定制应用才是王者段位公有数据I）C1宣传文案，图片私有数据IRAG+AgentC2数字员工，降本数据I企业定制应用C3辅助决策，提效让老板对经营细节全掌握人力资产、云资产、数字资产，全天候细节无遗漏人力资产、云资产、数字资产，全天候细节无遗漏聚言:猎户星空大模型+强应用套件+保姆式服务人力助手

保姆式服务云资