当LLM遇到数据仓库-从数据处理、模型微调到知识增强的应用开发一切都将变得更容易

区块链架构云原生架构lT^UBcc2踮©2023年06月30-07月01日|切北京维景国际大酒店C2014第16届中国系统架构师大会[SYSTEM-architectconferencechina坤、数字转型架构演进、、志.w空:*..終..・•当LLM遇到数据仓库从数据处理、模型微调到知识增强的应用开发,—切都将变得更容易杨胜文酷克数据首席科学家SACC数字转型架构演进,丄冲**/目录Contents►010203关于LLM的一些观察和思考HashData助力LLM规模化应用HashML大幅降低LLM应用门槛0405应用案例总结及展望ChatGPT引爆对LLM的研发热潮数字转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2022OHashDataAXClaude4;BardChatGPTmso智冃図国外LLM研发典型代表国内〃百模大战”之冰山一角婷ChatGL域©通义大模型©OpenAISACC数字转型架构演进00MetaAILLaMA168^

①

ChinsUni艾夕UB2023商渦丨SenseChatsansetlme0文心一言关于LLM的一些争议财转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA20231HashDataPauseGiantAlExperiments:AnOpenLetterAddyoursignatureSignatures31810WecallonallAllabstoimmediatelypauseforatleast6monthsthetrainingofAlsystemsmorepowerfulthanGPT-4.PUBLISHEDMarch22,2023Alsystemswithhuman-competitiveintelligencecanposeprofoundriskstosocietyandhumanity,asshownbyextensiveresearch[1]andacknowledgedbytopAllabs.⑵

Asstatedinthewidely-endorsedAsilomarAlPrinciples,AdvancedAlcouldrepresentaprofoundchangeinthehistoryoflifeonEarth,andshouldbeplannedforandmanagedwithcommensuratecareandresources.Unfortunately,thislevelofplanningandmanagementisnothappening,eventhoughrecentmonthshaveseenAllabslockedinanout-of-controlracetodevelopanddeployevermorepowerfuldigitalmindsthatnoone-noteventheircreators-canunderstand,predict,orreliablycontrol./open-letter/pause-giant-ai-experiments/YannLeCunO噸jJF@yLecunTothosewhothinkAGIisuponus：1.whydon'twehavelevel-5autonomousdriving?Any17yearoldcanlearntodrivein20hoursoftraining.2.Whydon'twehavedomesticrobotsthatcanclearthedinnertableandfillthedishwasher?Any10yearoldcanlearntodothatinminutes.Obviously,wearestillmissingsomethingbigformachinestoreachhuman-levelintelligence.Howdowegetmachinestolearnhowtheworldworks?5:00PM•May26,2023•1.7MViews；ACC数字转型架构演进GACC2023,打W168^

@ChinaUnixpUB数字转型架构演进亟需AI科学家就AI的风险和发展形成共识中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA20231HashDataAndrewNgO'曜*@AndrewYNgHadaninsightfulconversationwith@geoffreyhintonaboutAlandcatastrophicrisks.Twothoughtswewanttoshare:(i)[It'simportantthatAlscientistsreachconsensusonrisks]similartoclimatescientists,whohaveroughconsensusonclimatechange-toshapegoodpolicy.(ii)DoAlmodelsunderstandtheworld?Wethinktheydo.Ifwelistoutanddevelopasharedviewonkeytechnicalquestionslikethis,itwillhelpmoveustowardconsensusonrisks.IlearnedalotspeakingwithGeoff.Let'sallofusinAlkeephavingconversationstolearnfromeachother!,企■YannLeCun❷@yLecunWeallagreethatweneedtoarriveataconsensusonanumberofquestions.Iagreewith@geoffreyhintonthatLLMhave*some*levelofunderstandingandthatitismisleadingtosaytheyare"juststatistics."However,theirunderstandingoftheworldisverysuperficial,inlargepartbecausetheyaretrainedpurelyontext.Systemsthatwouldlearnhowtheworldworksfromvisionwouldhaveamuchdeeperunderstandingofreality.Second,auto-regressiveLLMhaveverylimitedreasoningandplanningabilities.Idonotbelievewecangetanywhereclosetohuman-levelAl(evencatlevelAl)without(1)learningworldmodelsfromsensoryinputslikevideo,(2)anarchitecturethatcanreasonandplan(notjustauto-regress).GeoffreyHinton/@geoffreyhintonIusedtotalktoAndrewalotanditwasgreattocatchupagainandgethistakeonthevariousrisksposedbyrecentdevelopmentsinAl.Weagreedonalotofthings,especiallyontheneedfortheresearcherstoIarriveataconsensusviewottheriskstointormpolicymakers.I12:30AM•Jun12,2023-173.3KViewsNow,ifwehavearchitecturesthatcanplan,theywillbeobjectivedriven*:theirplanningwillworkbyoptimizingasetofobjectivesatinferencetime(notjusttrainingtime).Theseobjectivescanincludeguardrailsthatwillmakethosesystemsafeandsubservient*even*iftheyenduphavingmuchbetterworldmodelsthathumans.Then,theproblembecomestodesign(ortrain)goodobjectivesfunctionsthatwillguaranteesafetyandefficiency.it'sahardengineeringproblem,butnotashardassomehavemadeittobe.1:29AM-Jun12,2023•415KViewsSACC数字转型架构演进GACC2023^^^ChinaUnixpUB学术争议不影响LLM应用遍地开花数字转型架枸演进第十戸中国系统架构师大会SYS'ILMARCHflCTCONfE^NCECHINA2021OHashDataChatGPTAPI及插件生态PaLM2支撑的谷歌应用bBing微软Copilots家族数字转型架构演进GA寻TH2023毎QiinaUni艾企业应用干亿级参数LLM的两种模式及其优缺点数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2{J23OHashDataCloud优点:快速接入灵活选择服务提供商问题：服务条款限制数据泄漏风险■专属模型成本高On-Premise优点:无数据泄漏风险模型定制更加方便问题：模型微调/部署成本高高质量数据获取•硬件需求■对技术人员要求较高•开发、运维SACC数字转型架构演进2023"，上壬注"’，■W/；.f168^

@ChinaUnixpUB如何实现LLM在企业低成本落地?数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2{J23OHashData。一些观察-干亿级参数大型LLM尚未解决诸如规划、逻辑推理以及生成〃幻觉”问题-百亿级参数LLM已经具备优秀的语言理解和生成能力SACC数字转型架构演进11Q一点想法-LLM进一步发展面临的科学难题交给世界顶尖的科学家和研究机构-充分利用百亿级参数LLM模型优异的语言理解和生成能力，结合企业应用需求，构建各种垂直智能应用，推动LLM在企业的规模化落地&百亿级参数LLM的优势-低成本私有化部署，满足企业对数据安全的要求-低成本模型推理，可在CPU、消费级显卡甚至移动设备上实现推理-低成本模型微调，可通过PEFT方法在单张消费级显卡上实现快速高效的模型微调・可灵活对接企业IT系统，与已有应用做无缝集成■168^

^^^ChinaUnixpUB日益繁荣的开源生态为大规模企业应用创造了条件财转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashDataOpenWebTextWikipediaBookCorpusCommonCrawlLLaMA/Alpaca/Vicuna/GuanacoMPT-7BFacon-7B/40BCPM-BeeAquila代码工具karpathy/nanoGPTLightning-AI/lit-llamaDeepSpeedTransformersSACC数字转型架构演进2023(§>ChinaUnixpUB对商业使用友好的开源模型已经出现数字转型架构演进第+六届中国系统架构师大会SYSlLMARCH?FlC

1CONiTF?£NCECHINA2021OHashData•6B•2K->32KVicunaGuanacoMPT*Falcon*ChatGLMCPM-Bee*Aquila*Baichuan*•7B•7B•7B•7B•6B•10B•7B•7B•13B•40BChatGLM2•33BSACC数字转型架构演进C員202302HashData助力LLM规模化应用SACC数字转型架构演进Midoopaa2023''；f168^ChinaUni艾pUBHashData:存算分离的云原生分析型数据库财转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA20231HashData1个元数据集群N个•计算集群1个共享存储共享存储（对象存储）、r1对象存储11对象存储21对象存储n管理控制台集群创建、启停、扩容、升级等服务VM/对象存储等基础设施管理集群状态监控、故障告警、故障恢复云基础设施（公有云、私有云、资源池）元数据、计算与存储分离，计算集群按需搭建，横向扩展，解决传统MPP数据库单一集群并发和计算能力受限问题统一的元数据和存储服务，形成权威的企业级数据视图，实现多个计算集群间数据共享云上资源灵活伸缩，提高运维效率，降低复杂度，解决木桶效应等问题SACC数字转型架构演进2023,，168^

ChinaUmxpUB双计算引擎支持LLM模型的高效微调OHashData对象存储a«__2023SACC数字转型架构演进数字转型架构演进中国系统架构师大会SYSTEMARCHSTECTCONFERENCECHINA2023-1^3^

包ChinaUn僕^IjpUB向量数据库能力赋能智能应用搭建数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashDataSACC数字转型架构演进aa2023(§>ChinaUnixpUB基于HashData的LLM低成本落地方案OHashData智能问答輔助分析辅助写作TextlSQL2023数字转型架枸演进中国系统架构师大会SYSTEMARCHSTECTCONFERENCECHINA2023ChinaUnix数字转型架构演进向量知识库VectorKBEmbeddingAPIText2VecEmbedding模型文档解析文档Txt/Word/PDF领域模型」领域模型-2领域模型-nLLM模型高效微调ParameterEfficientFine-Tuning(PEFT)数据处理数据清洗、变换、Token化…SFT数据表-1SFT数据表-2SFT数据表-n03HashML大幅降低LLM应用门槛SACC数字转型架构演进Midoopaa2023''；f168^ChinaUni艾pUBHashML:新一代高级分析&数据科学工具箱财转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA20231HashData价值PrescriptiveAnalyticsPredictiveAnalyticsWhatwillhappen?Howtomakeithappen?DescriptiveAnalyticsWhathappened?-基于业界领先的云数仓产品HashData研发的一款AI开发工具•提供从数据查询处理、高级分析到ML/DL模型的训练、推理和服务部署的全套工具，包括对LLM的支持•提供Python和SQL两种编程语言接口------>复杂度SACC数字转型架构演进^^^ChinaUnixHashML主要功能概览数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashDataSACC数字转型架构演进aa___2023(§>ChinaUnixpUB--r—HadoopHashML产品特色OHashData多机多卡训练推理标准接口开箱即用性能卓越简单易用算法丰富数字转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023支持ML/DL/LLMHashHL产品特色；ACC数字转型架构演进GACC2023I“'■,-，168mns

@ChinaUmxpUff基于HashML的分布式并行处理数据=数字转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashData1fromtransformersimportAutoTokenizer2fromhashml.data1mportHashData34defformat_prompt(batch):#formatpromptbasedontheinstructionandoptionalcontext56forindex,rowinbatch.iterrows():7prompt二generate_prompt(row[T

instruction'],row[1context*])8...910deftokenize(batch):11.・・#tokenizethepromptandresponse,andconstructthetraininginstancesforrow1nbatch.iterrows():1213source_ids=tokenizer.encode(text=row[1prompt'],・..)14target_ids=tokenizer.encode(text=row[1response1],.・・)151nput_1ds=tokenizer.build_inputs_with_special_tokens(source_ids,target_ids)16context_length二input_nds.index(tokenizer.bos_token__id)17labels=[IGNORE_INDEX]*context_length+input_ids[context_length:]18192021datasetdataset=HashData.read_dataset(nsft_data"ydbname='testdb1)二dataset.map_batches(format_prompt).map_batches(tokenize)#readthedataset:fromthedatabase#transformthedatasetSACC数字转型架构演进二m-—-一二,!四岫|>*iR«「IT•.;-基于HashML的便捷高效模型微调数字转型架构演进第十六届中国系统架构师大会SYSTEMARCHJTECTCONfE^NCECHINA2021OHashData■什么是模型微调(Fine-Tuning)•一种迁移学习技术，通过在预训练模型的基础上对新数据集进行有监督的微小调整，来让模型适应新的任务或领域全量参数(FullParameter)微调存在的问题计算/存储资源开销大训练过程耗时数据量不足导致过拟合参数高效的微调(PEFT)•使用较少的参数来提高模型的微调效率和性能•代表性方法•LoRA/QLoRA•P-Tuning•PrefixTuning•PromptTuning■PEFT的优点__计算/存储成本低单张消赛级显卡即可实现微调新增checkpoint通常只有几十MB•在SFT数据较少时表现更好•与全量参数微调相当的性能SACC数字转型架构演进168^

(^ChinaUnixpUB2023基于HashML的便捷高效模型微调=数字转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashDatafromhashml.huggingface1mportLoraPEFT12lora3567)891011121315161718192021222325I二LoraPEFT(rank=16,alpha=32,dropout=0.05,■target_modules=['query_key_value']lora.f~it(tzrain_tblname=1sft_'tra~inT

,valid_tblname='sft_val*idT

,train_config={Tbase_model_path*:1path_to_the_base_model*,Mnstruction_col':11nstruction',Tcontext_col':1context1,Tresponse_col1

:'response1

,'num_workers':1,Tuse_gpu':True,Tper_device_batch_size':4,'gradient-accumulation_steps':4,Tnum_train_epochs*:3,Tout_modet_pathr

:1path_'to_the_finetuned_model*}#theLoRAattentiondimension#theaIphaparameterofLoRAsea1ing#thedropoutprobabilityforLoRAlayers#thenamesofmodulestoapplyLoRAtothenameoftrainingdatatable#thenameofvalidationdatatablethepath#tothe#namethecontextcolumn#nametheof#namethe#thebasemodeIcheckpointinstructioncoIumnresponsecoIumnnumberofworkers#useGPUornot#thebatchsizeforeachdevice#thenumberofstepsforgracfientaccumulation#thenumberoftrainingepochs#thepathtosavethefinetuedmodelSACC数字转型架构演进aa2023‘；打一.0IB85@ChinaUnix_pUB基于HashML快速构建知识增强的智能应用=EmbeddingAPI本地部署数字转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashDataQuery/TextChunkEmbeddingEmbedding领域数据Text/PDFContextQueryContextQuery1QueryPromptAOutputResponseOutputHashMLVectorKBLLMAPI本地部署HashData向量数据库扩展Web应用(streamlit,gradio)HashMLHashChatAPIz_____________2SACC数字转型架构演进2023(§>ChinaUnixpUB04应用案例SACC数字转型架构演进Midoopaa2023''；f168^ChinaUni艾pUB应用案例：基于向量知识库的智能问答=数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashDataffl文档切块国国回国回圓回「向量化文本块$问题/答案HashData＜文本，嵌入向量〉查询/文本块Prompt/Response用户HashBotLLMSACC数字转型架构演进2023破耽/㈣

ChinaUni艾pUB知识增强的智能问答示例数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashData⑥風HashChat-YourIntelligentAssistantonDataWarehouseSystemsPoweredbyHashBotdevelopedbyHashML辱ChatBot简单介绍一下北京酷克数据科技有限公司ReQA未开启北京酷克数据科技有限公司是一家专注于人工智能领域的公司，成立于2019年。该公司的主要产品有智能客服机器人、智能语音助手等。简单介绍一下北京酷克数据科技有限公司什么是HashData数据仓库HashData有哪些产品特性InstructionHashData有哪些产品特性Submit2023ReQA已开启SACC数字转型架构演进■1〜123456HashData数据仓库具有以下产品特性：高性能和丰富分析功能：采用了MPP(Multi-PartyPayment)数据库的高性能和多用户分析能力，同时结合了大数据平台的灵活性和可扩展性，提供与传统解决方案相比无与伦比的数据处理和分析性能。扩展性和灵活性：支持对大规模数据的高效存储和处理，具有灵活的数据结构和数据模型适应能力，能够轻松应对各种规模和复杂的业务场景需求。弹性和敏捷性：采用云计算的弹性和敏捷性技术，可以根据实际需求自动调整计算资源和存储空间，实现快速响应的业务需求。元数据和计算与存储分离的架构：创新地实现了元数据、计算和存储的三者分离，使得系统更加灵活和易于维护，同时也提高了系统的可扩展性和可靠性。高并发、弹性、易用性、高可用性和高性能：通过创新性的元数据、计算和存储三者分离的架构设计，提供了传统解决方案无法比拟的高并发、弹性、易用性、高可用性、高性能和扩展性。适用于多种场景：除了公有云的数据仓库服务外，HashData还支持私有云和混合云部署，可以满足不同企业的IT和商业环境下的需求。北京酷克数据科技有限公司是一家成立于2016年专注于云端数扌丿Pivotal、Teradata、旧M、Yahoo!、Oracle和华为等公司，原生架构、元数据和计算和存储分离的高弹性、高并发、数据量，并在复杂SQL查询方面领先于海外同行。目前，以及互联网SaaS企业等。致力:高可戶该公iHashData数据仓库是由酷克数据推出的旗舰产品，它结合了MPP数据库的高性能和丰富的分析功能、大数据平台的灵活性和可扩展性，以及云计算的弹性和敏捷性，提供与传统解决方案相比无与伦比的高并发、弹性、易用性、高可用性、高性能和扩展性。该数据仓库采用创新的三大分离式架构(元数据、计算和存储)来保证其高并发、弹性、易用性、高可用性、高性能和扩展性的实现。在典型的应用场景中，数据量巨大、查询的复杂性较高、并发访问频率较高和系统的可用性较高。除了公共云服务的数据仓库服务之外，HashData还支持私有云和混合云部署，以满足本地IT和商业环境中的特点和要求。可ChatBot什么是HashData数据仓库°■-，168^

ChinaUmx应用案例：基于数据表Schema的Text2SQL=数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashData用户HashBotHashDataSACC数字转型架构演进aa2023(§>ChinaUnixpUBText2SQL示例数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023OHashData心風二HashChat-YourIntelligentAssista