从零开始玩转AIGC-云+AI大模型的十大玩法搞定文生图、专属知识库、数字分身等场景

5 48 56 82 90 98 113 125 132 第一章打造文生图小应用函数计算FC部署AI大模型实现文生图本次实验将带大家自己更换大模型，实现更高质量的图像生成。函数计算部署66内的任何图像，因为有开源的预训练模型，所以我们也可以在自己的机器上运行它。StableDiffusion能够根据我们提供的一些提示词以及可以调整的部分参数，通过模型计 数计算9.9老客户专享套餐。无套餐直接使用会产生函数计算后付费订单，具体计费元99公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出再次提醒本实验可领用下方卡片中的函数计算免费额度；首次开通函数计算的新客户，可以购买新客首购套餐；如您是函数计算老客.如果您需要上传自己的模型，可以在控制台点击“初始化模型管理” .模型下载完毕，文件管理/mnt/auto/sd/models/Stable-diffusion已经保存的文件/mnt/auto/sd/models/Lora/目录。.前往/#/，进行基础模型的筛选。.下载完毕后可以更改一下名称，然后上传至mnt/auto/sd/models/lora。ControlNet包含插件和模型两部分。为了降低费用消耗，建议先下载到本地后，通过/Mikubill/sd-webui-controlnet.确保扩展插件目录已存在sd-webui-controlnet，应用并 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/mainhttps://huggingface.co/lllyasviel/Annotators/resolve/main/body_/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/body_pose_model.pthhttps://huggingface.co/lllyasviel/Annotators/resolve/main/hand_/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/hand_pose_model.pthhttps://huggingface.co/lllyasviel/Annotators/resolve/main/facen/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/fa插件的地址为/huchenlei/sd-webui-openpose-editor“openpose_full”和“模型”为“control_v 使用阿里云NAS+PAI-EAS部署StableDiffusion文生图模型在阿里云免费试用的官网页面中（/m/1000374869/可以找 建议工作空间按照工程来进行命名（比如myn/code/stable-diffusion-webui/data，相当于“/”这个子目录就是我们所要指定的数据在默认情况下，StableDiffusion只支持使用英文+有限的emoji颜文字来作为提示词 AIGCStableDiffusion文生图Lora模型微调实现虚拟上装说明：试用云产品开通在您的个人账号下，并占用您的试用权益。如试用超出免费试用额ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge、ecs.gn7i-c8g1.2xlarge。.申请试用的免费资源包与使用地域及可ecs.gn7i-c8g1.2xlarge（仅此规格可运行本教程内容）ecs.g6.xlargeecs.gn6v-c8g1.2xlargestable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu实例名称资源类型选择镜像stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu2 如：Networkisunreachable、unabletoaccess'/......'，您可以重/aigc-/root/.cache/huggingface/acce说明：为了提升下载速度，本示例使用了gitcode开源库镜像，并在OSS上缓存了.stable-diffusion-webui.stablediffusion.taming-transformers.blipdefaria2(url,filename,d):"cn-shanghai":"http://pai-vision-data-sh.oss-cn-sh"cn-hangzhou":"http://pai-vision-data-hz2.oss-cn-ha"cn-shenzhen":"http://pai-vision-data-sz.oss-cn-sh"cn-beijing":"http://pai-vision-data-bj.oss-cn-b}dsw_region=os.environ.get("dsw_region")"http://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.co/mirrors/AUTOMATIC1111/stable-diffusiorepositories_url=f"{prefix}/aigc-data/code/repositories.tar.gz"aria2(repositories_url,repositories_url.split("/")[-1],"./")/mirrors/DominikDoom/a1111-sd-webui-tagc/ranting8323/stable-diffusion-webui-local/aigc-config/config_tryon/Ea/Eats/try_on/train_textdisplay(Image.open("cloth_train_example/train/202304往huggingface官网下载。f"{prefix}/aigc-data/hug_model/models--CompVis-checker.tar.gz"aria2(safety_checker_url,safety_checker_url.split("/")[-1],"./")f"{prefix}/aigc-data/hug_model/models--openai--clip-vit-large-ar.gz"aria2(clip_url,clip_url.split("/")[-1],"./")==f"{prefix}/aigc-data/sd_models/chilloutmix_NiPrunedFp32Faria2(model_url,model_url.split("/")[-1],"stable-diffusion-webui/models/Stable-diffusion/")diffusers/scripts/convert_original_stable_diffusion_to_diffusers.py\--checkpoint_path=stable-diffusion-webui/models/Stutmix_NiPrunedFp32Fix.safeten--dump_path=chilloutmix=exportDATASET_NAME="cloth_tr--pretrained_model_name_or_path=$MODEL_NAME\--dataset_name=$DATASET_NAME--caption_column="text"\--train_batch_size=1\--num_train_epochs=200--num_train_epochs=200--checkpointing_steps=5000\--learning_rate=1e-04--lr_scheduler="constant"--lr_warmup_steps=0\--output_dir="cloth-model-lora"\--validation_prompt="cloth1"-/Ea--file='cloth-model-lora/pytorch_lora_weights.bin'stable-diffusion-webui/models/Lora/cloth_f"{prefix}/aigc-data/codeformer/detection_Resnet50_Final.pth"aria2(detection_url,detection_url.split("/")[-1],"stable-diffusion-webui/repositories/CodeFormer/weights/facelib/")parse_url=f"{prefix}/aigc-data/codeformer/parsing_parsenet.pth"aria2(parse_url,parse_url.split("/")[-1],"stable-diffusion-webui/repositories/CodeFormer/weights/facelib/")codeformer_url=f"{prefix}/aigc-data/codeformer/codeformer-v0.1.0.pth"aria2(codeformer_url,codeformer_url.split("/")[-1],"stable-diffusion-webui/models/Codeformer/")f"{prefix}/aigc-data/embedding/ng_deepnegative_v1_75t.pt"aria2(embedding_url,embedding_url.split("/")[-1],"stable-diffusion-webui/embeddings/")f"{prefix}/aigc-data/lora/koreanDollLikeness_v10.safetensors"aria2(model_lora_url,model_lora_url.split("/")[-1],"stable-diffusion-webui/models/Lora/")因，例如：Networkisunreachable、unabletoaccess'https://githubhair,softlighting,highquality,<lora:cloth_lorafingers,(watermark:1.2),(lette打造专属知识库请参见LangChain-Hologres。通过开源框架LangChain.Hologres：Hologres是一站式实时数仓引擎，与达摩院自研高性能向量计算软件库/aliyun/alibabacloud-hologres-con使用PAI-EAS模型在线服务即可快速部署LLaMA-2，详情请参见L说明：您也可以按照本文步骤，使用其他大模型进行专属问答知识库的搭建。其他大部署方式请参见LLM。cdcdalibabacloud-hologreseas_config大模型服务的调用信息（步骤1记录的调用信息包括：damo/nlp_corom_sentence-embedding_english-base。real-timewriting,real-timeupdating,real-processingandreal-timeanalysisofmassivedata...Hologres...您可以在Hologres实例对应数据库下的langchain_embedding表中查询embeddingid|embedding|metadata|document2419815e-1407-11ee-95261,0.123794,0.761932,0.413286,...}|{"source": 您可以继续将问答知识库接入实际业务场景进行使用，如接入钉钉聊天群聊（参见使用基于Hologres向量计算与大模型免费定制专属聊天机器人简介：本文为您介绍如何基于Hologres向量计算能力，可以将Hologres作为向量实时存储和检索引擎，把定制语料作为向量存储并输出给大模.使用Anaconda环境运行如下命令安装相关依赖：.单击代码与样例数据或运行如下命令克隆gitclone/al=<chat_model_name>(<temperature=0.1)bot=Chatbot(chat_model,args.cl行如下命令打开设置向导，各个设置项按回车跳过即可pythongenerate_config.py#-n供。它可以处理PB级别的数据，并提供了高性能的查询和分析能力。Hologres支持SQL和为“GinIndex”的方法来加速jsonb类型的查询。GinIn序中。jsonb是一种二进制格式的JSON，它可以提供更快的查询速度和更小的存储空间。在运行如下命令打开设置向导，并填写连接信息。后续您也可以手动修改config/config.yaml文件来更新连接信息。pythonpythongenerate_con 准备语料库。本文以下载的代码与样例数据中data目录下的example_data.csv文件为你是如何实现我采用Langchain框架进行开发，Langchain是一个简单易用的端采用Hologres进行向量数据存储，可以什么是实时数Hologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-Time您可以在Hologres的langchain_pg_embedid|embedding|metadata|document2419815e-1407-11ee-95261,0.123794,0.761932,0.413286,...}|{"source":其中集成封装了很多实用工具。我的后端采用Hologres进行向量数据存储，可以存储大量文本大模型和语料库效果验证。将上文语料库对应的向量数据输入给大模型进行提示词微调，问题一：相较于原生大模型，经语料库优化后的回答可以总结出HologresHuman:什么是HologresChatbot:Hologres是阿里巴巴自主研发的一站式实时数仓引擎 开始支持对于JSONB类型开启列式存储优化，能够降低JSONB数据的存储大小并加速查询。开启JSONB列式存储优化后，系统会在底层自动将JSONB的列转换为强Schema的列式存储，查询Human:Hologres中的列存jsonb是什么？Chatbot:Hologres中的列存JSONB是指将（可选）聊天机器人接入钉钉群聊。聊天机器人可以接入钉钉群聊，您也可以仿照http://localhost:8889/chatpythondingding_server.py>l了解Hologres：/product/bigdata/hologram使用PAI-DSW基于LangChain的检索知识库问答 称型ecs.gn6v-c8g1.2xlarge。像选择官方镜像中的pytorch:1.12-gpu-p在打开的教程文件langchain_retrieval_question_answering.ipynb文件中，您可以直 —OpenSearchLLM智能问答版搭建对话式搜索服务就是只用来处理语言文字（或者符号体系）的AI模型，发现其中的规律，可以OpenSearch基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜.开通阿里云账号并登录控制台时，会提示先创建accesskey才能继续使用。 问答测试支持通过API和SDK调用；打造你的数字分身用1张图像生成数字人，快来制作你的AI视频吧/v/318703/v/318704/v/318707/v/318710/v/318709/v/318708/v/318711/v/318727LivePortraitpipeline示意图.描述：如果用户上传的是一段文字，我们会首先使用Text-to-Speech（TTS）技术将.描述：首先，我们将用户上传的照片输入Encoder得到中间层特征；随后，我们用/studios/DAMOXR/LivePortrait/summary获取/保存视频结果玩转ControlNet：StableDiffusion制作艺术二维码Diffusion做一个艺术二维码，艺术化的二维码不是单纯的艺术作品，具备可识.注册并登录阿里云账号.开通函数计算并领取试用额度/applications/create4）确认知晓使用SD过程中产生的函数计算费用及重要提醒，等待StableDiffusion您可以选择喜欢的模型用以生成二维码的风格，本教程推荐模型库中下载majicMixhttps://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/tree/m下载地址：https://huggingface.co/ioclab/control_v1p_sd15_brightness6）上传下载模型后上传在文件夹中/mnt/auto/sd/models/ControlNet，重新加载/adc/scenario/b2cc0e1c3a6244e0bd9fc0f37acd5a0e(((1boy))),((masterpiece)),((bestqual