风景园林计算机辅助设计 课件 7.2 生成式人工智能

生成式人工智能风景园林计算机辅助设计Computer-AidedDesign

for

LandscapeArchitectureAIGC的发展背景AIGC的基本原理AIGC的应用案例AIGC的基础应用AIGC的发展背景1AIGC的发展背景WolframAlpha的基本原理史蒂芬发布WolframAlphaAIGC的发展背景IBMWatson的基本原理IBMWatson问答系统AIGC的发展背景ChatGPT的基本原理OpenAI首席执行官萨姆・奥尔特曼(SamAltman)AIGC的基本原理2大语言模型模型名称主要特点MetaLLaMaLLaMA（LargeLanguageModelMetaAI）是MetaAI发布的一系列自回归大型语言模型AnthropicClaudeAnthropic开发的AI聊天机器人Claude，包含520亿个参数，采用消息传递界面，用户可以在其中提交问题并获得回复ChatGLM-6BChatGLM-6B是一个开源的、支持中英双语的对话语言模型，具有62亿参数。结合模型量化技术，可以在消费级的显卡上进行本地部署PandaLLMPanda系列开源大模型基于LLaMA1和LLaMA2进行中文的预训练，旨在为中文自然语言处理领域提供具有泛用性的通用基础工具GhatGPTChatGPT，全称聊天生成预训练转换器（ChatGenerativePre-trainedTransformer），是OpenAI开发的人工智能聊天机器人程序GoogleGeminiGemini是GoogleDeepMind开发的多模态大语言模型，作为LaMDA和PaLM2的后继者百度文心百度全新一代知识增强大语言模型，能够与人对话互动、回答问题、协助创作，具备中文理解能力Qwen阿里云构建的大语言模型家族。包括大型语言模型（LLM）、大型多模态模型（LMM）和其他AGI相关项目BaichuanBaichuan及Baichuan2系列是百川智能推出的开源大语言模型，使用自有的中英文双语语料进行训练，在中文上进行优化ChatGLMChatGLM模型是由清华大学开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化常用的大语言模型大视觉模型常用的大视觉模型模型名称主要特点StableDiffusionStableDiffusion是由StabilityAI、CompVis与Runway等公司合作开发的深度学习文本到图像生成模型，主要用于根据文本的描述产生详细图像LoRALoRA模型是一种微调模型，不能独立生成图片，常常用作大模型的补充，用来生成某种特定主体或者风格的图片MidjourneyMidjourney是由美国旧金山的一家独立研究实验室创立的图片类AIGC应用程序，可以通过语言描述来生成图片DALL-EDALL·E是OpenAI开发的文本到图像模型，使用深度学习方法从自然语言描述生成数字图像。DALL·E的模型是GPT-3的多模式实现AdobeFireflyAdobeFirefly是Adobe创建的生成式AI系统，包括根据文本提示生成图像、生成智能填充对象、生成文字效果、以及生成重新着色等功能。Firefly可以下载透明背景的文本效果图像等，具备较高的输出分辨率DreamStudioDreamStudio基于StableDiffusion，可用于从文本创建图像，并支持图像的编辑、修改和风格迁移等，并提供相关服务的访问API，用于Photoshop、ClipStudio等应用程序集成百度文心百度基于文心大模型的文生图系统，可以根据用户输入的指令提示，生成相应的图片。定位为面向有设计需求和创意的人群大视觉模型AIGC的应用程序常见使用大语言模型的应用程序名称主要特点BlenderGPTBlenderGPT插件集成了GPT-4/GPT-3.5，允许使用自然语言命令生成Python脚本来控制BlenderGHPTGHPT是Rhinoceros的插件，可以利用ChatGPT来创建Grasshopper定义。GHPT支持GPT-4/GPT-3.5CADGPTCADGPT是AutoCAD的插件，基于ChatGPT生成ObjectARX和LISP代码，用于控制AutoCAD常见使用大视觉模型的应用程序名称主要特点AdobePhotoshopNeuralFiltersNeuralFilters使用了由AdobeSensei所提供的机器学习功能，通过生成新的像素来优化、处理和修改图像。神经网络滤镜可以实现图像的超级缩放，JPEG伪影移除，照片样式转换和色彩迁移等功能SketchUpDiffusionSketchUpDiffusion是SketchUp推出的图像生成插件。SketchUpDiffusion可将活动模型的视口与文本提示相结合，从而创建新的AI生成图像。使用Diffusion中提供的选项，可以定义AI生成图像的视觉样式VectorworksAIVisualizerVectorworks提供了基于AI的图像生成工具，可以快速更改模型的纹理、照明和渲染设置。也可以通过提供文本提示来生成不基于现有绘图的图像来生成概念和意向图片AIGC的应用程序SketchUpDiffusionAIGC的应用程序VectorworksAIVisualizerAIGC的应用程序常用的AI三维模型生成平台名称主要特点Get3DGet3D是NVDIA开发的开源生成式AI模型，可从2D图像、文本和数字等数据生成具有拓扑、几何细节和纹理的3D模型3DFY.ai3DFY是一个文本到3D模型的在线生成器，可以生成高质量的3D模型，包含不同的LOD层级和UV贴图Sloyd.aiSloyd是针对游戏场景设计的3D模型生成工具，基于参数化算法进行构建，可以将文本提示词转换为3D模型，支持建筑物和车辆等类型Imagine3DLumaAI的Imagine3D工具可以通过输入文本生成具有纹理贴图的3D模型，也可以基于现有2D图像生成3D模型MasterpieceStudioMasterpieceStudio平台提供了一个完整的工具集，用于3D模型的生成、编辑和共享Meta3DGenMeta3DGen可通过文字生成三维模型，可以生成几何模型和贴图信息，丙支持生成PBR材质Alpha3DAlpha3D支持将文字描述或2D图像转换为3D模型。2D图像转3D模型主要支持鞋子和家具两种类型VoxCraftVoxCraft是由生数科技推出的3D模型生成工具，能够通过图像或文本描述快速创建3D模型AIGC的应用程序腾讯混元AI生成黄鹤楼模型腾讯混元AI生成二层别墅建筑模型AIGC的应用程序常用的RAG知识库类型名称主要功能AnythingLLMAnythingLLM是一个全栈应用程序，用以构建可以运行的私有ChatGPT本地以及远程托管，并能够与提供的文档进行智能聊天FastGPTFastGPT是一个开源的AI知识库平台，提供数据处理、模型调用、RAG检索和可视化AI工作流程。轻松构建复杂的LLM应用程序ChatRTXChatRTX是一款演示应用程序，可个性化连接到个人文档、笔记、图像或其他数据，可以查询自定义聊天机器人以获得相关的答案RAGFlowRAGFlow是一款基于深度文档理解构建的开源RAG引擎，可以提供精简的RAG工作流程，针对各类不同格式数据提供问答以及引用QAnythingQAnything（QuestionbasedonAnything）是用于支持不同文件或数据库的本地知识库问答系统。可断网安装使用Langchain-Chatchat基于ChatGLM等大语言模型与Langchain等应用框架实现，开源、可离线部署的RAG大模型知识库项目AIGC的基本原理RAG-Anything多模态知识库构建原理AIGC的基本原理基于Neo4j构建的知识图谱AIGC的基础应用3文字资料生成使用文心一言回答简单问题使用文心一言回答复杂问题文字资料生成使用文心一言撰写文案设计创意生成使用文心一格生成图像植物配置组合使用文心一格生成图像填充图案和材质生成使用文心一格生成图像背景图片生成使用文心一格生成图像效果图渲染使用SketchUpDiffusion进行模型渲染效果图局部修改使用文心一格·修改建筑效果图AIGC的应用案例：使用StableDiffusion生成彩色平面图4使用StableDiffusion生成彩色平面图操作流程软件配置模型下载模型准备参数设置和平面图生成提示词设置参数设置ControlNET设置图像生成使用StableDiffusion生成彩色平面图模型下载模型名称用途StableDiffusion大模型通过素材和SD低模生成的深度学习大模型，可以直接应用于生成图像，决定了最终作品的风格和方向，拓展名一般为CKPT或SAFETENSORSVAE是对大模型的补充，可以稳定画面的色彩范围，使作品更加美观，扩展名一般为CKPT或SAFETENSORSLoRA（Low-RankAdaptationModels）是在基于某个大模型的基础上进行深度学习后生成的小型模型插件，需要和大模型配合使用，可以影响图片风格或补充缺失元素，扩展名一般为CKPT或SAFETENSORSControlNET该插件让SD可以分析图片中的线条、景深等信息，并反映到处理图片上，具有不同的预处理器和对应模型，便于对生成图片更有效的控制StableDiffusion常用的模型类型使用StableDiffusion生成彩色平面图提示词设置提示词正向图片中包含的内容反向图片中不包含的内容参数设置迭代步数过高：输出速度过慢过低：画面计算不