风景园林计算机辅助设计 课件 第7 章　人工智能和生成式设计

人工智能技术风景园林计算机辅助设计Computer-AidedDesign

for

LandscapeArchitecture人工智能技术的发展背景人工智能技术的基本原理经典神经网络的应用案例经典神经网络的应用类型人工智能技术的发展背景1人工智能技术的发展背景英国计算机科学家艾伦·图灵（AlanTuring）艾伦·图灵发明的恩尼格玛密码破解装置人工智能技术的发展背景塞缪尔和其开发的跳棋程序人工智能技术的发展背景IBMDeepBlue国际象棋系统IBMDeepBlue与俄罗斯国际象棋大师加里·卡斯帕罗夫的比赛人工智能技术的基本原理2人工智能技术的基本概念人工智能相关概念之间的联系机器学习的主要类型机器学习的主要类型监督学习无监督学习强化学习机器学习的常用算法决策树算法机器学习的常用算法线性回归算法聚类算法机器学习的常用算法主成分分析算法常见的神经网络类型常见的神经网络类型网络名称主要功能卷积神经网络（CNN）卷积神经网络对图像执行识别、分类、回归、分析的任务。卷积神经网络模型中的卷积层可以创建捕获视觉输入中特定区域的特征图,然后进一步进行分析以产生输出循环神经网络（RNN）循环神经网络的工作原理是保存其处理器节点生成的输出并将其反馈到算法中。这个过程使循环神经网络能够增强其预测能力。循环神经网络通常用于文本转语音应用等前馈神经网络（FNN）前馈神经网络将数据沿单个方向传递,通过各个处理节点,直到数据到达输出节点。前馈神经网络是面部识别、自然语言处理、计算机视觉和其他神经网络模型的基础生成对抗神经网络（GAN）生成对抗网络使用无监督学习从原始数据集中生成合理的结论。由生成模型和判别模型构成,以两个模型互相博弈的方式来生成新的样本的学习框架常见的神经网络类型常见的神经网络类型常用的深度学习框架常用的深度学习框架框架名称主要特点TensorFlowTensorFlow是Google开发的开源机器学习平台，用于构建、部署和训练机器学习模型，允许开发人员使用Python和JavaScript创建复杂神经网络PyTorchPyTorch基于Torch，由MetaPlatforms的研究团队开发。PyTorch的优势是快速原型设计和小型项目，具有较高的易用性和灵活性GoogleJaxGoogleJAX是一个专为高性能数值计算和机器学习研究而设计的Python库，用于转换数值函数。它的设计遵循NumPy的结构和工作流程，并可与各种现有框架，如TensorFlow和PyTorch配合使用ONNXONNX（OpenNeuralNetworkExchange）是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。ONNX格式使得不同的深度学习框架可以采用相同格式存储模型数据并交互PaddlePaddle飞桨（PaddlePaddle）由百度开发，包含核心框架、基础模型库、端到端开发套件、工具组件等，可实现端到端自适应混合并行训练技术以及压缩、推理、服务部署的协同优化MindSpore华为昇思MindSpore是一个全场景深度学习框架，提供动态图和静态图统一的编码方式，采用函数式可微分编程架构Accord.NETAccord.NETFramework是一个.NET机器学习框架，结合了用C#编写的音频和图像处理库，用于构建生产级计算机视觉、计算机试听、信号处理和统计应用程序常用的深度学习框架常用的深度学习框架深度学习的环境平台常用的通用编程环境环境名称主要特点PythonPython是一种通用编程语言，随着各类Python机器学习开源库的出现与快速发展、大量核心算法的逐步改善，在深度学习领域得到迅速的发展和应用MatlabMatlab是一款在科学计算和工程领域应用广泛的高级编程语言和交互式环境，具有很强的数据分析和计算能力MathematicaMathematica软件是WolframResearch公司开发的数学计算软件，也可以进行机器学习等方面的应用。Mathematica提供了大量由内置函数用于执行常见操作，使用户能够编写小型且易于理解的程序深度学习的环境平台Matlab深度学习的环境平台Mathematica深度学习的环境平台常用的深度学习模型共享平台平台名称主要特点TensorFlowHubTensorFlowHub内部包含已经预训练好的各种常用的网络模型与相应的权重，只需要调用其接口就可以得到相应的模型PyTorchHubPyTorchHub是一个基于PyTorch框架的模型存储库，它集成了大量的预先训练模型，涵盖图像分类、目标检测、自然语言处理、语音识别等领域ONNXZoo开放神经网络交换（ONNX）是一种开放标准格式，定义了一组通用的运算符和通用文件格式，能够将模型与各种框架、工具、运行时和编译器一起使用。ONNXZoo是ONNX格式的预先训练的模型集合HuggingFaceHuggingFace是一个工具的协作平台，用于创建、训练和部署神经网络模型。平台提供了BERT和GPT等预训练模型用于自然语言处理Modelscope阿里开发的开源模型平台，提供了很多的热门模型供使用体验，而且与阿里云服务进行联动KaggleKaggle是一个基于众包模式的数据建模和数据分析竞赛平台。研究者可在其上发布数据，数据挖掘专家可基于平台进行竞赛以产生最高效的模型WolframNeuralNetRepositoryWolframResearch提供了WolframNeuralNetRepository模型库，包含一系列预训练的神经网络模型，可用于音频、图像、数字、文本和视频的分析、分类、提取等深度学习的环境平台TensorFlowHubPyTorchHub深度学习的环境平台常用应用程序的深度学习组件名称主要特点GrasshopperLunchboxLunchBox是Grasshopper的一个插件，使用了Accord.NET公开了多种机器学习算法，包括分类、回归、聚类和神经网络等ArcGISProDeepLearningArcGISPro提供了可视化的交互环境、支持PyTorch、TensorFlow、Keras等各类开源框架，拥有多项深度学习模型，可用于对象检测、对象分类和影像分类等ENVIDeepLearningENVI深度学习模块具有直观的工具和工作流程，无需编程，只需单击按钮即可标记数据并生成模型。并可以融合光谱指数、高程数据或数据转换等信息层，以创建更复杂的分类器深度学习的环境平台GrasshopperLunchboxArcGISProDeepLearning经典神经网络的应用类型3经典神经网络的应用类型图像分类（按建筑建筑类型分类）图像分类和分割对象检测（检测棕榈树）经典神经网络的应用类型图像分类和分割语义分割（建筑范围识别）点云分类经典神经网络的应用类型图像转换图像风格迁移图像超分辨率处理经典神经网络的应用类型图像转换黑白图像转彩色经典神经网络的应用类型自然语言处理文本分类（多标签文本识别）命名实体提取经典神经网络的应用案例4使用ResNet计算全景绿视率全景影像拍摄全景影像拍摄点全景绿视率计算原理使用ResNet计算全景绿视率全景影像投影变换等距圆柱投影等积圆柱投影使用ResNet计算全景绿视率神经网络语义分割Cityscapes数据集的类型组类型平地车行道、人行道、停车场、铁路人行人、骑车人车辆汽车、卡车、巴士、火车、摩托车、自行车、大篷车、拖车建构筑物建筑、墙、栏杆、防护轨、桥梁、隧道物体杆、杆组、交通标志、交通灯自然植被、草坪或土壤地表天空天空空白其他类型地表、动态元素、静态元素Cityscapes数据集的类型划分使用ResNet计算全景绿视率神经网络语义分割基于卷积神经网络的全景绿视率识别结果类型全景图像示例投影变换和语义分割后图像示例绿视率/%样点总数平均绿视率/%活动广场56.26536.80一级园路36.256241.93二级园路32.204254.50三级园路85.151466.32公园入口50.01347.91使用ResNet计算全景绿视率神经网络语义分割全景绿视率全景影像的拍摄和处理示例经典神经网络的应用案例使用ResNet计算全景绿视率：语义分割的精度验证基于卷积神经网络的全景绿视率识别结果IoU/%原始等积投影图片卷积神经网络识别全景绿视率/%人工识别的全景绿视率/%33.1341.8532.7044.7944.7943.5155.2449.5135.5165.8249.0638.3475.4162.8961.1183.6840.8141.21使用PointCNN提取点云植被模型点云数据来源与处理点云数据采集范围使用PointCNN提取点云植被模型点云数据来源与处理表面密度临近点数量体积密度裁剪后点云数据信息使用PointCNN提取点云植被模型PointCNN点云分割地表和建筑未分类点云植被点云语义分割结果使用PointCNN提取点云植被模型体素模型生成场地体素模型使用PointCNN提取点云植被模型a西实验楼，b

北教学楼，c

学生公寓，d

游乐场

体素模型的细节使用PointCNN提取点云植被模型场地剖面体素模型使用PointCNN提取点云植被模型采用虚拟现实技术查看模型本节内容结束，谢谢观看！生成式人工智能风景园林计算机辅助设计Computer-AidedDesign

for

LandscapeArchitectureAIGC的发展背景AIGC的基本原理AIGC的应用案例AIGC的基础应用AIGC的发展背景1AIGC的发展背景WolframAlpha的基本原理史蒂芬发布WolframAlphaAIGC的发展背景IBMWatson的基本原理IBMWatson问答系统AIGC的发展背景ChatGPT的基本原理OpenAI首席执行官萨姆・奥尔特曼(SamAltman)AIGC的基本原理2大语言模型模型名称主要特点MetaLLaMaLLaMA（LargeLanguageModelMetaAI）是MetaAI发布的一系列自回归大型语言模型AnthropicClaudeAnthropic开发的AI聊天机器人Claude，包含520亿个参数，采用消息传递界面，用户可以在其中提交问题并获得回复ChatGLM-6BChatGLM-6B是一个开源的、支持中英双语的对话语言模型，具有62亿参数。结合模型量化技术，可以在消费级的显卡上进行本地部署PandaLLMPanda系列开源大模型基于LLaMA1和LLaMA2进行中文的预训练，旨在为中文自然语言处理领域提供具有泛用性的通用基础工具GhatGPTChatGPT，全称聊天生成预训练转换器（ChatGenerativePre-trainedTransformer），是OpenAI开发的人工智能聊天机器人程序GoogleGeminiGemini是GoogleDeepMind开发的多模态大语言模型，作为LaMDA和PaLM2的后继者百度文心百度全新一代知识增强大语言模型，能够与人对话互动、回答问题、协助创作，具备中文理解能力Qwen阿里云构建的大语言模型家族。包括大型语言模型（LLM）、大型多模态模型（LMM）和其他AGI相关项目BaichuanBaichuan及Baichuan2系列是百川智能推出的开源大语言模型，使用自有的中英文双语语料进行训练，在中文上进行优化ChatGLMChatGLM模型是由清华大学开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化常用的大语言模型大视觉模型常用的大视觉模型模型名称主要特点StableDiffusionStableDiffusion是由StabilityAI、CompVis与Runway等公司合作开发的深度学习文本到图像生成模型，主要用于根据文本的描述产生详细图像LoRALoRA模型是一种微调模型，不能独立生成图片，常常用作大模型的补充，用来生成某种特定主体或者风格的图片MidjourneyMidjourney是由美国旧金山的一家独立研究实验室创立的图片类AIGC应用程序，可以通过语言描述来生成图片DALL-EDALL·E是OpenAI开发的文本到图像模型，使用深度学习方法从自然语言描述生成数字图像。DALL·E的模型是GPT-3的多模式实现AdobeFireflyAdobeFirefly是Adobe创建的生成式AI系统，包括根据文本提示生成图像、生成智能填充对象、生成文字效果、以及生成重新着色等功能。Firefly可以下载透明背景的文本效果图像等，具备较高的输出分辨率DreamStudioDreamStudio基于StableDiffusion，可用于从文本创建图像，并支持图像的编辑、修改和风格迁移等，并提供相关服务的访问API，用于Photoshop、ClipStudio等应用程序集成百度文心百度基于文心大模型的文生图系统，可以根据用户输入的指令提示，生成相应的图片。定位为面向有设计需求和创意的人群大视觉模型AIGC的应用程序常见使用大语言模型的应用程序名称主要特点BlenderGPTBlenderGPT插件集成了GPT-4/GPT-3.5，允许使用自然语言命令生成Python脚本来控制BlenderGHPTGHPT是Rhinoceros的插件，可以利用ChatGPT来创建Grasshopper定义。GHPT支持GPT-4/GPT-3.5CADGPTCADGPT是AutoCAD的插件，基于ChatGPT生成ObjectARX和LISP代码，用于控制AutoCAD常见使用大视觉模型的应用程序名称主要特点AdobePhotoshopNeuralFiltersNeuralFilters使用了由AdobeSensei所提供的机器学习功能，通过生成新的像素来优化、处理和修改图像。神经网络滤镜可以实现图像的超级缩放，JPEG伪影移除，照片样式转换和色彩迁移等功能SketchUpDiffusionSketchUpDiffusion是SketchUp推出的图像生成插件。SketchUpDiffusion可将活动模型的视口与文本提示相结合，从而创建新的AI生成图像。使用Diffusion中提供的选项，可以定义AI生成图像的视觉样式VectorworksAIVisualizerVectorworks提供了基于AI的图像生成工具，可以快速更改模型的纹理、照明和渲染设置。也可以通过提供文本提示来生成不基于现有绘图的图像来生成概念和意向图片AIGC的应用程序SketchUpDiffusionAIGC的应用程序VectorworksAIVisualizerAIGC的应用程序常用的AI三维模型生成平台名称主要特点Get3DGet3D是NVDIA开发的开源生成式AI模型，可从2D图像、文本和数字等数据生成具有拓扑、几何细节和纹理的3D模型3DFY.ai3DFY是一个文本到3D模型的在线生成器，可以生成高质量的3D模型，包含不同的LOD层级和UV贴图Sloyd.aiSloyd是针对游戏场景设计的3D模型生成工具，基于参数化算法进行构建，可以将文本提示词转换为3D模型，支持建筑物和车辆等类型Imagine3DLumaAI的Imagine3D工具可以通过输入文本生成具有纹理贴图的3D模型，也可以基于现有2D图像生成3D模型MasterpieceStudioMasterpieceStudio平台提供了一个完整的工具集，用于3D模型的生成、编辑和共享Meta3DGenMeta3DGen可通过文字生成三维模型，可以生成几何模型和贴图信息，丙支持生成PBR材质Alpha3DAlpha3D支持将文字描述或2D图像转换为3D模型。2D图像转3D模型主要支持鞋子和家具两种类型VoxCraftVoxCraft是由生数科技推出的3D模型生成工具，能够通过图像或文本描述快速创建3D模型AIGC的应用程序腾讯混元AI生成黄鹤楼模型腾讯混元AI生成二层别墅建筑模型AIGC的应用程序常用的RAG知识库类型名称主要功能AnythingLLMAnythingLLM是一个全栈应用程序，用以构建可以运行的私有ChatGPT本地以及远程托管，并能够与提供的文档进行智能聊天FastGPTFastGPT是一个开源的AI知识库平台，提供数据处理、模型调用、RAG检索和可视化AI工作流程。轻松构建复杂的LLM应用程序ChatRTXChatRTX是一款演示应用程序，可个性化连接到个人文档、笔记、图像或其他数据，可以查询自定义聊天机器人以获得相关的答案RAGFlowRAGFlow是一款基于深度文档理解构建的开源RAG引擎，可以提供精简的RAG工作流程，针对各类不同格式数据提供问答以及引用QAnythingQAnything（QuestionbasedonAnything）是用于支持不同文件或数据库的本地知识库问答系统。可断网安装使用Langchain-Chatchat基于ChatGLM等大语言模型与Langchain等应用框架实现，开源、可离线部署的RAG大模型知识库项目AIGC的基本原理RAG-Anything多模态知识库构建原理AIGC的基本原理基于Neo4j构建的知识图谱AIGC的基础应用3文字资料生成使用文心一言回答简单问题使用文心一言回答复杂问题文字资料生成使用文心一言撰写文案设计创意生成使用文心一格生成图像植物配置组合使用文心一格生成图像填充图案和材质生成使用文心一格生成图像背景图片生成使用文心一格生成图像效果图渲染使用SketchUpDiffusion进