2025Oracle OCI生成式AI解决方案

Oracle

OCI生成式AI解决方案2025OCI

AI/LLM领域能力概览OCI

生成式AI服务介绍目录OCI

AI/LLM领域能力概览Oracle

AI全景图IntegrationML

fordata

platformsDataScienceMachine

Learning/AI

VectorSearch

in

Oracle

DatabaseData

Integration

Data

CatalogGoldenGate

&Oracle

DataIntegratorLanguage数字助手SpeechVisionNVIDIA

AI

EnterpriseDGXCloudOpen

SourceMySQL

HeatWaveAutoMLStreamingDocumentUnderstandingDataLabelingPartner

ecosystemOCI

GenerativeAI-

CohereCloud

InfrastructureComputeNetworkingStorageSecurityCloud

NativeAI

InfrastructureData

ManagementDataFlowBig

DataServiceAutonomousDatabaseObjectStorageBusiness

applications,

industry

applications,

Oracle

SaaS

portfolioAI

services一切都与

OCI

深度集成构建您自己的机器学习服务预建人工智能服务摄取、转

换、策划、创造AI

Apps横跨云服务、应用、数据资产的统一AI/ML平台Oracle

&

Nvidia

助力大模型训练和机器学习OCI更好地支持大模型训练提供超级集群(OCI

Superclusters)，提供基于融合以太网

(RoCE)v2上的RDMA的超级集群，15微秒延迟，1600Gbps目前支持单集群最大4096节点（32,768个NVIDIA

A100GPU）NVIDIA

H100

GPU：用于LLM培训的最新一代GPU将在

Oracle云上提供，并提供NVIDIAAIEnterprise，其中包括AI工作流程每个步骤的基本处理引擎，从数据处理和AI模型训练到模拟和大规模部署。快速训练支持多种框架快速协同/反复迭代支持多种芯片Bare

VMMetalComputeOCI（GPU

&Supercluster）2023年3月甲骨文扩展了与NVIDIA的合作，包括在

OCI

Supercluster™上运行战略性NVIDIA

AI应用程序。NVIDIA已选择OCI作为第一家提供大规模人工智能超级计算服务NVIDIADGXCloud™的超大规模云提供商。此外，

NVIDIA还在OCI上运行NVIDIAAIFoundations，这是其新的生成式AI云服务，可通过DGXCloud获得。2022年10月甲骨文和NVIDIA今天宣布建立多年合作伙伴关系，以扩大他们的长期联盟，以帮助客户通过加速计算和AI解决业务挑战。此次合作旨在将完整的NVIDIA加速计算堆栈——从GPU到系统再到软件——引入Oracle云基础设施

(OCI)。Oracle与微软生成式AI深度合作Bing(CoPilot)采用OCI

AIInfra.甲骨文正式宣布与微软达成一项多年协议，以支持人工智能服务的爆炸式增长。微软

正在使用OCI人工智能基础设施和微软

Azure人工智能基础结构来推断人工智能模型，这些模型正在优化，以支持微软Bing每天的对话搜索。利用Microsoft

Azure的

Oracle

Interconnect，Microsoft能够使用AzureKubernetes

Service（AKS）等托管服务大规模协调OCI

Compute，以支持对Bing会话搜索日益增长的需求。企业可以利用生成式人工智能的方式利用生成式人工智能（Gen

AI）服务或API生成输出。使用企业数据对模型进行微调。生成输出训练您自己的基础模型。生成输出/出售模型/出售服务。AI

训练AI

微调AI

推理企业需要根据自身数据进行优化的模型，以满足自身需求。这需要额外的投资和技能。企业可以使用开箱即用的功能。投资有限，快速上市。微调您的模型。获取基础模型，例如NVIDIA、MosaicML、Cohere。开箱即用制定模型构建模型企业开发LLM（LargeLanguage

Models）来支持他们的客户（例如Cohere、MosaicML、NVIDIA）。这是最高投资的领域之一。123Oracle的生成式人工智能（GenerativeAI）三层策略包括Cohere创建的LLM在内，需要在OCI上建立大规模的人工智能基础设施，以便以成本有效的方式构建、调整和部署。通过Oracle提供的新的AI服务（使用Cohere的LLM），OCI的客户将能够定制训练模型并将生成式人工智能能力添加到他们自己的应用程序中。Oracle将在其云应用、行业应用和数据库产品组合中嵌入LLM。SaaS:Oracle

应用程序PaaS:OCI

生成式AI服务IaaS:GPU

基础设施OCI

生成式AI服务介绍Generative

AI

Model能做什么GenerativeAI

ModelPrompt内容创作语义搜索实体提取违规检测语义分析文案编辑（语法、风格）聊天/问答总结OCI

Generative

AIService

(LA)高品质预制模型我们与Cohere合作，为您带来高质量的模型，以最小的努力满足您的业务需求定制模型以满足您的需求使用您自己的数据微调模型，微调模型以专注于您最重要的任务完全托管在OCI内部所有处理和数据存储都发生在OCI内部，无跨区域或跨云通信尊重客户隐私客户提供的训练和推理数据是安全的，其他客户无法看到。没有与Cohere共享任何数据。Cohere

Models

in

OCI

Generative

AI(LA)Command

是Cohere的高性能生成模型。当您针对准确性、延迟和成本进行优化时，请使用Command模型。CommandSummarize获得高质量的摘要，准确捕获文档中最重要的信息。Cohere

性能最高的英语嵌入模型，可将文本转换为矢量嵌入。该模型有一个“轻型”版本，它更小、更快，但性能稍差。EmbedCommand

models使用场景模型特点大小52B

参数(Command-light

is

6B)上下文窗口4096

tokens提示风格

WriteanemailtoSusanthanking

herfor…输出风格Dear

Susan,

Thanks

for…与OpenAI对比斯坦福大学HELM

结果：Cohere

是领先的命令/指令模型，击败了OpenAI

的davinci指令模型。*Cohere

训练命令模型以擅长执行企业环境中的相关任务根据命令指令调整的模型每周进行训练*Note:

Stanford

HELM

did

not

evaluate

GPT-4复制生成起草营销文案、电子邮件、博客文章、产品描述、文档等。聊天创建可以集思广益解决问题并回答问题的聊天机器人。与搜索系统集成以创建扎根的信息检索。风格转换用不同的风格甚至语言重写内容。Summarize该端点生成原始文本的简洁版本，传递最重要的信息。理想的用例包括：新闻文章博客聊天记录科学文章会议记录以及您希望查看摘要的任何文本！使用场景模型特点大小52B

参数(Summarize-xlarge)6B

参数(Summarize-medium)上下文窗口4096

tokens提示风格<Justthetexttobesummarized>输出风格<The

actual

summary>具体设置可以进行以下设置:长度Short

(2

sentences)Medium

(3-5

sentences)Long

(6

or

more)格式段落或列表萃取性ExtractivenessLow/Medium/HighEmbeddings

简介从文本到“含义”的数字表示的映射嵌入（Embeddings）

是文本的数字表示，是多维空间中的向量。考虑这样一个例子，我们为关于动物的词创建了一个坐标系：横坐标age

–年龄纵坐标size

–体型小牛牛小狗狗计算相似性问题：1、cat和kitten应该在什么位置？

2、puppy和dog的关系，类似于calf和co

w

的关系？生成嵌入kittencatEmbeddings

简介为什么要使用嵌入？考虑这样一个例子：“No,

I

am

good.”“I

am

no

good.”单纯比较文本构成，两个句子是完全相同的，但含义却完全相反！因此，我们需要创建embedding来考虑单词的顺序、语言的语义以及句子的实际含义。对嵌入向量进行可视化，嵌入抓住了句子的本质，并且有3

个清晰的簇。Embed

models语义搜索搜索通话记录、内部知识来源等。文本分类对客户聊天日志、支持票证等中的意图进行分类。文本聚类识别客户评论或新数据中的突出主题推荐系统例如，将播客描述表示为在推荐模型中使用的数字特征使用场景模型特点提供英语和多语言模型。每次嵌入的最大tokens数英语512

个tokens，多语言512

个tokens每次调用Embed

API

96个文本序列嵌入数组大小4096

-

English

v2.0

model1024–English

&

多语言v3.0model384–English

&

多语言Lightv3.0

model支持的语言helloሀሎԲարեւSalamkaixoдобры

дзеньzdravoЗдравейте안

녕

하

세

요ආයුෙබෝවන්PërshëndetjeAhojslavhabari你好hejдобры

дзеньhallåनमस्तsalutonສະບາຍດີСалом+50

moreteresveikiவணக்க(over

100)heisalamaСəламbonjourഹേലാహలోolabonguสวัสดีგამარჯობაनमस्काmerhabaשלוםNnọọhalociaoこんにちはನಮಸಾ್ಕಾರСəлеметсіз

бе

приветСайн

ууਸਤ

ਸ੍ਰسلاwitamoláਅਕਾਲBuna

ziuaساخشﯨماسممпривітہیلوsalomxin

chàohalloholaFine

Tuning微调对于企业用例至关重要，允许自定义基础LLM并增强其