李宏毅：深入浅出讲解AI+Agent

免責聲明：AI

Agent是一個被廣泛使用的詞彙，故本課程中所講的AIAgent不一定跟其他地方一樣AI

Agent的翻譯今天使用AI

的方式AI

Agent人類給予目標AI自己想辦法達成人類給予明確指令AI一個口令一個動作「人工智慧代理人」(解決某個研究問題)假設…實驗…分析需要多步驟、靈活調整計畫AI

AgentGoalActionObservationAI

Agent

(AlphaGo)Goal贏棋“5-5”Action好像在那裡聽過這個段落？這是Reinforcement

Learning(RL)常見開場Observation如何打造AI

Agent?RL?Goal贏棋“5-5”ActionRL:

Learn

toMaximize

RewardReward(RL:

Reinforcement

Learning)侷限：需要為了每一個任務以RL訓練模型Observation如何打造AI

Agent?直接用LLM！LLM“我要下在5-5”以文字描述(option)Goal“你要贏得勝利”Action以LLM直接實踐人類對於擁有Agent的渴望轉譯為行動ObservationLLM能不能下棋？BIG-bench/abs/2206.04615LLM能不能下棋？https://youtu.be/JHq4EKMg7fI?si=izKsH-GCVnZkooq_如何打造AI

Agent?直接用LLM！ActionLLM還有多遠？還可以多做什麼？“我要下在5-5”以文字描述(option)Goal“你要贏得勝利”轉譯為行動Observation以LLM直接實踐人類對於擁有Agent的渴望從LLM的角度來看Agent要解的問題goalobs

1obs

2action

1action

2obs

3action

3LLMLLMLLM一直都在做接龍AI

Agent倚靠的是語言模型現有的能力AI

Agent不是最近才熱門2023年春天曾經爆紅過一次AutoGPT,

AgentGPT,BabyAGI,

Godmode

…https://youtu.be/eQNADlR0jSs?si=4yGZEluAUzKK2VD0以LLM運行AI

Agent的優勢TypicalAgentLLMAgentAlphaGo事先設定好有限行為只能在棋盤上的19x19個位置落子近乎無限的可能可以使用工具以LLM運行AI

Agent的優勢AI

programmerReward

=

-1Typical

AgentLLM

AgentCompile

ErrorCompile

Error為什麼是-1???更多資訊AI

programmerAI

Agent舉例：AI村民組成的虛擬村莊/abs/2304.03442https://youtu.be/G44Lkj7XDsA?si=cMbKG3tqPbIgnnBqGoal舉辦情人節派對、準備考試……"getting

ready

for

bed“ActionObservationAI

Agent舉例：Minecraft中的AI

NPChttps:///watch?v=2tbaCn0Kl90AI

Agent舉例：讓AI使用電腦Computer

Use,OperatorAI

Agent舉例：讓AI使用電腦Goal訂披薩、

上網購物…ActionObservationAI

Agent舉例：讓AI使用電腦World

of

Bits:

An

Open-Domain

Platform

forWeb-Based

Agents

(ICML,

2017)WebArenaAI

Agent舉例：讓AI使用電腦Mind2Web/abs/2306.06070/abs/2307.13854/abs/2401.13649VisualWebArenaAI

Agent舉例：用AI訓練模型obs

1obs

2action

1action

2obs

3action

3LLMLLMLLM過StrongBaselinegoalAIDE:

The

Machine

Learning

Engineer

Agent/abs/2502.13138AutoKaggle:

A

Multi-Agent

Framework

for

Autonomous

Data

Science

Competitions/abs/2410.20424AI

Agent舉例：用AI做研究https://research.google/blog/accelerating-scientific-breakthroughs-with-an-ai-co-scientist/邁向更加真實的互動情境action

2obs

3actiongoalaction

1 action

2立刻轉換行動回合制互動goal obs

1 action

1 obs

2即時互動obs

1 obs

2例如：語音對話邁向更加真實的互動情境Usertellstop

Idon’tlikethe

storyobs

1me

a

storyaction

1action

2obs

3obs

2okOnce

upon

a

timein

a

small

villageSorry

……邁向更加真實的互動情境/abs/2503.04721v1Guan-Ting

Lin(with

collaboratorsfromBerkeley,

UW,and

MIT)AI

Agent關鍵能力剖析AI如何根據經驗調整行為AI如何使用工具AI能不能做計劃根據經驗調整行為根據經驗調整行為goalobs

1obs

2action

1action

2寫一個…你是軟體工程師…Update……UpdateLLMParameters(Not

Today)Feedback根據經驗調整行為goalobs

1obs

2action

1action

2LLM寫一個…你是軟體工程師…Update……Feedback根據經驗調整行為obs

1goal action

1obs

10000……?????LLM不斷回憶整個Agent一生的經歷…

超常自傳式記憶(HighlySuperiorAutobiographical

Memory,

HSAM)超憶症(Hyperthymesia)根據經驗調整行為obs

10000Agent’sMemory?????action

1……obs

9999action

9999ReadRelevant

ExperienceQueryDatabaseRetrieval其實這就是RAG(自己的經歷vs.別人的經歷)goal

obs

1StreamBench/abs/2406.08747https://stream-bench.github.io/(done

by

Appier

Researchers)Goal:

Maximize

the

accuracy

over

the

sequence……Q1Q2Q1000Q3StreamBench/abs/2406.08747……Q1Q2Q100Q3ReadRetrieval……Q65Q78Q99StreamBench/abs/2406.08747StreamBench/abs/2406.08747……Q1Q2Q100Q3ReadRetrieval……Q59Q78Q99Negative

feedback

is

unhelpful.StreamBench/abs/2406.08747根據經驗調整行為obs

10000goalobs

1 action

1Agent’s

Memory……obs

9999 action

9999Relevant

Experienceaction

10000記下來？(被雞毛蒜皮的小事塞爆)obs

10001根據經驗調整行為obs

10000goalobs

1 action

1Agent’s

Memory……obs

9999action

9999Relevant

Experienceaction

10000obs

10001Write這件事要被記下來嗎？根據經驗調整行為obs

10000Relevant

Experienceaction

10000obs

10001WriteReadReflectionthought

1thought

2thought

3thought

4goalobs

1action

1……obs

9999action

9999對於記憶中的資訊做重新整理根據經驗調整行為Relevant

Experienceobs

10000

action

10000

obs

10001WriteReadReflectiongoalobs

1action

1……obs

9999action

9999KnowledgeGraphGraphRAG/abs/2404.16130HippoRAG/abs/2405.14831有記憶的ChatGPTWrite模組決定要記下來有記憶的ChatGPT有記憶的ChatGPT有記憶的ChatGPTRead模組啟動Read模組啟動To

learn

more

…MemGPT/abs/2310.08560Agent

WorkflowMemory/abs/2409.07429A-MEM:

Agentic

Memory

for

LLM

Agents/abs/2502.12110AI如何使用工具語言模型常用工具PythonSearch

EngineOther

AI(Different

capabilities,stronger

but

costly)工具可以看做是Function，使用工具就是調用這些Function使用工具又叫“Function

Call”工具：只需要知道怎麼使用，不需要知道內部運作原理如何使用工具如果遇到根據你的知識無法回答的問題，使用工具把使用工具的指令放在<tool>和</tool>中間，使用完工具後你會得到輸出，放在<output>和</output>中間語言模型現在你可以使用的工具如下：查詢某地、某時溫度的函式Temperature(location,time)，使用範例：

Temperature('台北','2025.02.22

14:26')2025

年3

月10

日那天下午2:00，高雄氣溫如何如何使用所有工具特定工具使用方式User

PromptSystem

Prompt這就是一串文字，無法真的呼叫函式<tool>Temperature('高雄','2025.03.10

14:00')</tool>gpt-4o-mini(使用工具的方法很多，這邊是只是一個通用的方法)如何使用工具語言模型2025

年3

月10

日那天下午2:00，高雄氣溫如何System

PromptUser

Prompt工具使用方式……Agent開發者先設定好的流程Temperature不需要呈現給使用者看

不需要呈現給使用者看<tool>Temperature('高雄','2025.03.10

14:00')</tool><output>攝氏32

度</output>2025

年3

月10

日下午2:00，高雄的氣溫為攝氏32度。(繼續去做接龍……)使用者看到的輸出gpt-4o-mini(使用工具的方法很多，這邊是只是一個通用的方法)最常使用的工具：搜尋引擎Retrieval

Augmented

Generation

(RAG)使用其他AI作為工具語言模型文字指令文字回應語言模型這個人在說什麼？他說「大家好」語言模型這個人心情怎麼樣應該是心情蠻好的/abs/2407.09886使用其他AI作為工具/abs/2407.09886Chih-KaiYangChun-YiKuanDynamic

SUPERB上的結果非常多工具怎麼辦？obs

1action

1Tool

UseHundredsofTool

Descriptions非常多工具怎麼辦？/abs/2310.03128/abs/2502.11271ToolSelectionselected

toolsobs

1action

1Tool

UseHundredsofTool

DescriptionsAgent’sMemory模型自己打造工具ToolSelectionselected

toolsobs

1action

1Make

ToolsHundredsofTool

DescriptionsAgent’sMemoryTroVE:

/pdf/2401.12869LATM:

/abs/2305.17126CREATOR:

/abs/2305.14318CRAFT:

/abs/2309.17428工具工具因為過度相信工具而犯錯…因為過度相信工具而犯錯…假如工具有問題…以RAG為例Source

of

image:

https:///posts/petergyang_google-ai-overview-suggests-adding-glue-to-activity-7199246664329551872-9VdY/工具工具因為過度相信工具而犯錯…因為過度相信工具而犯錯…不要完全相信工具，要有自己的判斷力不要完全相信工具，要有自己的判斷力語言模型有沒有自己的判斷力？語言模型2025

年3

月10

日那天下午2:00

，高雄氣溫如何System

PromptUser

Prompt不需要呈現給使用者看

不需要呈現給使用者看<tool>Temperature('高雄','2025.03.10

14:00')</tool><output>攝氏100

度</output>工具使用方式……2025

年3

月10

日下午2:00

，高雄的氣溫預測為攝氏100

度。(繼續去做接龍……)gpt-4o-mini語言模型有沒有自己的判斷力？語言模型2025

年3

月10

日那天下午2:00

，高雄氣溫如何System

PromptUser

Prompt不需要呈現給使用者看

不需要呈現給使用者看<tool>Temperature('高雄','2025.03.10

14:00')</tool><output>攝氏10000

度</output>(繼續去做接龍

……)

2025

年

3

月

10

日下午

2:00時，高雄的氣溫為攝氏10000度。這個數值顯然不合常理，可能是工具輸出錯誤。如需其他信息

或查詢，請告訴我。工具使用方式……gpt-4o-mini語言模型在做RAG時……InternalKnowledgeExternalKnowledge什麼樣的外部知識比較容易說服AI……什麼樣的外部知識比較容易說服AI……/abs/2404.10198v1LLMs

will

increasingly

revert

to

their

priors

when

the

original

context

isprogressively

modified

with

unrealistic

values.The

likelihood

of

the

LLM

to

adhere

to

the

retrieved

information

presented

in

context

isinversely

correlated

with

the

model’s

confidence

in

its

response

without.什麼樣的外部知識比較容易說服AI……/abs/2401.11911答案是A答案是B答案是A傾向相信AI同類的話答案是C什麼樣的外部知識比較容易說服AI……MetaData的影響語言模型比較相信新的文章資料來源沒有影響Cheng-HanChiang/2024.blackboxnlp-1.24/什麼樣的外部知識比較容易說服AI……Cheng-HanChiang/2024.blackboxnlp-1.24/MetaData的影響Claude

3比較贊同下面那邊文章一模一樣的內容就算工具可靠…不代表AI就不會犯錯就算所有找到的資料都是對的，也不保證答案就是對的ChatGPTSearch(同樣的輸入目前已經沒有這樣的問題)使用工具與模型本身能力間的平衡用工具不一定總是比較有效率如果要做數學運算，用計算機一定比普通人心算快嗎？問題：3

x

412AI能不能做計劃？做計劃goalobs

1obs

2action

1action

2obs

3action

3Reactive

Response?Planning做計劃obs

1obs

2 action

2 obs

3action

3action

1action

2action

3plan action

1planPlan-and-Solve

Prompting:

Improving

Zero-Shot

Chain-of-Thought

Reasoning

by

Large

Language

Models/abs/2305.04091天下沒那麼好的事情

計劃就是要拿來改變的做計劃obs

1action

1action

1action

2action

3planplanaction

2’action

3’plan'下棋：對手的招數跟預想不同使用電腦：突然跳出廣告視窗與預期不同，導致原有的計畫行不通obs

2

plan'

action

2’語言模型有能力做計畫嗎？gpt-4o/abs/2201.07207PlanBench/abs/2206.10498/abs/2305.15771可以執行的操作：從桌上拿起一個積木從另一個積木上拿起另一個積木把積木放到桌上將一個積木堆在另一個積木上初始狀態：藍色積木在橘色積木的上面，紅色積木在桌子上，橘色積木在桌子上，黃色積木也在桌子上。目標：讓橘色積木放置在藍色積木上。將藍色積木從橘色積木上取下將藍色積木放在桌子上從桌上拿起橘色積木將橘色積木堆放在藍色積木的上方會不會LLM早就看過類似的題目了？PlanBench

/abs/2206.10498/abs/2305.15771神秘方塊世界攻擊屈服吞噬征服(讓物件c渴望物件a)/abs/2305.15771/abs/2409.13373/abs/2402.01622TravelPlannerhttps://osu-nlp-group.github.io/TravelPlanner//abs/2402.01622https://osu-nlp-group.github.io/TravelPlanner//abs/2404.11891/abs/2404.11891強化AI

Agent的規劃能力obs

1action1-2action1-3obs

2-2obs

2-3action

2-1-1action

2-1-2obs

2-1-1obs

2-1-2action

2-2-1obs

2-2-1action

2-3-2action

2-3-1

obs2-3-1obs

2-3-2實際試試看？action1-1 obs

2-1如果路徑太長怎麼辦？obs

1action1-1action1-2obs

2-1obs

2-2action

2-2-1action

2-2-2obs

2-2-1obs

2-2-2有機會嗎？沒有

有機會嗎？有

減少沒必要的搜尋Tree

Search

for

Language

Model

Agents/abs/2407.01476/abs/2407.01476Tree

Search

for

Language

Mo