Breeze 大模型交流会-KG与LLM完美结合

LLM+KG建模技能1Breeze大模型交流會--KG與LM完美結合By神櫻AI團隊/高煥堂教授指導2024/4/27——————————————————————2如何精通ML(機器學習)LLM+KG建模技能；資料內容的重要上下文，使其資料更易於理解和共享。4如何精通ML(機器學習)導性結果的情況。上下文相關的輸出，同時防止偏見和幻覺。/developer-blog/knowledge-graphs-llms-multi-hop-questionLLM+KG建模技能56如何精通ML(機器學習)/developer-blog/knowledge-graphs-llms-multi-hop-question塊。LLM+KG建模技能7其產生準確答案的能力。8如何精通ML(機器學習)LLM+KG建模技能91.4演練：動手訓練KG-based企業自用模型1.4.1複習：圖(Graph)觀念/en-us/glossar全球各地都有飛機場，如洛杉磯機場(簡稱：LAX)、聖荷西機場(簡是，可以建立知識圖(KnowledgeGraph)來表示這些機場實體(Entity)，以及這些機場之間的航班關係。如下圖：10如何精通ML(機器學習)/en-us/glossa結等）的集合。1.4.2以台灣機場為例LLM+KG建模技能11程式範例程式範例#air_port_004_tw.pyimportmatplotlib.pyplotasplt#print(list(G.edges()))#print(list(G.nodes#----------------------------#----------------------------12如何精通ML(機器學習)LLM+KG建模技能131.4.3<KG+Attention機制>的範例14如何精通ML(機器學習)來掌握這項關係。於是，撰寫下述程式碼：##sa_basic_006.pyimporttorch.optimasoptimvocab=['松山機場','小港機場','成田機場','虹橋機場','浦東機場','台北','高雄','東京','上海','首爾']'小港機場':1,'成田機場':2,'虹橋機場':3,'浦東機場':4}'東京':7,'上海':8,LLM+KG建模技能15''首爾':9}'松山機場'--->'台北''成田機場'--->'東京''虹橋機場'--->'上海''浦東機場'--->'上海'def__init(self,d,max_seq_length):pe[:,0::2]=torch.sin(position*defforward(self,x):16如何精通ML(機器學習)defdef__init(self,d):defforward(self,q,k,v):def__init(self,d):defforward(self,x):def__init(self,d):LLM+KG建模技能17defforward(self,x):[0,1,0,0,0,0,0,0,0,0],#'[0,0,1,0,0,0,0,0,0,0],#'[0,0,0,1,0,0,0,0,0,0],#'[0,0,0,0,1,0,0,0,0,0]]#'浦東機場'[0,0,0,0,0,0,0,1,0,0],#18如何精通ML(機器學習)loss=criterion(probs,targtest_data=np.array[0,0,0,1,0,0,0,0,0,0],#[0,0,0,0,1,0,0,0,0,0]]#'浦東機場'#-----------------------------------print('\n-----輸入資料-----')LLM+KG建模技能19print('Airport(',i,'):',vocab[max_indices[i]])print('\n-----輸出結果-----')print('Airport(',i,')位於City:',vocab[max_indices[i]])此程式執行時，展開訓練，只需5秒鐘就訓練完成了。並輸出：20如何精通ML(機器學習)##sa_basic_007.pyimporttorch.optimasoptimvocab=['松山機場','小港機場','成田機場','虹橋機場','浦東機場','台北','高雄','東京','上海','首爾']'小港機場':1,'成田機場':2,'虹橋機場':3,'浦東機場':4}'東京':7,'上海':8,'首爾':9}LLM+KG建模技能21''松山機場'--->'台北''成田機場'--->'東京''虹橋機場'--->'上海''浦東機場'--->'上海'def__init(self,d,max_seq_length):pe[:,0::2]=torch.sin(position*defforward(self,x):def__init(self,d):22如何精通ML(機器學習)defdefforward(self,q,k,v):def__init(self,d):defforward(self,x):def__init(self,d):defforward(self,x):LLM+KG建模技能23[0,1,0,0,0,0,0,0,0,0],#'[0,0,1,0,0,0,0,0,0,0],#'[0,0,0,1,0,0,0,0,0,0],#'[0,0,0,0,1,0,0,0,0,0]]#'浦東機場'[0,0,0,0,0,0,0,1,0,0],#24如何精通ML(機器學習)loss=criterion(probs,targprint('\n-----輸入資料-----')print('City(',i,'):',vocab[max_indices[i]])print('\n-----