虚拟联合目录系统中

1、虛擬聯合目錄系統中擁有共同結構之網頁文件資料萃取曾志軒1 黃夙賢1Chih-Hsuan Tseng1 Su-Shang Huang11國立交通大學資訊科學所chtseng, sshuang, .tw柯皓仁2 楊維邦1Hao-Ren Ke2 Wei-Pang Yang12國立交通大學圖書館.tw摘要虛擬聯合目錄系統是一個從分散式的圖書資訊館藏查詢系統中收集並整合圖書目錄的系統。在虛擬聯合目錄建置的過程中，有些圖書資訊館藏查詢系統並不允許直接去擷取底層的資料庫，而僅提供圖書資訊館藏查詢系統所產生出來的網頁資料。這些由查詢系統所

2、產生的網頁資料通常擁有共同結構網頁文件的特性，而傳統的資訊擷取方式並沒有辦法從擁有共同結構之網頁文件萃取資料。為了讓虛擬聯合目錄系統從個別的圖書資訊館藏查詢系統傳回的網頁中萃取資料，本篇論文提出了一個 Level-ID 的方法。本文所提出的 Level-ID演算法分配每個關鍵元素唯一的 Level ID，並由使用者標示欲萃取資料的Level ID以及所代表的意義，並將資料欄位存成結構標記檔。根據結構標記檔系統就可用來萃取擁有共同結構文件之資料。在這些資料萃取的過程中，所有的詮釋資料都以詮釋資料描述語言 (Metadata Modeling Language) 來描述與儲存，以達成資料交換及資料

3、傳遞的一致性。最後本論文並驗證Level-ID的方法在交通大學虛擬聯合目錄系統 (VUCSNCTU) 中的可行性。關鍵詞：資料萃取、結構化文件、共同結構、中介資料、虛擬聯合目錄系統1. 簡介由於數位圖書館系統與網際網路的迅速發展，人們可以更方便地從網路上取得資料，只要連上各個數位化圖書館的檢索網站，就可以填寫檢索字串來尋找我們欲取得的資料。但是若我們要尋找的資料不存在於該網站，則必須連線到其他網站查詢。然而並不是每個使用者都有能力找到解答，多數的使用者根本不知道欲尋找的資料究竟是位於哪一個數位圖書館，這將會造成使用者的困擾。有鑑於此，虛擬聯合目錄系統提供從分散式的數位圖書資訊環境中收集並整合圖

4、書目錄的能力。在虛擬聯合目錄建置的過程中，由於智慧財產權以及資訊安全等因素的考慮，導致並不是所有的數位圖書館皆允許程式設計者直接去擷取底層的資料庫。而程式設計者所能擁有的資源，則是各個圖書館所提供的圖書目錄查詢系統。各個圖書館所提供的圖書目錄查詢系統所產生出來的網頁資料通常擁有結構化文件的特性，這提供了我們從共同結構網頁文件擷取資訊的契機。傳統的資訊擷取技術，並沒有辦法從文章中擷取結構化資訊。於是許多的研究人員都致力在結構化文件的相關研究 1。所謂的結構化文件就是把文章結構包含在文件裡面的文件 8，通常這類型的文件是由標籤語言如XML、SGML或HTML所描述而成。擁有文章結構特性的文件允許我

5、們擷取到更細部的結構資料，而不僅僅只能擷取到文件所呈現的文字內容 (Content)。從結構化的文件中擷取資料和從資料庫中擷取有著相當大的不同，資料庫擁有表格結構 (Schema)，透過表格結構便可以直接從已定義好的表格中擷取出資料。但結構畫文件並沒有類似表格結構的概念，因此我們必須先對結構化文件的結構作分析，然後才能對文件作資料萃取。在過去的研究中，已經有很多有效率的索引方法及結構化文件的資料擷取方法被提出 3, 5, 8。在 5 這篇論文中，使用了識別碼 (UID-Unique element Identifier) 和k-ary tree來減少建置索引時所必須佔用的儲存空間。UID的設計

6、是用來描述文章結構的資訊，而k-ary tree則是用來快速地搜尋元素 (Element) 儲存位置並便於存取各元素。在 8 這篇論文中將UID的概念擴充為GID (General element Identifier)，其目的在於支援多種不同型態的結構化文件，此篇論文也提出了一個名為 BUS (Bottom Up Scheme) 的設計模組來整合索引及檢索的效能評估，並驗證了該方法的可行性與效率。在 3 這篇論文中則使用了 SCL (Simple Concordance List) 來模組化結構化文件，並支援多種不同層次的檢索。SCL 利用每個元素與內容出現的位置來做為其識別碼，不但簡單也提

7、供了夠充分的檢索層次給使用者。綜觀以上的論文，不難發現雖然已有很多關於結構化文件資料擷取的研究，但卻很少有人從事於擁有共同結構之網頁文件的資料萃取的研究。對於一個欲整合多個數位圖書館的系統而言，這是必要的。在交通大學圖書館虛擬聯合目錄系統 (VUCSNCTU - Virtual Union Catalog System in NCTU) 計畫中，我們試著提出一個新的系統架構，利用結構化文件的特性來幫助我們從各個不同數位圖書館傳回的檢索結果作資料萃取。並提供單一的介面讓使用者只需要在VUCS上面做檢索便可獲得多個不同數位圖書館的館藏資料，而且個別的數位圖書館只需要提供其架構在 WWW 上的資訊查

8、詢系統即可，不需要開放資料庫權限。如此便可達到我們欲整合各個數位圖書資訊館藏的目的。圖表一、交通大學虛擬聯合目錄的系統架構在這樣的前提下，為了提供一個方法允許系統直接從數位圖書館檢索結果的網頁中直接萃取資料，我們提出了 Level-ID 的演算法以幫助我們從擁有共同結構的網頁文件中萃取出使用者感興趣的資料。所謂擁有共同結構的網頁文件，指的就是一個網頁文件內，擁有同樣語意或內容的文字都以相同的結構包起來，這樣的文件必須經過事先的分析與整理，然後才可以擷取出有意義的資料。此類文件通常是由網頁應用程式所自動產生出來的，因此只要可以正確地分析出其共同結構，就可以快速地擷取使用者感興趣的資料。舉例來說：

9、大部分的圖書館館藏檢索系統會根據不同的檢索字串而傳回不同的結果，但是這些不同的結果都是用同樣的結構與標籤語言來描述，也許是用 HTML 的表格標籤描述，也可能是由 XML 描述而成，只要我們能掌握並分析出其文件結構，就可以很容易地根據分析出來的結構而擷取出所有有意義的資料。本文的目的就是要分析一個網頁文件內重複出現的共同結構並擷取資料，我們提出了Level-ID的演算法來分配不同的Level-ID給每一個關鍵元素，並標示我們想要萃取資料的資料欄位以存成結構標記檔，最後根據記錄下來的結構標記檔以萃取出被嵌入在共同結構中的資料。在分析文件的過程中，我們也利用MML (Metadata Modeli

10、ng Language) 4 來描述分析出來的共同結構及最後萃取結果，一旦我們將共同結構分析出來並利用MML描述，便可以很容易地萃取出含有同樣結構的文件資料了！本文各部分內容分述如下：第二部分介紹虛擬聯合目錄系統的設計理念與系統特性；第三部分介紹從擁有共同結構之網頁文件中萃取資料的運作流程與架構，也一併描述我們所提出的 Level-ID 演算法，最後則是為本系統未來的發展與結論。2. 虛擬聯合目錄系統虛擬聯合目錄系統係指將多個分散式的圖書資訊館藏查詢系統整合成單一的檢索系統 2，其目的在讓使用者可以很方便地透過單一檢索介面取得各個不同數位圖書館的館藏資料。交通大學虛擬聯合目錄系統是國立交通大學

11、數位圖書館計畫下的一個子計畫，其目的是要針對各個大學圖書資訊館藏查詢系統 (WebPAC)，所開發的一整合性界面。使用者透過此界面，可以查詢所有大學圖書館裡的圖書資訊。對於使用者來講，透過交通大學虛擬聯合目錄系統，可以節省穿梭各地圖書資訊館藏查詢系統的時間。對於圖書資訊館藏查詢系統發展者而言，透過此系統可以使得將來各校圖書資訊館藏查詢系統在開發時，有一簡單且規範明確的標準可以依循。交通大學虛擬聯合目錄系統，主要規劃達成目的如下：1. 研發適用於分散式環境下的虛擬聯合目錄架構。2. 利用XML(eXtensible Markup Language)為基礎的技術，達成分散式架構資源的統合。本系統發

12、展的特色如下:1. 整合各校的圖書資訊於本系統各校的館藏系統不須提供其館藏資料給本系統。本系統將透過各校原有的WebPAC查詢系統，利用XML的技術來解譯各校 WebPAC的資訊，查詢所需的館藏資料。2. 提供給參與本系統的學校扮演整合者的角色所有參加本系統的學校，皆可扮演虛擬聯合目錄的系統整合者。或者透過我們所提出的虛擬聯合目錄架構，架設虛擬聯合目錄應用程式。3. 本系統不改變各校的查詢系統在不改變各校圖書資訊館藏查詢系統的前提下，本系統提供簡單的模組，架設在原有的館藏系統上，然後收集各校館藏查詢系統傳回的資料即可。圖表一所描述的就是本系統的架構示意圖，接下來我們就將本系統分成以下三個部分來

13、討論。2.1. VUCS ServerVUCS Server 的作用是和特定資料來源做溝通，針對每個不同性質的資料來源，我們必須賦予不同的 VUCS Server 屬性。一般而言，我們可以取得的資料來源約可分為資料庫與圖書館 WebPAC 兩種，當資料來源是資料庫的話，我們就可直接從資料庫中擷取，不必再做萃取資料的動作，則 VUCS Server 便會被告知不需要再經由 Extractor (在第三部分中會詳細說明) 來萃取資料；但大部分圖書館的 WebPAC不允許對底層資料庫做存取，故只能從該網站所傳回的查詢結果網頁來做為我們的資料來源，故必須呼叫 Extractor 對傳回的資料作分析及資

14、料萃取的動作！VUCS Server利用共同結構網頁文件萃取技術，查詢各個館藏系統的資料VUCS Service 將使用者查詢的條件及學校傳送給Object Transport ProtocolObject Transport Protocol將使用者查詢的條件分送到負責各個學校 WebPAC 的UCS Server各個館藏系統的資料回傳給VUCS Server，VUCS Server將資料轉換成標準格式，並且以MML包裹包裹後的資料回傳給Object Transport ProtocolVUCS Layer統合資料後，將資料分批傳回給使用者使用者選擇所欲查詢的條件以及學校圖表二、本系統的運作

15、流程2.2. 物件傳送協定層 (Object Transport Protocol) 在 VUCS 系統中，所有的資料都是用MML (Metadata Modeling Language) 4 描述而成的，而經由每個 VUCS Server 傳回的資料都可能擁有不同的屬性模組 (Attribute Model)，我們將不同的模組轉換成一個標準的屬性模組 (Canonical Attribute Model) 後，最後利用 CORBA 來當作我們的物件傳送協定，如此便可將各個 VUCS Server 傳回的資料整合在本系統上供使用者檢閱。圖表三、Extractor 的系統架構2.3. VUCS

16、ServiceVUCS Service 的工作就是提供一個使用者介面，並負責資料的收集與整合。介紹完整個 VUCS 的各部分功能後，我們將整個 VUCS 的運作流程整理如圖表二所示，黑色方框內所描述的就是本論文欲達到的主要的目。在VUCS Server從底層抓取資料的過程當中，如果底層的資料來源是一個圖書館 WebPAC，則我們必須利用共同結構網頁文件的特性，以便從擁有結構化文件的 WebPAC 萃取出資料。取得資料並轉換成標準模組之後，利用 CORBA 來負責傳輸所有的資料給上層的 VUCS Service，最後 VUCS Service就負責將這些資料收集起來並呈現給使用者做檢閱。共同結構

17、網頁文件萃取的技術將於本文第三部分詳述。3. 擁有共同結構之網頁文件資料萃取一個虛擬聯合目錄系統必須要能從各個不同圖書資訊館藏查詢系統中萃取資料，但由於並不是所有的圖書資訊館藏查詢系統都允許直接存取其底層的資料庫，為了讓虛擬聯合目錄系統的功能更加完善，我們發展了 Extractor 這個系統來分析網頁的文件結構並做資料萃取，其中 Level-ID 方法便是其核心的演算法，其目的在於分析文件結構，系統架構如圖表三所示，本文設計並實作了一個從含有共同結構之網頁文件作資料萃取的系統如下。3.1系統架構圖表三說明了整個 Extractor 的系統架構，整個資料萃取主要可分為兩個步驟:Level 1 (

18、Root, parent level).Level 2Level 2Level 2 (child level)Parallel Property (PP)Level 3 圖表四、階層式架構的樹狀示意圖Level Property (LP)1. 訓練步驟 (Training Process) 在訓練步驟時，我們從欲萃取資料的文件中，選取一個範例文件 (Sample Document)來當作系統的訓練文件，系統會先透過格式化工具 (Formalization Tool) 將文件做格式化，並參照輔助表格 (AT-Auxiliary Table) 以分析出文件的結構，接著提供提供一個介面讓使用者標記欲

19、萃取的資料欄位 (Structure Labeling)，並利用 MML 語法來描述使用者所標記的資料以儲存成一個結構標記檔 (Label File) 以供萃取步驟使用。2. 萃取步驟 (Extracting Process) 執行完萃取步驟後，接著讀入和已訓練過的文件具有同樣結構的文件 (Document with Common Structure)，利用格式化工具以及配置 Level ID 以分析文件結構後，參考之前所儲存的結構標記檔以做資料萃取，系統會根據已儲存的結構標記檔作為欲萃取的資料欄位，並利用 Level-ID 演算法來作分析以找出含有相同結構的資料欄位，而最後萃取出來的資料也同

20、樣利用 MML 來加以描述儲存。下面我們將此一系統分成三個階段來討論，分別是前置處理階段 (Pre-Processing)、結構標記階段 (Structure Labeling) 及資料萃取階段 (Information Extraction)。在介紹系統的運作流程之前，我們先說明本文所提出的 Level-ID 方法。3.2 Level-ID 方法結構化文件最大的特性就是擁有階層式的架構，比如說一本書的章節或段落。階層式的架構可以用樹的型態來表示，每個節點都是代表一個元素，而每個節點所包含的資料就是元素的內容，由圖表四可以更清楚地看出其架構，最上層的節點就是根節點，根節點可能有數個第二層的子節

21、點，而第二層的子節點也同樣可能含有數個第三層的子節點。在此，我們定義兩個性質來幫助在 Level-ID 方法中做文件結構的分析。定義一、階層性質 (Level Property (LP) 節點 A 和節點 B 是階層式架構中的兩個節點，階層性質在 A 是 B 的祖先 (Ancestor) 且文件中 A 的內容 (Content) 中包含了 B 時成立，此時， A 和 B 具有階層性質的關係。定義二、平行性質 (Parallel Property (PP) 節點 A 和節點 B 是階層式架構中的兩個節點，平行性質在 A 和 B 位在階層式架構中的同一層時成立，此時， A 和 B 具有平行性質的關

22、係。定義好上述兩種性質之後我們就可以分配 Level ID 給每個關鍵元素，Level ID 的格式如下：Level1-ID.Level2-ID.Level3-ID. 每一層由各自的數字來表示，Level1-ID 所代表的就是第一層的數字，中間的分隔號我們用逗號來表示，其意義就是代表著分層。一個階層式的架構就可以利用這樣的方式來將所有的節點表示成 Level ID 的格式，要完整地將一個結構化文件用 Level ID 來格式化，還必須搭配上一個輔助的表格 (Auxiliary Table) 來記載標籤與標籤之間的階層關係性質，這樣就可利用階層性質與平行性質來正確地配置 Level ID 給每一

23、個元素，輔助表格如圖表五所示，在此，我們以 HTML 文件的標籤來說明。輔助表格編號上層元素下層元素1<HTML><Head><Body>2<Frameset><Frame>3<Body><Table><Ol><Ul><Dir><Br><P><Hr>4<Table><Tr>5<Tr><Td>6<Td><Table><Ol><Ul><Dir&

24、gt;<Br><P>7<Ol><Ul><Dir><Li>8<Li><Table><Ol><Ul><Dir><Br><P>9<Hr><Table><Ol><Ul><Dir><Br><P>圖表五、輔助表格0 Level-ID_Assignment_Algorithm (in HTML D, out Level_ID )1Var Structure_Hierarc

25、hy C;2For each tag in D3C=Check_Structure_Hierarchy (tag); / 4IF (C = “Positive-LP”)5Down_Level (tag); /Level Property holds6Else If (C = “Negative-LP”)7Up_Level(tag) until accurate level;8Increment(tag); /Level Property holds9Else IF (C = “PP”)10Increment(tag); /Parallel Property holds11Else12Do no

26、thing;1314 End 圖表六、配置 Level ID 的演算法輔助表格的用法如下。在分析一結構化文件時，若文件中的一上層元素接下來所出現的元素屬於下層元素時，即代表在此結構化文件存在一個正向的階層性質（Positive Level Property）。相反的，假如下層元素後方出現上層元素時，此時存在一個反向的階層性質（Negative Level Property）。當階層性質出現時，代表結構化文件出現階層結構的現象，此時在Level ID的配置過程當中則需要往下擴展一個階層（Down Level）、或者是回到原來所屬的階層(Up Level)。而當前後所出現的元素屬於輔助表格同一列且

27、相同的元素時，即代表平行性質存在於結構化文件。此時將Level-ID加一代表屬於同一個階層。圖表六列出配置所有元素 Level ID 的演算法，經由這個演算法，我們就能將文件中所有的元素都配置一個 Level ID 以記錄其階層式的結構。3.3 前置處理階段 (Pre-Processing)在前置處理階段中，必須先將原來的文件重新格式化並利用 Level-ID 演算法來進行編號，因此前置處理階段主要有兩個部分，分別是格式化工具和配置 Level ID 。格式化工具 (Formalization Tool)在網路上的文件大都是用標籤語言所描述而成，而撰寫標籤語言最常犯的錯誤就是遺漏了結束標籤或是

28、巢狀標籤的不平衡。這種情形在 HTML 文件中尤其常見，因為 HTML 文件對整個標籤結構並沒有很嚴格地規定，即使網頁撰寫者編寫了不正確的文件，使用者仍然可以從瀏覽器上看到正確的結果。但是對於要分析文件結構而言，這種不正確的標籤文件會導致不正確的結果，因此必須先對讀進來的文件作格式化的動作。在本文中，我們使用 TIDY 這個由 World Wide Web Consortium 6 所發展出來的網頁格式化工具程式，TIDY 是一個免費的工具程式專門用來找出標籤文件中的錯誤語法，並將之修正成標準的語法。透過 TIDY 的格式化，文件的語法錯誤便可以被消除掉，則我們的系統在分析文件結構時就不會產生

29、錯誤。配置 Level ID (Level ID Assignment)經過 TIDY 格式化之後的文件還必須經過配置 Level ID 的動作才可以做分析的動作。我們先對文件的標籤語法作分析，並利用 Level-ID 的演算法配置一個 Level ID給每個關鍵元素。在我們的系統架構中，一個 Level ID 包含的資訊就相當於此元素在文件裡的階層式結構，這是因為前述的 Level-ID 演算法就是根據整個文件的階層式架構所設計的，只要掌握住某元素在階層式架構中的位置，就能將該元素與結構標記檔做比對分析而萃取到使用者所需要的資料。圖表七就是一個文件在經過格式化與配置 Level ID 的結果

30、，因為該文件含有重複出現的結構，故其規則性可以很容易地被發現。從圖表七中可以很清楚地看到，文件的序號、刊名、ISSN以及出版項欄位被分析出來，而其包含的資料也被分析出來並按照欄位順序排列，這些事先的分析讓後續資料萃取的工作更形容易。圖表九、結構標記檔圖表八、結構標記的工具圖表七、格式化與配置 Level ID3.4 結構標記階段 (Structure Labeling)配置完每個元素的 Level ID 之後，我們設計了一個介面讓使用者標記欲擷取資料欄位的 Level ID，使用者可以點選欲擷取資料的欄位並替每一個選取的欄位命名，系統會記錄下來所有被命名的欄位及其 Level ID，並存成結構

31、標記檔。有了這個結構標記檔，便可以和擁有同樣結構的文件做分析並萃取資料。圖表八是以全國期刊聯合目錄暨館際合作系統 (.tw) 作結構標記的例子。以此例而言，索引值 30101 到 30104 都是使用者所欲萃取的資料欄位，使用者可在欄位名中標記萃取資料後欲命名的欄位名稱。在此，我們分別把序號、刊名、ISSN和出版項分別命名為 Serial、Title、ISSN以及Publisher。圖表九就是我們最後所儲存下來的結構標記檔，實際儲存時我們會以 MML 語法 4 將之儲存下來，以便日後拿來做資料萃取的參考結構。處理完結構標記之後，就完成了資料萃取的訓練

32、步驟，我們已經擁有了一個可用來當作資料萃取的結構標記檔，接下來就進入資料萃取的萃取步驟。3.5 資料萃取階段 (Information Extraction)1 Information_Extraction_Algorithm (in HTML D, in Label_File L, out Information_File F)2 For each Level-ID in D 3For Iteration Level of each marked tag in L 4IF (Parent(Level-ID) and Iteration Level are the same)5Mark inf

33、ormation by label name in L and save the information to F678 End9 圖表十、資料擷取的演算法在訓練步驟後，我們就可以參照已儲存之結構標記檔來和讀入的文件作比對分析真正把資料從文件中萃取出來。萃取資料的演算法如圖表十所示，由於已經配置給每個關鍵元素唯一的 Level ID，因此我們可以從結構標記檔與欲萃取文件的 Level ID 特性很容易地萃取出資料。圖表十一就是我們參照圖表九的結構標記檔所萃取出來的資料，當然為了在虛擬聯合目錄系統中可以做資料的傳送與整合，我們也將結果以 MML 的格式來描述並儲存。4. 結論與討論在本文中，我們

34、提出了一個從含有共同架構的文件中萃取資料的方式。利用共同架構文件中的階層性質以及平行性質，參考輔助表格的內容，配置元素所屬的Level ID。並透過相同Level ID擁有相同性質的特性，利用結構標記檔萃取擁有相同結構文件中的資料。本文中還藉由交通大學虛擬聯合目錄系統的實作，來驗證此方法的正確性。資料萃取的流程主要是參照在訓練階段中所產生的結構標記檔來對含有相同結構的文件作資料萃取，對此系統而言僅需要佔用極小的硬碟空間來儲存結構標記檔，資料萃取的步驟都可即時完成並直接輸出結果，整個流程的效率是非常高的。從網頁中含有共同結構的文件萃取資料對很多數位圖書館及網頁應用程式都是非常有用的。除了應用在交

35、通大學虛擬聯合目錄系統中，我們也可以應用在其他更多的地方。大部分的圖書資訊館藏查詢系統及網頁應用程式如搜尋引擎等，由程式產生出來的網頁都會具有相同的結構，如果想要從這些系統萃取資料，則不需要去跟底層的系統作溝通，只要利用本文所提出的方法，即能從該系統產生的網頁中萃取出資料，如此將會省下很多對該系統作分析研究的人力與時間。在本文的第三部分裡是以 HTML 文件作為測試的範本，經過測試的結果，HTML 文件在我們的系統架構運作得非常順利。當然也可以將其他結構化文件如XML及 SGML 用在本文所提出的方法上，只需要改變 Level-ID 演算法中的輔助表格內容，將之修改成和該結構化文件的標籤語言相

36、符合，Level-ID 的方法就可以正確地分析出文件的結構。利用輔助表格來協助各種不同類型文件的分析不但快速且只需要佔用少量的儲存空間，這樣的設計可說是一個相當良好的設計，不但快速也相當方便。圖表十一、資料萃取的結果最後，我們將本文所提出的資料萃取方法應用在 VUCS NCTU上，也得到了相當好的成效，不但可以整合多個不同資料庫的資料，也提供 VUCS 一個可以快速取得網頁上資料的方法。利用 MML 來做為資料收集與整合的媒介也證明了詮釋資料 (Metadata) 的可行性。參考文獻1. Sudhir Aggarwal, Fuyung Hung and Weiyi Meng, “WIRE-A WWW-based Information Retrieval and Extraction System”, Proceedings. Ninth International Workshop on Database and Expert Systems Applications, 1