基于语料库的工作-2

基于语料库的工作张宇*1中文信息处理--基于语料库的工作大纲什么是语料库语料库的发展简史语料库建设中处理的问题数据标注2/1/2021中文信息处理--基于语料库的工作2什么是语料库语料库，英文为Corpus存储语言材料的仓库现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本.2/1/2021中文信息处理--基于语料库的工作3关于语料库的三点基本认识语料库中存放的是在语言的实际使用中真实出现过的语言材料；语料库是以电子计算机为载体承载语言知识的基础资源；真实语料需要经过加工（分析和处理），才能成为有用的资源；2/1/2021中文信息处理--基于语料库的工作4语料库示例2/1/2021中文信息处理--基于语料库的工作5北京大学计算语言所富士通人民日报标注语料库样例：历史/n将/d铭记/v这个/r坐标/n：/w北纬/b４１．１/m度/q、/w东经/b１１４．３/m度/q；/w人们/n将/d铭记/v这/r一/m时刻/n：/w１９９８年/t１月/t１０日/t１

５０分/t。/w……[中国/ns政府/n]nt顺利/ad恢复/v对/p香港/ns行使/v主权/n，/w并/c按照/p“/w一国两制/j”/w、/w“/w港人治港/l”/w、/w高度/d自治/v的/u方针/n保持/v香港/ns的/u繁荣/an稳定/an。/w语料库的分类2/1/2021中文信息处理--基于语料库的工作6生语料库/熟语料库生语料库就是未经加工的,没有任何切分,标注标记的原始语料库熟语料库就是指经过加工,带有切分,标注标记的语料库系统型语料库/专用型语料库系统型语料库就是依据事先确定的选材原则和比例选取语料的语料库专用型语料库就是指专门服务于某个特定目的的语料库单语种语料库/多语种语料库语料库发展简史第一代（1970－80年代）第二代（1980－90年代）第三代（1990年代－）2/1/2021中文信息处理--基于语料库的工作7第一代语料库Brown语料库LOB语料库LLC语料库百万词级以语言研究为导向2/1/2021中文信息处理--基于语料库的工作8第二代语料库COBUILD语料库Longman语料库千万词级词典编纂－应用导向2/1/2021中文信息处理--基于语料库的工作9第三代语料库ACL/DCI语料库The

Association

forComputationalLinguisticsData

Collection

InitiativeUPenn树库LDC（

Linguistic

Data

Consortium

）超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用2/1/2021中文信息处理--基于语料库的工作10语料库建设中处理的问题文本生文本标注文本语料库建设中处理的问题低级格式问题标记化：什么是一个词？词法句子2/1/2021中文信息处理--基于语料库的工作11低级格式问题垃圾格式由于语料库的来源复杂，语料库中可能存在无法处理的各种各样的格式或内容，他们是没有用处的，需要过滤掉。文档页眉、分隔符、排版代码、表和图表如果数据来源于OCR，会引入错误识别的问题2/1/2021中文信息处理--基于语料库的工作12低级格式问题大小写the，The，THERichard

Brown

brown

paint识别句子中人名的启发式方法把每个句子开头的大写字母转换成小写字母把一串连续大写的词当作标题和副标题这样，其余的大写字母就可以认为是名字2/1/2021中文信息处理--基于语料库的工作13标记化：什么是一个词什么是词前后有空格的连续字母组成的字符串，可以包含连字符和省略号，但是不能包含其它的标点符号。–

Kucera

and

Francis（1967）$22.50，Micro$oft，C|net2/1/2021中文信息处理--基于语料库的工作14标记化：什么是一个词句点大多数句点的作用是表明句子结束，其它情况表示缩写，例如：etc.，Calif.。保留句点的意义Wash.（Washington）--

Washetc.出现在句子的末尾的时候，只保留一个句点，这个句点同时表示两种意思。2/1/2021中文信息处理--基于语料库的工作15标记化：什么是一个词2/1/2021中文信息处理--基于语料库的工作16单撇号I’m，isn’t

……I

am，is

notdog’s表示什么？dog

is，dog

has，还是所有格形式？词末尾的单撇号如何处理？•通常代表一对引号的结束，不是该词的一部分如果它跟着一个s出现boys’

toys标记化：什么是一个词2/1/2021中文信息处理--基于语料库的工作17连字符：不同形式表示相同形式的词–

带有连字符的一串字母应该看成一个词还是两个？（有时候是一个，有时候是两个）•–一个，来源于排版印刷找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起来•e-mail,

co-operate连字符用于表示引用的短语或者数量、比率the

26-year-olddatabase,

data

base,

data-base破折号和词语之间的空格标记化：什么是一个词相同形式表示不同的“词语”saw–工具saw–see的过去时2/1/2021中文信息处理--基于语料库的工作18标记化：什么是一个词其它语言中的分词•–

中文、日文、泰文严守一把手机关上—严守一把手机关上–

德语中大多数的词语有空格分割，但是复合名词写成单独的词Lebensversicherungsgesellschaftsangestellterdisk2/1/2021harddisk

–

hard19人身保险公司的雇员–

database

–

data

base中文信息处理--基于语料库的工作标记化：什么是一个词非词语分界的空格data

base

–

database,

9365

1873

–93651873New

York,

San

Francisco如果和连字符一起出现，问题就更加复杂了•the

New

York

–

New

Haven

Railroad–

习惯搭配形成的词Work

out– I

couldn’t

work

the

answer

out.2/1/2021中文信息处理--基于语料库的工作20标记化：什么是一个词2/1/2021中文信息处理--基于语料库的工作21电话号码国家电话号码国家0171

378

0647UK+45

43

48

60

60Denmark(44.171

830

1007)UK95-51-279648Pakistan+44

(0)

1225

753678UK+411/284

3797Switzerland01256

468661UK(94-1)

866854Sri

Lanka(202)

522-2239USA+49

69

136-2

98

05Germany1-925-225-3000USA33

1

34

43

32

36France212.995.5402USA++31-20-5200161The

Netherlands词法词干化去除词缀只留词干的过程operating-operate,

computing-compute词干化的优点对词的各种变化形式进行归类，减少了词的数目意味着一定水平上的词义消歧Lying—lie,

lay（卧倒）

lie,

lied（欺骗）2/1/2021中文信息处理--基于语料库的工作22词法2/1/2021中文信息处理--基于语料库的工作23词干化中的问题••–

词干化会浪费一些信息operating

system—operate

systembusiness—busy–

词法分析把词切分成词次，但是有的时候把密切相关的信息组合到一起是有意义的•––保卫祖国—保卫祖国公民有保卫祖国,依法服兵役的义务保卫社会主义建设,战斗在祖国边疆及各个岗位上–英语中只有很少的词态，所以对其进行词态处理不是很有必要。而其它语言中，进行词态处理可能会有很大的意义•芬兰语，每个动词有百万种变化形式句子2/1/2021中文信息处理--基于语料库的工作24句子：以一个“。”、“，”、“！”或者

“？”结尾的内容。90%的情况都是这样句子可能会被其它的分隔符号切分开(e.g.,:;--)句子的顺序可能会被打乱•“You

should

be

here,”

she

said,

“before

I

knowit!”引号可能在句子的最后一个标点的后面识别句子的边界，可以采用一些启发式的方法，也有一些学者尝试自动的方法来识别句子的边界。启发式的方法2/1/2021中文信息处理--基于语料库的工作25在.?!（和可能的:;--）出现位置之后加一个假设的句子边界如果假设边界后面有引号，那么把假设边界转移到引号后面如果在句点之前是一个不纵出现在句子末尾的众所周知的缩写形式，而且通常后面会跟一个大写的名字，例如：prof.如果句点前面是一个众所周知的缩写形式，但是句点后面没有大写词。这样即可正确地处理像etc.这样的大多数缩写用法，这些缩写一般出现在句子的中间或者末尾如果下面的条件成立，则删除?或者!的边界资格这些符号后面跟着一个小写字母（或者一个已知的名字）认为其它假设边界就是句子的边界自适应的句子边界检测Dr.

J.

M.

Freeman

and

T.Boone

PickensJr.David

D.

Palmer,

Marti

A.

Hearst,Adaptive

Sentence

BoundaryDisambiguation,

Technical

Report,

97/94

,UC

Berkeley:

98-99%

correct2/1/2021中文信息处理--基于语料库的工作26数据标注—标注方案2/1/2021中文信息处理--基于语料库的工作27我们可以在普通文本的语料库上做很多工作，在此之上，如果增加一些信息，那么会得到更多的东西句子的边界，段落的边界，……Lexical

tags句法结构语义表达语义类别不同的标注方案COCOA

format(文本的头信息，例如作者、时间、日期、题目等)：使用尖括号，第一个字母表示某个域的主要语义通用标记语言SGML(related:HTML,TEI,XML)SGML例子2/1/2021中文信息处理--基于语料库的工作28<p>

<s>

This

book

does

not

delve

very

deeply

intoSGML.

</s>

…

<s>

In

XML,

such

empty

elements

may

be

specifically

marked

by

ending

the

tag

name

with

aforward

slash

character.

</s></p><utt

speak=“Mary”,

date

=

“now”>

SGML

canbe

very

useful.

</utt>Character

and

Entity

codes:

begin

with

ampersandand

end

with

semicolonC

is

the

less

than

symbol→

<

is

the

less

than

symbolrésumé

→

rèsumè语法标注2/1/2021中文信息处理--基于语料库的工作29•

Tagging

corresponds

to

indicating

the

variousconventional

parts

of

speech.

Tagging

can

be

doneautomatically

(we

will

talk

about

that

in

a

later

lecture).多种标注集，e.g.,Brown

Tag

Set,University

ofLancaster

Tag

Set,

Penn

Treebank

Tag

Set,

BritishNational

Corpus

(CLAWS*),

Czech

National

Corpus标注集的设计–

标注集的特征–Target

Features:useful

information

on

thegrammatical

class–

Predictive

Features:

useful

for

predicting

behavior

oother

words

in

context

(e.g.,

distinguish

modals

andauxiliary

verbs

from

regular

verbs)Pen

Treebank标注集2/1/2021中文信息处理--基于语料库的工作30Adjective:

JJ,

JJR,JJSCardinal:

CDAdverb:

RB,

RBR,RBS,

WRBConjunction:

CC,IN

(subordinating

andthat)Determiner:

DT,PDT,

WDTNoun:

NN,

NNS,NNP,

NNPS

(nodistinction

foradverbial)Pronoun:

PRP,

PRP$,WP,

WP$,

EXVerb:

VB,

VBP,

VBZ,VBD,

VBG,

VBN

(have,

be,and

do

are

notdistinguished)Infinitive

marker

(to)