文字列处理Perl,Java等.ppt

1、文字列処理：Perl, Java等,徃住研究室 D2村井源,COE21-LKR認知的知識資源論,講義流,階層構造 文字列処理 正規表現 Perl, Java正規表現処理 Chasen形態素解析,階層構造,文字：例,山,F 文字列：例今日,computer 命題：例狭部屋、天気晴 文：“。”区切単位 文脈：文連続,文字列単語,単語文法上意味的区切 名詞動詞形容詞接続詞品詞分解形態素解析呼 文字列必単語 意味処理行場合実際単語文節（単語連続）処理行多,文字列？,基本的文字並 具体的形式文字列情報持様異 文字違（SJIS, EUC, Unicode) 形式違（Text, HTML, Word) 指向

2、（JavaString）,文字列処理,大量効率処理 Ex. 東工大web認知科学関全部集 複雑処理施 Ex. 夏目漱石全集人感情関形容詞抜出使用頻度調,人手、大変 自動化,文字列処理基本,検索 特定条件適合文字列探出 置換 特定条件適合文字列処理別特定文字列置換,通常検索置換,例： 図文字列探出全部図文字列置換 例Word,通常検索置換問題,図図自動的置換場合、図図意図以外箇所同時置換 逆図-置換残 検索置換条件文字列、自由設定,正規表現（Regular Expression）,文字列検索置換特化表現形式 多少方言大体統一 PERL, JAVA, Ruby, PHP様言語対応,正規表現基本,A

3、 A文字 ABC ABC文字列 A+ 1個以上連続A(A, AA, AAA, .) A* 0個以上連続A( , A, AA, AAA, .) . 1任意文字(A, B, C, .) (n除) ? 01任意文字( , A, B, C, .) ABC ABC始 ABC$ ABC終 ABC A,B,C1文字 A-Z AZ1文字 A-Za-z0-9 AZ, az, 0-91文字 ABC A,B,C以外文字 A-Z AZ以外文字 A|B|C ABCWWW入門引用,正規表現例題,図含検索図置換 、図外 逆図-図表記含,例題考方,数字全角半角両方入 21 図記号、-、全部許可 -（ -正規表現上特別役割与記

4、号誤解前- 表現） 図後数字来避最後0-9-,例題答,図2-10-9-,正規表現大丈夫？,正規表現強力文字列処理基本的一検索置換表現 条件分岐繰返処理含複雑文字列処理行正規表現組合使 正規表現使言語必要,Perl,作方式言語 多様表現可能他言語比、比較的習得容易。 強力文字列演算機能 - 拡張正規表現構文 CGI管理、他簡単書広用 GPL提供無料利用可能（Wikipedia引用）,Perl入手,Windows/Mac場合 Perl最新版入手指示従 Linux場合通常最初各Distribution参照,Perl日本語対応,日本語文字対応、Jperl必要（Windows場合） Perl後、VECT

5、ORhttp:/www.vector.co.jp/soft/dl/win95/util/se043908.html,Perl使方（Windows）,使Perl書、.pl名前保存 実行、先作移動 perl .pl 打込実行,変数文字列,変数値入出入物存在 変数数字文字列配列種類 変数名前、文字列“”囲,操作,読出用開 open(変数名, “名前”); 書込用開 open(変数名, “ 名前”); 読出 書込 print(変数名 “書込文字列”); 閉 close(変数名);,Perl正規表現置換,Perl正規検索（） 変数名 /正規表現/; Perl正規置換 変数名 s/正規表現/置換後文字列/

6、; 繰返場合、 s/正規表現/置換後文字列/g;,例題Perl例,open(IN, sample1.txt); open(OUT, sample1_result.txt); while($_ = ) $_ = s/図2-1(0-9-)/図-1/g; print(OUT $_); close(OUT); close(IN);,例題,HTML部分抜出 、改行置換,例題例,open(IN, sample2.html); open(OUT, sample2_result.txt); $buffer = ; while($_ = ) $buffer .= $_; $buffer = s/n/g; $bu

7、ffer = s/n/g; $buffer = s/n/g; $buffer = s/+/g; print(OUT $buffer); close(OUT); close(IN);,Perl弱点,環境OS変 文法自由書分読、再利用共同開発向 実行遅 指向強大規模向,Java,基本的非依存汎用性高 Web開発適 指向大規模開発古資源活用適 逆言、指向小規模向,JAVA正規表現,java.util.regex.* import 最初正規表現Pattern作、検索置換用Matcher、String直接replaceAll関数使 正規検索正規置換正規表現実行,単語処理,文字列単語分解処理意味的処理容易 英語、単語間空白自明、日本語場合最初単語切目探必要,形態素解析,自然言語書文形態素 （言語意味持最小単位） 列分割、品詞 見分作業 参照情報源対象言語文法知識辞書(品詞等情報付単語)用多（Wikipedia）,日本語形態素解析,無料利用、ChaSen（茶筌 ：奈良先端科学技術大学院大学松本研究室 開発）有名 商