自然言语処理2007.pptVIP

最長一致法 処理対象文字列の先頭から始まる単語のうち、文字列長が最大のものを優先的に単語候補とする方法。 * 例 アルプスのやまは美しい アルプスの少女は美しい 単語辞書： アルプス 少女 やま のやま 美しい は の * 問題：必要な単語辞書を作成せよ。 ユク河ノナガレハ、絶エズシテ、シカモモトノ水ニアラズ。 単語辞書： 河 水 ユク ノ ナガレ 絶エズシテ シカモ モトノ ニアラズ * 問題：最長一致法の長所?短所 * 文節数最少法 文節数が最も少なくなる切り方を解とする方法。 * 例：くるまでまつ 車で　待つ （２） 車で　松 （２） 来るまで　待つ （２） 来るまで　松 （２） 繰るまで　待つ （２） 繰るまで　松 （２） 狂まで　　待つ （２） 狂まで　　松 （２） 来る　間で　待つ （３） 来る　間で　松 （３） etc. * 接続表を利用する方法 * 遷移確率を用いる方法 * 各種ツール Chasen (WinCha) Kobako-J XMLEDITOR.NET GoTagger * Copyright? 2011 School of Computer Science, Tokyo University of Technology 自然言語処理2011 第2回目 東京工科大学 コンピュータサイエンス学部 亀田弘之 自然言語処理とは（復習） 自然言語処理＝ ．．．が　．．．を　．．．する * 自然言語処理とは（復習） 自然言語処理＝ 機械が自然言語を処理する * 自然言語処理とは（復習） 自然言語処理＝ 機械が日本語や英語を理解する * 自然言語処理とは（復習） 自然言語処理＝ 機械が日本語や英語を理解する * どうやって？ How? 自然言語処理の概要 形態素解析 統語解析（構文解析） 意味解析 談話解析 状況解析　etc. * 形態素解析 形態素 形態素解析 * 形態素解析 入力：　メロスが走る 出力：　メロス(名詞)/が(助詞)/走る(動詞) 処理方法は？ 手法 アルゴリズム プログラミング言語 必要な知識は？ 評価方法は？ ツールは？ * 例： Tom broke the cup with the hammer. Tom brach die Tasse mit der Hammer.(Tom hat die Tasse mit der Hammer gebracht.) Tom a cassé le verre avec le marteau. Tom broke the cup with a state of the art hammer. * 形態素解析 入力：　メロスが走る 出力：　メロス(名詞)/が(助詞)/走る(動詞) 処理方法は？ 手法 アルゴリズム プログラミング言語 必要な知識は？ 評価方法は？ ツールは？ * メロスが走る * メロスが走る メロス / が / 走る * 処理方法 文字種法 最長一致法 文節数最少法 接続表を利用する方法 遷移確率を用いる方法　 etc. * 例： 　 読売新聞社が２～４日に実施した全国世論調査（電話方式）で、鳩山内閣の支持率は７１％、不支持率は２１％だった。 2009年10月4日　Yahoo Japan ニュース（読売新聞） より * 例 北極圏で今春、観測史上最大のオゾン層破壊が起きていたことが、国立環境研究所（茨城県つくば市）など９か国の国際研究チームの分析で分かった。 * 2011年10月3日　Yahoo Japan ニュース（読売新聞） より 例：　くるまでまつ 他の例： 花子は太郎と次郎をずっと待ち続けていた。 曖昧性(Ambiguity) * 自由課題1 日本語を対象とする形態素解析プログラム（形態素解析器）の発展史を調べ、現状と今後の問題点を考えよ。 参考情報：　Juman, Chasen, すもも, Kobako etc. * 自由課題２ 英語を対象とする形態素解析プログラムとして、何があるが調べなさい。ヒント：tagger programs * ヒント 最長一致 KAKASI Bi-gramマルコフモデル JUMAN, MeCab 可変長マルコフモデル ChaSen 未知語処理（綴り?品詞?意味?用法） UWAS-I 未知統語規則処理 * 研究課題２ “形態素”の本来の意味を調べ、それに基づき形態素解析の定義を考えよ。 * 問題：次の文を形態素解析せよ。 地球温暖化を防ぐために世界の国々がつくった京都議定書で、日本は二酸化炭素(CO2)などの温室効果ガスを2008から12年度に1990年に比べて6%減らすことを約束しています。（朝日小学生新聞2007年10月12日　より） * （続き） 自