Morphological Analysis(形態素解析)

AI用語集

AI用語集ではAIに関する用語を中心に
まとめています。
初めて聞く用語や、インターネットを使っていて
わからないことがあったときにお役立てください。

Morphological Analysis(形態素解析)

Morphological Analysis(形態素解析)とは言語学の用語で、文法的な情報の注記の無い自然言語のテキストデータにおいて、ある言葉が変化・活用しない部分を最小単位の「素」とし、その素ごとに言葉を分解、それぞれの形態素の品詞等を判別する手法。
かな漢字変換を初めとする自然言語処理機能などに応用されている。

Morphological Analysisはどこに使われているか

人間が日常的に使っている自然言語をコンピューターに処理させる一連の技術をnatural Morphological Analysisと呼ぶ。これは人工知能と言語学の一分野として知られている。
現在では形態素解析を利用した人工知能Botが登場しており、LINEやfacebookなどに実装できるサービスを提供している企業がいくつか存在する。
Google や Yahoo! などの検索エンジンでは、各サイトを巡回する際に、形態素解析を利用してサイト内を解析しているほか、テキストマイニングといった分析ツールも形態素解析が組み込まれており、長文などの複雑な文章構造の解析も高精度で実現している。

日本語のMorphological Analysis

英語の文章は日本語と異なり、単語と単語の区切りがほとんどの箇所で明確なため、単語分割には日本語ほど複雑な処理が必要ではない。
日本語の場合、複雑な組合せや同音異義などを想定し、単語単位で区切ることができることができない、形態素解析が難しい言語として位置づけられていたが、日本語変換ソフトなどにMorphological Analysisが組み込まれ、ブラッシュアップされた結果、今日ではMorphological Analysisを扱うAPIが提供されるまでに至っている。

日本語形態素解析の関連ツール

ヤフーデベロッパーネットワーク
http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html
では、「日本語形態素解析Web API」という、日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供している。そのほかgooラボでは「形態素解析API」を公開中である。
https://labs.goo.ne.jp/api/jp/morphological-analysis/

商用に利用できるものとしては「基本言語解析モジュール-日本語」がある。トークナイザーとして、さまざまなプラットフォームで利用可能である。
http://www.basistech.jp/text-analytics/rosette/base-linguistics/rbl-japanese/

日本語形態素解析エンジンとして利用できるものは以下である。
「MeCab」
http://taku910.github.io/mecab/
「ChaSen」形態素解析器
http://chasen-legacy.osdn.jp/
「KAKASI」漢字→かな(ローマ字)変換プログラム
http://kakasi.namazu.org/

関連する他の用語