機械に14万9,000語を教える、22の言語で

ひとつの単語と、それがとるすべての形

WordChessは25×25の盤面で、148,941語の英語辞書を使ってプレイします⁶。見出しは平均8.6文字で、最長のものは27文字に及びます。ここまでは簡単な部分です。合法な単語のリストとは、ゲームが受け付ける文字列の集合にすぎません。興味深いのは、盤上にある文字列が何を意味するのかをプレイヤーに伝え、しかもそれを22の言語で同時に行うことです。

辞書編纂者は、見出し語(レンマ)とその屈折形との間にはっきりと線を引きます。見出し語とは、辞書で引く語、たとえばrun(走る)、house(家)、be(である)です。その周りを、表層形のパラダイムが回っています。runs、ran、runningといった形です。それぞれは同じ中核的な意味を担いながら、異なる文法的役割に合わせて装いを変えています。³ 辞書は見出し語に説明の文章を費やし、影の方には見出し語を指し示させるだけにとどめます。

ひとつの単語がどれだけの影を落とすかは、言語によって異なります。英語は分析的な言語です。語順と小さな補助語に頼るので、動詞がほんの数個以上の形を持つことはまれです。フィンランド語は膠着語で、語幹に接尾辞を貼り合わせることで意味を組み立てます。フィンランド語の名詞ひとつが、単数と複数のそれぞれでおよそ15の格に屈折し、その上に所有接尾辞や接語が積み重なります。実際に区別される形の数は数千にのぼります。⁴ ハンガリー語は、英語のin my house(私の家の中で)というひとつの句全体を、házambanという1語に詰め込みます。⁵

定義はどこにあるのか

定義は、誰でも編集できる無料の辞書、ウィクショナリー(Wiktionary)から取られています。その規模は膨大で多言語にわたります。このプロジェクトは100をはるかに超える活動中の言語版と数千万の項目を擁し、有給の編集委員会ではなくボランティアによって共同で書かれています。¹ 22の言語で動くゲームにとって、網羅性の点でこれに迫る無料の語彙資源はほかにありません。

しかし、書面上の網羅性は、そのまま読み出せる網羅性ではありません。ウィクショナリーは屈折形を、人間の編集者が同じ語釈を1万回も書かずに済むような方法で保存しています。見出し語でない項目は、定義を書き出す代わりに、form-ofテンプレートを持っています。これは要するに「これはあの見出し語の特定の文法形である」と告げる小さなポインターです。² smoulders(くすぶる)の項目は文章ではなく、「third-person singular simple present form of smoulder」(smoulderの三人称単数現在形)と表示されるテンプレートなのです。¹

こうしたポインターは、無視できる誤差ではありません。英語版ウィクショナリーでは、約127万の定義のうち、およそ47万8,000、つまり3分の1をはるかに超える数が、文章で書かれた語義ではなく「〜の形」という定義です。¹ データはそこにあります。ただ折りたたまれているだけなのです。

語釈とはテンプレートを展開すること

ですから、重要だった課題は決して「単語が欠けている」ことではありませんでした。単語の意味が、素朴なパーサーなら捨ててしまうテンプレートの中に収まっていたことだったのです。WordChessの定義は、ウィクショナリーの生のダンプを読み込み、屈折テンプレートを言語ごとに展開することで作られました。各ポインターが何を意味するかをパーサーに教え、それを平易な語釈に書き換えたのです。⁶

言語ごとに、屈折形は異なる仕組みの陰に隠されています。スペイン語は動詞の活用形を{{forma verbo}}の陰にしまい込んでおり、これは「Xの動詞形」へと解決されます。ドイツ語は、名詞類の格変化形や動詞の活用形に{{Grundformverweis Dekl/Konj}}を使います。フィンランド語は{{taivutusmuoto}}に頼っています。ロシア語はしばしば形のテンプレートをまったく持たず、屈折した語が単なるリダイレクト(собаки → собака)になっていて、「〜の形」という語釈を取り戻すにはそれをたどる必要があります。⁶ それぞれの慣習に対応すれば、網羅率は跳ね上がります。

本プロジェクトの設計・開発ノートから計測。百分率は、使える定義または解決済みの「〜の形」という語釈を持つ辞書項目の割合です。

文字列と、それについての一文

ゲームがいま何を保持しているのかについては、正直であるべきでしょう。WordChessがсобакиはсобака(「犬」)の形だと示すとき、それは何も理解していません。人間の編集者が残したのと同じポインターをたどって、ある文字列を別の文字列、つまり語釈へと対応づけただけです。これはレンマ化(見出し語化)と呼ばれるもので、自然言語処理の働き者です。表層形をその基本形に還元し、機械が追跡すべき別個のものの数を減らすのです。⁷

それは本物の、役に立つ種類の「知っている」です。そのおかげでゲームは、辞書編纂者をスタッフに抱えることなく、アテネでもアムステルダムでも「この単語は何?」に答えられます。しかしそれは、意味としての知識ではなく、参照としての知識です。語釈とは、それを読んだ人がその単語を理解できるだろうという約束です。機械はその約束を保持し、読み手が意味を補うのです。