単語埋め込みとFastTextによるサブワード表現の概要

単語埋め込みとは

コンピュータは記号ではなく数値で処理します。そのため、”cat” や “run” といった単語を意味や使用状況を反映した数値ベクトルに変換する手法が「単語埋め込み」です。同じ文脈で使われる単語はベクトル空間で近くなるよう学習されます。

従来の埋め込みの課題

最も基本的な方法はワンホットエンコーディングですが、語彙が増えると次元が膨大になり、ほとんどゼロになるためメモリを浪費します。また、単語同士の関係性を表せず、未学習語（OOV）やタイプミス、形態素が豊富な言語への対応が困難です。

FastText の仕組み

Facebook AI Research が開発した FastText は、単語全体を一つのベクトルとして扱うのではなく、文字 n‑gram（例：”playing” の “pla”, “lay”, “ayi” …）というサブワード単位に分解し、それぞれにベクトルを割り当てます。単語のベクトルは、単語自身のベクトルとすべての n‑gram ベクトルを平均または合計して生成されます。

サブワード埋め込みの利点

• 訓練データに登場しない単語でも、構成する n‑gram が既知ならベクトルを作成できる。
• タイプミスやスペルミスに対してロバストで、類似した n‑gram を持つ語はベクトルが近くなる。
• 形態素が多様な言語でも、語幹や接尾辞を共有することで適切に表現できる。

FastText の活用シーンと注意点

ノイズが多いテキスト（チャットログ、SNS 等）や、専門用語・造語が頻出する領域、形態素が豊かな言語で特に有効です。一方、予測時に複数の n‑gram ベクトルを参照するため計算コストが上がり、類似性が必ずしも意味的に直感的でない場合があります。クリーンで大量の学習データがある英語などの場合は、Word2Vec や GloVe でも十分です。

まとめ

• 単語埋め込みは語義を数値ベクトルで表現し、類似度計算や機械学習の入力に利用できる。
• 従来の埋め込みは OOV やタイプミスに弱い。
• FastText は文字 n‑gram に基づくサブワード埋め込みで、未知語や誤字にも柔軟に対応できる。
• 速度と解釈性は犠牲になるが、ノイズが多いデータでは強力な選択肢となる。

実践例

Python の Gensim ライブラリで小規模な FastText モデルを学習し、一般的な単語、稀少語、完全に新しい語のベクトルを取得できます。作成したベクトルを比較すれば、FastText が未学習語をどのように扱うか確認できます。

参考リンク

• FastText の解説動画
• 公式ドキュメント（FastText 埋め込み）
• サブワード情報で単語ベクトルを拡張する研究論文
• Kaggle ノートブック：FastText 入門

元記事: https://dev.to/priyeshdave6/day-14-fasttext-and-subword-embeddings-34ed