埋め込み(Embedding)
ひとことで言うと
文章を数値のベクトルに変換し、意味の近さを計算できるようにする技術。
一言でいうと:言葉や文章を、意味の近さがわかる数字の並びに変換することです。
やさしく説明すると
コンピューターは言葉そのものを比べられないため、文章を数字の列(ベクトル)に変換します。この変換を埋め込み(エンベディング)と呼びます。
うまく変換すると、意味が近い言葉は数字の並びも近くなります。「犬」と「猫」は近く、「犬」と「microwave」は遠い、という具合です。これによって「意味で検索する」ことが可能になります。
たとえるなら
たとえるなら、すべての言葉に地図上の座標を割り振るようなものです。似た意味の言葉は近所に、無関係な言葉は遠くに配置されます。
初心者へのひとこと
RAGが成り立っているのは、この技術のおかげです。裏方ですが、極めて重要な部品です。
関連する用語
- ベクトルデータベース
- RAG(検索拡張生成)
- 自然言語処理(NLP)