トークン
ひとことで言うと
AIが文章を処理する最小単位。料金計算や入力制限の基準になります。
一言でいうと：AIが文章を扱うときの、文字の代わりになる単位です。料金や文字数制限の基準になります。
やさしく説明すると
AIは文章をそのまま読んでいるわけではなく、いったん「トークン」という細かい単位に切り分けてから処理します。英語ならおおよそ単語1つが1トークン前後、日本語なら1文字が1トークン前後になることが多い、というくらいの感覚で十分です。
この単位が大事なのは、AIの利用料金がトークン数で決まることと、一度に扱える量にトークン単位の上限があることの2点です。
初心者へのひとこと
チャットサービスを普通に使っている分には意識しなくて大丈夫です。API（後述）を使い始めると、急にこの言葉が重要になります。
関連する用語
- LLM（大規模言語モデル）
- コンテキストウィンドウ
- API
この言葉が出てくる記事
