AI Word

KVキャッシュ

ひとことで言うと
会話の途中経過を保存して、同じ計算の繰り返しを省く高速化の仕組み。

一言でいうと：会話の途中経過を覚えておいて、計算のやり直しを省く仕組みです。

やさしく説明すると

AIは文章を1文字ずつ生成しますが、そのたびに過去すべてを読み直すと膨大な計算になります。KVキャッシュは、これまでの処理結果を手元に保存しておき、次の1文字では差分だけを計算する仕組みです。

おかげで長い会話でも応答速度を保てます。一方でこのキャッシュはメモリを消費するため、扱える会話の長さを縛る要因にもなっています。

少し専門的な用語ですが、「長い会話ほどメモリを食う」理由がここにあると知っておくと、コンテキストウィンドウの話が腑に落ちやすくなります。