AI Word

レイテンシ

ひとことで言うと
指示を出してから応答が返り始めるまでの待ち時間。

一言でいうと：お願いしてから返事が返ってくるまでの、待ち時間のことです。

やさしく説明すると

AIの使い心地を左右するのは、賢さだけではありません。返答が始まるまでの数秒が、体感を大きく変えます。この待ち時間がレイテンシです。

一般に、大きく賢いモデルほど遅く、小さいモデルほど速い傾向があります。そのため、難しい相談には大きいモデル、定型処理には小さく速いモデル、と使い分ける設計が増えています。

AIの回答が1文字ずつ流れるように出てくるのは、全部できあがるのを待たずに、できた先から表示しているからです。待ち時間を短く感じさせる工夫のひとつです。