AI Word

量子化

ひとことで言うと
モデル内部の数値の精度を落として、容量と計算量を減らす手法。

一言でいうと：AIの数値を粗くして、小さく軽くする技術です。

やさしく説明すると

量子化は、AIの内部で使われている細かい数値を、あえて粗い数値に置き換えてファイルサイズと計算量を減らす技術です。少し性能は落ちますが、普通のパソコンでも動くサイズにまで小さくできます。

ローカルLLMが個人のPCで動くようになったのは、この技術の進歩が大きく貢献しています。

たとえるなら、写真の画質を少し落としてファイルサイズを小さくするようなものです。よく見ると粗いけれど、実用上は問題ないことが多い。

モデル名に「Q4」「4bit」などと付いていたら、量子化されたモデルだというサインです。