オンデバイスAI

一言でいうと：インターネットに送らず、スマホやパソコンの中だけでAIを動かす方式です。

やさしく説明すると

従来、AIの処理は高性能なサーバーで行い、結果を受け取る形が主流でした。オンデバイスAIは、軽量化したモデルを端末側に置き、その場で処理します。

利点は3つあります。データが外に出ないので安心、通信の往復がないので速い、圏外でも使える。代わりに、扱えるモデルの規模は小さくなります。

初心者へのひとこと

スマホの文字変換、写真の被写体認識、音声入力。すでに身近なところで動いています。最近の端末がAI性能をうたうのは、この処理のためです。

関連する用語

• ローカルLLM
• 量子化
• レイテンシ