概要 学習済みの重みと推論処理を、自分の PC や自組織のサーバ上に置いて動かす LLM の使い方。 プロンプトや添付ファイルは、その環境の中で処理できる。 公開された重みを量子化してメモリを減らし、実行環境に載せる構成が典型になる。 扱える規模と応答速度は、GPU とメモリの容量で決まる。 関連 LLM SLM Contents