概要 自社が管理するサーバやデータセンター上で LLM の推論を行う運用形態。 部署や全社の複数人が使う前提で、認証、ログ、可用性まで含めて組むことが多い。 入力データは自社のネットワーク内で処理できる。 設備の調達、モデルの更新、障害対応は自社側の作業になる。 関連 ローカルLLM クラウドLLM Contents