概要

テキストに加え、画像や音声など複数の種類のデータを受け取って推論する大規模言語モデル。
画像の説明、図表への質問、画面内の文字読み取りに使う。
各データのエンコーダ、言語モデル本体、両者をつなぐ接続部で構成されることが多い。
入力が複数でも、出力は文章だけのモデルが一般的である。

関連

Contents