概要
モデルがテキストを処理するときの最小単位。単語そのものではなく、文字・部分単語・句読点などのチャンクになる。
入力トークンと出力トークンがあり、料金・レイテンシ・コンテキスト上限の数え方の基準になる。
同じ文字列でもモデル/トークナイザが違えば個数が変わる。英語ではおおよそ 4 文字 ≈ 1 トークン程度の目安がある。
モデルがテキストを処理するときの最小単位。単語そのものではなく、文字・部分単語・句読点などのチャンクになる。
入力トークンと出力トークンがあり、料金・レイテンシ・コンテキスト上限の数え方の基準になる。
同じ文字列でもモデル/トークナイザが違えば個数が変わる。英語ではおおよそ 4 文字 ≈ 1 トークン程度の目安がある。