あるリテール企業が 6 か月かけて需要予測モデルをトレーニングします。データサイエンティストが検証し、経営陣が承認し、モデルは準備完了となります。そして本番環境に投入され、1 日に何千ものクエリを処理し、それぞれ 200 ミリ秒以内で応答し続けることを、数か月から数年にわたって求められます。それが推論です。学習済みモデルを実際のデータで継続的かつリアルタイムに動かし、実際の出力を生成するプロセスです。

AI の話題ではトレーニングが多くの注目を集めます。しかし、ビジネス価値が生まれるのは推論の場面です。

トレーニング vs. 推論：根本的な違い

推論を理解するには、それが何でないかを理解する必要があります。トレーニングは、大量のデータにモデルをさらし、正確な出力が得られるまでパラメータを調整することでモデルを学習させるプロセスです。計算コストが高く、費用もかかり、比較的まれに実施されます。

推論はその逆です。パラメータがすでに確定したモデルを新しい入力に対して実行し、予測を生成するプロセスです。推論は次のような場面で発生します。

顧客がチャットボットに質問を入力して回答を受け取るとき
不正検知システムがリアルタイムでトランザクションを評価するとき
ドキュメント処理パイプラインがアップロードされた請求書からデータを抽出するとき
レコメンデーションエンジンがユーザーに次に表示するコンテンツを決定するとき

トレーニングは一度（または定期的に）実施されます。推論は本番システムが求めるボリュームで継続的に実行されます。多くの企業にとって、本番環境における AI の継続的な計算コストのほぼすべてが推論から生じています。

推論の仕組み

推論の際、学習済みモデルは入力（テキスト、画像、構造化データ、または音声）を受け取り、学習したパラメータを通じて処理して出力を生成します。大規模言語モデルの場合、入力はトークンに変換され、モデルは学習したアテンション機構を使用してTransformer アーキテクチャでそれらを処理し、応答が完成するまで出力トークンが逐次生成されます。

推論の間、モデルのパラメータは変化しません。モデルはクエリから学習しているのではなく、すでに学習したことを新しい入力に適用しています。この違いは実用上重要です。同じモデルが何千もの同時ユーザーを処理しても、あるユーザーが他のユーザーに影響を与えることはないのです。

推論のコストは、数十億または数千億のパラメータを持つ可能性のあるモデルを通じて入力を処理するために必要な計算から生じます。パラメータが多いほど一般的に能力が高まり、推論呼び出しごとの計算量も増えます。

パフォーマンスの 2 つの重要な次元

レイテンシは、入力から出力までの 1 回の推論呼び出しにかかる時間です。チャットボットの応答を待っているユーザーはレイテンシを体験しています。放射線科医が読影を待っている医療画像 AI には低レイテンシが必要です。夜間にバッチで実行されるドキュメント処理はより高いレイテンシを許容できます。

スループットは、システムが単位時間あたりに処理できる推論呼び出し数です。数百万人の買い物客を対象とする e コマースのレコメンデーションエンジンには高いスループットが必要です。20 人のアナリストチームが使用する法的ドキュメント分析ツールのスループット要件ははるかに低いです。

この 2 つの次元はしばしばトレードオフの関係にあります。例えば複数の推論リクエストをまとめてバッチ処理すると、ハードウェアが多くの入力を並列処理するためスループットは向上しますが、個々のリクエストはバッチが埋まるのを待つためレイテンシは増加します。適切なバランスはユースケースによって異なります。

推論最適化は、品質を犠牲にせずにモデルをより速く、より安価に動かすことに特化した技術分野です。

AI スタック全体における推論の位置づけ

推論は AI スタックの最上位に位置します。基盤モデルは AI ラボが大規模な計算クラスターを使って一度トレーニングします。企業はこれらのモデルを API 経由で呼び出すか（この場合推論はプロバイダーのインフラで実行される）、自社のハードウェアやクラウドインスタンスにモデルをローカルにデプロイします。

API 推論とローカルデプロイの選択にはトレードオフがあります。API 推論は導入が簡単で、自動的にスケールし、使用量に応じてコストが変動します。ローカルデプロイはデータプライバシーの制御が強化され、非常に高いボリュームでは安価になり、ファインチューニングによるカスタマイズが可能で、外部プロバイダーへの依存がなくなります。

MLOpsの実践により、本番環境での推論管理が規定されます。モデルのバージョン管理とデプロイ、パフォーマンスの監視、モデルが予期せぬ動作をした際のロールバック、再トレーニングのタイミングなどです。モデル監視は、ビジネスへの影響が出る前に性能低下を検知するために、推論の出力とパフォーマンス指標を継続的に観察する実践です。

推論のビジネスコスト

AI を大規模に活用する組織にとって、推論コストは重要な予算項目です。コストの主な要因は以下の通りです。

モデルサイズ。モデルが大きいほど推論呼び出しごとの計算量が増えます。700 億パラメータのモデルは 70 億パラメータのモデルの約 10 倍のコストがかかりますが、ユースケースによっては品質の違いがコストを正当化することもあります。

リクエスト量。推論コストは使用量に比例してスケールします。1 日 1,000 万回の推論を処理するシステムは、1 万回処理するシステムに比べて比例的に高いコストがかかります。

ハードウェア。GPU 推論は CPU 推論より高速ですが高コストです。特化した推論チップ（Google の TPU や AWS Inferentia など）は特定のワークロードのコスト効率を向上させることができます。

コンテキストウィンドウのサイズ。言語モデルでは、推論コストがトークン数に比例するため、長い入力ほど処理コストが高くなります。各呼び出しで大量のコンテキストを渡すシステムは比例的に高いコストに直面します。

量子化、蒸留、キャッシング、バッチ処理は、根本的に異なるモデルに切り替えることなく推論コストを削減する主要な技術的手段です。

リアルタイム推論 vs. バッチ推論

すべての推論がリアルタイムで行われるわけではありません。多くの価値ある AI アプリケーションは、ライブリクエストへの応答ではなくバッチスケジュールで実行されます。

リアルタイム推論はリクエストが届いた瞬間に処理し、ミリ秒から秒単位のレイテンシで応答します。チャットボット、不正検知、リアルタイムパーソナライゼーション、音声アシスタントはすべてこのモードを必要とします。

バッチ推論は大規模なデータセットをスケジュールに従って処理します。多くは夜間またはオンデマンドで実行されます。毎晩すべてのリードをスコアリングする CRM エンリッチメント、アップロードされたファイルのキューを処理するドキュメント処理、週次レポートを生成する分析ワークロードはいずれもバッチパターンに当てはまります。バッチ推論は一般的に推論呼び出しあたりの費用が安く、ユーザー向けのレイテンシ要件という制約なしに効率的なバッチ戦略を活用できます。

モード間の選択は技術的な問題だけでなく、製品とアーキテクチャの判断です。当初はリアルタイム推論が必要に見える多くのユースケースが、ビジネス価値を大きく失わずに準リアルタイムやバッチとして再設計でき、コストを大幅に削減できることがあります。

ビジネスリーダーが理解すべきこと

最も注目される AI 用語、トレーニングデータ、モデルアーキテクチャ、ベンチマークスコア、はすべてモデルの潜在能力に関するものです。推論は、その潜在能力がビジネス成果に結びつくかどうかが決まる場面です。

AI 投資の意思決定を行うリーダーは、最初から推論の経済性を考慮する必要があります。テストでは素晴らしい性能を発揮しても、本番で想定予算の 10 倍のコストがかかるモデルは成功とは言えません。精度はやや低くても、ユーザーのエンゲージメントを維持する推論レイテンシを持つモデルの方が、より多くの価値をもたらすことがあります。

AI ベンダーや開発オプションを評価する際には、推論呼び出しあたりのコスト、本番ボリュームでのレイテンシ、使用量に応じた推論コストのスケールの仕方、そしてベンダーの推論最適化アプローチについて確認してください。それらが AI ユースケースの経済的持続可能性を決定する数値です。

外部リソース

NVIDIA Inference Platform - 大規模モデル推論の業界標準インフラ
Hugging Face Inference Endpoints - 本番モデルサービングと推論トレードオフのガイド
Google AI Inference Best Practices - 推論アーキテクチャと最適化の実践ガイド

よくある質問

AI 推論についてよくある質問

AI 推論とは何ですか？

AI 推論とは、学習済みの機械学習モデルを新しい入力に対して実行し、予測や出力を生成するプロセスです。AI の本番フェーズであり、過去のデータでトレーニングされたモデルをライブデータに適用して価値を創出します。顧客の質問への回答、リードのスコアリング、不正検知、文書生成などがその例です。

トレーニングと推論の違いは何ですか？

トレーニングは大規模なデータセットにモデルをさらしてパラメータを調整することでモデルを学習させるプロセスです。推論はそのパラメータを変えずに、学習済みモデルを新しい入力に対して実行することです。トレーニングはまれに実施され、大規模な計算を必要とします。推論は本番ボリュームで継続的に発生し、継続的な AI インフラコストのほとんどを占めます。

推論のレイテンシがビジネスにとって重要なのはなぜですか？

レイテンシは AI を活用したエクスペリエンスがユーザーにとってどれほど応答性が高いかを決定します。チャットボット、リアルタイムレコメンデーション、音声アシスタントなど顧客向けアプリケーションは、ユーザーを苛立たせないために低レイテンシが必要です。従業員が使用する社内ツールは一般的にレイテンシへの許容度が高いです。レイテンシ要件を正確に定義することは、推論アーキテクチャの意思決定において重要な部分です。

組織はどのように推論コストを削減できますか？

主な手段は、品質が許す範囲で小さいモデルを使用すること、量子化によりモデルサイズを削減すること、レイテンシの制約が許す範囲でリクエストをバッチ処理すること、一般的な応答をキャッシングすること、そしてワークロードに適したハードウェアを選択することです。推論最適化は独自の技術分野であり、多くの組織は基盤モデルを変えることなく体系的な最適化によって 50〜80% のコスト削減を実現しています。

Victor Hoang

Co-Founder & CMO, Rework

AI Terms

AI 推論とは？本番環境でモデルを動かす