高性能AI（人工知能）モデルが相次いで登場し、サービス運営企業のコスト負担も同時に大きくなっている。最近発売されたAnthropicの’Claude Fable 5.1’とOpenAIの’GPT-6 Astra’も、優れた性能はもちろん高くなった価格で注目を集めた。

Anthropicの Claude Fable 5.1のAPI標準単価は、入力100万トークンあたり10ドル、出力100万トークンあたり50ドルだ。同社の軽量モデルである’Claude Haiku 4.5’（入力1ドル、出力5ドル）と比較すると10倍高い。モデル性能によってコストの差が大きく開き、「高価なモデルが実際にその値段に見合うか」を綿密に検討しなければならない状況になった。

単純に性能の高いモデルを選択することを超えて、GPUコストと応答速度、実際のサービス成果まで総合的に考慮してAI使用効率を高めることが業界の新たな課題として浮上した。これに伴い、AI産業の競争の重心がモデルの単純な性能から「推論効率」へ移っているとの分析が出ている。

GPUコストと応答遅延がAIサービスの収益性に直結するだけに、韓国内のスタートアップもそれぞれ異なるアプローチでAI運用コストを下げる技術を相次いで打ち出している。

コストダウンの「推論効率化」技術の開発

AIモデルを直接構築したり、外部モデルを活用してサービスを運営する企業が増え、推論過程で発生するGPUコストも雪だるま式に膨らんでいる。モデル性能を高めることとは別に、同じ性能を維持しながらどれだけ少ない資源でAIを駆動できるかがサービス運営の核心要因になった。

最も直接的な方法は、AIモデル実行に必要なインフラコスト自体を削減することだ。FriendliAIは「コンティニュアスバッチング」をはじめとするAI推論最適化技術をサービスとして提供している。複数の利用者のリクエストを効率的にまとめて演算時間を最小化することが核心だ。同一のGPUインフラでより多くの演算を処理することで、GPUコストを50%以上下げられるという説明だ。

実際に、チャットボットサービス「zeta」を運営するScatterLabは、FriendliAIの技術を導入して大幅なインフラコスト削減効果を得たと伝えられている。

2022年設立のSqueeze Bitsは、モデル性能を維持しながらも推論に必要なメモリと演算量を画期的に減らす技術を開発した。NAVER D2SF、Kakao Ventures、サムスンネクストなどから投資を誘致した後、今年6月にAI半導体企業Rebellionsに買収された。Rebellionsは自社AI半導体の演算性能に加え、モデルを効率的に駆動するソフトウェア能力まで確保するためにSqueeze Bitsを取り込んだものと解釈される。

ハードウェア段階で推論コストを下げようとする試みも続いている。大規模言語モデル（LLM）推論専用半導体（LPU）を開発するHYPER ACCELは、高価な高帯域幅メモリ（HBM）の代わりにLPDDRを採用しながらも、メモリ帯域幅を極限まで活用してコスト効率を最大化することに焦点を合わせた。データをメモリと演算装置の間で繰り返し移動させる過程自体がボトルネックとなるLLM推論の弱点を突き、演算を最大限コア内部で処理してデータ移動を最小化する構造を開発した。

「実用的なパフォーマンス」検証掘り下げた企業

AIコスト削減に取り組むスタートアップ/グラフィック=チェ・ホンジョン

どのAIモデルをサービスに搭載するかを決定するプロセス自体の重要性も大きくなっている。開発会社が一方的に公開したベンチマークスコアだけでは、実際のサービス環境でのパフォーマンスを正確に把握することが難しいからだ。

AIデータ・信頼性検証企業SELECT STARは、こうしたコスト効率性の盲点を解決するための機能高度化に乗り出した。現在、生成AIサービスの信頼性を自動検証するソリューション「Datumo Eval」を運営中のSELECT STARは、サービス目的に合った評価基準を立て、質問を自ら生成して回答の正確性と安全性を検証している。来年第1四半期中に「コスト対性能（コストパフォーマンス）」を評価する機能を追加搭載し、企業が実使用環境にぴったり合った最適なAIモデルを見つけられるよう方向性を提示するという目標だ。

キム・セヨプSELECT STAR代表は「これまでは主に同一の条件とデータでどれだけの正確度を出すかを評価することに集中していた」とし、「今後は回答にかかった時間や推論コストまで結び付けて、正確度および性能対コストを合わせて検討できるようプラットフォームをアップデートしている」と明らかにした。

モデルのコスト対サービス貢献度を直接比較・検証してくれるスタートアップも登場した。高麗大学の学生創業チームが設立したABTOは、外部LLM APIを連携して使う企業をターゲットにしている。同一のAI機能に異なるモデルを交差適用した後、利用者の決済や再訪問といった核心行動データとAI呼び出しコストを並べて分析してくれる。

これにより企業は単純なベンチマークスコアに頼らず、自社サービスで実際により高い売り上げと肯定的な利用者反応を引き出す「適正モデル」をデータに基づいて選択できる。新規モデルを全体ではなく一部の利用者にのみ選別適用し、既存モデルと成果をA/Bテストのように比較する機能も支援して実効性を高めたという説明だ。

<画像＝高性能AIモデルの登場で運用コスト負担が急増し、AI産業の重心が単純な性能競争で「コスト効率性」に急速に移動している。/生成AI作成>

原文：https://www.unicornfactory.co.kr/article/2026092813293484084