AIエージェントスタートアップのLINERは、入力される質問の難易度に合わせて複数の大規模言語モデル（LLM）の中から適切なモデルを自動で割り当てる企業向けサービス「LINER Model API」を15日に出品した。同社によると、上位モデル水準の回答品質を維持しながら、LLMトークン（モデルが処理するテキスト単位）のコストを50%以上削減できるよう設計したという。
AIサービスを構築する企業の多くは、回答品質を確保するために高価な最上位モデル1つですべての質問を処理している。実際に流入する質問は難易度がまちまちであるにもかかわらず、すべて上位モデルで処理しているためにインフラコストが不必要に膨らむ構造になっているというのがLINERの診断だ。LINER Model APIは、コーディングや数学、複合的な推論が必要な質問は上位モデルへ、単純な知識型の質問は軽量モデルへと振り分けて処理する。企業側は別途ロジックを実装する必要がなく、既存のAPIを置き換えるだけで導入できる。
LINERはこの割り当て技術の根拠として、自社のモデル評価体系と実際の使用データを挙げた。どのモデルがどの質問に強いかを測定することが出発点であり、LINERはLINER検索、LINERスカラー、LINERライト、LINERファイナンスなどのAIエージェント製品を自ら運用しながら、複数のLLMを比較評価する体系を構築してきたという。公開されているベンチマークだけでは実際のユーザーの複雑な質問パターンを反映しにくい点を、実使用の経験で補ったとしている。
LINERが非識別化処理を施した代表的な質問データセットで自社検証した結果、上位モデルに割り当てられた質問の割合は約43%だった。残りの57%は軽量モデルで処理し、同社はこの過程で正答率の低下なしにコストを削減したとしている。日常的な情報探索から業務処理、学術研究まで利用パターンを分析し、割り当てアルゴリズムを調整したとも付け加えた。
キム・ジンウLINER代表は「すべての質問を上位モデルだけで処理する方式は、簡単な計算のたびに毎回スーパーコンピュータを動員するようなものだ」とし、「次々と登場する新規モデルの性能と単価を開発会社が毎回検証し、切り替えなければならない煩わしさを、LINER Model APIが解決するだろう」と述べた。続けて「企業がコスト負担とモデル選択の疲労から抜け出し、コア業務に集中できる環境を作っていく」と述べた。
原文：https://platum.kr/archives/294603
LINERに関するニュースはこちら👇
