KRAFTON（クラフトン）が大規模言語モデルを基盤としたAIエージェントのゲーム遂行能力を評価できるベンチマーク「Orak（オラク）」を公開した。

Orakは韓国語で「娯楽」を意味する「オラク」から取った名前で、ゲーム環境でAIの状況認識と判断、行動決定過程を定量的に分析できる評価体系だ。アクション、アドベンチャー、RPG、シミュレーション、戦略、パズルの計6つのジャンルのゲームをベースに設計された。

このシステムには、KRAFTONとNVIDIA（エヌビディア）が共同開発したCPCを通じて蓄積したAI設計経験が反映された。これに基づき、LLMベースのAIエージェントが複雑なゲームの脈絡の中で状況を解釈し、決定する能力を評価する。Orakを通じてCPCを含むAIエージェントのゲーム能力を繰り返し検証できると会社側は説明した。

コア技術にはMCPがある。MCPは、ゲーム情報を言語モデルが理解できるテキストベースの情報として伝達し、モデルの応答をゲームに適用可能な行動に変換する役割を果たす。これにより、LLMはゲームプレーヤーのように作動し、ゲームの状態をテキストや画像として受け入れて行動を選択できる。アクションゲームでは障害物の位置を認識した後、移動やジャンプといった判断をする。

KRAFTONはOrakを通じて今後、ゲーム産業を越えて様々な産業分野に研究を拡張する予定だと明らかにした。また、LLMファインチューニング用のデータセットも併せて提供する。研究者はこれを活用して、事前学習したLLMを実際のゲーム環境に合わせて適用し、最適化することができる。

KRAFTONディープランニング本部のイ・ガンウク本部長は「OrakはKRAFTONの先行研究とノウハウが集約されたゲーム特化型LLMベンチマークで、これを基に今後、LLMエージェントの設計力を競う大会も企画中だ」とし、「今後もゲーム分野に最適化したLLM技術を持続的に開発していく」と話した。

一方、世界AI学会のICLRとICMLに今年、KRAFTONが提出した論文10編が採択された。このうち3編はICLR Spotlightに選ばれた。

＜画像＝LLMエージェントが「Orak」のゲームをプレイしている様子＞

原文：https://platum.kr/archives/263308

KRAFTONに関する情報はこちら👇
https://www.innoforest.co.kr/company/CP00000058/