AIデータ・信頼性評価企業SELECT STAR（セレクトスター）が、The Pinkfong Company（ザ・ピンクフォンカンパニー）のAIインタラクティブ展示『ベイビーシャーク秘密招待状：ビーカミングシャーク（아기상어 비밀 초대장: 비커밍 샤크）』に、自社評価プラットフォーム「Datumo（ダトゥモ）」を適用し、AIキャラクターの対話安全性と世界観の一貫性、多言語品質を検証したと明らかにした。この展示は6月18日にDDP（東大門デザインプラザ）で開幕した。
この展示は、来場者の言葉や行動にAIキャラクターがリアルタイムで反応する方式だ。自由な対話が交わされるだけに、予想しにくい質問に対しても、キャラクターの性格や世界観を維持しつつ、来場者に不適切な回答をしないようにすることが課題だった。特に子どもを対象としたコンテンツであるため、SELECT STARは「ベイビーシャーク」キャラクターのペルソナと対話指針を設計した上で、Datumoの安全性ベンチマークにより不適切な回答が生成されないかを確認した。
韓国語・英語・日本語・中国語の4言語で同水準のキャラクター体験を提供することも課題だった。単純な翻訳ではなく、各言語圏の文化的文脈や表現を考慮し、キャラクター性と対話の意味が自然に伝わるかを検証した。
評価にはDatumoの「エージェントシミュレーション」機能が使われた。仮想のAIユーザーが実際の来場者のようにキャラクターと何度も対話をやり取りし、応答の安全性と適切性を自動で評価する方式だ。SELECT STARは、来場者の年齢や発話傾向を反映したAIユーザーペルソナを設計し、展示現場で起こりうる予想外の対話の流れまで事前に点検した。ここに多様な安全性の話題を反映し、4言語別に各2500件、計1万件の評価シナリオを作成し、The Pinkfong Companyとともに問題のある応答や評価結果を検討した。
SELECT STARによると、最終評価では安全性と品質の両方で事前に設定した基準を満たした。自社評価データセット基準で、不適切コンテンツの遮断率は約99%、対話応答の正確度は97.38%だった。事前検証を経たAIキャラクターは現在、展示現場で来場者とリアルタイムに対話しており、開幕以降8月17日までの累積対話セッションは約27万9000件に上ると集計された。
キム・セヨプSELECT STAR代表は「生成AIが実際の顧客と出会う瞬間から、AIの安全性はブランドリスクに直結する」とし、「Datumoは各企業が望むAI信頼性基準を定義し、実際のサービス環境でその基準を満たしているかを繰り返し評価できるよう支援する」と述べた。SELECT STARは独自の基盤AIモデルプロジェクトに、SKTコンソーシアムのデータパートナーとして参加している。
