企業がAIに仕事を任せ始めている。
では、そのAIが出す回答が信用に値するかどうかは誰が判断するのか。SELECT STARはそれを事業にした。SELECT STARのモ・セウン事業戦略リーダーは、会社が手がける仕事を一つの例で説明した。
「AIが時々、事実ではないのに事実であるかのように的外れな話をすることがあります。例えば、ある家電会社がAIで顧客向けチャットボットを作ったとしましょう。顧客が『最近よく売れているエアコンを教えて』と尋ねたとき、競合他社の製品を勧めてしまったら問題ですよね。間違った情報ではないものの、サービス本来の目的と合わないわけですから。そうした問題を私たちが見つけ出すとイメージしてもらえればいいと思います」
SELECT STARは2018年11月、KAIST出身の6名が共同創業したAIデータ企業だ。AI学習用データの収集・加工事業として始まり、そのデータ力を基盤にAI信頼性評価へと領域を広げた。評価プラットフォーム「DATUMO」がその成果物だ。同社によると、金融業界や大企業、公共機関の生成AIサービスに評価技術を適用してきた。新韓銀行の金融知識問答、ウリ銀行のAI住宅ローン申込相談員、韓国銀行の中央銀行特化型大規模言語モデル（LLM）、LG電子のAIアシスタント、外交部の知能型外交安保プラットフォームなどが代表例だ。
指標は人が設計するが、実際の回答評価は主にAIが担う。LLMで別のLLMの回答を評価する、業界で「LLM-as-a-judge」と呼ばれる方式だ。カギとなるのは何を良い回答とみなすかだ。すべてのAIサービスに同じように適用できる一つの採点表があるわけではない。サービスの目的によって良い回答の基準も変わる。
「サービスがどんな目的を持って作られたかが最も重要な基準です。顧客企業がこのサービスでどんな部分を重視したいのかをまず確認し、それを数値化して指標を設計します。顧客企業自身も何を重点的に見るべきか判断がつかず、逆に私たちに質問されることもあります」
逆説的に、このAI評価事業で最も時間がかかるのは計算ではなく対話だ。前段階でコンサルタントが顧客と評価指標を協議するのに短くて3週間、長ければ2〜3カ月かかり、指標が決まってプラットフォームに入れば結果は1〜2日で出る。AIサービスはモデルやデータが少し変わるだけで性能が変わるため、DATUMOは一度使って終わるプロジェクトではなく、アップデートのたびに再評価しながら継続的に使われるサービスとして運用されている。
韓国内の需要は金融と公共部門から始まった。信頼が最優先の金融業界はAIを導入しつつもリスクは最小化したいという要求が大きく、公共部門は誤った発話の波及効果が大きい領域のためその信頼性が重視される。今年1月に施行されたAI基本法は、高影響AIを扱う事業者に対し、信頼性や安全性を確保するための措置を求めている。こうした法整備を背景に、彼はAI評価も情報セキュリティ点検やソフトウェア品質保証（QA）と同様、標準的な手続きとして定着すると見ている。
「AIの発展速度が速い分、リスクも同時に大きくなっていると思います。企業や個人が被害を受ける状況を減らすため、政府も制度的な装置を整備しています。そうした流れの中で、AI評価も一つの重要な基準として定着していくのではないかと思います」
SELECT STARは今年5月から海外事業を本格化させた。米国は副代表が現地で、日本はモ リーダーが担当している。彼が日本企業と会う中で確認したのは、企業ごとにAI導入段階と評価需要が異なるという点だった。すでにAIサービスを運用しながら評価体系を検討している企業もあれば、まだサービス自体を具体化している段階の企業もあった。
「日本で複数の企業に会ってみると、AIを活用する段階が企業によって大きく違いました。私たちのサービスは評価対象となるAIサービスがなければ適用できないため、まだ評価対象自体を具体化している段階の企業もありました」
初期の営業過程では、すぐには導入が難しいという反応もあった。現場レベルではAI評価の必要性を感じていても、全社的な優先順位にまでは至らないケースがあるという説明だ。
「現場では必要性を認識していても、全社的なレベルではまだ優先順位が高くない場合があります。そうした企業とは、まずどんな状況で評価が必要なのかという話から始めています」
前向きな兆しもある。契約締結前の段階のため社名公開は控えたが、日本のとある大企業がDATUMOのデモを使ってみたいという意向を示したという。他にも日本の大手通信会社系列のサイバーセキュリティ企業ともミーティングを行ったという。モ リーダーは、AIとセキュリティに精通した企業ほどDATUMOに関心を示すケースが多かったと話した。
日本の営業で重視しているのは現地の実績と信頼構築だ。
「韓国ではすでに7年間事業を行ってきており、複数の実績もありますが、日本ではまだ私たちのことをよく知らない企業が多いです。現地の顧客事例を作り、それを基に信頼を積み上げていく過程が重要だと考えています」
そのため、戦略は二つに分かれる。現地パートナーと共にシステムインテグレーション（SI）企業を攻略する道と、AIサービスを直接運用するエンドユーザー企業を攻略する道だ。デモ使用の意向を示した企業はエンドユーザー側だった。SIは顧客やパートナーなど複数の利害関係者と協議する必要があるため、意思決定過程が長期化することが多い。
また、米国と日本ではアプローチを変えている。米国では類似の評価プラットフォームがすでに複数登場しており、プラットフォーム自体よりも韓国で蓄積した評価データと実績を前面に出す形をとっている。日本ではAI評価サービスがどんな状況で必要とされ、どう活用できるのかをまず説明することに重きを置く。技術的には言語別データセットがカギとなるが、同社は韓国語と日本語の評価データセットを両方保有している。
拠点を東京に定めた理由は明確だ。同社によると、DATUMOの主要顧客群である金融・通信・製造・IT大手企業の本社と意思決定組織、それらを支援するSI・コンサルティング企業が東京に集中している。現在日本で行っている業務も二つに整理される。顧客と概念実証（PoC）を作り上げる営業活動、そして現地パートナーと法人・口座など長期的な事業基盤を構築する作業だ。ミーティングがPoCへ、PoCが日本の顧客実績と商用契約へとつながる構造を作ることが日本での目標だ。
AIが企業の業務の中に深く入り込むほど、AIを作る技術と同じくらい、それを試験する技術もまた一つの産業になる。SELECT STARはその市場が今まさに開かれ始めていると見ている。インタビューの最後に、彼はこう語った。
「AIの発展に伴い、韓国でも日本でも、リスクは今後さらに増えていくと思います。そうしたリスクは、当然、ある程度コントロールしていく必要があります。その中でSELECT STARは、AIの性能向上だけでなく、安全性も両立できるよう支援するパートナーでありたいと考えています」
<画像＝モ・セウン SELECT STAR事業戦略リーダー/©Platum>
