TEXTNET、ユーザーの実際の満足度を測定する「LLMユーザビリティ評価」サービスリリース

TEXTNET、ユーザーの実際の満足度を測定する「LLMユーザビリティ評価」サービスリリース

人工知能学習データ構築サービスTEXTNET（テキストネット）、法人名SPIRINK（スピリンク）が、ユーザー側面から言語モデルを評価する「LLMユーザビリティ評価サービス」をリリースする。

LLMのユーザビリティ評価は、ベンチマークで測定する性能評価とは異なり、AIとユーザーが交わす会話全般に基づいて、実際のユーザーが体感する満足度を評価する。流暢性、正確性、信頼性などの指標を基に、生成型AIシステムの成果物が適切かどうかを検討し、評価指標は3つの大分類、4つの中分類、12の小分類で構成され、LLMのサービス形態と目的に合わせて様々な側面から評価が可能である。

また、LLMの性能やユーザー満足度はもちろん、評価結果に対する綿密な分析により、すぐに適用可能な改善案からデータレベルの根本的な改善案まで提供することができる。プロジェクト初期に、サービス形態や目的、主な機能やユーザー特性などを検討し、基本評価指標をカスタマイズして適用するため、高い評価信頼性が期待できる。

韓国唯一のテキストデータ設計および構築専門サービスであるTEXTNETは、実務担当者の80％以上が言語専門家で構成されている。特に、AIとの相互作用を強化する目的で継続的なR&Dを進め、ユーザーが好むAIエージェントの発話特性を含む目的達成に向けたAI対話戦略などを研究してきた。

TEXTNETはこのような能力を基に、今年1月、有力通信会社とのAIサービスユーザビリティ評価プロジェクトを成功裏に完了した。他にも、韓国大企業の顧客向けチャットボットをユーザー中心に改善するコンサルティングプロジェクトを3年連続受注した。

TEXTNETのコ・ギョンミン代表は「日常生活の中にAIが位置するようになり、人々はより自然で、会話を続けたくなるAIを求めるようになるだろう」とし、「AI基盤サービスを運営する企業にとっては、顧客コミュニケーションとロイヤリティのバロメーターであるAIユーザビリティは、ベンチマーク性能と同じくらい重要な指標」と述べた。

原文：https://platum.kr/archives/226244