TEXTNET、ユーザーの実際の満足度を測定する「LLMユーザビリティ評価」サービスリリース
![アイキャッチ](/media/Iw2pIM5EVrWVQ9BFqGR1u80Ol3k6XMUYVZF8XSjz.png)
TEXTNET、ユーザーの実際の満足度を測定する「LLMユーザビリティ評価」サービスリリース
人工知能学習データ構築サービスTEXTNET(テキストネット)、法人名SPIRINK(スピリンク)が、ユーザー側面から言語モデルを評価する「LLMユーザビリティ評価サービス」をリリースする。
LLMのユーザビリティ評価は、ベンチマークで測定する性能評価とは異なり、AIとユーザーが交わす会話全般に基づいて、実際のユーザーが体感する満足度を評価する。流暢性、正確性、信頼性などの指標を基に、生成型AIシステムの成果物が適切かどうかを検討し、評価指標は3つの大分類、4つの中分類、12の小分類で構成され、LLMのサービス形態と目的に合わせて様々な側面から評価が可能である。
また、LLMの性能やユーザー満足度はもちろん、評価結果に対する綿密な分析により、すぐに適用可能な改善案からデータレベルの根本的な改善案まで提供することができる。プロジェクト初期に、サービス形態や目的、主な機能やユーザー特性などを検討し、基本評価指標をカスタマイズして適用するため、高い評価信頼性が期待できる。
韓国唯一のテキストデータ設計および構築専門サービスであるTEXTNETは、実務担当者の80%以上が言語専門家で構成されている。特に、AIとの相互作用を強化する目的で継続的なR&Dを進め、ユーザーが好むAIエージェントの発話特性を含む目的達成に向けたAI対話戦略などを研究してきた。
TEXTNETはこのような能力を基に、今年1月、有力通信会社とのAIサービスユーザビリティ評価プロジェクトを成功裏に完了した。他にも、韓国大企業の顧客向けチャットボットをユーザー中心に改善するコンサルティングプロジェクトを3年連続受注した。
TEXTNETのコ・ギョンミン代表は「日常生活の中にAIが位置するようになり、人々はより自然で、会話を続けたくなるAIを求めるようになるだろう」とし、「AI基盤サービスを運営する企業にとっては、顧客コミュニケーションとロイヤリティのバロメーターであるAIユーザビリティは、ベンチマーク性能と同じくらい重要な指標」と述べた。
原文:https://platum.kr/archives/226244
![/media/Platum](/media/U7h88VNWG0YnR3j4cx3WyOiS678Htv1ailpf6FJn.png)
Platum is a media service that specializes in startups, and its motto is "Startup's story platform".
関連記事
-
外国人起業家による「K-ユニコーン」が人口問題解決の鍵となるか
#UNICORN FACTORY #スタートアップ #韓国 #人材 -
Kakao InvestmentがDX促進中の日本に注目…専門家マッチングプラットフォーム「ゼヒトモ」に投資
#UNICORN FACTORY #ベンチャーキャピタル #スタートアップ #DX #グローバル進出 -
個性的なグッズで体験するスタートアップブランド
#Platum #スタートアップ #EC #イベント -
babygo、2024年上半期のアプリ活性化の成果が目立つ
#Platum #アプリ #ライフスタイル -
Maximizer、創業から2年で累積取扱高700億ウォン
#Platum #マーケティング #アドテック #スタートアップ -
Youtubeアプリ、韓国人のスマートフォンアプリデータ使用量全体の42%占める
#Platum #アプリ #韓国