企画記事 2022.05.31

【Klleon】死んだスティーブ・ジョブズと再び話をするとしたら

韓国ちょい事情通の記者 AI エンターテインメントゲームスタートアップ

【Klleon】死んだスティーブ・ジョブズと再び話をするとしたら

ちょい事情通の記者 2号　イム・ギョンオプ

「映画『Her』を見られましたか？ホアキン・フェニックス（主演俳優）が実体すらないOSのAIと恋に落ちるという内容の映画です。その映画を見ると、主人公は人のように話し、考えるAIに、これまで人との関係で感じることができなかった幸せを感じます。

コミュニケーションは必ず人間と行わなければならないのでしょうか？それでは、ペットとのコミュニケーションはどういう意味を持つのでしょう？私たちはコミュニケーションの意味を過度に制限的に考えているのかもしれません。

Klleon創業前、しばらくの間会計学のインターネット講義を聞いていました。ずっと聞いていたのですが、とてもつまらなかったです。突然、頭の中に違う考えが浮かびました。必ず先生が先生のように見える必要があるのだろうか？もしインターネット講義の講師が芸能人のスジだったら？こうした思いつきから考え続けてみたら、突然スティーブ・ジョブズと話してみたくなったのです。

ジョブズではなくても、それ以前のゲーテ、あるいは三国志の劉備と話すとしたら、どういう話ができるのでしょうか。生きている人間を越えて、もし景福宮（キョンボックン）が擬人化されて「福宮」というAIになり、そのキャラクターが景福宮ガイドをしてくれたらどうだろう。私たちの想像の中の存在とのコミュニケーションについて考え続けるようになりました。」

Klleonのジン・スンヒョク代表（29）は、「デジタルヒューマン」が人間のコミュニケーションの対象になると信じる創業家だ。そのように聞くと、ちょい事情通の記者がシーズン2でインタビューしたSCATTER LAB（スキャターラボ）のキム・ジョンユン代表とAIチャットボット、イ・ルダのことを思い出した。

インタビュー時、記憶に残ったのは、イ・ルダの復帰を心から待っていた人々がいたということだ。彼らが送ったフィードバックでは、イ・ルダは本当に「私の話をよく聞いてくれる」友人だった。その時から2号も「私たちが知るコミュニケーションのカテゴリー」ははるかに広がるということを感じた。

Klleonとジン・スンヒョク代表は、イ・ルダとは異なる方法でデジタルヒューマンの道を開拓しているスタートアップだ。幼い頃、しばらくキラキラと話題になったが、結局声も噂もなく消えてしまったサイバー歌手アダムの失敗を繰り返さないようにするためだ。

1990年代末に話題になったサイバー歌手アダム。CFに出演したりもした。

デジタルヒューマンの目、鼻、口...顔、体を作る

Klleonのジン・スンヒョク代表/Klleon

Klleonはデジタルヒューマンのグラフィックに集中しています。イ・ルダや映画「Her」に登場するAIのように実体がなくてもよいのではないでしょうか。

デジタルヒューマンの大きな分岐点は2つです。

1つ目は、実際の人間のように話す頭脳を作ること。それがイ・ルダです。もう1つの技術はKlleonのようにデジタルヒューマンを人間のように見せる技術を作ることです。人は視覚に多く影響を受けます。目に見えず、ちょっとした異質感が感じられるだけでも、すぐに信じることをやめます。例えば、声は人のようでなくてはならず、さらには顔、表情とジェスチャーまで。人間のように感じさせるにはすべてが重要だと考えます。

イ・ルダがデジタルヒューマンの脳に注力したとすると、KlleonはUXに注力するのです。

以前にもサイバー歌手アダムのように数多くのデジタルヒューマンが存在しました。それでも、親近感を覚えられなかった理由は、その異質感のためでしょう。ウィンクする姿がぎこちなかったり、どこかがおかしく見えるだけでも、すぐに無意識に距離を感じるようになります。

デジタルヒューマンを機械だと認識はしても、無意識の中では人間のように感じるようにしてこそ、デジタルヒューマンとより深いコミュニケーションが可能です。人間の視覚を説得する作業ですね。

外国語へ音声と口の形を自動的に変えてくれるサービスもありますよね。音声は視覚の領域ではありませんが。

「韓国人が韓国語で韓国人とだけ行うコミュニケーション、を乗り越えることができるからです。おそらくコミュニケーションの革新、その果てはすべての世界の人々が言語の障壁に制限されずに会話することだと思います。翻訳はGoogleや他の企業が作っており、音声をテキストに、テキストを音声に変える技術を研究するスタートアップもあります。

私たちの技術「Klling（クリング）」は、映像の中に他の複数の言語をダビングするようにしてくれるソリューションです。例えば、ソン・ガンホの「ああ、お前は計画があるんだな」を英語、スペイン語、日本語に変えると仮定します。機械音のように、これを翻訳して口の形がぎこちないとしたら？人々がコミュニケーションに没頭することはできませんよね。これを自然な音声のトーンと映像に調節してくれる技術です。

ソン・ガンホの「パラサイト」の名セリフを複数の国家の言語で作ったKllingのデモ映像。声優がダビングを行ったのではなく、AIが作り上げたものだ。/Klleon

Klling以外にも2つのプロダクトがありますね。

「仮想人物を作り出すサービス「Klone（クローン）」、そして既存の映像を多様に合成して共有できるソーシャルメディアサービス「Kamelo（カメロ）」も運営しています。Kameloは、例えば、自分の顔の写真を撮って他の歌手の映像に顔を合成するという方法で、面白い映像を作って共有するプラットフォームです。KloneとKllingは主にB2Bサービスをターゲットに作成しました。」

仮想人物を作り出す？それも写真1枚と音声30秒だけで？

「記者さんの写真を今1枚取り込んで、制作コードに希望の単語を入力します。（実際に使用してみた）例えばdevilと検索すると顔が悪魔のように変わり、エフェクトの強さを調節することができます。ゲームキャラクターにしてみましょうか？

エズリアルというLeague of Legends（リーグオブレジェンズ）のキャラクターにしてみましょう。こんな風に2～3秒で、記者さんの顔がエズリアルのようになります。同じ方法でユン・ソンニョル大統領との合成も可能です。このように。Googleでキーワードを検索し、イメージの特性をAIが把握して共通の要素を顔に被せる方法です。音声は30秒で、5カ国語での口の形を変えながらの合成が可能です。

2号の顔をゲームキャラクターエズリアル（上）とユン・ソンニョル大統領と合成してみた。ユン大統領との合成には少し驚いた。Klleonは合成のレベルを調節できる機能も備えており、このすべての変換は5秒以内に終わった。 /Klleon

再び蘇ったベートーベン、300万ウォン（約30万円）あればデジタルヒューマン製作可能

デジタルヒューマンの偉人250人を製作したとお聞きしました。

「Klleonが作ったベートーベンをご紹介します。「こんにちは、ベートーベン、あなたは何歳?」「（ベートーベンの返答）確実な記録ではないが、1770年12月17日に洗礼を受けた。」このように写真を基にした映像のベートーベンがリアル感のある声で、複数の言語によって返事をするようにできます。

このような偉人250人を製作しています。偉人展コンテンツとして活用することもできます。企業の広告に出てくる完全に人のようなデジタルヒューマンではなくとも、複数の産業分野で使用することができるでしょう。

最近は体型や動きまで自動で付けられる技術を作っています。研究者がダンスをしたり、軽くジェスチャーをするのを映像で録画した後、AIが学習し、コンテキストや状況に合わせて映像の中のAIが動くようにするのです。

ゲーム会社や映画撮影の際は、モーションキャプチャのために人体に複数の装備を吊り下げて動かしますが、私たちはAIをベースに映像を分析して作ります。人体の主要な関節をAIが把握した後、動きを計算する方法です。体積感を予想したりもします。技術の発展により、多くの動きを3D化可能になりました。

関節の動きを把握したら、再び3Dグラフィックが人のように動くよう作らなければなりません。Klleonの技術はこれらすべてを自動で行うことが可能です。特に人のような動作を生み出す技術そのものにおいては、圧倒的な技術を持っていると自負しています。全体のチームメンバーは現在60人ですが、25人ほどが純粋にAIや3Dレンダリングなどを専攻した研究者レベルのメンバーです。彼らと一緒にこのロジックを組んでいます。」

NVIDIA（エヌビディア）、SNAP（スナップ）、Hisense（ハイセンス）などの他の企業もこの技術に飛び込んでいますが？

「自社テストをしてみると、解像度、多言語サポート、照度など様々な要素において、Klleonは他のグローバル企業、韓国企業のデジタルヒューマンよりもリアルに感じるグラフィックス技術を持っています。数値でも証明できます。実は、この市場はすべてのデータが公開されています。

Google、Facebook、Amazonが数千万枚の写真を共有し、音声技術をすべてオープンソースで公開した市場なのです。データは既にある上で、アルゴリズムを組み立て、誰がより優れたAIで「デジタルヒューマンが人間に見えるよう」騙せるか、をテーマに戦う市場です。

彼らのAIよりKlleonが優れている理由は？

「営業機密のため説明することができません。ビジネス的な理由を説明するなら、大企業のAI研究所とすぐさま厳しい地面で実戦を走るスタートアップの違いでしょうか。先ほどお話しした会社らのデジタルヒューマンは、実際の量産サービスというよりは研究所レベルの未来技術に近いです。

対して、私たちはさまざまな方法でサービスを行っています。ソーシャルメディアサービスを行い、300万ウォン（約30万円）でデジタルヒューマンをお作りするサービスも行っていますから。実際にサービスを行うと、あちこちから問題が飛び出してきます。

私たちはその度に、戦略とプロダクトを修正することを繰り返し、顧客を説得するための仕事をします。研究所ではそのように、フィードバックを受けて修正を行うということも少ないです。最前線で走るスタートアップのハングリー精神と言いましょうか。」

デジタルヒューマンを作るのに数億ウォン（数千万円）ではなく300万ウォン（約30万円）ですか？

はい。従来のデジタルヒューマン製作方式では2億ウォン（約2000万円）程かかります。3Dグラフィックデザイナーがひとつずつ、手作業で作らなければなりませんから。

この手順を自動化したのがKlleonの特徴です。AIが、動き、口の形、表情、感情、声のトーンまですべて予測することにより可能にしました。既存のデジタルヒューマンが小品種少量生産だったとするなら、Klleonは多品種多量生産を可能にさせます。

こんなに安く作る理由ですか？企業のCI、ブランドアイデンティティを盛り込んだデジタルヒューマンをとてもたくさん作りたいのです。なぜ企業は必ず芸能人、インフルエンサーを通じて広報しなければならないのだろう？こういう疑問は、言われていませんでしたよね。

もし数億ウォン（約数千万円）を使って広告を出したのに、その芸能人が事故を起こすリスク。かなり起こったことです。なぜ企業の代表、オーナーがまるで企業のすべてを象徴する人物のようになったのでしょうか。

ブランドのイメージと色、アイデンティティを示すデジタルヒューマンがいれば、すべて解決されます。チャットボットでの顧客相談から、多くのことをデジタルヒューマンが行ってくれます。芸能人は広告何本かに出演するのが全てですから。そういった企業のCIを盛り込んだデジタルヒューマン制作サービスをしようとしています。はるかに大きな市場がそこにあるでしょう。」

デジタルヒューマンにともなう難題、ディープフェイクはいかがでしょう？

「実際にサービス中のKameloには、「ポルノディテクティブ」という機能で性的な映像に顔を合成することを自動的に遮断する技術が搭載されています。合成技術を作る会社であるため、逆に映像を解体して性的な要素を把握する技術も持っています。組み立てに熟練した技術者は、逆に解体に精通しているのと同じです。

法と規制、そして文化も重要です。まずディープフェイクに対する強力な処罰、そしてデジタルヒューマンと3D合成技術を必要なところに利用する人間の文化です。原子力も、危険な技術ですが、今は有用な技術として活用されています。文化と制度がきちんと揃えば、ディープフェイクを憂慮して、デジタルヒューマンを排除する必要はなくなるでしょう。」

Klleonが4番目の創業、「あ、お金ってこういう風には稼げないんだな」

Klleonを始める前、20歳の時から、すでに大きくて小さな創業を3つもされていましたよね。

「大学に通っている頃、勉強がとても嫌いでした。本当に熱心に、スタークラフト2をしていたんです。韓国ランキング5位まで昇りつめて、プロゲーマーになる提案を受けたりもしました。そうしている中で、大学1年生の時、インドネシアでの8ヶ月の奉仕活動に行きました。

そこで子供たちの世話をするのが仕事だったのですが、一人で残る昼間の時間にあまりすることがなかったため、他のことを考えているうちに、「本寄付ベンチ」のアイデアを思い付きました。公園や道に置けるベンチの中に古本を入れられる小さなホームを置くんです。古着ボックス、古本ボックスを置きづらい理由は、空間を占領してしまうからでした。その空間をベンチに変えるのです。そしてチームメイトを数人集めて夜明けに本を集めに行きました。」

古本ベンチは、いくつ設置されたんですか?

「母校の漢陽大学の9つを含めて、10個を少し超えたはずです。大失敗でした。ベンチを開いてみると、人々がタバコの吸い殻や色々なゴミを捨てていました。お金の怖さを知りましたね。ああ、こんな風にお金を稼ぐことを考えるべきではないと。そしてすぐにフードトラックの創業をしました。実際にフードトラックを1台運営もしましたし、ソウルにはいくつかフードトラックのスポットがあるんです。漢江（ハンガン）夜市や大学祭などですね。

いくつかのフードトラックにアプリに登録してもらった後、フードトラックを必要とする場所、企業とつなぐ、そんなプラットフォームを企画しました。それもダメでした。理由は「開発がきちんとできなかったから」です。あまりに使い勝手が悪かったのです。その時、またひとつ学びました。コーディングサークルに入り、2年間狂ったように開発を学びました。

3つ目の創業、GRIDA HOUSEは売上が50億ウォン（約5億円）まで行かれたとお聞きしました。

「24歳の時にインテリア自動化ソリューションを出しました。母が近所で小さなインテリアを作ろうとして詐欺にあったんです。市場を調べると、怒りが湧いてきました。価格も、情報も真っ暗な市場に、疑問が生まれました。そこで、規格化された素材と工法を入力すると、自動的にインテリアを作ってくれるソリューションを作りました。

例えばPC組立の際、インターネットプラットフォームに行き、部品A、B、Cと選んで工賃を払うと自動でPCが完成され、配達されます。それをインテリア市場に適用したサービスでした。3年半程度行い、かなり成長しましたが、Klleon創業アイデア実現のために私が会社を出ました。高校の同期がKAISTでAIを専攻していたため、彼と一緒に2年間研究しながら準備したアイテムが今のKlleonです。」

やはり科学とコーディングを勉強しなければいけないのですね。

いえ。私は科学高校（世宗（セジョン）科学高校）を出ましたが、勉強が本当に嫌いで、むしろ本が好きでした。実は中学校までは自分が天才だと思っていました。中2の時物理、中3の時数学オリンピックに入賞して科学高校に進学したので。ところがその後からはずっと勉強を熱心にやらなかったのです。

いつも本を読んで他のことを考えていました。中学校の時はベルナール・ヴェルベールの小説をたくさん読みましたし、日本文学も好きでしたし、特に三国志は本当に毎回読むたびに新しいです。そうした本を読んで、いろいろ考えていたら、創業をし続けるようになりました。」