AI吹替技術がコンテンツ市場を揺るがしている。韓国語で制作されたドラマや映画の音声を、AIが自動的に自然な英語・日本語の吹替音声へ変換する技術が、韓国内のスタートアップによって実現された。台詞を別の言語に翻訳するだけにとどまらず、俳優の声質と感情演技まで自然に再現する技術が登場したことで、映画・ドラマなど映像コンテンツのグローバル流通のあり方にも変化が予想される。Kコンテンツへの海外需要が拡大するなか、吹替品質と制作スピードを同時に高めるAI技術が業界の注目を集めている。
AI吹替技術企業のDeepLoading（ディープローディング）が開発したAI吹替ソリューション「CastVox（キャストボックス）」を記者が実際に体験した。韓国語オリジナル音声は、俳優固有の音色と感情の流れを維持したまま、自然な英語吹替として再現された。俳優の呼吸と感情の変化が英語台詞にも自然に反映されており、聴くだけではAI生成音声なのかプロの声優による吹替なのかを容易には判別しにくいレベルだった。
DeepLoadingは18カ月以上の研究開発（R&D）を通じて、単純な音声合成を超え、俳優の感情そのものを外国語に移し替える技術を完成させた。AI吹替業界において感情表現は解決が容易でない課題とされているなか、DeepLoadingはこの技術を前面に打ち出してグローバルコンテンツ市場への攻略に乗り出している。
DeepLoadingのチェ・ファンジョ代表は、Samsung（サムスン）SDSの技術研究所でシニアリサーチャーを務め、AI専門企業Yuartの代表を経て、AI研究開発分野でキャリアを積んだ。現在はDeepLoading代表取締役として、生成AIおよびAI吹替技術の開発を率いている。直近では、韓国語の長文理解（Long Context）と専門分野の知識（Knowledge）を基盤としたLLM開発、AI吹替ソリューション「CastVox」の開発など、多様なAI国家研究開発課題を遂行している。
AI吹替の限界は「感情表現」
従来のAI吹替では、単に音声を別の言語に変換する水準にとどまることが多かった。このプロセスで、登場人物のセリフから感情が感じられなくなったり、外国語の自然なイントネーションやリズムを再現できず、機械的な音声といった印象を与えるという指摘を受けてきた。
実際に、NetflixやAmazonなどグローバルビッグテック企業も、AI吹替商用化の過程で品質に関する課題を避けられなかった。視聴者からは感情表現の乏しさや不自然な発音、機械的な音声などが繰り返し指摘された。その結果、AI吹替の活用はYouTubeの自動翻訳や低予算コンテンツにとどまり、映画やドラマなど感情表現が重視される分野への展開は限定的だった。現在も、こうした分野では商用化に向けた大きな進展は見られていない。
DeepLoadingはこの問題の本質を異なる視点で捉えた。原因は音声合成技術の不足ではなく、感情と文化的文脈を言語別の特性に合わせて再現できない点にあると考えた。そのため、韓国語原本音声に込められた感情の強さや声の震え、呼吸のパターンを分析し、それらを英語や日本語の音声として自然に再構成する技術の開発に注力した。
俳優の感情を外国語でも再現
CastVoxの核心は「感情再現（Emotion Transfer）」技術だ。音声合成（TTS）と音色変換（Voice Conversion）技術を組み合わせ、俳優の声の特性を保ちながら別の言語で吹替を生成する。単に文章を翻訳して読むのではなく、原本音声の感情の起伏を共に分析して再現する方式だ。
俳優が号泣したり怒りを爆発させるシーンでは、声の震え、呼吸、発声強度などを数値化して英語・日本語吹替にそのまま反映する。DeepLoadingはこれを「感情を翻訳するのではなく、感情そのものを再現する技術」と説明する。生成された音声は、視聴者にとって初めて聞く機械の声ではなく、見慣れた俳優が実際に外国語で演技しているように感じられる。
韓国語のイントネーションを外国語にそのまま当てはめるような不自然さはない。英語は英語固有のアクセントやイントネーション、日本語は日本語の音韻構造に合わせて感情を自然に表現する。そのため、ネイティブが聞いても違和感がなく、俳優の感情の変化も忠実に再現されている。実際に試聴してみると、人間の声優による吹替とAIによる吹替を聞き分けることはほぼ不可能だった。
DeepLoadingはCastVoxの専門監修のため、釜山外国語大学とMOUを締結した。（写真提供：DeepLoading）
この技術力は外部専門家の評価によっても確認された。DeepLoadingは釜山外国語大学の英語学科・日本語学科・映像学科の教授陣と協力してCastVoxの専門監修を実施した。監修に参加した釜山外国語大学映像学科のパク・ギャン教授は「既存のAI吹替製品の品質は映画・ドラマへの適用には不自然すぎて、人による大量の後処理が必要とされている」としながら「CastVoxのAI吹替音声を監修して、自然な感情演技がほぼ完璧に近く非常に驚いた。少し補完すれば現場にすぐ適用できるレベルだ」と話した。
99%吹替自動化 ― Kコンテンツ海外吹替の壁が崩れる
CastVoxは、技術面だけでなく、コストや制作スピードの面でも大きな強みを持つ。吹替工程の99％をAIで完結できるため、従来必要だった声優の手配や収録環境の準備、音声編集、リップシンク作業などを大幅に効率化。これまで1話あたり数千万ウォンの費用と数週間から数か月を要していた吹替制作の負担を大きく軽減する。
同社によると、CastVoxを活用することで、吹替制作期間は数時間から数日まで短縮され、コストも従来比で90％以上削減できるという。Kコンテンツ制作会社にとっては、海外市場への同時展開を妨げてきた言語面のハードルを大きく引き下げる技術として期待されている。
最も難易度の高いコンテンツで技術を証明
DeepLoadingは、技術検証において妥協しなかった。テスト対象には、AI吹替の技術的難易度が最も高いとされる韓国映画を選定。韓国映画は、感情表現の幅が広く、セリフのテンポも速いうえ、劇的な演技が求められる作品が多いためだ。
米国と日本のネイティブスピーカーを対象とした別途の視聴評価でも、CastVoxは高い評価を得た。評価に参加したネイティブスピーカーからは、感情表現の自然さや発話の流暢さにおいて、従来のAI吹替とは一線を画す品質との評価を受けた。現在は韓国語から英語、日本語への吹替に対応しており、今後はスペイン語や中国語、アラビア語などへの対応も進める計画だ。ただし、対応言語を増やすことよりも、各言語における吹替品質の向上を優先する方針としている。
AI吹替の品質基準を再構築する
2021年設立のDeepLoadingは、代表と主要役員がSamsung出身エンジニアで構成されたAI研究開発企業だ。自社LLM研究とAIモデル評価事業を基盤に成長してきており、最近は政府R&D課題を通じてAI吹替技術の高度化に集中している。
DeepLoadingのチェ・ファンジョ代表は「AI吹替の核心は、単なる音声生成技術ではなく、俳優の感情や演技を、異なる言語でもどれだけ自然に伝えられるかだ」とし「まるで韓国人俳優が、実際に英語や日本語で演技しているように感じられる技術を、AI吹替の新たな基準として確立していきたい」と述べた。
＜画像＝DeepLoading チェ・ファンジョ代表＞
