ニュースの概要
NDIとNVIDIAは、1本の映像ストリームからリアルタイム翻訳、口の動きに合わせたAI吹き替え、多言語版の生成までを一気に行う放送向けワークフローを発表した。両社の社内テストでは、10言語に対応した場合でも、言語ごとに映像を別々に送る従来方式と比べて、必要な映像の帯域が8分の1で済んだという。既存の制作・配信設備と組み合わせて使うことを前提としており、ニュースやスポーツなどの生放送を、視聴者の言語に合わせてその場でローカライズできる点が特徴だ。なお数字は両社自身の検証結果であり、第三者による実環境での確認はこれからである。
引用元: NDIとNVIDIA、リアルタイム多言語動画配信の帯域を8分の1に削減（Ground News）
分析・見解
言語の数だけ映像を送る方式が行き詰まっていた
従来の多言語配信は、言語ごとに完成した映像を作り、それぞれを送り出す方式が中心だった。10言語なら映像も10本になる。映像は音声に比べて桁違いに重い。つまり増えるのは言語ではなく、帯域と回線費用である。
今回の仕組みは、この前提を崩す。映像は1本だけ送り、言語に応じた音声と口元の動きを、受け取る側の近くで作る。重い部分は共通にし、軽い部分だけを言語ごとに増やすという発想の転換だ。8分の1という数字は、10言語をほぼ映像1本分のコストで賄える計算に近い。
口の動きまで合わせる処理が違和感を減らす
字幕や別音声の吹き替えには、昔から課題があった。画面の人物の口と声がずれるため、見ていて落ち着かないのである。映画の吹き替え文化が根づいた国と、字幕文化の国で好みが分かれる理由でもある。
リップシンク（＝口の動きを音声に合わせる処理）をAIが担うと、この違和感がかなり減る。ただし生放送では、翻訳の待ち時間が問題になる。話し終わってから訳すと数秒遅れる。語順が逆の日本語と英語では、文末まで聞かないと訳せない場面もある。完全な同時性は難しく、数秒の遅れをどこまで許すかが実用化の分かれ目になる。
類似事例との比較で見える強みと限界
この分野では、SNS上の動画向けにAI吹き替えを提供するサービスが先行してきた。ただしそれらは、収録済みの動画を後から変換する使い方が中心である。一方、今回は生放送に使う点が新しい。しかもNDIは、放送局や配信スタジオで映像を機材間でやり取りする規格として既に広く使われている。新しい設備を一式入れ替えなくても済むため、導入の壁は低い。
反面、限界もある。固有名詞、スポーツの専門用語、方言、笑いや皮肉は、機械翻訳が最も苦手とする部分だ。誤訳がそのまま放送されれば、信頼を損なう。人が最終確認できない生放送では、誤訳の責任を誰が負うのかも未整理である。
帯域の次に問われるのは翻訳の品質管理
今後は、技術の優劣より運用の設計が差を生むと考える。重要な場面だけ人の通訳者に切り替える、誤訳が出やすい固有名詞を事前に辞書へ登録するといった工夫である。AIと人の役割分担を決められた事業者が、多言語配信で先に成果を出すだろう。
ビジネスへの影響
小さな配信事業者にも多言語展開の道が開く
これまで多言語配信は、大手放送局や大企業のイベントに限られていた。理由は、翻訳者、音声担当、回線の費用がすべて言語数に比例したからである。映像を1本に集約できれば、回線費用の増え方は大きく緩やかになる。地方の祭り、自治体の記者会見、中小メーカーの新製品発表なども、訪日客や海外の取引先に向けて同時に届けやすくなる。
まずは年1回程度のイベント配信で、英語と中国語など2言語から試すのが現実的だ。費用対効果は、海外視聴者数の増加と問い合わせ件数で測るとよい。
導入前に確認したい三つの実務ポイント
一つ目は、遅延の許容範囲である。数秒遅れても問題ない発表会と、ほぼ同時が必須のスポーツでは、求められる水準が違う。二つ目は、誤訳が起きたときの訂正手順である。字幕での補足や、後日の訂正配信を事前に決めておきたい。三つ目は、権利と同意である。話者の声や顔を加工して別言語で話させる以上、本人の同意や契約上の取り扱いを明文化する必要がある。
数字は発表元の社内テストによるものなので、自社の回線や機材で実測してから投資を判断してほしい。当サイトの編集方針にも、一次情報と検証結果を分けて扱う考え方を載せている。