ニュースの概要
NVIDIAは10月28日、録音された音声を文字に起こす開発者向けAIモデル「NeMoTron-Parse」を公開した。日本語を含む約40言語に対応し、誰が話しているかを見分ける話者識別や、音声の翻訳にも使えるとされる。字幕づくり、吹き替え台本の下書き、話者ごとのセリフ整理、多言語動画の粗編集といった作業を自動化できる可能性がある。ただしAI吹き替えの音声そのものを作る製品ではなく、あくまで翻訳や音声認識など制作工程の手前を支える部品という位置づけだ。完成品のサービスではなく開発者向けのモデルとして出された点も、活用の仕方を考えるうえで重要になる。
引用元: NVIDIA、40言語対応の音声文字起こし・翻訳AIを公開（CNET Japan）
分析・見解
吹き替えを作る技術ではなく、下ごしらえの技術
今回のモデルが担うのは、音声を文字にし、誰が話したかを記録し、必要なら別の言語へ訳すところまでだ。声を合成して吹き替え音声を作る機能は含まれない。料理でいえば、調理ではなく皮むきと下味つけに当たる。
だが映像ローカライズ（＝映像を他の国や言語向けに作り替えること）では、この下ごしらえに時間を取られてきた。書き起こしだけで、1時間の素材に数時間かかることも珍しくない。
話者識別が効くのは、台本の整理作業
字幕づくりの現場で手間がかかるのは、実は翻訳そのものより整理である。誰のセリフか、どこで切るか、いつ表示するか。これを人が聞き直しながら振り分けてきた。
話者識別が実用的な精度に届けば、対談やドラマの台本は、話者ごとに色分けした状態で最初から手元に来る。翻訳者は訳すことに集中できる。従来の自動字幕は文字起こしだけで、話者の整理は人の仕事だった。ここが今回の差である。
40言語という数字を、そのまま信じてはいけない
対応言語が多いことと、各言語で品質が揃うことは別の話である。過去の音声認識でも、英語は高精度でも、方言、早口、専門用語、背景音楽つきの音声では急に精度が落ちた例が多い。OpenAIのWhisperのような先行モデルが広がったときも、現場では言語ごとの当たり外れの確認が最初の仕事になった。
日本語は同音異義語が多く、主語が省かれやすい。話者識別や翻訳で取り違えが起きやすい言語でもある。公開された数字よりも、自社素材での実測が判断材料になる。
競争の軸は、モデルから制作の流れ全体へ移る
音声認識の精度競争は、すでに頭打ちに近い。次に価値が出るのは、書き起こし、翻訳、字幕の割り付け、声の合成、確認作業までを一本でつなぐ部分である。NVIDIAは部品を公開する側に立ち、完成品は周辺の事業者が作る構図になるだろう。映像制作会社にとっては、部品を自社の流れに組み込める技術者がいるかどうかが、差を分ける。
ビジネスへの影響
まず試すなら、社内動画の字幕と議事録から
いきなり放送素材や有料コンテンツに使うのは危うい。まずは社内研修動画、ウェビナー、製品紹介など、誤りが出ても被害が小さい素材で試すのが現実的だ。自社の素材を30分ほど流して、固有名詞と数字の誤り率を数えるだけでも、採用の可否は十分に判断できる。
評価では、全体の正答率より、人名、製品名、金額、日付の誤りに注目したい。ここを誤ると信用に直結する。
人の仕事は消えず、確認と判断に寄っていく
AIが下書きを作り、人が直す体制になると、必要な技能は入力の速さから聞き分けと判断へ変わる。翻訳者や字幕担当者の単価をどう設計するかも見直しになる。作業時間が減る分を、安くするのではなく、対応言語の拡大や納期短縮に回せる事業者が有利だ。
契約面では、素材を外部のサービスに送る場合の秘密保持や、出演者の声の扱いを先に決めておく。開発者向けモデルは自社環境で動かせるため、機密性の高い素材でも運用しやすい。ただし、動かす計算機の費用と担当者の確保は別途必要になる。