ニュースの概要
NVIDIAは、音声や映像の文字起こしを担うAIモデル「Nemotron 3.5 Transcribe」を公開した。日本語を含む約40の言語に対応する。複数の人が重なって話す場面でも、誰が話したかを見分けながら文字にできる点が目玉だ。さらに翻訳の機能も備えており、会話の書き起こしから、多言語版を作るための翻訳のたたき台づくりまでを、ひと続きの流れで進めやすくなる。想定されている使い道の一つが映像のローカライズ（＝海外向けに言葉や字幕を作り替える作業）で、出演者が多い番組やゲームの収録素材のように、これまで人手に頼ってきた現場での活用が見込まれている。
引用元: NVIDIA、40言語対応の音声文字起こしAIを公開 話者識別や翻訳にも対応（チバテレ＋プラス）
分析・見解
文字起こしの勝負は、精度から話者の整理へ移った
文字起こしAIの精度は、ここ数年で十分に実用域へ入った。静かな部屋で一人が話す音声なら、誤りはごくわずかだ。今も現場で時間を食うのは、そこではない。複数人が話す収録で、誰の発言かを切り分ける作業である。
座談会やバラエティ番組では、相づちや割り込みが頻繁に重なる。文字そのものは拾えても、発言者が混ざれば字幕にもセリフ表にも使えない。今回のモデルが話者の識別を前面に出した意味は、ここにある。
約40言語を一つのモデルで扱うことの意味
言語ごとに別のツールを使う運用では、設定も品質確認も言語の数だけ増える。一つのモデルで約40言語を扱えれば、入口が一本になり、工程の設計が単純になる。
もう一つ大きいのは、日本語が対象に入っていることだ。英語中心に作られたAIは、日本語で語尾の省略や言い淀みに弱く、字幕の素材として手直しが重くなりがちだった。日本語の収録を日常的に扱う制作会社にとって、試す価値が出てきたと言える。
書き起こしと翻訳をつなぐと、修正の起点が変わる
私が注目したいのは、翻訳まで同じ流れに入る点だ。従来は、文字起こし、翻訳、字幕の時間合わせが別々の工程で、前の工程の誤りが後ろへそのまま流れていた。工程を一続きにすれば、話者と時間の情報を保ったまま翻訳へ進める。
これにより、直す場所が変わる。最後に全体を見直すのではなく、書き起こしの段階で固有名詞と話者名を確定させれば、以降の修正が減る。AIの精度が上がること以上に、人が確認する位置を前へ寄せられることが効くはずだ。
公開モデルであることが、独自の使い方を広げる
この種のモデルは、企業が自社の環境で動かせる形で公開されることが多い。未公開の映像や権利のある収録素材を外部のサービスへ送らずに処理できれば、放送局や制作会社の抵抗感は下がる。一方で、動かすための計算機や運用の手間は自前で持つことになる。使いやすさと管理の負担は引き換えだ。今後は、各社が自分たちの用語集や番組の癖を学ばせる調整に進むとみられる。
ビジネスへの影響
字幕と吹き替えの制作費は、素材づくりの段階で差がつく
映像の多言語展開で費用が大きいのは、翻訳そのものより、その前の台本づくりである。収録を聞き返し、誰が何を言ったかを表に起こす作業は、時間のわりに価値が見えにくい。ここをAIで下書きできれば、翻訳者は訳の質を上げることに時間を使える。
ただし、全自動で任せるのは危うい。人名、社名、業界用語は誤りやすく、そのまま出せば信用に関わる。下書きはAI、確定は人という分担を、最初に決めておきたい。
導入前に確かめたい三つの点
一つ目は、自社の実際の素材で試すことだ。公開されている性能の数字は、収録環境が違えば当てにならない。雑音の多い現場や方言の強い音声で、手直しの量を測ってほしい。
二つ目は、素材の扱いである。外部に送れない映像は、自社内で動かせるかどうかが条件になる。
三つ目は、費用の見方だ。ツールが安くなっても、確認する人の時間が減らなければ総額は下がらない。最初は一つの番組や一本の社内動画に絞り、削減できた時間を数字で残すことを勧める。