吹き替えの工程は四つの層でつながる
映画やドラマを別の言語に吹き替えるとき、人手の工程でもAIを使う工程でも、流れの型はほぼ同じです。まず映像から発話を取り出して書き起こし、つぎに目標の言語へ翻訳して台本にし、その台本に沿って音声を作り、最後に映像と音声を合わせます。AI吹き替えと呼ばれるサービスは、この四つの層（書き起こし、翻訳、音声、同期）をどのように自動化するかで設計が分かれています。ElevenLabsの公式ドキュメントは、吹替の機能が音声と映像を90言語以上へ変換し、話者の特性や感情、タイミングを保つと説明しています。この一文の裏側には、まさに四つの層が連続して動く仕組みがあるというわけです。
人手の吹替では、翻訳の段階からリップシンク（口型の同期）に合わせた長さの調整が入ります。AI吹き替えでも同じで、翻訳した台本をそのまま読み上げても映像の長さと合わなければ不自然になります。そこで各サービスは、翻訳の結果を秒数の枠の中に収めてから音声を生成します。工程を分解して見ると、AI吹き替えが「魔法」ではなく、吹替の工程の自動化の組み合わせだと理解しやすくなります。
台本づくり：書き起こしから翻訳へ
最初の層は、音声を文字にする書き起こしと、その文字を別の言語に移す翻訳です。複数の登場人物が話す映像では、誰がいつ話したかを区切る話者分離も欠かせません。ここが乱れると、あとの音声の割り当てが崩れます。翻訳では、意味を写すだけでなく、セリフの長さを枠に収められるように圧縮・伸長する調整が求められます。吹替の翻訳が字幕の翻訳より手間がかかると言われる由来はここにあり、口の動きと出だしの音に合わせる制約はAIにもそのまま残ります。
実務では、翻訳をAIが下書きし、人が修正する流れが公表されています。TransPerfectは字幕、吹替、アクセシビリティ、配信納品を一つのワークフローで管理すると公式サイトで説明しており、下書きと人の確認をどこに置くかは、事業者ごとの設計の見せ場になっています。翻訳の品質は作品ごとの言葉選びにも影響するため、最終確認を人手に置く構造が多い点は、AI吹き替えが自動化の中で人をどう位置づけるかを見るポイントです。
音声の作り方：合成と音声変換の二つの道
第二の層は音声であり、ここには二つの異なる方式があります。一つは合成です。いうなれば、用意された音声モデルに台本を読ませる方法で、文字から音を作ります。もう一つは音声変換（Speech-to-Speech）です。これは元の話者の声を入力に取り、同じ話者性を保ったまま別の言語の発話へ変換します。Respeecherはウクライナのキーウを拠点とする事業者で、speech-to-speechによる声の変換を専門とし、映画やゲームの制作での利用を公表しています。合成が「新しい声を作る」のに対し、音声変換は「刻まれた声の特徴を運ぶ」ことに近い発想です。
どちらの方式でも、出演者が声の使用を許諾しているかどうかは別の論点です。実際の権利まわりは著作権・音声の権利・肖像権など複数の契約が絡むため、本サイトでは各事業者が公表した方針の事実だけを紹介し、個別の判断をしません。CoeFontは声優等の「声の権利」を守るボイス・ライト・プロテクションの取り組みを2023年から始めたことを公表しており、RWSは倫理的に調達した音声を使う方針をサービス説明に掲げています。Deepdubも許諾済みの音声を使うと明示し、TPN Gold ShieldやSOC2の取得を公表しています。声の扱い方の公表方針は、事業者を選ぶときの確認事項の一つになっています。
方式の違いは、声音の再現性だけでなく作業の作り方にも現れます。合成では話者モデルを事前に整えておく必要があり、音声変換では元の音源の品質がそのまま結果に写ります。台本の音の長さと映像の秒数のずれをどう埋めるかも、ここで調整されます。
口と声を合わせる：リップシンクとタイミング
第三の層は同期です。登場人物の顔が映る映画やドラマでは、口の動きと音の開始時刻がずれると観客の没入が切れます。そこでAI吹き替えでは、生成した音声の時間を映像に合わせて伸縮し、必要なら口型の映像側を補正する技術も併用されます。HeyGenは動画の多言語変換で「元の声の再現と口型同期」を公表しており、Rask AIもリップシンクを機能の一つとして挙げています。アニメやゲームなど口元が作画やモデリングで表現される作品では、同期の厳しさが相対的に緩くなるため、吹替の設計がジャンルごとに変わります。
同期の層でも、人の手が完全に消えるわけではありません。収録スタジオを持つ事業者は、AIが作った仮の音声を人が磨く工程を経て最終稿にする構造を公表することがあります。東北新社の音響・字幕制作事業部のように、日本語版吹替と多言語版制作を同じ部門で担う事業者では、人手の収録とAIの下案を同じ設計図に載せる動きが説明されています。AI吹き替えが広がっても、音響監督やアシスタントの役目が消えるわけではなく、確認と修正の位置が変わるという見方が現実的です。
品質確認と、流れを読むときの三点
最後の層は品質確認です。AI吹き替えの結果は、言葉の意味が正しく届いているか、話し方の感情が原映像の空気と合っているか、同期が破綻していないかの三面で確認されます。Dubformerはフレーズ単位で音声を調整できるとしており、部分ごとの直しやすさが品質確認の負担を下げるという方向性です。確認の工程は、費用や納期にも直結します。自動化が進むほど単価が下がる一方、品質の責任範囲をどこで区切るかが契約上の論点になるからです。
技術の進み方を追うときは、次の三点を基準にすると分かりやすいと考えます。第一に、書き起こし・翻訳・音声・同期のどの層を自社で持つか。第二に、話者の声をどう扱うことにするか（合成か、変換か、許諾の取り扱いか）。第三に、人の確認をどの工程に置くか。Deepdubが「監修者付きの収録が土台になるハイブリッド方式」と「自動」の二つの作り方を公表しているように、方式の公表は品質の基準や責任範囲の説明に代わる役割を果たす事例も増えています。AI吹き替えは破壊的な新技術というより、吹替という長い産業の工程の組み替えとして読むと、事業者の公表内容がよく見えてきます。