Sunday, August 9, 2015

ビデオ字幕のタイミング作成の半自動化

概要


私はボランティア活動として誰もが無料で利用できる算数の解説のビデオの翻訳をしている.このビデオに字幕をつける作業に費やす時間が意外に多くて困っている.作業の流れ(ワークフロー)から,字幕作成時には既に音声の入ったビデオとそのスクリプトがあるので,これを使ってできるだけ自動で字幕を作成できないかと考えた.今回,タイミング作成のエンジンとして YouTube の transcript機能を使って,半自動で字幕タイミングを作成したところ,作業時間をある程度短縮することができた.YouTube のtranscript 機能では text フォーマットが入力となるので,srt ファイルを text にする filter を実装した.また,transcript 機能でタイミングを作成した場合,字幕に不自然な改行が入ることがある.そこでこれを除く機能も実装した.以前,13分のビデオの字幕のタイミング生成をした時,手動で 4 時間半程度かかったが,今回の方法でほぼ同じ長さのビデオの字幕タイミング作成を3時間弱程度に短縮することができた.今回作成したソフトウェアは new BSD license で公開しているので,誰でも自由に利用することができる.

字幕のタイミング作成の半自動化


私はボランティア活動で「どうして分数の割り算はひっくりかえしてかけるのか」とか「そもそも分数で割るというのはどういう意味か? 3で割るという意味ならわかるが,2/3 で割るとはどういう意味なのか?」のような算数の解説のビデオ作成をしている.その際に字幕も作成するのだが,このタイミングの作成にかなりの時間をとられている.例えば,13分のビデオの字幕タイミング作成に4時間半程度かかったことがある.

しかし,私には字幕のスクリプトがあり,そして音声も作成している.今回,これを使ってできるだけ字幕のタイミング生成を自動化できないかをSundayResearch のテーマとした.

私の友人の一人に音楽の mp3 ファイルをフーリエ解析し,そこからリズムをとり出すというソフトを作った人がいる.その人はダンスダンスレボリューションというゲームのマットを持っているのだが,ゲーム機は持っていないので,それで遊ぶために作ってみたということである.最初は字幕作成には音声の解析をすべきかと漠然と考えていてその人と議論をしたのであるが,その人と相談しているうちに,もしかしたらそういうソフトがフリーであるかもしれないから探してみては,ということになった.また,私の場合,日本語に対応している必要がある.

字幕作成のソフトを探したところ,YouTube の字幕作成を利用するというソフトがあった.多国語も自動で作成するというこのソフトは,YouTube の字幕作成機能を使って,音声のある言語の字幕を作成し,その字幕を Google translate で他の言語にするというものであった.

そこで実験として YouTube の字幕作成を試してみたのだが,私の音声では利用できるような精度の字幕の出力は得られなかった.しかし,タイミングだけ使えればいいので,スクリプトの文字列と自動生成された文字列に対して,
  • エラーがあるとした上でできるだけ一致する文字列を探せないか
  • 一致部分が得られた時に,その距離を最小化する最適化問題として考えられないか
という考えが議論の中から出てきた.しかし,実際に自動作成した字幕を見てみると,正解している文字列というものが少なく,この考えば難しいと断念した.

音声解析は面倒だろうということでできるだけしたくないと困っていた.私としては問題をできるだけ楽に,時間をかけずに解ける方法を考えるのも重要である.ただし,どうしてもしなくてはならないとなれば仕方ない.

昼休みに友人との議論を続けていたら (SundayResearch では,議論は主に昼休みやパーティなどでしか行なわない),私の場合,字幕作成が必要なのではなく,字幕のタイミング作成だけが必要であることに気がついた.そこで,字幕作成ではなく,字幕のタイミング作成で検索すると,YouTube にはtranscript 機能というものがあることがわかった.これは音声の text を与えると,音声からタイミングを生成して text を字幕にするというものである.

この入力は基本的にテキストファイル + αのもので,とりあえず手で srt ファイルから入力ファイルを作成してみた.するとかなり良い結果が得られた.ただ,出力された字幕ファイル中では勝手に改行が入ってしまうので,これを除く必要があった.そして,最終的には字幕の微調整は amara または camtasia で行うことにした.

つまり,私のワークフローにこの方法を組込むために必要なのは次の2つの簡単なフィルターである.
  • srt file から text 形式に変換するフィルター
  • srt file の字幕の改行を除くフィルター

実装


これらのフィルターを python で実装し,誰でも使えるように new BSD license で以下のページで公開している.


実験と結果


全てを手動で作業していた時にある 13 分のビデオの字幕作成には 4 時間 27分かかったが,同程度の長さ,似た内容のビデオの字幕をこの方法で作成したところ,2 時間 37 分でできた.1時間半以上の短縮はまずますの結果であると考えている.

今後


今後のビデオ作成にこの方法を利用していく予定である.

字幕のタイミング作成を更に時間短縮できる(楽な)方法はないかひき続き模索している.

No comments:

Post a Comment