オープンソースエンジン

ホスト型サービスと同じ、音声認識、翻訳、ナレーションのタイミング調整、ミキシングの処理パイプラインをAGPL-3.0で公開しています。ご自身のOpenAIとElevenLabsのキーを使って、お使いのコンピューターで実行できます。

できること

  • ファイルに含まれる字幕トラックを補助として使い、GPUまたはCPU上のfaster-whisperで音声を認識します。
  • OpenAIで翻訳します。文字起こし全体を一度分析し、文脈を踏まえて分割翻訳した後、独立したレビューを行います。各行に文字数の上限を設け、割り当てられた時間に収めます。
  • ElevenLabsの音声でナレーションを作成します。長すぎる行は再収録し、短い表現に書き換え、それでも収まらない場合にのみ最大1.08倍に速度を上げます。
  • ボイスオーバーをミキシングします。各行の読み上げ中は元の音量を下げ、動画では元の音声を第2トラックとして残します。
  • 切り替え可能な字幕付きのMP4、MKV、MOV、WebM、AVI動画、M4A、MP3、WAV、FLAC、OGG音声、SRT、VTT、ASS字幕を出力します。
  • 既知の映画やシリーズの固有名詞は、公開の固有名詞ライブラリの表記に合わせます。

必要なもの

  • uvとffmpegが必要です。画像字幕用のTesseractは任意です。
  • NVIDIA GPUがあると音声認識が何倍も速くなります。CPUでも動作しますが、時間がかかります。
  • ご自身のOpenAIとElevenLabsのキーが必要です。料金は各プロバイダーに直接支払います。当方の実行例では発話1分あたり約0.05〜0.10米ドルで、正確な金額は利用明細に表示されます。
uvx --from git+https://github.com/vocnu/engine \
  vocnu-engine translate film.mkv --to ja

AGPL-3.0に基づき、エンジンの使用、変更、共有が可能です。ネットワークサービスとして提供する場合は、変更内容を同じライセンスで共有する必要があります。ネイティブスピーカーによる言語面のフィードバックは、特に貴重な貢献です。

コマンドライン

Node.js 20以降で使えるnpmパッケージvocnuです。最大10 GBのファイルをアップロードし、クレジットでの料金を表示して開始前に確認を求めます。ジョブの進行を追跡し、結果を元のファイルと同じ場所に保存します。

npx vocnu login
npx vocnu translate film.mkv --to ja

オプション

オプション機能
--output video|audio|subtitlesボイスオーバー付き動画(動画ファイルのデフォルト)、ボイスオーバー音声、または字幕のみ
--from <lang>話されている言語。デフォルトでは自動検出
--voice female|male女性または男性の声
--format mp4|mkv|mov|webm|avi動画ファイル形式。デフォルトではアップロードしたファイルと同じ形式、対応しない場合はMP4
--audio-format m4a|mp3|wav|flac|oggボイスオーバーの音声形式
--burn-subtitles字幕を映像に焼き込み
--out <dir>結果の保存先
--yes料金を確認せずに開始
--no-waitジョブを開始してIDを返す

その他のコマンド

  • vocnu credits
  • vocnu languages
  • vocnu jobs
  • vocnu status <job>
  • vocnu download <job>
  • vocnu cancel <job>
  • vocnu logout

MCPサーバー

Claudeやその他のMCP対応アシスタントにVocnuを追加し、動画の翻訳を依頼できます。ファイルをアップロードして料金を伝え、同意を得てから処理を開始します。ジョブの進行を追跡し、ファイルを保存します。

Claude Code

claude mcp add vocnu -e VOCNU_TOKEN=vocnu_... -- npx -y vocnu mcp

Claude Desktopとその他のMCPクライアント

{
  "mcpServers": {
    "vocnu": {
      "command": "npx",
      "args": ["-y", "vocnu", "mcp"],
      "env": { "VOCNU_TOKEN": "vocnu_..." }
    }
  }
}

追加後、たとえば「Vocnuで ~/Videos/film.mkv をリトアニア語に翻訳してください」と依頼できます。

ツール

vocnu_upload_media
コンピューターからファイルをアップロード
vocnu_start_job
料金への同意後にジョブを開始
vocnu_job_status
ジョブの進行状況を表示
vocnu_download_results
完成したファイルを保存
vocnu_languages
翻訳先の言語一覧を表示
vocnu_credits
クレジット残高を表示
vocnu_list_jobs
ジョブ一覧を表示
vocnu_cancel_job
ジョブをキャンセル

APIトークン

アプリの「設定」の「API & MCP」でトークンを作成します。表示されるのは一度だけです。コマンドラインではvocnu loginを実行すると保存されます。またはVOCNU_TOKENとして設定できます。

トークンでは、ファイルのアップロード、料金の表示、ジョブの開始・追跡・ダウンロード、クレジット残高の確認ができます。支払い、プロフィールの変更、トークンの管理はできません。いつでも無効化でき、アプリでは各トークンの最終使用日時を確認できます。

トークンを作成

オープンデータ

  • 音声カタログ:すべての音声の言語、性別、サンプルをJSONで公開しています。
  • 固有名詞ライブラリ:映画やシリーズの登場人物、地名、用語の各言語での表記を、CC BY-SA 4.0のJSONで公開しています。

よくある質問

エンジンは無料ですか?

はい。AGPL-3.0のオープンソースで、OpenAIとElevenLabsにはご自身のキーで利用した分だけを支払います。ホスト型サービスはキーやセットアップが不要で、クレジットで利用できます。

コマンドラインとMCPサーバーにアカウントは必要ですか?

はい。個人用APIトークンでホスト型サービスを利用します。クレジット、料金、返金の条件はアプリと同じで、クレジットが消費される前に料金を確認できます。

非公開の製品でエンジンを使えますか?

AGPL-3.0では、エンジンをネットワークサービスとして提供する場合、変更内容の共有が必要です。その他の条件についてはsupport@vocnu.comまでお問い合わせください。

あなたの動画で試す

登録して60クレジットを無料で受け取り、使う前にあなたの動画の料金を確認しましょう。

無料アカウントを作成