XNews

AudioSmith オープンソースのMac音声スタジオ、オーディオブック、吹き替え、文字起こしツールを追加

AudioSmith オープンソースのMac音声スタジオ、オーディオブック、吹き替え、文字起こしツールを追加

AudioSmithは、Appleシリコン搭載Mac向けの無料オープンソース音声スタジオで、テキストを音声に変換し、声をクローンおよびデザインし、EPUBファイルをチャプター付きM4Bオーディオブックに変換し、動画に吹き替えを付け、話者識別付きで録音を文字起こしする。すべてのモデルはMLXを介してMacのGPU上でローカルに実行され、アカウント、クラウドサービス、Pythonは不要で、モデルをダウンロードすればオフラインで動作する。

イベントのバージョン 1.

Key insights

Appleシリコン上のローカル処理

すべてのモデルはMLXを使用してMacのGPU上で実行される。アプリはアカウント、クラウドサービス、Pythonを必要とせず、モデルをダウンロードすればオフラインで動作する。

EPUBからチャプター付きM4Bオーディオブックへ

EPUBをインポートすると、見出しに基づいて章が自動的に分割され、チャプターとカバーアート付きのM4Bオーディオブックが生成される。中断されたレンダリングは再開でき、文を編集するとその文だけが再生成される。

声のデザインとクローン

声は「30歳前後の温かい女性の声でドキュメンタリーのナレーターのような」といった一文で説明することも、録音からクローンすることもできる。アプリには主に中国語と英語の37の厳選された声が含まれている。

動画吹き替えパイプライン

吹き替えは、ボーカルを背景音声から分離し、各話者のクローン声を使用して行ごとに文字起こし、翻訳、吹き替えを行う。出力の長さは元の動画に近い状態に保たれる。

文字起こしとディクテーション

AudioSmithは話者ダイアリゼーション付きで録音を文字起こしし、ディクテーションされた音声を任意のアプリに入力する。

Source posts