XNews

Lapian Notesのオープンソースツール、映画のフレームを抽出しAIストーリータイムラインを構築

Lapian Notesのオープンソースツール、映画のフレームを抽出しAIストーリータイムラインを構築

オープンソースの映画研究ツールであるLapian Notesは、映画をインポートして1秒ごとに1フレームを抽出し、字幕とスクリーンショットをAI分析パッケージに整理する。ユーザーはこのパッケージをChatGPTなどのサービスに送信するか、自身のモデルキーを提供して、ストーリーレーンタイムライン、構造ツリー、感情曲線を生成できる。ノートはMarkdownとして、タイムラインは長画像としてエクスポート可能。ツールはWindowsとmacOSで起動スクリプトまたはブラウザ版を介して完全にローカルで動作し、映画とノートはデバイス上に保存される。

イベントのバージョン 1.

Key insights

フレームと字幕の抽出

Lapian Notesは、映画がインポートされた後、1秒ごとに1フレームを抽出し、字幕とスクリーンショットをAIによる分析に渡すことができる素材に整理する。

AI生成のストーリー分析

分析パッケージはChatGPTなどのツールに送信でき、結果をインポートして戻すことで、ストーリーレーンタイムライン、ストーリー構造ツリー、感情曲線を生成する。ユーザーは自身のモデルキーを入力して直接分析することもできる。

再生連動のノート作成

ノート内のタイムスタンプをクリックすると、映画の対応する時点にジャンプし、「このセグメントを再生」オプションはセグメントの終了時に自動的に一時停止する。

エクスポートとローカル動作

ノートはMarkdownとして、完全なストーリータイムラインは長画像としてエクスポートされる。WindowsとmacOSの起動スクリプトが提供され、ウェブ版も利用可能で、映画とノートはローカルに保存される。

Source posts