恐るべしAI動画生成 lumen5

初めて適当にAIによる動画生成を試してみた

https://lumen5.com

lumen5というもの

そもそもlumen5に至ったのもGeminiにAI動画作成サービスを教えてもらった。

AIづくしである

lumen5のアカウントを作成し、本当に思いつくまま日本語を5文字程度、適当に入力したら1分22秒の動画が作成された。スクリプトつまり台本と、その読み上げ音声、更には動画そのもの、BGMまで自動で生成してくれた。

それが以下の動画である

まだまだ何かをきちんと伝えるレベルの完成度ではないことは明白だが、既に動画の体を成しているということ自体が驚きである。

一切の脚色をせずに「たった数クリックと数文字のタイピング」で、上記の動画が生成されてしまった。

恐ろしくもたくましい時代になったものである。

追記

今日(2025/02/09)はPictoryを使ってみた。無料版。こちらも、すごい。でもLumen5と同じような操作感だったので、根っこの部分では同じツールを使っているのだろう。

https://pictory.ai

URLから動画を生成する、ということができるので、本ブログの記事をもとに生成してみた

すごすぎる

ナレーションが日本語に対応していないのが残念。非常に読み間違いが多い。

ちなみにスクリプト(台本)は自動生成してくれた。

ナレーションは別途、スクリプトを読み込ませ、日本語で読み上げてくれるサービスを探して生成し、差し替える必要があると思った。

それにしても恐ろしい精度である。

ブログを一から動画化するのに、AI無しではどれだけの苦労がかかっていたのだろう。想像するだけでやる気が起きない。それが今や数クリックで完成してしまうのである。恐るべしAI

日本語読み上げの質を上げたい

日本語の読み上げが非常に怪しい結果になった。

なので日本語による上手な読み上げをしてくれるサービスを別途探す必要がある。条件は以下のとおり

• 自然な読み上げである
• 料金が月額1,000～3,000円程度で収まる
• 生成した音声の権利についてyoutubeに使用できる

「音声読み上げ 日本語 生成AI」で検索したが結構な金額でのサービスがあったり、無料サービスでは読み上げの質が低かったりする、という一次調査結果であった

geminiは自然に読み上げてくれる。無料。このクオリティに近いものを自由に使いたい。なにか無いものか？

引き続き調べることにする

日本語の読み上げが、そうそう簡単にできないということは、これはもしかして逆にチャンスなのかもしれない。いずれは無料かつ高品質の日本語音声読み上げサービスが登場するのは間違い無いとしても、現状において苦労するということは、おいそれと日本語による音声を作り上げることが万人にとって難しい状況であるということだ。

調べてみて、良いサービスがあるのなら紹介していきたい

早速見つけた。VOICEBOXというものだ

https://voicevox.hiroshiba.jp

ナレーションや声優が登場する物語を作成してみたいのだが、これはそのニーズにぴったりマッチした素晴らしいサービスだ。しかも無料

「物語全体が書かれた文章を、そのままナレーター、登場人物ごと」に分担させて、なおかつストーリーに沿って抑揚を変えつつ読み上げるという機能は、さすがに求めすぎか。

しかし文章を他の生成AIに解析させれば、そのようなことは既に可能な時代になってきている。

VIOCEBOXが生成AIと連携できれば、上記のようなわがままも実現する。

VOICEBOXはテキストベースでセリフ、登場人物、抑揚をインポートできるか？そこはインターフェースとしてどのように整備されているか、詳しくヘルプ等を読み込むことにしよう。

2025/02/20 かなり良い線まで作り込むことができた。GEMINIで推敲を繰り返し、VOICEBOX用でテキストインポートできるようにプロンプトを作ることができたので、ストーリーも書いてもらった。

GEMINIで出力したストーリーのテキストファイルをVOICEBOXに読み込みし、あとは間や読み方、イントネーションを少しいじるだけで、かなりの完成度のラジオドラマのような仕上がりになった。もうすこし編集し、下記BGM、画像と組み合わせればYoutube用ドラマの完成である。

AI使いこなしてる感がすごい。満足度高い

BGMも自作

https://labs.google/fx/ja/tools/music-fx

Googleで、音楽も作れる。

イメージ出力もできる。

音楽は作ってみたがノイズがひどい。もう少し質の良い音楽を作れるようになりたい。

イメージは高品質であった。

しかし使いたい画像は静止画であっても、ろうそくの火が揺れている、そんな最小限の動きを持つ画像なので、それを生成できるかは不明。あとで試してみる

少し方向転換して著作権フリーの音楽がたくさんあるサイトを見つけたのでここから使わせてもらうことにした

https://dova-s.jp

素晴らしい完成度の曲が沢山ある。すごい

ループする動画

これも生成ではなく素材サイトから見つけた

lumen5で、10分程度の音声をもとに動画生成を試してみたが、冒頭に6秒ほどの動画が生成されたのみであった。音声を分割してスライドショーのように生成しないといけないようだ。2025/02/21はここでこの問題が発生して、作業を中断してしまった。しかしよく考えてみたら、直面した問題をAIに相談すれば改善策を教えてくれたかもしれない。詰まったときにAIに頼るクセがまだついていないことに少し落ち込んだ。次回AIに相談してみよう

結局のところcanvaで動画編集した。