Stable Diffusion XLとHeyGenを使って動画を作ってみました

こんにちは。今巷で話題の生成AIを使って動画を作ってみたかったので, そのレポート。
今回静止画をしゃべらせるのに, HeyGenというプラットフォームを使ったんですが, 本当はCreative Reality Studio(以下CRSと略す)を使ってみたかった。 しかし, 残念ながら, CRSはクレジットの関係で利用できず, HeyGenにしたということです。それと理由はもう一つあって, CRSのクレジットを増やすために課金しようと思ったのですが, 毎月費用がかかるみたいなんで, ちょっと私にとっては割高感があり, それもあって, CRSの利用は止めました。HeyGenは今回初めて使用するので, 初期のクレジットでできるかなと思って選択しました。
静止画をつくるプラットフォームである, Stable Diffusion XLは課金しました。理由は10ドルで5000枚ぐらいの画像がつくれるので, コスパいいかな？と思い, 課金しました。それで, Stable Diffusion XLを使って, HeyGenでしゃべらせるための静止画を作ってみました。プロンプトには数学が好きそうな人というお呪いを入力し, 3枚の画像を作っていただきました。それが以下になります。

AIが考えた数学が好きそうな人たち

3人目の画像にAIで魂を吹き込んだ

HeyGenというプラットフォームで, 静止画をアップロードし, 日本語選択し, しゃべらせる音声を選択して, あとはしゃべる言葉をテキスト入力するだけ。要領はCRSと同じですね。そしてその動画をダウンロードして, YouTubeにアップして, 字幕を付けてできたのが以下の動画です。9秒ほどですがご覧になっていただけたら幸いです。なぜか字幕は表示されませんけどね(YouTube上では表示されるみたいです)。一言言うなら, あまりしゃべる内容と口の動きが合っていませんね。