Adobe Fireflyの生成AIで動画から効果音まで作成

動画制作において、映像素材の撮影・編集だけでなく「音（効果音・音楽・ナレーション）」の作成・選定も大きな工数です。そこに、生成AIを活用することで「撮る・編集する・音を付ける」の流れがシームレスに変わろうとしています。
Adobe Fireflyは、テキストから画像の生成や編集出来ると注目されていましたが、現在では「動画生成」「音・効果音・ナレーション生成」など、マルチメディアへの対応が進んでいます。
今回はAdobe Fireflyを使ってアニメーション動画と音付けをしてみようと思います。

1、まずは基本となるイラストを生成

まずは「画像生成」機能でイラストを生成します。ハロウィンと食欲の秋をイメージして、「”０１”をオレンジ色のろうそくにして、ろうそくより小さな魔女が黒猫と近くで仲良く焼き芋してる。背景は夜の森。ランタンが飾られて光の粒子が舞って神秘的。」で基本になる画像を生成。左上の画像が気に入ったのでそちらをベースします。

2、イラストを動画にする

1で気に入った画像に動きをつけましょう。「動画生成」機能でどんなアニメ―ジョンをするかを指定し生成します。現在は8秒の動画が作れるようです。
「ろうそくと焚火の火がゆらゆら揺れ、その場に一緒にいる魔女と黒猫が焼き芋を笑顔で焼き芋を食べてる。ランタンの灯が揺らぎ、光の粒子が揺らめいている。」

3、BGMをつける

出来上がった映像にあうBGMを作ります。「サウンドトラック生成」機能で音をつける動画をアップロードすると、左のメニューに動画に合うプロンプトのキーワードの組み合わせが自動で設定されます。自分でカスタマイズも可能です。
生成すると4つのトラックが生成され、気に入ったBGMを選んでダウンロードします。
ダウンロードは、動画と合わせたものと、サウンドのみを選択できます。

4、効果音を追加する

最後に効果音をつけます。「テキストから効果音生成」機能で、場面にあった効果音をつけます。
効果音やプロンプトと時間をして生成出来ます。現在日本語はサポートされていないので英語で指定しましょう。ChatGPTに相談して英語にしてもらえればOKです！
効果音を生成すると4つ生成され選択したものが下のタイムラインに反映されます。好きなタイミングに配置して、音量を調整します。

完成した動画がこちら

まとめ

今回ご紹介したように、Adobe Firefly のような生成AIを活用すれば、映像だけでなく効果音・ナレーションまで含めた一体的なクリエイティブが、これまで以上にスピーディに、かつ柔軟に実現できます。
とはいえ、完全に「AI任せ＝仕上がり保証」ではないため、プロンプト設計・編集・最終チェックの“人の手”は引き続き重要です。
最近は生成AIを利用したハイクオリティな動画がたくさんアップされています。自分はまだまだ勉強が必要ですが自在に作れるようにしていきたいです！
弊社では、様々な課題に対してITを使って解決する方法を一緒に考えていきます。「生成AIを活用してみたいが、どのように利用すれば効果的かわからない」「もっと効率よく業務をこなせる方法を知りたい」等ありましたら、お気軽にお問い合わせください。