
2024年9月11日、中国発の動画生成AI「Vidu(ビドゥ)」に、画期的な新機能「Reference to Video」が登場しました。
この機能により、たった1枚の参照画像で一貫したキャラクターの動画生成が可能になり、AI動画制作の世界に革命をもたらしています。
AROUSAL Techの代表を務めている佐藤(@ai_satotaku)です。 最近はもっぱら映像系の生成AIが熱いですね! これまでも動画生成AIは紹介してきましたし、どんどん新しいサービスや新しい機能の実装などが行われ、クオリティも日に日に増しています。 そんな中でも画像や動画の生成は、どうしてもランダム性が出てしまい、一貫したキャラクターを生成し続けることは難しく、技術と根気が必要でした。 しかし!1枚の参照画像で一貫したキャラクターの動画生成が可能になったというわけです。 これはとても革新的です! どんなことができるのか、ぜひ見ていってください。 感想をX(旧Twitter)でポストしていただけると嬉しいです。メンションも大歓迎です! |
AI動画生成の新時代 Viduの「Reference to Video」機能
Viduの新機能「Reference to Video」は、AI動画生成の分野に大きな変革をもたらしています。
従来のImage to Video技術では、キャラクターの一貫性を保つためにLoRA(Low-Rank Adaptation)やDreamBoothなどのファインチューニングが必要でした。
しかし、この新機能により、たった1枚の参照画像でキャラクターの一貫性を維持した動画生成が可能になりました。
これは、Runway Gen-3 Alpha、Luma Dream Machine、KLINGなどの他の主要な動画生成AIサービスと比較しても、画期的な進歩と言えます。
特に、元画像が1枚しかない場合の動画生成において、Viduの新機能は大きなアドバンテージを持っています。
歴史上の人物も動く 坂本龍馬の例
「Reference to Video」機能の威力を示す好例として、坂本龍馬の動画生成が挙げられます。
唯一現存する坂本龍馬の写真をPhotoshopでカラー化し、それを参照画像として使用することで、驚くほど自然な動きの坂本龍馬を生成することができました。
具体的には、「ニューヨークのダウンタウンを侍が歩いている」というプロンプトで動画を生成したところ、坂本龍馬がニューヨークの街を歩く姿が自然に表現されました。
さらに、同じ参照画像を使用して戦闘シーンも生成可能であり、多様なシチュエーションでキャラクターの一貫性を保つことができます。
ペットも動く 思い出の猫の例
「Reference to Video」機能は人物だけでなく、動物にも適用可能です。
例えば、20歳まで生きた家猫「めそ」の写真を使用して、池のそばを歩く動画を生成することができました。これにより、外出の経験がなかった家猫の新しい姿を創造することが可能になりました。
この機能は、特定の時期の姿を動画化する際にも有効です。従来のLoRAを使用した方法では中間的な顔になりがちでしたが、「Reference to Video」では元の画像の個性をより強く反映させることができます。
AI動画生成の新たな可能性
Viduの新機能は、ストーリー性のある動画制作のハードルを大幅に下げました。
これまでLoRAを多用する必要があった一貫したキャラクター表現が、1枚の参照画像だけで可能になったのです。
動画の長さは4秒と8秒から選択でき、品質は速度優先と品質優先のオプションがあります。
8秒の高品質動画を生成するには16クレジットが必要で、さらにウォーターマークを外すには追加で8クレジットが必要となります。
課題と展望 AI動画生成の未来
Viduの「Reference to Video」機能は画期的ですが、課題もあります。
高品質な動画生成にはかなりのクレジットが必要で、コストが高くなる可能性があります。また、著作権や肖像権の問題も考慮する必要があります。
しかし、この技術の進歩は、映像制作やエンターテインメント業界に大きな影響を与える可能性があります。
個人クリエイターからプロの制作者まで、幅広いユーザーがより簡単に高品質な動画コンテンツを作成できるようになるでしょう。
今後は、生成される動画の品質向上や、より長時間の動画生成、さらには複数のキャラクターの同時制御など、さらなる進化が期待されます。
まとめ
Viduの「Reference to Video」機能は、AI動画生成の新時代を切り開きました。1枚の参照画像だけで一貫したキャラクター表現が可能になり、創造の可能性が大きく広がりました。
コストや著作権の課題はありますが、この技術は映像制作の未来を変える可能性を秘めています。
AI技術の進化とともに、私たちの創造力の限界も押し広げられていくことでしょう。
引用元
テクノエッジ 「一貫したキャラクターAI動画生成が超簡単に。LoRAいらず、参照画像1枚だけでいいなんて(CloseBox)」