LatentSync

バーチャルアバター/VTuber: リアルタイムの音声に合わせてキャラクターの口を動かす; 映画/アニメ制作: アニメーションキャラクターの口の動きを音声 ...

ByteDanceが音声条件付き潜在空間拡散モデルに基づくリップシンクツールLatentSyncをオープンソースで公開。実写と アニメーションキャラクターの両方 ...

#### FREE AI Lip Sync tool | AI Generate ANY sound in the world | LatentSync AudioX AI talking avatar AI技術の進化を紹介する動画で、完璧なリップシンクを実現するAI「Latin Sync」と、テキストからあらゆる音を生成するAI「AudioX」が取り上げられています。 #### AudioX (Audios) 香港科技大学のエンジニアによって開発された「AudioX」は、テキスト、ビデオ、オーディオ入力に基づいて音や音楽を生成するAIです。拡散モデルとトランスフォーマーを使用し、マルチモーダルマスキングという特別な学習方法で、テキスト、画像、音の関連性を学習します。19万件のオーディオとテキストのペアを含むVeg Sound capsや、600万件以上の音楽説明を含むV2M capsといった大規模データセットでトレーニングされています。テキストからオーディオへの変換、ビデオからオーディオへの変換、不完全な音楽の補完、破損したオーディオトラックの修正などが可能です。コンテンツ作成者にとって、プロレベルのサウンドをビデオに追加したり、新しい芸術的な方法を生み出すのに役立つとされています。 #### Latin Sync 「Latin Sync」は、ビデオ内の人物の口の動きをオーディオやテキストに正確に合わせるAIで、高品質で滑らかな、リアルなリップシンクビデオを作成できます。3Dモデルのような複雑なツールを必要とせず、拡散モデルとTRPを使用しており、SyncNetというツールでオーディオとビデオが完全に一致するようにし、stable sync netでさらに精度を高めています。映画の吹き替え、バーチャルアバターの作成、広告、ゲーム、オンライン会議、教育、ソーシャルメディアビデオなど、多岐にわたる用途に利用可能です。Comfy UIに組み込まれており、最低6GBのVRAMを持つコンピューターで使用できます。コードとモデルは無料で利用できるオープンソースですが、より高速で安定した結果を得るための有料版も存在します。 #### まとめ AudioXとLatin Syncは、拡散モデルなどのスマート技術を利用して、異なる種類のデータを結びつけ、コンテンツ作成の方法を革新する可能性を秘めています。