JAX: CLIP Guided Diffusion

Eine Methode zur Übertragung des Stils von einer Gruppe von Bildern auf ein 3D-Objekt. Das Texturerscheinungsbild eines Assets wird mit einem differenzierbaren Renderer in einer Pipeline optimiert, die auf Verlusten basiert, die mit vortrainierten tiefen neuronalen Netzen verwendet werden. Konkret nutzen wir einen nearest-neighbor Feature-Matching-Verlust mit CLIP-ResNet50, um den Stil aus Bildern zu extrahieren. Wir zeigen, dass ein CLIP-basierter Stil-Verlust ein unterschiedliches Erscheinungsbild im Vergleich zu einem VGG-basierten Verlust bietet, indem er sich stärker auf Texturen als auf geometrische Formen konzentriert. Zusätzlich erweitern wir den Verlust, um mehrere Bilder zu unterstützen und ermöglichen verlustbasierte Kontrolle über die Farbpalette in Kombination mit automatischer Farbpalettenextraktion aus Stilbildern.

Textgetriebenes Framework für die Erzeugung und Animation von 3D-Avataren. Im Gegensatz zu professioneller Software, die Expertenwissen erfordert, ermöglicht AvatarCLIP Laienbenutzern, einen 3D-Avatar mit der gewünschten Form und Textur anzupassen und den Avatar mit den beschriebenen Bewegungen ausschließlich mit natürlichen Sprachen zu steuern.

Ändern des Stils eines gegebenen Bildes basierend auf Texteingabe.

Kombination von neuronalem Rendering mit multi-modalen Bild- und Textrepräsentationen zur Synthese verschiedener 3D-Objekte ausschließlich aus natürlichsprachlichen Beschreibungen.

Generierung von pixelierten Animationen und Bildern basierend auf dem gegebenen Text.

Generieren Sie moderne Gemälde aus Textbeschreibungen.

Analysieren von Videos und Erstellen von Untertiteln dafür.

Konvertieren eines Bildes eines Objekts in eine Skizze, die unterschiedliche Abstraktionsniveaus zulässt.

Erstellen Sie eine Beschreibung eines Bildes auf Russisch.