JAX: CLIP Guided Diffusion

une méthode pour transférer le style d'un ensemble d'images à un objet 3D. L'apparence de texture d'un élément est optimisée avec un rendu différentiable dans une pipeline basée sur des pertes utilisant des réseaux de neurones profonds pré-entraînés. Plus précisément, nous utilisons une perte de correspondance de caractéristiques de voisinage le plus proche avec CLIP-ResNet50 pour extraire le style des images. Nous montrons qu'une perte de style basée sur CLIP fournit une apparence différente par rapport à une perte basée sur VGG en se concentrant davantage sur la texture que sur les formes géométriques. De plus, nous étendons la perte pour prendre en charge plusieurs images et permettre un contrôle basé sur la perte sur la palette de couleurs combiné avec l'extraction automatique de la palette de couleurs à partir des images de style.

Framework axé sur le texte pour la génération et l'animation d'avatars 3D. Contrairement aux logiciels professionnels qui nécessitent une expertise, AvatarCLIP permet aux utilisateurs non spécialistes de personnaliser un avatar 3D avec la forme et la texture souhaitées, et de le contrôler avec les mouvements décrits en utilisant uniquement des langues naturelles.

Changer le style d'une image donnée en fonction de l'entrée de texte

Combinaison du rendu neuronal avec des représentations d'images et de texte multi-modales pour synthétiser divers objets 3D uniquement à partir de descriptions en langage naturel.

Générer une animation et des images pixelisées en fonction du texte donné.

Générer des peintures modernes à partir de descriptions textuelles.

Analyser des vidéos et créer des légendes pour elles.

Convertir une image d'un objet en croquis, permettant des niveaux d'abstraction variables.

Créez une description d'une image en russe.