Video understanding

Un metodo per trasferire lo stile da un insieme di immagini a un oggetto 3D. L'aspetto della texture di un asset viene ottimizzato con un renderer differenziabile in una pipeline basata su perdite utilizzando reti neurali profonde preaddestrate. Più specificamente, utilizziamo una perdita di corrispondenza delle caratteristiche del vicino più vicino con CLIP-ResNet50 per estrarre lo stile dalle immagini. Mostriamo che una perdita di stile basata su CLIP fornisce un aspetto diverso rispetto a una perdita basata su VGG concentrandosi maggiormente sulla texture rispetto alle forme geometriche. Inoltre, estendiamo la perdita per supportare più immagini e consentiamo il controllo basato sulla perdita sulla tavolozza dei colori combinato con l'estrazione automatica della tavolozza dei colori dalle immagini di stile.

Text-driven framework for 3D avatar generation and animation. Unlike professional software that requires expert knowledge, AvatarCLIP empowers layman users to customize a 3D avatar with the desired shape and texture, and drive the avatar with the described motions using solely natural languages.

Changing the style of a given image based on text input.

Combining neural rendering with multi-modal image and text representations to synthesize diverse 3D objects solely from natural language descriptions.

Generando animación y imágenes pixeladas basadas en el texto proporcionado.

Generare pitture moderne da descrizioni testuali.

Analysing videos and creating caption for them

Converting an image of an object to a sketch, allowing for varying levels of abstraction.

Создать описание изображения на русском языке.