JAX: CLIP Guided Diffusion

një metodë për transferimin e stilit nga një grup imazhesh në një objekt 3D. Pamja e teksturës së një pasurie optimizohet me një renditës diferencuese në një tub të bazuar në humbje duke përdorur rrjetet neuronale të thellësive të parapërgatitura. Më konkretisht, ne përdorim një humbje për përputhjen e karakteristikave të afërta me CLIP-ResNet50 për të nxjerrë stilin nga imazhet. Ne tregojmë se një humbje stili bazuar në CLIP ofron një pamje të ndryshme në krahasim me një humbje të bazuar në VGG duke u fokusuar më shumë në teksturë në krahasim me format gjeometrike. Shtojmë gjithashtu humbjen për të mbështetur shumë imazhe dhe lejojmë kontrollin e bazuar në humbje mbi paletën e ngjyrave të kombinuara me nxjerrjen automatike të paletës së ngjyrave nga imazhet e stilit.

Framework-i i drejtuar nga teksti për gjenerimin dhe animimin e avatarëve 3D. Ndryshe nga softuerët profesionalë që kërkojnë njohuri ekspertësh, AvatarCLIP i jep mundësinë përdoruesve laikë të personalizojnë një avatar 3D me formën dhe teksturën e dëshiruar, dhe të drejtojnë avatarin me lëvizjet e përshkruara duke përdorur vetëm gjuhë natyrale.

Ndryshimi i stilin e një imazhi të dhënë bazuar në hyrjen e tekstit.

Kombinimi i renditjes neuronale me paraqitjet e shumëfishta të imazheve dhe tekstit për të sintetizuar objekte 3D të ndryshme vetëm nga përshkrimet e gjuhës natyrale.

Gjenerimi i animacioneve dhe imazheve me piksel bazuar në tekstin e dhënë.

Prodhoni piktura moderne nga përshkrimet në tekst

Analizimi i videove dhe krijimi i titrave për to.

Konvertimi i një imazhi të një objekti në një skicë, duke lejuar nivele të ndryshme të abstraksionit.

Krijoni një përshkrim të një imazhi në rusisht.