JAX: CLIP Guided Diffusion

một phương pháp để chuyển đổi phong cách từ một tập hình ảnh sang một đối tượng 3D. Sự xuất hiện của kết cấu của tài sản được tối ưu hóa với một trình kết xuất khả vi trong một đường ống dựa trên các mất mát sử dụng các mạng nơ-ron sâu được huấn luyện trước. Cụ thể hơn, chúng tôi sử dụng một mất mát phù hợp với tính năng hàng xóm gần nhất với CLIP-ResNet50 để trích xuất phong cách từ hình ảnh. Chúng tôi cho thấy rằng mất mát phong cách dựa trên CLIP cung cấp một diện mạo khác biệt so với mất mát dựa trên VGG bằng cách tập trung nhiều hơn vào kết cấu hơn là hình học. Ngoài ra, chúng tôi mở rộng mất mát để hỗ trợ nhiều hình ảnh và cho phép kiểm soát dựa trên mất mát trên bảng màu màu sắc kết hợp với trích xuất bảng màu màu sắc tự động từ hình ảnh phong cách.

Khung chương trình dựa trên văn bản để tạo và hoạt hình nhân vật 3D. Khác với phần mềm chuyên nghiệp yêu cầu kiến thức chuyên môn, AvatarCLIP cho phép người dùng không chuyên tùy chỉnh nhân vật 3D với hình dạng và kết cấu mong muốn, và điều khiển nhân vật với các chuyển động được mô tả bằng ngôn ngữ tự nhiên.

Thay đổi kiểu của một hình ảnh cụ thể dựa trên đầu vào văn bản.

Kết hợp kỹ thuật vẽ thần kinh với các biểu diễn hình ảnh và văn bản đa dạng để tổng hợp các đối tượng 3D đa dạng chỉ từ các mô tả ngôn ngữ tự nhiên.

Tạo hình ảnh và hoạt ảnh pixel dựa trên văn bản được cung cấp.

Tạo ra những bức tranh hiện đại từ mô tả văn bản.

Phân tích video và tạo phụ đề cho chúng.

Chuyển đổi hình ảnh của một đối tượng thành bản phác thảo, cho phép các mức độ trừu tượng khác nhau.

Tạo mô tả của một hình ảnh bằng tiếng Nga.