Text-to-image: CLIP+Guided Diffusion

이미지 세트에서 스타일을 3D 객체로 전송하는 방법입니다. 자산의 질감 외관은 사전 학습된 딥 뉴럴 네트워크를 사용한 손실 기반 파이프 라인에서 차별화 가능한 렌더러로 최적화됩니다. 더 구체적으로, 우리는 CLIP-ResNet50을 사용하여 가장 가까운 이웃 특징 일치 손실을 활용하여 이미지에서 스타일을 추출합니다. CLIP 기반 스타일 손실이 기하학적 모양보다는 질감에 더 초점을 맞추어 VGG 기반 손실보다 다른 외관을 제공하는 것을 보여줍니다. 또한, 우리는 손실을 여러 이미지를 지원하도록 확장하고, 스타일 이미지에서 자동 색상 팔레트 추출과 결합된 손실 기반 색상 팔레트 제어를 가능하게 합니다.

3D 아바타 생성 및 애니메이션을 위한 텍스트 기반 프레임워크. 전문 지식이 필요한 프로페셔널 소프트웨어와 달리, AvatarCLIP은 비전문가 사용자가 원하는 모양과 질감으로 3D 아바타를 사용자 정의할 수 있도록 하며, 자연어만을 사용하여 설명된 동작으로 아바타를 구동할 수 있도록 지원합니다.

주어진 텍스트 입력에 따라 이미지의 스타일을 변경하기

자연어 설명만으로 다양한 3D 객체를 합성하기 위해 다중 모달 이미지 및 텍스트 표현과 신경 렌더링을 결합합니다.

주어진 텍스트를 기반으로 픽셀화된 애니메이션 및 이미지 생성하기

텍스트 설명으로부터 현대적인 그림 생성하기

동영상 분석 및 자막 생성하기

객체의 이미지를 스케치로 변환하여 추상화 수준을 다양하게 조절할 수 있습니다.

이미지에 대한 설명을 작성하세요.