Boosting Generative Image Modeling via Joint Image-Feature Synthesis

개발자라면 누구나 한 번쯤은 상상해 봤을 겁니다.
"이미지 생성 모델이 단순히 그럴듯한 이미지를 만드는 데 그치지 않고, 생성 과정에서 의미 있는 고수준 특징(semantic feature)까지 동시에 학습할 수 있다면 어떨까?"
 

ReDi(Representation-Diffusion)는 바로 그 상상을 연구 수준에서 현실로 끌어내린 프로젝트입니다. 기존의 Latent Diffusion Model(LDM)들이 대부분 이미지의 잠재(latent) 표현만을 생성하는 데 초점을 맞춘 것과는 달리, ReDi는 이미지의 저수준 정보(잠재 표현)와 고수준 의미(semantic feature)를 동시에 합성하는 새로운 방식을 지향합니다.

이 논문이 흥미로운 이유는 단순히 "이미지 생성 품질이 좋아졌다" 수준을 넘어서, 생성 과정에서 이미지와 의미적 특징을 동시에 다루는 통합적 설계 안에서 사용자의 의도나 의미적 제약(Representation Guidance)에 반응할 수 있도록 설계되었다는 점입니다. 예를 들어, DINOv2와 같은 강력한 self-supervised 비전 인코더에서 추출한 의미적 특징을 활용해, 단순히 픽셀 단위 이미지를 넘어 '의미 있는' 이미지를 생성할 수 있게 된 것이죠. 이제 진짜로 '이미지 생성과 의미 이해의 경계가 사라진' 시대가 열린 셈입니다.

✅ 어떻게 작동하나요? – ReDi의 핵심 아이디어

ReDi가 도입한 가장 눈에 띄는 개념은 바로 "공동 이미지-특징 합성(Joint Image-Feature Synthesis)"입니다. 즉, 이미지의 잠재 표현(VAE Latent)과 의미적 특징(Semantic Feature, 예: DINOv2에서 추출)을 동일한 확산 과정에서 동시에 노이즈로부터 복원(denoise)하도록 학습합니다.
 

이러한 이중 공간(dual-space) 확산은 실제로 표준 Diffusion Transformer(예: DiT, SiT)에 약간의 구조만 추가하는 방식으로 구현되며, 이를 통해 복잡한 distillation(지식 증류) 없이도 이미지와 의미 정보를 동시에 생성하는 게 ReDi의 강점입니다.

이 모델은 총 2단계의 합성 과정을 거쳐 만들어졌습니다:

• 1. 전방 확산(Forward Diffusion) – 이미지의 VAE 잠재 표현과 의미적 특징(예: DINOv2 feature)에 각각 노이즈를 추가하여, 점점 더 무작위적인 상태로 만듭니다.
• 2. 역방향 복원(Reverse Denoising) – 노이즈가 가득한 상태에서 시작하여, Transformer 기반 확산 모델이 이미지와 의미 특징을 동시에 점진적으로 복원합니다.

✅ 주요 기술적 특징과 혁신점

ReDi의 핵심 기술적 특징은 크게 세 가지 측면에서 살펴볼 수 있습니다.

1. 이중 공간(dual-space) 확산 학습
이는 이미지의 저수준 잠재(latent)와 고수준 의미(feature)를 동시에 확산-복원하는 방식입니다. 기존의 LDM이 오직 이미지 잠재만 다루던 것과 달리, ReDi는 두 표현을 하나의 토큰 시퀀스로 합쳐서 Transformer에 입력합니다. 이로써 이미지와 의미 정보가 자연스럽게 결합된 결과물을 얻을 수 있습니다.

2. Representation Guidance(표현 유도) 추론 전략
ReDi는 학습된 의미적 특징을 활용해, 생성 과정에서 '의미적 방향성'을 줄 수 있습니다. 즉, 원하는 의미적 특성(예: 특정 클래스, 스타일 등)에 따라 이미지 생성 결과를 유도할 수 있게 해줍니다. 이를 위해 별도의 복잡한 증류(distillation) 과정 없이, 학습된 dual-space 표현을 직접 활용합니다.

3. 간단한 구조적 변경으로 기존 Diffusion Transformer와 호환
ReDi의 구현은 기존 DiT, SiT 등 표준 Diffusion Transformer 구조에 최소한의 수정만 가하면 됩니다. 즉, VAE latent와 DINO feature를 합쳐서 입력하고, 노이즈를 동시에 추가/복원하는 것만으로도 혁신적인 성능 향상을 이끌어냅니다. 이는 실제 개발/적용 시 진입장벽을 크게 낮춰줍니다.

✅ 실험 결과와 성능 분석

ReDi의 성능은 다음과 같은 실험을 통해 검증되었습니다.

1. FID(Fréchet Inception Distance) 성능
ImageNet 256x256 등 주요 벤치마크에서, ReDi는 기존 DiT-XL/2 대비 FID가 23배 빠른 수렴과 함께 더 낮은 FID를 기록했습니다. SiT-XL/2+REPA 대비로도 6배 빠른 수렴을 보였습니다. 특히, 빠른 학습과 더 높은 품질이 동시에 달성된 점이 인상적입니다.

2. 의미적 일관성(semantic consistency) 평가
의미적 특징을 활용한 이미지 생성에서, 기존 LDM이나 REPA 대비 더 높은 의미적 일치도를 보였습니다. 즉, 의미적 제약을 주었을 때 그에 맞는 이미지를 더 잘 생성합니다.

3. 실제 응용 시나리오에서의 평가
실제 분류, 세분화(semantic segmentation) 등 다운스트림 태스크에서도 ReDi의 dual-space 표현이 더 뛰어난 성능을 보였습니다. 실용적 관점에서는, 복잡한 증류 없이도 의미적 제약이 가능한 점이 큰 장점이지만, DINO feature의 한계나 VAE 품질에 따라 결과가 달라질 수 있다는 점도 확인되었습니다.

이러한 실험 결과들은 ReDi가 생성 품질 향상과 빠른 학습이라는 두 마리 토끼를 잡을 수 있음을 보여줍니다. 특히 표현-생성 융합이라는 새로운 패러다임의 가능성을 입증했다는 점에서 의의가 큽니다.

✅ 성능은 어떨까요?

ReDi는 ImageNet 256x256와 ImageNet 512x512라는 첨단 벤치마크에서 각각 최대 2.79(FID, 256x256 기준), 최대 4.68(FID, 512x512 기준)이라는 점수를 기록했습니다. 이는 기존 DiT-XL/2, SiT-XL/2+REPA 수준을 뛰어넘는 성능입니다.

실제로 의미적 제약이 필요한 이미지 생성 시나리오, 특히 특정 클래스/스타일/속성에 맞는 이미지 합성에서도 꽤 자연스러운 반응을 보입니다.
물론 아직 "극도로 복잡한 의미적 조합" 생성에서는 약간의 미흡함이 존재하긴 하지만, 현재 수준만으로도 다양한 서비스에 활용 가능성이 큽니다.

✅ 어디에 쓸 수 있을까요?

ReDi는 단지 새로운 모델이 아니라, "생성과 표현 학습의 융합"이라는 흥미로운 방향성을 제시합니다.
앞으로는 더 많은 의미적 제약 기반 생성, 예를 들면 설명 가능한 이미지 생성, 의미-기반 편집까지 인식하게 될 가능성이 큽니다.

• 설명 가능한 이미지 생성: 생성된 이미지가 어떤 의미적 특징을 반영했는지, DINO feature 등으로 설명할 수 있습니다.
• 의미 기반 이미지 편집: 특정 의미적 속성(예: 스타일, 객체 종류 등)을 바꿔가며 이미지를 생성/편집할 수 있습니다.
• 다운스트림 태스크(분류, 세분화 등) 사전학습: ReDi의 dual-space 표현을 활용해, 분류/세분화 등 다양한 비전 태스크의 성능을 높일 수 있습니다.

이러한 미래가 ReDi로 인해 조금 더 가까워졌습니다.

✅ 개발자가 지금 할 수 있는 일은?

ReDi에 입문하려면, 기본적인 Diffusion Model 구조와 Transformer 기반 모델링에 대한 이해가 필요합니다.
다행히도 공식 GitHub에 예제 코드가 잘 정리되어 있어, 실제로 코드를 받아 실험해보며 학습할 수 있습니다.

실무에 적용하고 싶다면?
VAE 인코더/디코더, DINO 등 의미적 feature 인코더를 확보하고, 다양한 의미적 제약 조건을 테스트하면서 모델을 fine-tune하거나 inference에 적용하는 것이 핵심입니다. 또한, 원하는 태스크(예: 분류, 편집 등)에 맞는 후처리/응용 파이프라인도 병행되어야 합니다.

✅ 마치며

ReDi는 단순한 기술적 진보를 넘어, 생성과 표현 학습의 경계 해체라는 더 큰 의미의 패러다임 전환을 향한 중요한 이정표입니다. 이 기술이 제시하는 가능성은 AI 비전 생태계의 미래를 재정의할 잠재력을 가지고 있습니다.

우리는 지금 생성 AI와 의미적 이해의 융합이라는 기술 발전의 중요한 변곡점에 서 있으며, ReDi는 그 여정의 핵심 동력이 될 것입니다. 당신이 이 혁신적인 기술을 활용하여 미래를 선도하는 개발자가 되어보는 건 어떨까요?

▶ 논문 원문 보러가기

✅ 같이 보면 좋은 참고 자료들

LiDPM: Rethinking Point Diffusion for Lidar Scene Completion
- 논문 설명: 야외 장면의 규모에서 라이다 포인트에 직접 작동하는 확산 모델을 훈련하는 것은 넓은 시야에서 백색 잡음으로부터 세밀한 세부 사항을 생성하는 어려움 때문에 도전적입니다.
- 저자: Tetiana Martyniuk, Gilles Puy, Alexandre Boulch, Renaud Marlet, Raoul de Charette
- 발행일: 2025-04-24
- PDF: 링크

Dynamic Camera Poses and Where to Find Them
- 논문 설명: 대규모로 동적 인터넷 비디오에서 카메라 포즈를 주석 처리하는 것은 현실적인 비디오 생성 및 시뮬레이션과 같은 분야의 발전에 매우 중요합니다.
- 저자: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin
- 발행일: 2025-04-24
- PDF: 링크

Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models
- 논문 설명: 자기회귀(AR) 모델은 언어 생성에서 오랫동안 지배적이었으나, 최근 이미지 합성에도 점점 더 많이 적용되고 있지만, 확산 기반 모델에 비해 경쟁력이 떨어진다고 여겨지는 경우가 많습니다.
- 저자: Xu Ma, Peize Sun, Haoyu Ma, Hao Tang, Chih-Yao Ma, Jialiang Wang, Kunpeng Li, Xiaoliang Dai, Yujun Shi, Xuan Ju, Yushi Hu, Artsiom Sanakoyeu, Felix Juefei-Xu, Ji Hou, Junjiao Tian, Tao Xu, Tingbo Hou, Yen-Cheng Liu, Zecheng He, Zijian He, Matt Feiszli, Peizhao Zhang, Peter Vajda, Sam Tsai, Yun Fu
- 발행일: 2025-04-24
- PDF: 링크