Keywords : VQVAE, Diffusion Refinement, 2D Conv, 2D Attention, Autoregressive Generation

민서

vqvae + Diff 구현

• 그냥 vqvae에 비해서 얼마나 성능 향상이 나오는가 ?? (fid, mpjpe wise)
• SOTA RVQ들에 비해서 얼마나 성능이 나오는가?(fid, mpjpe wise)

정빈

2stage model eval code

MotionPrior on the fly eval code

2D convolution / 1D embedding VAE 구현

2D convolution / 2D embedding VAE 구현

• 1D VAE 에 비해서 얼마나 성능이 향상되는가?
• Embedding dim을 얼마나 줄일 수 있는가?
  • 여기서 spatial 한 relation ship을 이용해서 dim을 많이 줄일 수 있다면 현재 MARM setting으로 학습하면 됨.
  • MARM에서 diffusion의 overload를 Embedding Dimension 차원에서 줄이고 대신 transformer에 좀 더 학습할꺼리를 많이주자
    • 예를들어, spatial dim이 1이다 → (BS, 49, 16) (BS, temporal_dim, latent_dim)

      1. 아예 Convolution 단에서 Spatial Dim을 1로 줄여버리기

         EX) (B, S, 263) → (B, S, 12, 21) → (B, 1, 49, 16) → (B, 49, 16)

      2. Spatial Dimension 살려놓고 Reshape 하기

         EX) (B, S, 263) → (B, S, 12, 21) → (B, 4, 16, 16) → (B, 64, 16)

준완

Wrapper에 Generate 코드 넣어두기

2D convolution / 2D embedding MARM구현

• MARM에서 diffusion의 Overload를 좀 줄이는 대신, transformer한테 학습할꺼리를 많이주자. (Longer Sequence, 2D Attention 등)
  • 예를들어, spatial dim이 6이다 → (BS, 6, 49, 16) (BS, spatial , temporal_dim, latent_dim)
    • Parallel Setting → 6*49의 2D 이미지라고 생각하고 16짜리 latent dim을 예측하는 MARM
    • Autoregressive Setting → 49 * (6*16)이라고 생각하고, 한 timestamp를 예측할 때, spatial dim만큼 예측을 함. (Spatial Dim 내에서는 여전히 Parallel 하게 예측 가능)

      • ex)