• [ ] Diffusion pipe라인도 제대로 짜놓기

• [ ] MMM eval 코드가 이상함 디버깅

  • [ ] 다시 MMM vqvae eval
  • [ ] 다시 MMM t2m eval

• [x] Momask motionprior wrapper에 호환

• [x] Momask base + RF 학습 → to check if RF does well on more refineent

  • base VQVAE는 RVQ에서 첫 layer만 쓴게 아니라 직접 학습을 한것이였음( base token들만 recon해보니 0.12fid가 나옴) 그러므로 직접 base vqvae를 학습해야 하는데 일단 MMM이 있으니 학습따로 안함. 해야할지 말지는 나중에 결정
  • [x] Momask base + t2m + RF
    • 이것도 같은 관점에서 굳이 안해도 될지도

• [x] Momask RVQ + RF 학습 → can RF refine better motions too?

• [x] Momask RVQ + t2m + RF

• [x] reflow training code

• [x] RF decoder training

• [ ] RFdecoder evaluation

Co-Speech Gesture generation

• [x] Talkhow 다운로드, 데이터셋 살펴보기
• [x] Talkshow 데이터셋 만들기
• [x] Beatv2 데이터셋 만들기
• [ ] EMAGE + RF
  • [ ] EMAGE vqvae 가져와서 motion prior에 wrapping
• [ ] Talkshow + RF
  • [ ] Talkshow vqvae 가져와서 motion prior에 wrapping
• [ ] probtalk + RF
  • [ ] probtalk vqvae 가져와서 motion prior 에 wrapping
• [ ] FGD implementation