[JB]
- [x] KLD weight값 0.001로 다양하게 실험
- [x] evaluation code 짜서 RVQ와 같은 새팅에서 비교해보기
- [x] TransformerVAE 학습코드
- [x] Text-to-Motion 학습을 위한 데이터셋 코드 짜놓기
- [x] MotionGen에서 바로 쓸 수 있도록 Motionprior inference code 짜놓기
- [x] MARM evaluation code 작성
- [ ] evaluation code README 작성
- [x] Momask랑 MARM 코드 비교
- [ ] MARM validation으로 evaluation가능하게 만들기 → generation 모델마다 다른게 많음
- [x] visualization code & visualization sample 저장해놓기
- [x] wandb gif 연결 & sampling code
- [x] momask inference어떻게 하는지 코드리뷰
- [x] gt_length 받고 병렬 디코딩 하는 mar_naieve 모델 학습
- [x] mar_naieve evaluation
- 09-19
- [ ] NaiveMar을 생성잘하게 만들기
- [ ] Masking ablation
- [ ] epoch 늘려보기
- [ ] Masking은 잘하나 한번 살펴보기 (val set으로)
- [ ] clip의 문제…?
- [ ] VAE latent 줄이는 방법 실험
- [ ] 2D convolution으로 해보기 → Convlution
- [ ] 1D conv 2번으로 해보기 → Convolution
- 09-25
- [ ] Decoder only model로 naive_marm 구현
- [ ] 똑같은 모델로 AR학습
[JW]
- [ ] CBAM hyperparameter tuning → 열심히 도는중
- [x] Bidirectional Mask implementation → Almost Done
- [ ] Stopping Loss 오버피팅 해결 (weight 조정이나 scheduling 해야할거같긴함)
- [ ] Sampling Code 작성
- [x] DiffusionLoss Debugging → 이쪽은 믿고 갔는데 한번 까볼필요는 있을듯
- [x] 그리고 Mask 두개쓰게 되면 짜피 까봐야함.
- 배치 * sequence 쭉 펴서 각각 Denoising ⇒ Sequence 별로 Loss 나옴