24-08-27 실험

Temporal VAE의 traing 실험. qf3을 기준으로 시작했다.

• quant factor 3, hidden dim 512, feedforward dim 1024, num layer 1(아래에서 두번째)
• quant factor 2, hidden dim 512, feedforward dim 1024, num layer 1 (맨 아래)

을 제외하고 모두 터졌다.

Quant factor를 3으로 고정 했을 때

• 모델의 layer수가 커질 수록 더 불안정한 것을 확인해 볼 수 있다.

• 1 layer일 때는 안정적으로 학습이 된 반면, 2,3,4 layer를 사용했을 때, 터졌다.

• 3,4 layer에 비해 2 layer가 더 안정적이다. 이는 std가 0으로 수렴해버리는 현상과 recon loss가 2.088 로 수렴해버리는 현상으로 매우 불안정하다는 것을 알 수 있다.

  

• std가 0이 되어 버리면 터지고, 모델이 커지면 오히려 불안정하다.

• 이는 kldivergence weight를 늘리면 해결될 것이다. (현재 kld의 weight는 0.0001)

  • 이건 ACTOR나 MLD에서 쓰는 TransformerVAE가 쓰는 weight이고 temporalVAE는 무엇이 맞을지 고민해봐야함. 다만, kl이 커지면 recon 성능이 떨어짐!

    

Quant factor를 2,1로 줄였을 때

• layer가 1인 상태에서 qf 3,2는 잘 학습이 되지만, 1은 학습이 안된다.

노란색이 qf가 1일 때

• 초반에 kld가 터져버린다.
• kld의 weight를 키우거나, latent dim을 줄이는게 좋을 것 같다.

24-08-28 실험