loss가 잘 떨어지긴 하나 fid나 mpjpe를 측정해보면
331 epoch 기준
FID: 0.014, conf. 0.000
Diversity: 8.440, conf. 0.066
TOP1: 0.439, conf. 0.002, TOP2. 0.637, conf. 0.002, TOP3. 0.743, conf. 0.002
Matching: 3.415, conf. 0.007
MAE:0.015, conf.0.000
KLD weight가 좀 크면 점점 성능이 좋아지긴 한다 그러나 아무리 학습을 오래해도 성능이 오를것 같지는 않다
kl weight가 0.001정도로 너무 크면 그냥 KLD가 이겨버리던가 그냥 성능이 안좋다.
기본적으로 klw가 0.002면 중간부터 학습이 이상하고 validation loss가 조금씩 오르는 것을 확인할 수 있다.
/home/whwjdqls99/MARM/checkpoints/t2m_STVAE_qf2_sqf2_hd2d128_hd1d64_ebd16_fd256_nl1_nh4_klw0.0004_loss_l2_bsz1024_1004182146/eval/TVAE_best_69_0_eval.txt final result
FID: 0.028, conf. 0.000 Diversity: 8.396, conf. 0.068 TOP1: 0.437, conf. 0.003, TOP2. 0.634, conf. 0.002, TOP3. 0.741, conf. 0.002 Matching: 3.422, conf. 0.007 MAE:0.014, conf.0.000
FID: 0.021, conf. 0.000
Diversity: 8.528, conf. 0.061
TOP1: 0.440, conf. 0.003, TOP2. 0.636, conf. 0.003, TOP3. 0.743, conf. 0.002
Matching: 3.410, conf. 0.008
MAE:0.020, conf.0.000
당연히 모두 69 에폭, 18에폭에서 validation 이 제일 좋았으니, 둘다 성능이 그저 그렇다. 이런 현상은