<aside> ❓

기존 MAR model을 varying length로 학습 시키기 위해선 어떻게 구현 해야할까

</aside>

1. Masking → Momask의 training strategy 리뷰 필요

• 기존에는 모두 길이(patch의 개수)가 같았기 때문에 batch단위 trainig을 할때 문제점이 없었다
• 이젠 모두 길이가 다르기 때문에 batch training을 하기 위해서
  1. padding.
     • batch training 을하기 위해선 우선 motion의 길이를 padding해줘야한다.
     • [joint_position1, …, joint_position43, 0, 0,0, .,.. , 0]
  2. Attention mask
     • padding된 latent를 보지 않도록 masking을 해줘야한다.
     • 다만,

2. Inference

• gt length 와 caption을 줬을 때, 해당 길이에 맞는 motion을 generation해야한다.

3. Positional Encoding

• max_length를 정해놓고 max_length안의 motio들만 generation한다면, 그냥 기존 PE를 써도 된다.
  • 다른 PE는 추후에 해도 될듯

Momask의 forward

MAR의 forward