Momask

uniform → batch 별로 0~1사이 random number 생성

self.noise_schedule = cosine_schedule

def cosine_schedule(t):
return torch.cos(t * math.pi * 0.5)

결국 random mask probs는 0퍼에서 100퍼까지이다

num_token_mask는 1~max_token_num 가 된다.

MAR

    orders = self.sample_orders(bsz=x.size(0))
    mask = self.random_masking(x, orders)

• self.random_masking
• self.sample_orders