🎯목표

<aside> 🔥 Transformer-XL Baseline에 최신 nlp기법들을 적용하여 수치상으로 변화 관찰하기

</aside>

• metric
  • Commu metric
  • CAS
• 최신 nlp
  • attention
• 박민수 머리속에서 최신 방법론
  • group encoding
  • soft labeling

✅할 일

• [ ] 깃허브
• [ ] 보고서 업데이트(사실상 리드미)
• [ ]

👥역할 분배

김민서 : Metric(commu)

김산 : 🦻 sparse attention

김성준 :

박민수 : group encoding + soft labeling

박수빈 : Metric(CAS)

조정빈 : 🦻 attention, Metric(CAS)

📜미팅

• 03/10 비대면 (6시-9시)
• 03/11 대면 카페 앤 (10시-3시)
  • 참여
    • 대면 : 박민수, 김산, 박수빈, 김성준, 조정빈
    • 산이 또 런
• 03/12 대면 안다르 (종일)

Untitled

Untitled

Attention listup

Sparse transformer

Generating Long Sequences with Sparse Transformers

Linear transformer

Linformer