Online continual learning for agents

Data

• wait until new data comes → 시간,돈이 많이 듦
• Re-training from scratch → 가장 performance가 좋지만 시간,돈이 많이 듦
• fine-tuning → Catastrophic forgetting

⇒ 새로운 continualy update하는 방법론이 필요하다

CL-ALFRED

⇒ CL-ALFRED framework 제안

• 2 incremental setups : 1. behavior 2. Environment
  • 새로운 task들이 계속 들어옴
  • 새로운 scene type들이 계속 들어옴

CL recent works + Method

• Replay based
• Distillation-bases methods ⇒ DER++
  • 가장 강력하지만 문제점 존재 ⇒ Logit들이 학습이 덜 된 모델들에서 나온 logit들이다
  • 그럼 teacher모델을 업데이트하자 ⇒ EMA
    • EMA에서 $\gamma$값이 0.99일떄 제일 잘되고, 1일때는 학습이 안된다.. 왜?
      • $\gamma$가 고정된 값이여서 그럼 즉, $\gamma$를 adaptive하게 가져가자.!!
        • 어떻게 adaptive하게? 모델의 confidence score를 이용하자
• Regularization methods

Learning to enhance aperture phasor fields for non-line-of sight imaging

NLOS imaging system

→ 기존의 camera : light of sight imaging system

NLOS : non-line-of sight

• Difficulties
  • 3번 bounce함 ⇒ 돌아 올 수 있는 path가 무한개임
  • signal이 매우 낮음 → photon이 몇 개 안돌아옴→ 노이즈가 매우 많음
• Task
  • raster scan이 너무 오래 걸린다 → sparse sampling을 input으로 하여 raster scan을 복원하여 NLOS를 돌려보자
  • phasor field based enhancement NN