• FID는 fidelity와 diversity를 구별하지 않기 때문에 최근 precision과 recall metrics가 많이 제안 되어 왔지만 최근 precision과 recall metric들은
  • 동일한 분포를 matching하지 못하고
  • outlier들에 robust하지 못하고
  • hyperparameter들의 evaluation이 임의로 선택된다
• Density and Coverage은 위와 같은 단점들을 보완한다

Precision and Recall

Fidelity와 Diversity는 다르지만 비슷한 FID를 가지는 생성모델을 평가하기 위한 metric

• Precision

$$ ⁍ $$

• Recall

$$ \frac{\text{overlap of reals}}{\text{all reals}} $$

Procedure

1. pre-trained inception network에서 embedding 을 구함
2. $\hat{P}$와 $\hat{Q}$의 유니온을 구함 (k-means algorithm)

• [-] Assumes that embedding space is uniformly dense
• [-] Relies on initialisation-sensitive k-means algorithm
• [-] produces infinite number of metrics

Improved Precision and Recall