요약

• 본 논문의 기여는 다음과 같다.
  1. 한국인 열화상 데이터의 자체 취득
  2. 감정 인식에 필요한 연구 영역을 추출하여 데이터베이스 구축
  3. 기존 CNN 아키텍처를 이용하여 검증 정확도와 학습 시간을 분석

1. 서론

• 일반적인 표정 분류 연구는 가시광선 기반이나 조명, 표정과 실제 감정의 불일치 여부, 인간의 피부색, 얼굴, 모양, 질감, 윤리적 배경, 문화적 차이 및 눈의 다양성 등의 여러 요인으로 인해 영향을 받는다.
• 반면 열화상은 물체에서 방출되는 복사열 강도에 의한 이미지이므로, 조명과 빛의 산란에 강건하며, 감정에 의해 영향을 받는 온도 변화를 포착할 수 있으므로 실제 감정을 구별하는데 적용될 수 있다.
  • 감정 인식 분야에서 잠재적·보완적 솔루션으로서의 관심이 높아지고 있으나, 열화상 DB는 그 수가 매우 적으며 공개된 데이터도 거의 없다.
• 따라서 본 연구에서는 16명의 피험자로부터 열화상 영상을 취득하고, 감정 인식에 얼굴 표정을 사용하기 위해 취득한 영상에서 얼굴 영역만 추출하여 새롭게 DB를 구성했다.
  • 그 후 DB의 적합성을 확인하기 위해 기존 CNN 모델로 표정 분류 인식 성능을 평가·분석한다.

2. 열화상의 얼굴 표정 분류 관련 연구

2.1 열화상 표정 분류 기존 연구 동향

• 열화상은 가시광선 기반 이미지와 geometry, appearance, 및 texture 등이 다르므로 기존의 이미지와는 다른 전처리 방법이 필요하다.
  • Kopaczka et al.[10]은 얼굴 감지를 위해 SVM과 HOG를 적용했다.
  • Latif et al.[11]은 열화상 영상에서 CLHE (Contrast Limited Histogram Equalization)을 구현했다.
  • Mod et al.[5]은 얼굴 감지를 위해 Haar와 유사한 특징을 가진 Viola-Jones 부스팅 알고리즘을 적용했다.
• 얼굴 표면의 온도는 얼굴의 구성요소 및 피부 두께, 그리고 혈관의 분포에 따라 달라진다.
  • 표정과 얼굴 표면 온도의 관계에 대한 연구는 다음과 같이 나뉜다.
    1. 안면 근육의 움직임에 따른 표정과 그 때의 얼굴 표면 온도 변화의 관련성[12]-[14]
    2. (표정에 관계 없이) 얼굴 표면 온도 변화와 감정 간의 관련성[15]-[17]
• 기존 연구는 대부분 얼굴의 부분 관심 영역 (region of interest, ROI)을 기준으로 표정을 분류했다[11][18][19].
  • 여러 연구에서, 인간의 표정 유형에 따른 얼굴 ROI의 온도 변화를 관찰했다.

2.2 기존 연구에 사용된 열화상 데이터베이스

• 열화상 데이터베이스는 다음의 세 가지 주요 범주로 나눌 수 있다.
  1. 감정 유형에 따라 포즈를 취한 상태에서 감정을 획득한 유형
  2. 유도된 감정을 획득한 유형
  3. 피험자가 자발적으로 드러낸 감정을 획득한 유형
• 기존 DB가 매우 적어, 기존 연구의 50%가 자체 구축한 열화상 DB로 표정 분류를 수행했다.
  • 표정 분류에 사용된 데이터셋 유형에 따라 얼굴 영역의 일부/전체를 사용했고, 분류기는 SVM, LDA, KNN 등 다양하게 사용했다.
    • Wang et al.[22]은 자연 가시광선 및 적외선 얼굴 표정 (Natural Visible and Infrared facial Expression, NVIE) 데이터베이스를 구축했다.
    • Nguyen et al.[23]은 열화상 및 가시광선 비디오의 자연스럽고 자발적인 감정 표현에 중점을 둔 KTFE (Kotani Thermal Facial Emotion) 데이터베이스를 구축했다.
    • 두 연구 이외에는 대부분 자체 구축한 데이터베이스로 HOG (histogram of gradients), LBP (local binary pattern), SIFT (scale-invariant feature transform), SVM (soft vector machine), KNN (k nearest neighbor), BDT (binary decision tree), LDA (linear discriminant analysis), NB (naive Bayes) 및 RF (random forest) 분류기와 같은 다양한 유형의 기능 및 분류 알고리즘을 적용했다[24].
• 본 연구에서는 공개된 열화상 DB가 거의 없고, 피부색 및 문화적 차이가 표정 분류 인식률에 영향을 미친다는 점을 고려하여 한국인의 감정 인식 분류를 위한 DB를 구축한다.
  • 또한 그 유용성을 평가하기 위해 기존의 AlexNet, VGG16, GoogLeNet, ResNet-18에 적용하여 비교·분석한다.

3. 열화상 데이터베이스 구축

• 데이터 수집 과정 및 스펙은 다음과 같다.
  • 일반인 피험자 16명, 조명과 배경 한정
  • 4가지 감정 상태 (natural, happiness, sadness, fear)별로 60초간 획득
  • 각 감정별 가이드 영상 제시
  • 프레임별 이미지로 수집
  • HD 해상도 (1080×1440), 열 해상도 80*60, 초당 8.57 프레임, MPEG-4

• 추출된 이미지를 표정 분류에 사용하기 위해, YOLO 알고리즘으로 얼굴영역만 추출하며, 자동으로 얼굴 영역을 추출하도록 오토 라벨링 알고리즘을 구현한다.
  • 원본 DB의 일부 이미지에 대해 오토 라벨링 알고리즘을 적용하여 얼굴 영역을 추출한 bounding box 데이터셋을 만든다.