• Further Reading

1. Model Serving

• Serving
  • Production(Real World) 환경에 모델을 사용할 수 있도록 배포
  • 머신러닝 모델을 개발하고, 현실 세계(앱, 웹)에서 사용할 수 있게 만드는 행위
  • 서비스화라고 표현할 수도 있음
  • Online/Offline Serving

2. Online Serving

Web Server Basic

• Web Server

  • HTTP를 통해 웹 브라우저에서 요청하는 HTML 문서나 오브젝트를 전송해주는 서비스 프로그램
  • 요청(Request)을 받으면 요청한 내용을 보내주는(Response) 프로그램

  

• Machine Learning Server

  • 어떤 데이터(Input)를 제공하며 예측해달라고 요청(Request)하면, 모델을 사용해 예측 값을 반환(Response)하는 서버

  

API

• Application Programming Interface
• 운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스
• 종류
  • 특정 서비스에서 해당 기능을 사용할 수 있도록 외부에 노출 - 기상청 API
  • 라이브러리의 함수 - pandas, Tensorflow, Pytorch

Online Serving Basic

1. 직접 API 웹 서버 개발

   • Flask, FastAPI 활용

2. 클라우드 서비스 활용

   • AWS sagemaker, GCP의 vertex AI