사전 학습된(pre-trained) 모델 종류

다양한 분야에서 널리 사용되는 여러 사전 학습된 모델이 존재한다. 머신러닝 분야는 매우 빠르게 발전하고 있으므로, 오늘 이후에도 새로운 모델들이 계속 등장할 수 있다. 다음은 현재까지 잘 알려진 대표적인 사전 학습 모델이다.

1. 자연어처리(NLP) 분야

• BERT (Bidirectional Encoder Representations from Transformers)
  • 구글(Google)에서 개발한 모델
  • 감정 분석, 개체명 인식(NER), 질의응답(Q&A) 등의 작업에서 뛰어난 성능
    • NER 활용하여 환자 기록에서 병명, 증상, 처방전 자동 추출 가능
    • 쿼리 문맥을 이해하여 더 정확한 검색 결과 제공 가능
    • 질문의 의미를 정확히 파악해 적절한 응답 제공 가능
  • 문맥을 양방향으로 이해한다는 점이 특징
• GPT (Generative Pre-trained Transformer)
  • OpenAI에서 개발한 시리즈로, 사람처럼 자연스러운 텍스트를 생성하는 데 사용
  • 다양한 언어 관련 작업에 유연하게 활용 가능
    • 실시간 질의 응답, 글쓰기, 코드 작성 
    • 마케팅 문구 생성, 뉴스 기사 자동 생성
    • AI 작가 도우미
• Word2Vec
  • 모델이라기보다는 단어 임베딩(embedding) 기법
  • 대규모 말뭉치(corpus)에서 단어의 문맥을 기반으로 벡터를 생성
  • 이후 다양한 NLP 작업에 사용할 수 있다
    • "왕: 남자 = 여왕 :?" 같은 관계 학습에 활용 가능 (유사도 판단)
    • 이런 관계를 활용하여 상품 이름이 다르지만 유사한 의미를 가진 경우 검색 정확도 향상(이커머스 검색엔진)
• FastText
  • Facebook에서 개발한 Word2 Vec의 확장판
  • 서브워드(subword) 정보를 활용하여 단어 임베딩을 수행
    • 오타가 많아도 subword 기반 분석이 가능해서 안정적인 감정 분류가 가능하다(SNS 활용가능)
    • 이력서의 키워드를 분류하고 직무와 매칭이 가능하다(채용 플랫폼 자동 분류)
  • 특히 텍스트 분류나 OOV(out-of-vocabulary) 단어 처리에 강력
    • 기존에 Word2Vec 같은 단어 기반 임베딩은 사전에 없는 단어가 입력되면 무시하거나 오류를 내뱉기 때문에 처리를 못하는 문제가 있었고 subword는 단어보다 더 작은 단위로서 단어를 의미 있는 조각(접두산, 어간 등)으로 나눠서 학습하는 방식이다
    • 예를 들어 Word2 Vec에서 "사과", "바나나"를 학습한 후에 "사과맛우유"는 학습하지 않은 단어라 임베딩을 못하지만 FastText를 사용하면 "사과맛우유" 같은 케이스도 임베딩이 가능해서 더 안정적이게 활용 가능하다
    • 신조어 처리 유연

 

2. 이미지 처리 분야

• ResNet (Residual Network)
  • 딥러닝 모델에서 매우 깊은 네트워크 구조를 가능하게 한 잔차 연결(residual connection)로 유명
    • 잔차연결은 신경망 깊이가 싶을수록 학습이 잘 안 되어서 원래의 입력을 계산 결과에 그대로 더해서 출력으로 만드는 구조
  • 이미지 분류, 객체 인식, 이미지 세분화 등에 널리 사용
    • 교통 표지판, 차량, 사람 인식
    • 제품 사진에서 결함 탐지
    • 의료 영상 분석
• VGG (Visual Geometry Group)
  • 구조가 단순하면서도 강력한 이미지 분류 모델
    • 이미지 검색 서비스
    • 옷 사진을 분류해 유사 스타일 추천
    • 강아지 고양이 등 자동 이닛후 태그 부여(사진 자동 태깅)
  • 이미지넷(ImageNet) 대회에서 큰 성과
• InceptionNet (GoogLeNet)
  • 구글에서 개발한 모델로, 계산 자원을 효율적으로 사용하는 구조
  • 이미지 분류와 객체 인식에 사용
    • 다양한 해상도의 영상에서 건물, 도로 식별
    • 드론으로 촬영한 작물 이미지에서 병해 감지
    • CCTV 영상에서 사람 수, 교통량 분석
• MobileNet
  • 모바일 및 에지 디바이스에서 실시간으로 작동할 수 있도록 설계된 경량 모델
  • 계산 자원이 부족한 환경에서도 높은 성능을 발휘
    • 모바일 앱 얼굴 인식(안면 인식 잠금 해제, AR 필터)
    • 스마트폰 카메라로 시설물 손상 여부 판단
• Xception
  • InceptionNet의 확장 모델로, 채널 간 상관관계와 공간적 상관관계를 분리하여 효율적으로 학습
  • 이미지 분류에서 뛰어난 성능을 보임
    • 질병 분류
    • 미세한 표정변화, 감정 상태 분류
• YOLO (You Only Look Once)
  • 실시간 객체 탐지(object detection) 모델
  • YOLOv3 등 여러 버전이 있으며, 빠른 속도와 높은 정확도로 다양한 실시간 비전 작업에 사용
    • CCTV 실시간 감시, 무인매장 상품 인식, 도로 위 객체 탐지