T51 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5) Abstract NLP 도메인에 존재하는 다양한 문제들을 하나의 통일된 프레임웍을 이용해서 해결 하고자 함 프레임웍 기반 기술 : Transfer learning using Transformer 최근 다양한 변이가 많음 : 실험을 통해 최적의 모델을 찾고자 함 고려한 옵션 : Pre-training Architect, Pre-training Objective, Corpus 등.. 입출력 방법 : text-to-text(encoder-decoder) 모든 문제를 text-to-text 형태로 변경해서 해결하도록 함 예를 들어, classification 문제도 라벨을 분류하는게 아니라 decoder에서 text를 생성해 내는 형태 Summarization, QA, Text Classification 등에서.. 2020. 2. 8. 이전 1 다음