Transformer 기반의 언어모델들에대한 정리 및 비교 (2018~2019년 발표된 논문)
2023. 2. 24. 09:25ㆍmachine learning
728x90
반응형
발표자: 이유경
1. Topic : Transformer 기반의 언어모델들에대한 정리 및 비교 (2018~2019년 발표된 논문)
2. Overview : Natural Language Process (NLP)는 transformer의 등장으로 엄청난 발전을 이루었다. 특히 2018년에 발표된 BERT와 GPT는 Transformer 기반의 모델로서 다양한 NLP task에 높은 성능을 보였다. 본 발표는 BERT 발표 이후 T5모델이 발표될 때까지 NLP에서 높은 성능을 보인 모델 6가지를 정리하고 비교하며, 특히 XLNet과 T5에 초점을 맞추어 구성하였다. (XLNet, RoBERTa, MASS, BART, MT-DNN,T5)
728x90
반응형
'machine learning' 카테고리의 다른 글
| naver - backend 개발자 Neural Machine Translation 개발기 (0) | 2023.02.24 |
|---|---|
| Text Summarization (automatic with ML) (0) | 2023.02.24 |
| 머신러닝으로 문서요약 구현 시 고려할 문제점 - Data Scarcity Problem (0) | 2023.02.22 |
| Transformer로 한국어-영어 기계번역 모델 만들기 (0) | 2023.02.17 |
| 머신러닝 훈련데이터, 테스트와 검증 데이터의 필요조건 (0) | 2023.02.10 |