특이점이 도래한 건가? https://m.blog.naver.com/foreconomy/223050763837 마이크로소프트 코파일럿(Co-Pilot): GPT4.0 세상을 바꿀 엄청난 기회, 특이점은 이미 도래했다 GPT모델은 세상을 바꿀 것입니다. 개인적으로는 ChatGPT를 글로벌적인 테마 중 하나로 단순히 치부... blog.naver.com 아직 갈 길은 좀 남았다는게 제 개인적인 의견입니다만, 아무튼 마이크로소프트와 엔비디아에 대한 투자와 관심을 지속해야 겠습니다.

김상경 2016 1. 기계번역 (Machine Translation) 2. Neural Machine Translation (NMT) 3. NMT개발에 앞서 4. NMT 개발 과정 5. N2MT 소개 labspace.naver -> Papago (naver.com) 로 변경 6. 마무리

Text Summarization 방법 hyowong/NAMAS: Neural Attention Model for Abstractive Summarization (github.com) GitHub - hyowong/NAMAS: Neural Attention Model for Abstractive Summarization Neural Attention Model for Abstractive Summarization - GitHub - hyowong/NAMAS: Neural Attention Model for Abstractive Summarization github.com

https://youtu.be/v7diENO2mEA 조회수 9,152회 2020. 6. 7. [Korea University] Unstructured Data Analysis (Text Analytics) 발표자: 이유경 1. Topic : Transformer 기반의 언어모델들에대한 정리 및 비교 (2018~2019년 발표된 논문) 2. Overview : Natural Language Process (NLP)는 transformer의 등장으로 엄청난 발전을 이루었다. 특히 2018년에 발표된 BERT와 GPT는 Transformer 기반의 모델로서 다양한 NLP task에 높은 성능을 보였다. 본 발표는 BERT 발표 이후 T5모델이 발표될 때까지 NLP에서 높은 성능을 보인 모델 6가지를 정리하고 ..

텍스트 요약이란 task는 사람이 하기에도 쉽지 않은, 시간이 많이 소모되는 작업입니다. 따라서 다른 task와 비교해도 labeled dataset을 만드는데 상대적으로 더 큰 비용이 소모되고 당연히 training을 위한 데이터가 많이 부족합니다. 이에 따라 앞서 언급한 pretraining model을 이용하는 transfer Learning방식 외에도 unsupervised learning이나 reinforcement learning 방식으로 학습하거나 few-Shot Learning적 접근을 시도하고 있습니다. 당연히 좋은 요약 데이터를 만드는 것 자체도 굉장히 중요한 연구 주제입니다. 특히나 현재 만들어진 summarization 관련 데이터셋의 상당수가 english 언어로 된 news ty..

기존에 트랜스포머 관련해서 자세히 설명한 자료들을 참고하여 트랜스포머 모델을 직접 개발해보고, 한국어에서 영어로 번역하는 기계 번역 태스크에 대해 학습하였습니다. 개발하는데 참고한 자료로 The Annotated Transformer와 pytorch 공식문서를 사용하였고 설명이나 코드가 자세히 설명 되어있어 부족한 부분은 앞의 페이지들을 참고하시면 많은 도움 될것 같습니다. 아래의 모든 코드는 https://github.com/nawnoes/pytorch-transformer 에서 확인 가능합니다. Model 아래의 트랜스포머 모델의 구조에 따라 작성하고 읽기 쉽게 작성하고자 하였습니다 모델의 폴더 구조는 아래와 같으며, model 아래에 transformer 모델에 대한 코드를 담고 있습니다. mode..