ko en ko ko ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko en ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko zh ko ko ko en en en en en en en ko en en ko en en ko en ko ko en en en ko ko ko en en fr ko en ko ko ko ko ko ko de ar ko ko de fr ko ko de de ko ko de de ko ko de ca ko ko de fr ko ko de en ko ko de ko ko ko de oc ko ko de ca ko ko de th ko ko de es ko ko de kn ko ko de it ko ko de fr ko ko ko ko en kn ko en
챗봇 딥러닝 - 페이스북이 발표한 사전훈련 언어모델 RoBERTa
AI Dev - 인공지능 개발자 모임
며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다.
1. NSP(Next Sentence Prediction) 제거
-> 기존 BERT는 특정 단어를 마스킹하여 맞히는 것과, 두 문장이 이어지는지 판단하는 두 가지 방법으로 학습을 합니다. 여기서 NSP를 빼고 마스킹만 사용하였습니다.
-> 전처리에서 마스킹을 미리 하지 않고, 모델에 입력할 때 매번 마스킹을 변경합니다.
3. 학습 데이터 증가
-> 16GB에서 160GB로 10배 커졌습니다.
사진의 결과를 보면 RoBERTa가 BERT보다 월등한 성능을 보입니다. 또한 최근 공개된 XLNet을 근소한 차이로 앞서고 있습니다. 앞으로 사전훈련 방법을 개선한 다양한 모델이 나오지 않을까 생각됩니다.
욕설을 찾는 BERT 모델 - Purifier
딥러닝을 활용한 뉴스 메타 태깅
100억건의 카카오톡 데이터로  똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴
새로운 자연어처리 벤치마크 - SuperGLUE
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA
페이스북이 발표한 사전훈련 언어모델 RoBERTa
케라스로 만든 한글 Seq2Seq 챗봇 소스코드
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover
GPT2를 Colab에서 테스트할 수 있는 코드
인간의 언어를 이해하는 기계, NLU
Jay Alammar의 트랜스포머 한글 번역글
BERT로 토익 문제를 푸는 프로젝트
첫 페이지 2 3 4 5 6 7 8 9 10 11 끝 페이지
Board Search 제목+내용 제목 내용 댓글 닉네임 태그 검색
© 2022 AI Dev - 인공지능 개발자 모임 Powered by XE