ko en ko ko ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko en ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko zh ko ko ko en en en en en en ko en de en ko en en en ko en ko en ko en en en en en en ko fr ko en ko ko ko ko ko ko de ca ko ko de oc ko ko de en ko ko de fa ko ko de fr en ko de ca ko ko de es ko ko de eu ko ko de de ko ko de ro ko ko de de ko ko de ca ko ko de it sv ko de ro ko ko de ca ko ko ko ko en kn ko en
챗봇 딥러닝 - OpenAI Transformer GPT2로 만든 언어 모델
AI Dev - 인공지능 개발자 모임
OpenAI Transformer라고 불린 GPT(Generative Pre-Training)가 최근 GPT2로 업그레이드 되었습니다. 기본적으로 ngram과 같은 언어모델입니다. 앞의 단어들이 주어지면 그 다음에 나올 단어를 예측합니다. 아래 p봇은 박근혜 전 대통령의 발언들을 모아서 새로운 문장을 생성하는 사이트입니다.
GPT2 역시 이런 방법으로 사전훈련을 합니다. 40GB 분량의 텍스트를 인터넷에서 모아서 학습을 했습니다. 공개된 결과를 보니 ngram과 비교할 수 없을 만큼 품질이 뛰어납니다. ngram과 달리 입력에 들어가는 이전 문장을 매우 길게 잡을 수 있어서 문맥이 잘 이어지는 편입니다.
최근 GAN으로 생성한 페이크 영상이 큰 이슈가 된 것처럼, 이제 언어모델로 만든 페이크 뉴스(또는 댓글)이 심각한 사회문제가 될 것 같습니다. 그런 우려 때문에 OpenAI가 일부러 작은 모델만 공개했다고 합니다. 하지만 금방 이를 따라한, 오히려 더 좋은 성능의 모델이 계속 나올 것이라 생각합니다.
부정적인 측면도 있지만 실제로 상용화가 가능한 제품도 많이 만들어질 수 있습니다. 개인적으로는 글쓰기 보조도구가 나왔으면 좋겠습니다. 단락의 첫 문장만 입력하면, 전체 글을 고려하여 새로운 단락을 보여주는 인공지능입니다. 마음에 들 때까지 계속 반복하다가 적당한 글이 나오면 조금씩 수정하여 계속 글을 씁니다.
작년 BERT에 이어 올해 초에는 GPT2, MT_DNN 등 계속 새로운 기술이 개발되고 있습니다. 2019년은 자연어처리가 딥러닝의 중심이 될지도 모르겠네요.
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec
대화 인공지능 대회 - ConvAI
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨
OpenAI Transformer GPT2로 만든 언어 모델
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트
딥러닝 자연어처리 - RNN에서 BERT까지 [2]
BERT를 이용한 챗봇 구현
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co.
2018 Amazon Prize에서 우승한 Gunrock 소셜봇
한국어 형태소 분석기 성능 비교 - khaiii
첫 페이지 3 4 5 6 7 8 9 10 11 12 끝 페이지
Board Search 제목+내용 제목 내용 댓글 닉네임 태그 검색
© 2022 AI Dev - 인공지능 개발자 모임 Powered by XE