ko en ko ko ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko en ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko zh ko ko ko en en en en en en ko en ko en en en ko en ko ko ko en ko en en en ko en ko ko fr ko en ko ko ko ko ko ko de ca ko ko de oc ko ko de en ko ko de fa ko ko de fr en ko de ca ko ko de es ko ko de eu ko ko de de ko ko de ro ko ko de de ko ko de ca ko ko de it sv ko de ro ko ko de ca ko ko ko ko en kn ko en
AI Dev - 인공지능 개발자 모임
Word2Vec에 대해서 자세히 알려주는 글입니다. 학습방식에 따라 CBOW와 Skip-gram이 있는데, 여기서는 후자를 기준으로 설명하고 있습니다.
Skip-gram은 중심단어로 주변단어를 예측하도록 학습합니다. 우선 위키피디아 같은 코퍼스에서 특정 윈도우(중심단어에서 왼쪽, 오른쪽 범위) 만큼 입력과 출력 단어를 뽑아냅니다.
나는 너를 너무 사랑해 정말로 (중심단어:너무, 윈도우:2)
이렇게 학습 데이터를 만들고 트레이닝을 하면 비슷한 의미를 가진 단어들은 가중치의 값이 유사하게 수렴합니다. 문맥을 통해서 단어들의 의미를 파악한다고 볼 수 있습니다.
그런데 문제는 단어의 개수가 많을 수록 학습시간이 오래 걸린다는 점입니다. 입력과 출력이 one-hot 인코딩이기 때문에 단어의 수만큼 가중치 연결이 늘어납니다.
이를 해결하기 위한 첫 번째 방법은 subsampling입니다. 자주 나오는 단어일수록 높은 확률로 학습에서 제외시킵니다. 두 번째는 negative sampling으로 정답인 positive 샘플 하나와 정답이 아닌 negative 샘플 몇 십개만 뽑아서 선택적으로 가중치를 업데이트 합니다.
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec
대화 인공지능 대회 - ConvAI
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨
OpenAI Transformer GPT2로 만든 언어 모델
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트
딥러닝 자연어처리 - RNN에서 BERT까지 [2]
BERT를 이용한 챗봇 구현
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co.
2018 Amazon Prize에서 우승한 Gunrock 소셜봇
한국어 형태소 분석기 성능 비교 - khaiii
첫 페이지 3 4 5 6 7 8 9 10 11 12 끝 페이지
Board Search 제목+내용 제목 내용 댓글 닉네임 태그 검색
© 2022 AI Dev - 인공지능 개발자 모임 Powered by XE