ko en ko ko ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko ko en ko ko zh ko ko zh ko ko zh ko ko ko ko ko ko ko ko ko ko ko zh ko ko ko ko en en en en en en en ko en ko en ko ko ko ko ko en en en ko en ko en ko en en en ko en ko en ko ko en en en fr ko en ko ko ko ko ko ko de ca ko ko de fr ko ko de fi ko ko de ca ko ko de oc ko ko de fr ko ko de zh ko ko de en ko ko de fr ko ko de en ko ko de eu ko ko de fr ko ko de fr ko ko de uk ko ko de de ko ko ko ko en kn ko en
챗봇 딥러닝 - 위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia
AI Dev - 인공지능 개발자 모임
페이스북에서 발표한 논문인데 위키피디아의 정보를 사용하여 잡담을 할 수 있는 딥러닝 학습 모델입니다.
현재 나와있는 챗봇은 보통 위키의 내용을 먼저 지식그래프로 DB에 저장합니다. 그리고 질문이 들어오면 거기에 해당되는 정보를 찾아 템플릿 문장에 넣어 출력합니다.
지식그래프 : 아이유->키 = 160cm
질문 : 아이유 키가 얼마야?
의도 : 지식검색 / 개체 : 아이유, 키
템플릿 문장 : (인물)의 (특성)은/는 (수치)입니다.
대답 : 아이유의 키는 160cm입니다.
이런 방식의 문제점은 우선 위키의 내용을 분석하여 지식그래프로 변환하기가 어렵다는 것입니다. 그리고 의도를 판단한 후 대답 문장을 생성하는 것도 일일이 사람이 코딩을 해야합니다.
반면에 논문에서는 이러한 과정을 모두 학습으로 구현하였습니다. Memory Network와 Transformer를 합쳐서 Transformer Memory Network 모델이라고 부릅니다.
이전 대화 기록을 보고 IR(Information Retrieval)에서 관련된 위키페이지를 찾고 유사도가 높은 여러개의 문장들을 뽑아냅니다. 이 부분은 학습이 아니라 기존 검색 시스템을 사용합니다. 그리고 첫번째 스테이지에서 후보 문장 중 가장 관련이 높은 문장을 선택합니다. 그리고 두번째 스테이지에서 선택된 위키 문장을 사용하여 새로운 대답을 생성합니다.
이 모델의 장점은 사람이 개입하지 않아도 질문에 대해서 위키정보를 검색하여 적절한 대답을 자동으로 만든다는 것입니다. 또한 딥러닝의 특징인 일반화로 인해 학습하지 않은 주제에 대해서도 스스로 위키의 정보를 이용해 대답을 할 수 있습니다. 다시 말하면 위키문장 자체를 학습하는 것이 아니라 위키의 문장을 찾아 가공하여 새로운 문장을 만드는 방법을 배우는 것입니다.
스크린샷을 보면 학습 데이터에 있는 E-book 주제만이 아니라 처음 접하는 Shower라는 카테고리에 대해서도 상당히 자연스럽게 문장을 만들어내고 있습니다.
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교
카카오의 딥러닝 기반 형태소 분석기
위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia
구글 듀플렉스(Duplex) 상용화 시작 [2]
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1]
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT
RNN seq2seq 간단한 대화모델
구글의 Transformer 신경망 모델 [2]
Seq2Seq와 어텐션 기법을 애니메이션으로 쉽게 설명한 글
딥러닝을 이용한 자연어처리의 연구동향
다이나믹 메모리 네트워크 정리
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리
첫 페이지 4 5 6 7 8 9 10 11 12 13 끝 페이지
Board Search 제목+내용 제목 내용 댓글 닉네임 태그 검색
© 2022 AI Dev - 인공지능 개발자 모임 Powered by XE