README.md

---
language:
- ko
metrics:
- accuracy
pipeline_tag: text-classification

# Optional. Add this if you want to encode your eval results in a structured way.
model-index:
- name: ko-answerable
  results:
  - task:
      type: text-classification             # Required. Example: automatic-speech-recognition
      name: text-classification             # Optional. Example: Speech Recognition
    metrics:
      - type: eval_accuracy
        value: 0.892
        name: eval_accuracy
        verified: false
      - type: test_accuracy
        value: 0.837
        name: test_accuracy
        verified: false
---
# ko-answerable: Passage와 Question이 답변을 할 수 있는가?의 2진 분류

## Model Details

SelfCheckGPT의 Answerable model에 감명받아 제작하게 되었습니다. (https://arxiv.org/abs/2303.08896)

[monologg/kobigbird-bert-base](https://huggingface.co/monologg/kobigbird-bert-base) 모델을 사용하여 [BigBirdForSequenceClassification](https://huggingface.co/docs/transformers/v4.33.0/en/model_doc/big_bird#transformers.BigBirdForSequenceClassification) 으로 Fine-Tune 되었습니다

Max Seq Len: 4096

Input Text Style: \<BOS\>Question\<SEP>Title\<SEP\>Passage\<EOS\>

Return: 1: 응답 없음, 0: 응답 가능 (sigmoid score 사용 가능)

사용된 데이터셋 (해당 데이터셋에서 'is_impossible'을 기준으로 50:50으로 랜덤 추출(0,1 비중이 맞도록))

1.   KLUE
2.   AIHub-도서자료 기계독해
3.   AIHub-뉴스 기사 기계독해 데이터
4.   AIHub-행정 문서 대상 기계독해 데이터
5.   표기반 질의응답 데이터 (매튜님에게 개인적으로 받음)

`AIHub-기계독해` 데이터도 존재하나, 데이터 전처리하기 구조가 좀 복잡하게 달라서 제외함. 

예측 시간: 건당 평균 0.05초 이내 (RTX 3090 사용)

사용 GPU MEM: About 20GB (Seq가 길면 많이 먹음)