readme: ---
  license: mit
  language: ja
  tags:
      - luke
      - pytorch
      - transformers
      - commonsenseqa
      - commonsense-qa
      - CommonsenseQA
      - commonsense_qa
      - jcommonsenseqa
      
  ---
  
  # このモデルはluke-japanese-baseをファインチューニングして、JCommonsenseQA(選択式応答)に用いれるようにしたものです。
  このモデルはluke-japanese-baseを
  yahoo japan/JGLUEのJCommonsenseQA( https://github.com/yahoojapan/JGLUE )
  を用いてファインチューニングしたものです。
  
  選択式の質問応答タスクに用いることができます。
  
  # This model is fine-tuned model for commonsenseqa which is based on luke-japanese-base
  
  This model is fine-tuned by using yahoo japan JGLUE JCommonsenseQA dataset.
  
  You could use this model for commonsenseqa tasks.
  
  # モデルの精度 accuracy of model
  モデルの精度は
  80.07149240393296
  でした。他の言語モデルと比べても非常に高い値となっています。
  （参考　BERT：72.0、XLM RoBERTa base:68.7)
  
  # How to use 使い方
  以下のコードを実行することで、commonsenseqaタスクを解かせることができます。
  please execute this code.
  ```python
  from transformers import AutoTokenizer, AutoModelForMultipleChoice
  import torch
  import numpy as np
  
  # modelのロード
  tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-base-commonsenseqa')
  model = AutoModelForMultipleChoice.from_pretrained('Mizuiro-sakura/luke-japanese-base-commonsenseqa')
  
  # 質問と選択肢の代入
  question = '電子機器で使用される最も主要な電子回路基板の事をなんと言う？'
  choice1 = '掲示板'
  choice2 = 'パソコン'
  choice3 = 'マザーボード'
  choice4 = 'ハードディスク'
  choice5 = 'まな板'
  
  # トークン化（エンコーディング・形態素解析）する
  token = tokenizer([question,question,question,question,question],[choice1,choice2,choice3,choice4,choice5],return_tensors='pt',padding=True)
  leng=len(token['input_ids'][0])
  
  # modelに入力するための下準備
  X1 = np.empty(shape=(1, 5, leng))
  X2 = np.empty(shape=(1, 5, leng))
  X1[0, :, :] = token['input_ids']
  X2[0, :, :] = token['attention_mask']
  
  # modelにトークンを入力する
  results = model(torch.tensor(X1).to(torch.int64),torch.tensor(X2).to(torch.int64))
  
  # 最も高い値のインデックスを取得する
  max_result=torch.argmax(results.logits)
  print(max_result)
  ```
  
  
  # what is Luke?　Lukeとは？[1]
  LUKE (Language Understanding with Knowledge-based Embeddings) is a new pre-trained contextualized representation of words and entities based on transformer. LUKE treats words and entities in a given text as independent tokens, and outputs contextualized representations of them. LUKE adopts an entity-aware self-attention mechanism that is an extension of the self-attention mechanism of the transformer, and considers the types of tokens (words or entities) when computing attention scores.
  
  LUKE achieves state-of-the-art results on five popular NLP benchmarks including SQuAD v1.1 (extractive question answering), CoNLL-2003 (named entity recognition), ReCoRD (cloze-style question answering), TACRED (relation classification), and Open Entity (entity typing). luke-japaneseは、単語とエンティティの知識拡張型訓練済み Transformer モデルLUKEの日本語版です。LUKE は単語とエンティティを独立したトークンとして扱い、これらの文脈を考慮した表現を出力します。
  
  # Acknowledgments　謝辞
  Lukeの開発者である山田先生とStudio ousiaさんには感謝いたします。 I would like to thank Mr.Yamada @ikuyamada and Studio ousia @StudioOusia.
  
  # Citation
  [1]@inproceedings{yamada2020luke, title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention}, author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto}, booktitle={EMNLP}, year={2020} }
  
  
  
  
  