readme: ---
  license: mit
  language: ja
  tags:
      - luke
      - pytorch
      - transformers
      - ner
      - 固有表現抽出
      - named entity recognition
      - named-entity-recognition
      
  ---
  
  # このモデルはluke-japanese-baseをファインチューニングして、固有表現抽出（NER）に用いれるようにしたものです。
  このモデルはluke-japanese-baseを
  Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。
  
  固有表現抽出（NER）タスクに用いることができます。
  
  # This model is fine-tuned model for Named-Entity-Recognition(NER) which is based on luke-japanese-base
  
  This model is fine-tuned by using Wikipedia dataset.
  
  You could use this model for NER tasks.
  
  # モデルの精度 accuracy of model
                          precision   recall    f1-score   support
  
       その他の組織名       0.76      0.77      0.77       238
         イベント名       　0.83      0.90      0.87       215
            人名      　    0.88      0.91      0.90       546
            地名            0.84      0.83      0.83       440
        政治的組織名        0.80      0.84      0.82       263
           施設名           0.78      0.83      0.80       241
           法人名           0.88      0.90      0.89       487
           製品名           0.74      0.80      0.77       252
  
          micro avg          0.83      0.86      0.84      2682
          macro avg         0.81      0.85      0.83      2682
        weighted avg        0.83      0.86      0.84      2682
  
  
  # How to use 使い方
  以下のコードを実行することで、NERタスクを解かせることができます。
  please execute this code.
  ```python
  from transformers import MLukeTokenizer,pipeline, LukeForTokenClassification
  
  tokenizer = MLukeTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-ner')
  model=LukeForTokenClassification.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-ner') # 学習済みモデルの読み込み
  
  text=('昨日は東京で買い物をした')
  
  ner=pipeline('ner', model=model, tokenizer=tokenizer)
  
  result=ner(text)
  print(result)
  ```
  
  
  # what is Luke?　Lukeとは？[1]
  LUKE (Language Understanding with Knowledge-based Embeddings) is a new pre-trained contextualized representation of words and entities based on transformer. LUKE treats words and entities in a given text as independent tokens, and outputs contextualized representations of them. LUKE adopts an entity-aware self-attention mechanism that is an extension of the self-attention mechanism of the transformer, and considers the types of tokens (words or entities) when computing attention scores.
  
  LUKE achieves state-of-the-art results on five popular NLP benchmarks including SQuAD v1.1 (extractive question answering), CoNLL-2003 (named entity recognition), ReCoRD (cloze-style question answering), TACRED (relation classification), and Open Entity (entity typing). luke-japaneseは、単語とエンティティの知識拡張型訓練済み Transformer モデルLUKEの日本語版です。LUKE は単語とエンティティを独立したトークンとして扱い、これらの文脈を考慮した表現を出力します。
  
  # Acknowledgments　謝辞
  Lukeの開発者である山田先生とStudio ousiaさんには感謝いたします。 I would like to thank Mr.Yamada @ikuyamada and Studio ousia @StudioOusia.
  
  # Citation
  [1]@inproceedings{yamada2020luke, title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention}, author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto}, booktitle={EMNLP}, year={2020} }
  
  
  
  
  