readme: ---
  tags:
  - fill-mask
  - japanese
  - albert
  
  language:
  - ja
  
  license: mit
  
  widget:
  - text: "明日は明日の[MASK]が吹く"
  
  ---
  ## albert-base-japanese-v1-with-japanese
  日本語事前学習済みALBERTモデルです  
  このモデルではTokenizerに[BertJapaneseTokenizerクラス](https://huggingface.co/docs/transformers/main/en/model_doc/bert-japanese#transformers.BertJapaneseTokenizer)を利用しています  
  [albert-base-japanese-v1](https://huggingface.co/ken11/albert-base-japanese-v1)よりトークナイズ処理が楽になっています  
  
  ## How to use
  ### ファインチューニング
  このモデルはPreTrainedモデルです  
  基本的には各種タスク用にファインチューニングして使用されることを想定しています  
  
  ### Fill-Mask
  #### for PyTorch
  ```py
  from transformers import (
      AutoModelForMaskedLM, AutoTokenizer
  )
  
  
  tokenizer = AutoTokenizer.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
  model = AutoModelForMaskedLM.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
  
  text = "明日は明日の[MASK]が吹く"
  tokens = tokenizer(text, return_tensors="pt")
  mask_index = tokens["input_ids"][0].tolist().index(tokenizer.mask_token_id)
  predict = model(**tokens)[0]
  _, result = predict[0, mask_index].topk(5)
  
  print(tokenizer.convert_ids_to_tokens(result.tolist()))
  ```
  
  #### for TensorFlow
  ```py
  from transformers import (
      TFAutoModelForMaskedLM, AutoTokenizer
  )
  import tensorflow as tf
  
  
  tokenizer = AutoTokenizer.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
  model = TFAutoModelForMaskedLM.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
  
  text = "明日は明日の[MASK]が吹く"
  tokens = tokenizer(text, return_tensors="tf")
  mask_index = tokens["input_ids"][0].numpy().tolist().index(tokenizer.mask_token_id)
  predict = model(**tokens)[0]
  result = tf.math.top_k(predict[0, mask_index], k=5)
  
  print(tokenizer.convert_ids_to_tokens(result.indices.numpy()))
  ```
  
  ## Training Data
  学習には
  - [日本語Wikipediaの全文](https://ja.wikipedia.org/wiki/Wikipedia:%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89)
  
  を利用しています  
  
  ## Tokenizer
  トークナイザーは[BertJapaneseTokenizerクラス](https://huggingface.co/docs/transformers/main/en/model_doc/bert-japanese#transformers.BertJapaneseTokenizer)を利用しています  
  こちらも学習データは同様です
  
  ## Licenese
  [The MIT license](https://opensource.org/licenses/MIT)
  