Tensorflowで作成したBERTモデルを、Pytorchへ変換します。
こちらに方法が書いています。
モデル
モデルを自分で計算して作ってもいいのですが、公開しているものがあるので、そちらを使います。
KNP
こちらはKNPを使って分かち書きしたWikipedia日本語版を元に作成しています。
あまりKNPを使ったことはないのですが、実際に使うときにはMeCabで分かち書きをしても大丈夫でしょう。
SentencePiece
こちらのものは同じく日本語Wikipediaを用いて、SentencePieceによる分かち書きをしたものです。
Transformers
Pytorchで用いるのライブラリです。以下のコマンドでインストールしておきます。
pip install transformers
変換
SentencePieceで作成したモデルにはPytorch用のモデルがついていませんので、変換してみます。
こちらには以下のファイルが含まれています。
model.ckpt-1400000.meta bert_config.json model.ckpt-1400000.data-00000-of-00001 wiki-ja.model model.ckpt-1400000.index wiki-ja.vocab
このコマンドでpytorch_model.binというファイルへ変換します。
transformers bert model.ckpt-1400000 bert_config.json pytorch_model.bin