2022-05

Huggingfaceを使って自然言語処理を行っていた時、モデルごとのvocabularyの違いが気になった。 vocab.txt を見れば分かるのだが、Pythonで取得したかったので調べてみた。 まずはTokenizerのリファレンスを...

huggingfaceでDeBERTaを使っい、Masked Language Modeling（MLM）をした時に表題のエラー。 File "/usr/local/lib/python3.8/dist-packages/transform...

BERTのfine tuningをする際、最終4層のembeddingを使うと精度が向上する可能性がある。 サンプルコードはPytorchのばかりだったので、Tensorflow/Kerasでも再現してみた。 軽量モデルで実験したいのでAL...

Sentence Transformerの勉強をしている時、テキストの類似度を図る指標としてコサイン類似度が出てきた。 Tensorflowにはコサイン類似度を計算するlossやmetricsはあるが、Layerは存在しない。 なので、Bi...