Deep Learning

スポンサーリンク
Deep Learning

HuggingfaceのTokenizerのvocabを取得する

Huggingfaceを使って自然言語処理を行っていた時、モデルごとのvocabularyの違いが気になった。 vocab.txt を見れば分かるのだが、Pythonで取得したかったので調べてみた。 まずはTokeni...
Deep Learning

PytorchでエラーRuntimeError: CUDA error: Device-side assert triggered

huggingfaceでDeBERTaを使っい、Masked Language Modeling(MLM)をした時に表題のエラー。 File "/usr/local/lib/python3.8/dist-pac...
Deep Learning

KerasでBERTの最終4層のhidden stateをconcatする

BERTのfine tuningをする際、最終4層のembeddingを使うと精度が向上する可能性がある。 サンプルコードはPytorchのばかりだったので、Tensorflow/Kerasでも再現し...
Deep Learning

Tensorflowでコサイン類似度のレイヤーを作る

Sentence Transformerの勉強をしている時、テキストの類似度を図る指標としてコサイン類似度が出てきた。 Tensorflowにはコサイン類似度を計算するlossやmetricsはあるが、Lay...
Deep Learning

Kerasのmodel.fit()で出力されるlossやmetricをloggingする

kerasでmodel.fit()すると、ターミナルに出力されるエポック毎のlossやmetricをPythonでloggingしたい。 Epoch 00001: LearningRateScheduler setting ...
Deep Learning

Kerasのmodel.summary()をloggingする

Pythonのloggingを使ってきた時、kerasのmode.summary()をログに保存したくなった。 しかし、そのままloggerの引数に与えてもNoneが帰ってきてログに記録されなかった。 import l...
Deep Learning

Tensorflowで DeBERTaを使おうとしたらTokenizer class DebertaV2Tokenizer does not exist or is not currently imported

HuggingfaceからDeBERTaを使おうとしたら表題のエラー。 ValueError:Tokenizer class DebertaV2Tokenizer does not exist or is not curre...
Deep Learning

TPUでConv1Dのdilation_rateを指定するとReshape’s input dynamic dimension is decomposed into multiple output dynamic dimensions

ColabのTPUでdilation convolutionを使った時に表題のエラー。 tf.keras.layers.Conv1D(32, kernel_size=3, dilation_rate=2) Reshap...
Deep Learning

Tensorflowのif文でusing a `tf.Tensor` as a Python `bool` is not allowed:

tf.kerasでcustom layerを書いていた時、ある確率でランダムに水増しを行う関数を書いていた。 model.fitを実行した際に表題のエラーが発生。 OperatorNotAllowedInGraphEr...
Deep Learning

keras.layers.GaussianNoiseでノイズが追加されない

Jupyter Notebookでkeras.layers.GaussianNoiseを使ってみた所、なんのnoiseも付与されなかったので調べてみた。 まずは公式ドキュメント。 Call argume...
スポンサーリンク
タイトルとURLをコピーしました