Deep Learning PytorchでエラーRuntimeError: CUDA error: Device-side assert triggered
huggingfaceでDeBERTaを使っい、Masked Language Modeling（MLM）をした時に表題のエラー。 File "/usr/local/lib/python3.8/dist-packages/transform...
Deep Learning
Deep Learning 
Deep Learning KerasでBERTの最終4層のhidden stateをconcatする
BERTのfine tuningをする際、最終4層のembeddingを使うと精度が向上する可能性がある。 サンプルコードはPytorchのばかりだったので、Tensorflow/Kerasでも再現してみた。 軽量モデルで実験したいのでAL...
Deep Learning Tensorflowでコサイン類似度のレイヤーを作る
Sentence Transformerの勉強をしている時、テキストの類似度を図る指標としてコサイン類似度が出てきた。 Tensorflowにはコサイン類似度を計算するlossやmetricsはあるが、Layerは存在しない。 なので、Bi...
Deep Learning Kerasのmodel.fit()で出力されるlossやmetricをloggingする
kerasでmodel.fit()すると、ターミナルに出力されるエポック毎のlossやmetricをPythonでloggingしたい。 Epoch 00001: LearningRateScheduler setting learning...
Deep Learning Kerasのmodel.summary()をloggingする
Pythonのloggingを使ってきた時、kerasのmode.summary()をログに保存したくなった。 しかし、そのままloggerの引数に与えてもNoneが帰ってきてログに記録されなかった。 import logging logg...
Deep Learning Tensorflowで DeBERTaを使おうとしたらTokenizer class DebertaV2Tokenizer does not exist or is not currently imported
HuggingfaceからDeBERTaを使おうとしたら表題のエラー。 ValueError:Tokenizer class DebertaV2Tokenizer does not exist or is not currently imp...
Deep Learning TPUでConv1Dのdilation_rateを指定するとReshape’s input dynamic dimension is decomposed into multiple output dynamic dimensions
ColabのTPUでdilation convolutionを使った時に表題のエラー。 tf.keras.layers.Conv1D(32, kernel_size=3, dilation_rate=2) Reshape's input d...
Deep Learning Tensorflowのif文でusing a `tf.Tensor` as a Python `bool` is not allowed:
tf.kerasでcustom layerを書いていた時、ある確率でランダムに水増しを行う関数を書いていた。 model.fitを実行した際に表題のエラーが発生。 OperatorNotAllowedInGraphError: using ...
Deep Learning keras.layers.GaussianNoiseでノイズが追加されない
Jupyter Notebookでkeras.layers.GaussianNoiseを使ってみた所、なんのnoiseも付与されなかったので調べてみた。 まずは公式ドキュメント。 Call arguments:inputs: Input t...
Deep Learning 回帰分析でStratifiedKFoldの交差検証を行う
機械学習を行う際、交差検証（Cross Validation, CV）に基づいてモデルの良し悪しを判断することが多い。 クラス分類であればStratifiedKFoldがそのまま使えるが、回帰の場合は工夫が必要になる。 以下の本を参考に、ビ...