Deep LearningGPUでfitしてCPUでpredictすることでTensorFlowのOOMを回避する TensorFlowで大量の画像や巨大な配列をpredictするとメモリーリークが生じることが多い。 model.fitでは問題ないのに、model.predictになるとOOMになってしまう報告が散見する。 ...2022.11.16Deep Learning
Deep LearningTensorFlowでscipyのsparse matrixを学習に使う 巨大な疎行列をmodel.fit()させようとした時、numpyのままだとメモリに乗り切らなかったため、scipyの疎行列でtf.kerasを使う方法がないか調べてみた。 まずは公式チュートリアルを見てみる。 ...2022.11.15Deep Learning
Deep Learningtf.data.Datasetを使っていた時に AUTO sharding policy will apply DATA sharding policy as it failed to apply FILE sharding policy because of the following reason: CIFAR10でtf.dataを使った時に表題のwarning。 model.fitは問題なく出来るので無視しようと思ったが、気になったので調べてみた。 (train_features, _), (_, _) ...2022.09.15Deep Learning
Deep LearningScaled-YOLOv4のpredictions.jpgに出力されるconfidenceを消す Scaled-YOLOv4を使っていた時、検出される物体が多いとラベルに埋もれて画像が見えなくなってしまったため、画像に描画されるconfidenceの値を消したくなった。 C言語のソースコードを追いかけていき、当該...2022.09.01Deep Learning
Deep LearningEfficientNet V2のデフォルトのinput_shape TensorFlowにEfficientNetV2が実装された。 しかし、デフォルトのinput_shapeはNoneとなっており、学習時にリサイズさせる画像サイズがわからない。 TensorFlow Hubに...2022.08.18Deep Learning
Deep LearningHuggingfaceのTokenizerのvocabを取得する Huggingfaceを使って自然言語処理を行っていた時、モデルごとのvocabularyの違いが気になった。 vocab.txt を見れば分かるのだが、Pythonで取得したかったので調べてみた。 まずはTokeni...2022.05.25Deep Learning
Deep LearningPytorchでエラーRuntimeError: CUDA error: Device-side assert triggered huggingfaceでDeBERTaを使っい、Masked Language Modeling(MLM)をした時に表題のエラー。 File "/usr/local/lib/python3.8/dist-pac...2022.05.16Deep Learning
Deep LearningKerasでBERTの最終4層のhidden stateをconcatする BERTのfine tuningをする際、最終4層のembeddingを使うと精度が向上する可能性がある。 サンプルコードはPytorchのばかりだったので、Tensorflow/Kerasでも再現し...2022.05.09Deep Learning
Deep LearningTensorflowでコサイン類似度のレイヤーを作る Sentence Transformerの勉強をしている時、テキストの類似度を図る指標としてコサイン類似度が出てきた。 Tensorflowにはコサイン類似度を計算するlossやmetricsはあるが、Lay...2022.05.02Deep Learning
Deep LearningKerasのmodel.fit()で出力されるlossやmetricをloggingする kerasでmodel.fit()すると、ターミナルに出力されるエポック毎のlossやmetricをPythonでloggingしたい。 Epoch 00001: LearningRateScheduler setting ...2022.04.01Deep Learning