Deep Learning KaggleのTPUでPermissionDeniedError Error executing an HTTP request: HTTP response code 403
KaggleのNotebookでTPUを使っていたときに表題のエラー。 PermissionDeniedError: {{function_node __inference_train_function_81509}} Error exec...
Deep Learning
Deep Learning 
Deep Learning TensorflowやKerasでResNeXt50, ResNeXt101を使う
ResNetの改良版であるResNextは、パラメータ数はほぼ同じなのに精度が向上している。 試したくなったが、TensorflowやKerasだとデフォルトではkeras.applicationsに入っていないので使えない。 github...
Deep Learning KerasでAttributeError: The layer has never been called and thus has no defined input shape.
モデルをロードしてからpredictしようとしたら表題のエラー。 擬似コードはこんな感じ。 model = tf.keras.models.load_model model.predict(image) AttributeError: Th...
Deep Learning RTX3090/3080でCUDA11とcuDNN8に更新したらTensorflowが早くなった
RTX 3090を手に入れたが、どうにも遅い。 旧世代のTITAN RTXの方が1epochあたりの処理時間が早く、なんでかなーと思っていた。 結論から言うと、NVIDIA DRIVERは更新したけどCUDAやcuDNNを更新していなかった...
Deep Learning Tensorflowでload_modelが上手く行かずpredictがNaNになる
GCPでkerasを回した後、ローカルのMacbookでpredictしたら全ての値がNaNになってしまった。 model.summary()は元のモデルと同じ構造になっているし、model.weightでテンソルの値を見ても一致していたの...
Deep Learning tf.image.decode_imageでエラーValueError: ‘images’ contains no shape.
jpegやpngなど何種類かの拡張子の画像をまとめてTensorflowに流したかったが、decode_jpegやdecode_pngを拡張子に合わせて実装するのは面倒くさい。 decode_imageならbmpでもjpegでもgifでも何...
Deep Learning RTX30シリーズで nvcc fatal : Value ‘sm_86’ is not defined for option ‘gpu-architecture’
RTX3090でTensorflowを使おうとした所、表題のエラー。 nvcc fatal : Value 'sm_86' is not defined for option 'gpu-architecture' gpu-architect...
Deep Learning sklearnやkearsのCross Validationを並列で実行して高速化する
Kaggleに取り組んでいた時、実行時間制限付きのノートブックコンペがあり、モデルを高速に実行する必要が出てきた。 そこで、クロスバリデーションなら同時に更新する値や配列が無いため、なんとか並列実行出来ないか調べてみたところ、joblibを...
Deep Learning TensorflowやKerasで乱数シードを固定して同じ結果が出るようにする
機械学習やディープラーニングに取り組む時、様々なモデルを作って精度を比較することが多い。 しかし、TensorflowやKerasではGPUを用いた学習の時に乱数を固定する方法がなく、結果が変わってもモデルの改良によるものなのか乱数による偶...
Deep Learning 転移学習やファインチューニングをしたモデルでGrad-CAMをしたらValueError: Graph disconnected
転移学習やファインチューニングをしたモデルでGrad-CAMを試そうとしたところ、エラー発生。 構築したモデルはこれ。 base = VGG16(input_shape=(224, 224, 3), weights='imagenet', ...