Deep LearningDockerでPyTorchを実行するとRuntimeError: NCCL error unhandled system error, NCCL version 2.8.3 DockerでPyTorchを動かした際に表題のエラー。 ベースイメージはこれ。 FROM nvcr.io/nvidia/pytorch:20.12-py3 エラーログを見てみると nccl... 2021.04.03Deep Learning
Deep LearningPyTorchでCUDA error: no kernel image is available for execution on the device CUDAを11.1に更新した後にPyTorchを実行した際に表題のエラー。 CUDA10だと通常の pip install torch torchvision torchaudio で良いようだが、11.1はバージョ... 2021.04.02Deep Learning
PythonOptunaでValueError: CategoricalDistribution does not support dynamic value space. OptunaでTensorflow/Kerasのハイパーパラメータを探索している時に表題のエラー。 traial.suggest_categoricalのパラメータを少し変えて再実行したが、optuna.create... 2021.03.22Python
PythonOptunaで枝刈りしながら複数GPUでKerasをチューニング ニューラルネットを構築する際、ハイパーパラメータの選択をする場面が多々ある。 人力やグリッドサーチでは取りこぼしがあるかもしれないので、ベイズ最適化を使ったライブラリ optuna でハイパーパラメータチューニングを行いたい... 2021.03.18 2021.03.22Python
Deep LearningTensorflow/KerasでCNNのChannel AttentionとSpatial Attention CNNに使えるAttentionとして、Convolutional Block Attention Moduleがある。 チャンネル方向のアテンションと空間方向のアテンションを組み合わせることで重み付き特徴マップを作成し、C... 2021.03.16 2021.03.18Deep Learning
Deep LearningKerasでカスタムAUC、カスタムAccuracyを実装する 10クラスの画像分類をするモデルを構築していた時、精度改善のために拡張して11クラス分類のモデルを構築した。 しかし、評価は元々の10クラスで行いたかったので、custom metricsのクラスを実装した。 例えばカ... 2021.03.08 2021.03.16Deep Learning
Deep LearningGCPのTPUでInvalidArgumentError: Unimplemented: File system scheme ‘[local]’ not implemented KaggleやColabでTPUを使っていて、SavedModelを保存・復元しようとした時に表題のエラー。 TPUはGoogle Cloud Strage(GCS)のバケットから読み書きするようにデフォルトで設定さ... 2021.02.26Deep Learning
LinuxDockerのOpenCVでImportError: libGL.so.1: cannot open shared object file Dockerコンテナ内からPythonでOpenCVを使う際、import cv2をしたら表題のエラー。 libgl1-mesa-devをインストールすれば解決するらしい。 sudo apt-get insta... 2021.02.18Linux
その他KaggleのNotebookをPDF保存・印刷する Kaggleに取り組んでいる時、ブックマークしていたNotebookが削除され、もう見れなくなってしまった。 気になるNotebookのPDF保存や印刷をしていこうと思ったが、何故か1ページ目しか保存対象にならなかった。 ... 2021.02.15その他
Deep LearningTensorflow/KerasでRuntimeError: Unable to create link (name already exists) tf.kerasでtrainしていた時、ModelCheckpointのh5ファイルの保存でエラー。 RuntimeError: Unable to create link (name already exi... 2021.01.28Deep Learning