Deep LearningDockerでPyTorchを実行するとRuntimeError: NCCL error unhandled system error, NCCL version 2.8.3
DockerでPyTorchを動かした際に表題のエラー。 ベースイメージはこれ。 FROM nvcr.io/nvidia/pytorch:20.12-py3 エラーログを見てみると nccl...
Deep LearningDeep LearningPyTorchでCUDA error: no kernel image is available for execution on the device
CUDAを11.1に更新した後にPyTorchを実行した際に表題のエラー。 CUDA10だと通常の pip install torch torchvision torchaudio で良いようだが、11.1はバージョ...
PythonOptunaでValueError: CategoricalDistribution does not support dynamic value space.
OptunaでTensorflow/Kerasのハイパーパラメータを探索している時に表題のエラー。 traial.suggest_categoricalのパラメータを少し変えて再実行したが、optuna.create...
PythonOptunaで枝刈りしながら複数GPUでKerasをチューニング
ニューラルネットを構築する際、ハイパーパラメータの選択をする場面が多々ある。 人力やグリッドサーチでは取りこぼしがあるかもしれないので、ベイズ最適化を使ったライブラリ optuna でハイパーパラメータチューニングを行いたい...
Deep LearningTensorflow/KerasでCNNのChannel AttentionとSpatial Attention
CNNに使えるAttentionとして、Convolutional Block Attention Moduleがある。 チャンネル方向のアテンションと空間方向のアテンションを組み合わせることで重み付き特徴マップを作成し、C...
Deep LearningKerasでカスタムAUC、カスタムAccuracyを実装する
10クラスの画像分類をするモデルを構築していた時、精度改善のために拡張して11クラス分類のモデルを構築した。 しかし、評価は元々の10クラスで行いたかったので、custom metricsのクラスを実装した。 例えばカ...
Deep LearningGCPのTPUでInvalidArgumentError: Unimplemented: File system scheme ‘[local]’ not implemented
KaggleやColabでTPUを使っていて、SavedModelを保存・復元しようとした時に表題のエラー。 TPUはGoogle Cloud Strage（GCS）のバケットから読み書きするようにデフォルトで設定さ...
LinuxDockerのOpenCVでImportError: libGL.so.1: cannot open shared object file
Dockerコンテナ内からPythonでOpenCVを使う際、import cv2をしたら表題のエラー。 libgl1-mesa-devをインストールすれば解決するらしい。 sudo apt-get insta...
その他KaggleのNotebookをPDF保存・印刷する
Kaggleに取り組んでいる時、ブックマークしていたNotebookが削除され、もう見れなくなってしまった。 気になるNotebookのPDF保存や印刷をしていこうと思ったが、何故か1ページ目しか保存対象にならなかった。 ...
Deep LearningTensorflow/KerasでRuntimeError: Unable to create link (name already exists)
tf.kerasでtrainしていた時、ModelCheckpointのh5ファイルの保存でエラー。 RuntimeError: Unable to create link (name already exi...