Deep LearningDockerでPyTorchを実行するとRuntimeError: NCCL error unhandled system error, NCCL version 2.8.3
DockerでPyTorchを動かした際に表題のエラー。 ベースイメージはこれ。 FROM nvcr.io/nvidia/pytorch:20.12-py3 エラーログを見てみると nccl...
Deep Learning
Deep LearningDeep LearningPyTorchでCUDA error: no kernel image is available for execution on the device
CUDAを11.1に更新した後にPyTorchを実行した際に表題のエラー。 CUDA10だと通常の pip install torch torchvision torchaudio で良いようだが、11.1はバージョ...
Deep LearningTensorflow/KerasでCNNのChannel AttentionとSpatial Attention
CNNに使えるAttentionとして、Convolutional Block Attention Moduleがある。 チャンネル方向のアテンションと空間方向のアテンションを組み合わせることで重み付き特徴マップを作成し、C...
Deep LearningKerasでカスタムAUC、カスタムAccuracyを実装する
10クラスの画像分類をするモデルを構築していた時、精度改善のために拡張して11クラス分類のモデルを構築した。 しかし、評価は元々の10クラスで行いたかったので、custom metricsのクラスを実装した。 例えばカ...
Deep LearningGCPのTPUでInvalidArgumentError: Unimplemented: File system scheme ‘[local]’ not implemented
KaggleやColabでTPUを使っていて、SavedModelを保存・復元しようとした時に表題のエラー。 TPUはGoogle Cloud Strage（GCS）のバケットから読み書きするようにデフォルトで設定さ...
Deep LearningTensorflow/KerasでRuntimeError: Unable to create link (name already exists)
tf.kerasでtrainしていた時、ModelCheckpointのh5ファイルの保存でエラー。 RuntimeError: Unable to create link (name already exi...
Deep LearningKaggleのTPUでPermissionDeniedError Error executing an HTTP request: HTTP response code 403
KaggleのNotebookでTPUを使っていたときに表題のエラー。 PermissionDeniedError: {{function_node __inference_train_function_81...
Deep LearningTensorflowやKerasでResNeXt50, ResNeXt101を使う
ResNetの改良版であるResNextは、パラメータ数はほぼ同じなのに精度が向上している。 試したくなったが、TensorflowやKerasだとデフォルトではkeras.applicationsに入っていないので...
Deep LearningKerasでAttributeError: The layer has never been called and thus has no defined input shape.
モデルをロードしてからpredictしようとしたら表題のエラー。 擬似コードはこんな感じ。 model = tf.keras.models.load_model model.predict(image) Attrib...
Deep LearningRTX3090/3080でCUDA11とcuDNN8に更新したらTensorflowが早くなった
RTX 3090を手に入れたが、どうにも遅い。 旧世代のTITAN RTXの方が1epochあたりの処理時間が早く、なんでかなーと思っていた。 結論から言うと、NVIDIA DRIVERは更新したけどCUDAや...