Deep Learningtf.image.decode_imageでエラーValueError: ‘images’ contains no shape.
jpegやpngなど何種類かの拡張子の画像をまとめてTensorflowに流したかったが、decode_jpegやdecode_pngを拡張子に合わせて実装するのは面倒くさい。 decode_imageならbmpでもjpeg...
Deep Learning
PythonXGBoostがモデルを開放せずGPUメモリを専有してしまう
joblibでXGBを複数走らせる、forループでXGBを呼ぶ、hyperoptでパラメータ探索を行う....など、何回もXGBを呼んでしまうとGPUメモリを開放してくれずにエラーになることがあった。 predictが終わっ...
PythonHyperasのfminが返す辞書のインデックスを値にする
HyperasでKerasのモデルのハイパーパラメータチューニングをしていた時、fminの返り値の辞書に含まれる結果が探索空間のインデックスで分かりにくい。 例えば探索するパラメータを hp.choice('h...
Deep LearningRTX30シリーズで nvcc fatal : Value ‘sm_86’ is not defined for option ‘gpu-architecture’
RTX3090でTensorflowを使おうとした所、表題のエラー。 nvcc fatal : Value 'sm_86' is not defined for option 'gpu-archite...
Python次元圧縮のUMAPでエラー module ‘umap’ has no attribute ‘UMAP’
PythonでUMAPを使おうとしたときに表題のエラー。 module 'umap' has no attribute 'UMAP' pip install umapだとダメで、umap...
LinuxDockerでGPUを使おうとしたらError response from daemon: linux runtime spec devices: could not select device driver “” with capabilities: [[gpu]]
docker container run --gpus all をした時に表題のエラー。 NVIDIAドライバーがDockerを認識できていないか、nvidia container tools をインストールしたけど...
LinuxNVIDIAドライバーのインストールでAn NVIDIA kernel module ‘nvidia-drm’ appears to already be loaded in your kernel.
Ubuntu 18.04でNVIDIAドライバーを更新しようとした時に表題のエラー。 $ sudo sh NVIDIA-Linux-x86_64-455.23.04.run An NVIDIA kernel module ...
PythonLightGBMでCannot use Dataset instance for prediction, please use raw data instead
LightGBMで2値分類の学習をさせていた際、表題のエラー。 import lightgbm as lgb lgb_train = lgb.Dataset(X_train, label=y_train) lgb_eval...
Deep LearningsklearnやkearsのCross Validationを並列で実行して高速化する
Kaggleに取り組んでいた時、実行時間制限付きのノートブックコンペがあり、モデルを高速に実行する必要が出てきた。 そこで、クロスバリデーションなら同時に更新する値や配列が無いため、なんとか並列実行出来ないか調べてみたところ...
Deep LearningTensorflowやKerasで乱数シードを固定して同じ結果が出るようにする
機械学習やディープラーニングに取り組む時、様々なモデルを作って精度を比較することが多い。 しかし、TensorflowやKerasではGPUを用いた学習の時に乱数を固定する方法がなく、結果が変わってもモデルの改良によるものな...