Deep LearningTFRecordsでmodel.fitする時にメモリリークが起きてメモリ使用量が増え続けてしまう 大量のTFRecordsを使い、tf.dataでモデルの訓練をしていた際、メモリの使用量が増え続け、Out of Memoryになってしまっていた。 仮想メモリ（スワップ）を3TB程度用意してみたが、スワップも食い続けてしまったため、ハード...2023.04.10Deep Learning
Pythonメモリに乗り切らない大量のデータの平均値と標準偏差をWelfordアルゴリズムで逐次計算する Kaggleに取り組んでいた時、大量のデータセットが与えられた。 一般的に、ニューラルネットに入力するデータは標準化している方がいいと言われているが、データが大量にあってメモリに乗り切らず、sklearn.preprocessing.Sta...2023.04.062023.07.14Python
Deep LearningDeep Learning
Python