Deep Learning TensorFlowでscipyのsparse matrixを学習に使う
巨大な疎行列をmodel.fit()させようとした時、numpyのままだとメモリに乗り切らなかったため、scipyの疎行列でtf.kerasを使う方法がないか調べてみた。 まずは公式チュートリアルを見てみる。 TensorFlowは、 tf...
Deep Learning 
Python joblibやscikit-learnでOSError: [Errno 28] No space left on device
dockerコンテナ内でscikit-learnやjoblibを使っていた際に表題のエラー。 OSError: No space left on device ハードディスクには十分な空き容量があったため、何のスペースが足りないのか分からな...
Prometheus Grafanaのダッシュボードをコピーする
Gradanaのダッシュボードを作っていた時、指定するjobだけ変えて同じ内容のものを複製したくなった。 copyやduplicateのようなわかりやすい表記がなく、作業に戸惑ったため備忘録。 ダッシュボードの設定アイコンを押す。 そのまま...
その他 ESETを入れたMacのTeamsで申し訳ございませんが、接続できませんでした
MacでTeamsのミーティングに参加しようとした時、「申し訳ございませんが、接続できませんでした」と出て接続出来なかった。 会議の参加待機中にもならなかったため、そもそも接続できていないのではないかと予想。 ファイアウォールを疑ってみて検...
その他 Intellij IDEA / PyCharmでkerasのコード補完が効かない
Jetbrains製のIDEであるIntellij IDEAやPyCharmを使っていた時、tensorflow.keras以下がコード補完できなかった。 標準ライブラリや他のライブラリは補完されており、tensorflowもkeras以外...
Deep Learning tf.data.Datasetを使っていた時に AUTO sharding policy will apply DATA sharding policy as it failed to apply FILE sharding policy because of the following reason:
CIFAR10でtf.dataを使った時に表題のwarning。 model.fitは問題なく出来るので無視しようと思ったが、気になったので調べてみた。 (train_features, _), (_, _) = tf.keras.data...
Deep Learning Scaled-YOLOv4のpredictions.jpgに出力されるconfidenceを消す
Scaled-YOLOv4を使っていた時、検出される物体が多いとラベルに埋もれて画像が見えなくなってしまったため、画像に描画されるconfidenceの値を消したくなった。 C言語のソースコードを追いかけていき、当該箇所を特定してコメントア...
その他 macのFinderで「ファイルが見つかりません」がスリープ復帰後に大量に出てしまう
macOS Montereyにアップデートしてから、スリープ復帰後にファイルが見つかりませんが大量に表示されるようになってしまった。 OSアップデートでそのうち修正されるかなーと思っていたが、12.4になっても治らないので何か原因があるので...
LeetCode 尺取り法、累積和、二分探索で209. Minimum Size Subarray Sum
総和がtarget以上になるような最小の部分列の長さを求める問題。 公式の最適解は2 pointersで、O(N)で解ける。 class Solution: def minSubArrayLen(self, target: int, num...
Deep Learning EfficientNet V2のデフォルトのinput_shape
TensorFlowにEfficientNetV2が実装された。 しかし、デフォルトのinput_shapeはNoneとなっており、学習時にリサイズさせる画像サイズがわからない。 TensorFlow Hubにはサイズが載っていた。 V2 ...