スポンサーリンク
Prometheus

Prometheusのクエリに正規表現を使ってワイルドカードを実現する

Prometheusのクエリを書いていた時、共通するprefix / postfixを持つmetricsやjobを集計したくなり、ワイルドカードを使いたくなった。 Prometheusでワイルドカードを直接使う方法を見つける...
Deep Learning

GPUでfitしてCPUでpredictすることでTensorFlowのOOMを回避する

TensorFlowで大量の画像や巨大な配列をpredictするとメモリーリークが生じることが多い。 model.fitでは問題ないのに、model.predictになるとOOMになってしまう報告が散見する。 ...
Deep Learning

TensorFlowでscipyのsparse matrixを学習に使う

巨大な疎行列をmodel.fit()させようとした時、numpyのままだとメモリに乗り切らなかったため、scipyの疎行列でtf.kerasを使う方法がないか調べてみた。 まずは公式チュートリアルを見てみる。 ...
Python

joblibやscikit-learnでOSError: [Errno 28] No space left on device

dockerコンテナ内でscikit-learnやjoblibを使っていた際に表題のエラー。 OSError: No space left on device ハードディスクには十分な空き容量があったため、何のスペー...
Prometheus

Grafanaのダッシュボードをコピーする

Gradanaのダッシュボードを作っていた時、指定するjobだけ変えて同じ内容のものを複製したくなった。 copyやduplicateのようなわかりやすい表記がなく、作業に戸惑ったため備忘録。 ダッシュボードの設定アイ...
その他

ESETを入れたMacのTeamsで申し訳ございませんが、接続できませんでした

MacでTeamsのミーティングに参加しようとした時、「申し訳ございませんが、接続できませんでした」と出て接続出来なかった。 会議の参加待機中にもならなかったため、そもそも接続できていないのではないかと予想。 ファイア...
その他

Intellij IDEA / PyCharmでkerasのコード補完が効かない

Jetbrains製のIDEであるIntellij IDEAやPyCharmを使っていた時、tensorflow.keras以下がコード補完できなかった。 標準ライブラリや他のライブラリは補完されており、tensorflow...
Deep Learning

tf.data.Datasetを使っていた時に AUTO sharding policy will apply DATA sharding policy as it failed to apply FILE sharding policy because of the following reason:

CIFAR10でtf.dataを使った時に表題のwarning。 model.fitは問題なく出来るので無視しようと思ったが、気になったので調べてみた。 (train_features, _), (_, _) ...
Deep Learning

Scaled-YOLOv4のpredictions.jpgに出力されるconfidenceを消す

Scaled-YOLOv4を使っていた時、検出される物体が多いとラベルに埋もれて画像が見えなくなってしまったため、画像に描画されるconfidenceの値を消したくなった。 C言語のソースコードを追いかけていき、当該...
その他

macのFinderで「ファイルが見つかりません」がスリープ復帰後に大量に出てしまう

macOS Montereyにアップデートしてから、スリープ復帰後にファイルが見つかりませんが大量に表示されるようになってしまった。 OSアップデートでそのうち修正されるかなーと思っていたが、12.4になっても治らないので何...
スポンサーリンク
タイトルとURLをコピーしました