PrometheusPrometheusのクエリに正規表現を使ってワイルドカードを実現する
Prometheusのクエリを書いていた時、共通するprefix / postfixを持つmetricsやjobを集計したくなり、ワイルドカードを使いたくなった。 Prometheusでワイルドカードを直接使う方法を見つける...
Prometheus
Deep LearningGPUでfitしてCPUでpredictすることでTensorFlowのOOMを回避する
TensorFlowで大量の画像や巨大な配列をpredictするとメモリーリークが生じることが多い。 model.fitでは問題ないのに、model.predictになるとOOMになってしまう報告が散見する。 ...
Deep LearningTensorFlowでscipyのsparse matrixを学習に使う
巨大な疎行列をmodel.fit()させようとした時、numpyのままだとメモリに乗り切らなかったため、scipyの疎行列でtf.kerasを使う方法がないか調べてみた。 まずは公式チュートリアルを見てみる。 ...
Pythonjoblibやscikit-learnでOSError: [Errno 28] No space left on device
dockerコンテナ内でscikit-learnやjoblibを使っていた際に表題のエラー。 OSError: No space left on device ハードディスクには十分な空き容量があったため、何のスペー...
PrometheusGrafanaのダッシュボードをコピーする
Gradanaのダッシュボードを作っていた時、指定するjobだけ変えて同じ内容のものを複製したくなった。 copyやduplicateのようなわかりやすい表記がなく、作業に戸惑ったため備忘録。 ダッシュボードの設定アイ...
その他ESETを入れたMacのTeamsで申し訳ございませんが、接続できませんでした
MacでTeamsのミーティングに参加しようとした時、「申し訳ございませんが、接続できませんでした」と出て接続出来なかった。 会議の参加待機中にもならなかったため、そもそも接続できていないのではないかと予想。 ファイア...
その他Intellij IDEA / PyCharmでkerasのコード補完が効かない
Jetbrains製のIDEであるIntellij IDEAやPyCharmを使っていた時、tensorflow.keras以下がコード補完できなかった。 標準ライブラリや他のライブラリは補完されており、tensorflow...
Deep Learningtf.data.Datasetを使っていた時に AUTO sharding policy will apply DATA sharding policy as it failed to apply FILE sharding policy because of the following reason:
CIFAR10でtf.dataを使った時に表題のwarning。 model.fitは問題なく出来るので無視しようと思ったが、気になったので調べてみた。 (train_features, _), (_, _) ...
Deep LearningScaled-YOLOv4のpredictions.jpgに出力されるconfidenceを消す
Scaled-YOLOv4を使っていた時、検出される物体が多いとラベルに埋もれて画像が見えなくなってしまったため、画像に描画されるconfidenceの値を消したくなった。 C言語のソースコードを追いかけていき、当該...
その他macのFinderで「ファイルが見つかりません」がスリープ復帰後に大量に出てしまう
macOS Montereyにアップデートしてから、スリープ復帰後にファイルが見つかりませんが大量に表示されるようになってしまった。 OSアップデートでそのうち修正されるかなーと思っていたが、12.4になっても治らないので何...