Python pandasで重複した複数行の平均値を取る
ミリ秒単位の時系列データを扱っていた時、秒単位で集計した際に重複する時間が複数発生した。 同じ時間の値は平均値を取りたくなったが、dupulicatedやdrop_duplicatedでは上手く出来なかった。 以下の書籍の405ページから始...
Python 
Python Google colabのpandasでError: Unsupported Pickle Protocol 5
ローカルマシンで作成したpickleをColabで読み込もうとしたときに表題のエラー。 # ローカルマシン df.to_pickle("df.pickle") # Colab df = pd.read_pickle("df.pickle")...
LeetCode 1302. Deepest Leaves Sum
簡単なグラフの問題。 幅優先探索と深さ優先探索の両方で解いてみた。 class Solution: def deepestLeavesSum(self, root: TreeNode) -> int: from collections im...
Python PythonでArduinoからJSONをシリアル通信で受け取る
Arduinoに複数センサーを接続してRaspberry Piで値を取得したい。 シリアル通信を行うが、Pythonでテキストのパーサーを書くのも面倒だし、Arduinoでパーサーしやすい形を手打ちするのも手間。 楽にArduinoからデー...
Deep Learning Kaggle Indoor Location & Navigation 15位 解法
KaggleのIndoorコンペにチームで参加し、1170チーム中の15位で上位2％の銀メダルをゲット出来ました。 振り返りも兼ねて解法をまとめようと思います。 チームメイト ペンギンさん、コロンビアさん、つぼさんと4人で参加しました。 誘...
Deep Learning StyleGAN2-adaでValueError: not enough image data
以下のリポジトリのStyleGAN2-ada でグレースケール画像を学習した重みを使って generate.py を実行した時に表題のエラー generate.py の最後の方にPILを使った画像の保存でつまづいている様子。 PIL.Ima...
Deep Learning DockerでPyTorchを実行するとRuntimeError: NCCL error unhandled system error, NCCL version 2.8.3
DockerでPyTorchを動かした際に表題のエラー。 ベースイメージはこれ。 FROM nvcr.io/nvidia/pytorch:20.12-py3 エラーログを見てみると ncclSystemError: System call ...
Deep Learning PyTorchでCUDA error: no kernel image is available for execution on the device
CUDAを11.1に更新した後にPyTorchを実行した際に表題のエラー。 CUDA10だと通常の pip install torch torchvision torchaudio で良いようだが、11.1はバージョン違いによるエラーが起き...
Python OptunaでValueError: CategoricalDistribution does not support dynamic value space.
OptunaでTensorflow/Kerasのハイパーパラメータを探索している時に表題のエラー。 traial.suggest_categoricalのパラメータを少し変えて再実行したが、optuna.create_studyの引数sto...
Python Optunaで枝刈りしながら複数GPUでKerasをチューニング
ニューラルネットを構築する際、ハイパーパラメータの選択をする場面が多々ある。 人力やグリッドサーチでは取りこぼしがあるかもしれないので、ベイズ最適化を使ったライブラリ optuna でハイパーパラメータチューニングを行いたい。 並列で最適化...