Python pandasで重複した複数行の平均値を取る
ミリ秒単位の時系列データを扱っていた時、秒単位で集計した際に重複する時間が複数発生した。同じ時間の値は平均値を取りたくなったが、dupulicatedやdrop_duplicatedでは上手く出来なかった。以下の書籍の405ページから始まる...
コッコ
Python 
Python Google colabのpandasでError: Unsupported Pickle Protocol 5
ローカルマシンで作成したpickleをColabで読み込もうとしたときに表題のエラー。# ローカルマシンdf.to_pickle("df.pickle")# Colabdf = pd.read_pickle("df.pickle")Erro...
LeetCode 1302. Deepest Leaves Sum
簡単なグラフの問題。幅優先探索と深さ優先探索の両方で解いてみた。class Solution: def deepestLeavesSum(self, root: TreeNode) -> int: from collections impo...
Python PythonでArduinoからJSONをシリアル通信で受け取る
Arduinoに複数センサーを接続してRaspberry Piで値を取得したい。シリアル通信を行うが、Pythonでテキストのパーサーを書くのも面倒だし、Arduinoでパーサーしやすい形を手打ちするのも手間。楽にArduinoからデータを...
Deep Learning Kaggle Indoor Location & Navigation 15位 解法
KaggleのIndoorコンペにチームで参加し、1170チーム中の15位で上位2％の銀メダルをゲット出来ました。振り返りも兼ねて解法をまとめようと思います。チームメイトペンギンさん、コロンビアさん、つぼさんと4人で参加しました。誘って頂き...
Deep Learning StyleGAN2-adaでValueError: not enough image data
以下のリポジトリのStyleGAN2-ada でグレースケール画像を学習した重みを使って generate.py を実行した時に表題のエラーgenerate.py の最後の方にPILを使った画像の保存でつまづいている様子。PIL.Image...
Deep Learning DockerでPyTorchを実行するとRuntimeError: NCCL error unhandled system error, NCCL version 2.8.3
DockerでPyTorchを動かした際に表題のエラー。ベースイメージはこれ。FROM nvcr.io/nvidia/pytorch:20.12-py3エラーログを見てみるとncclSystemError: System call (soc...
Deep Learning PyTorchでCUDA error: no kernel image is available for execution on the device
CUDAを11.1に更新した後にPyTorchを実行した際に表題のエラー。CUDA10だと通常の pip install torch torchvision torchaudio で良いようだが、11.1はバージョン違いによるエラーが起きた...
Python OptunaでValueError: CategoricalDistribution does not support dynamic value space.
OptunaでTensorflow/Kerasのハイパーパラメータを探索している時に表題のエラー。traial.suggest_categoricalのパラメータを少し変えて再実行したが、optuna.create_studyの引数stor...
Python Optunaで枝刈りしながら複数GPUでKerasをチューニング
ニューラルネットを構築する際、ハイパーパラメータの選択をする場面が多々ある。人力やグリッドサーチでは取りこぼしがあるかもしれないので、ベイズ最適化を使ったライブラリ optuna でハイパーパラメータチューニングを行いたい。並列で最適化を進...