Python

Python

pandasのpickleでtypeerror __cinit__() takes at least 2 positional arguments (0 given)

ローカルマシンのpandasでpickleを作り、クラウドのdocker上でpickleをロードした時に表題のエラー。 typeerror __cinit__() takes at least 2 positional ar...
Python

pandasで重複した複数行の平均値を取る

ミリ秒単位の時系列データを扱っていた時、秒単位で集計した際に重複する時間が複数発生した。 同じ時間の値は平均値を取りたくなったが、dupulicatedやdrop_duplicatedでは上手く出来なかった。 ...
Python

Google colabのpandasでError: Unsupported Pickle Protocol 5

ローカルマシンで作成したpickleをColabで読み込もうとしたときに表題のエラー。 # ローカルマシン df.to_pickle("df.pickle") # Colab df = pd.read_...
2021.06.05
Python

PythonでArduinoからJSONをシリアル通信で受け取る

Arduinoに複数センサーを接続してRaspberry Piで値を取得したい。 シリアル通信を行うが、Pythonでテキストのパーサーを書くのも面倒だし、Arduinoでパーサーしやすい形を手打ちするのも手間。 ...
Python

OptunaでValueError: CategoricalDistribution does not support dynamic value space.

OptunaでTensorflow/Kerasのハイパーパラメータを探索している時に表題のエラー。 traial.suggest_categoricalのパラメータを少し変えて再実行したが、optuna.create...
Python

Optunaで枝刈りしながら複数GPUでKerasをチューニング

ニューラルネットを構築する際、ハイパーパラメータの選択をする場面が多々ある。 人力やグリッドサーチでは取りこぼしがあるかもしれないので、ベイズ最適化を使ったライブラリ optuna でハイパーパラメータチューニングを行いたい...
2021.03.22
Python

複数GPUを積んだマシンのDocker runで実行するGPUを指定する

複数GPUを積んだマシンでDockerを使う時、どのGPUを使うのか指定したくなった。 GPUでDockerを使う方法はたくさん紹介されているが、ほとんどが--gpus allをつかっており、個別に指定する方法がわからなかっ...
2020.12.30
Python

matplotlibで最初からフルスクリーンでplt.showする

matplotlibでimshowする時、引数を指定しないと常に決まった解像度で図が表示されてしまう。 最初からフルスクリーンで表示するには、以下のコードを書き込めばOK。 from matpl...
2020.12.30
Python

XGBoostがモデルを開放せずGPUメモリを専有してしまう

joblibでXGBを複数走らせる、forループでXGBを呼ぶ、hyperoptでパラメータ探索を行う....など、何回もXGBを呼んでしまうとGPUメモリを開放してくれずにエラーになることがあった。 predictが終わっ...
Python

Hyperasのfminが返す辞書のインデックスを値にする

HyperasでKerasのモデルのハイパーパラメータチューニングをしていた時、fminの返り値の辞書に含まれる結果が探索空間のインデックスで分かりにくい。 例えば探索するパラメータを hp.choice('h...
タイトルとURLをコピーしました