Python

LLMの学習データを用意していた際、人名などの個人情報をマスキングしたくなった。 調べてみると、日本語の自然言語処理ライブラリであるGiNZAで固有表現を抽出できるみたい。 v5からTransformersモデルを採用しており、解析精度が向...

Kaggleに取り組んでいた時、大量のデータセットが与えられた。 一般的に、ニューラルネットに入力するデータは標準化している方がいいと言われているが、データが大量にあってメモリに乗り切らず、sklearn.preprocessing.Sta...

PyQt5のアプリケーションを弄っていた時に、cv2.imshow()をしようとしたら表題のエラー。 If you are on Ubuntu or Debian, install libgtk2.0-dev and pkg-config,...

dockerコンテナ内でscikit-learnやjoblibを使っていた際に表題のエラー。 OSError: No space left on device ハードディスクには十分な空き容量があったため、何のスペースが足りないのか分からな...

pandasでdf.plot()をすると、matplotlibを使わなくても簡単にグラフを作ることが出来る。 しかし、複数のグラフを作りたくてsubplotsしようとすると途端に面倒になり、df.plot()の引数やmatplotlibのf...

データの格納だけをしたい時、辞書を作成するよりもdataclassでデコレートする方が宣言が楽で便利。 __init__()を書いてインスタンス変数に代入、という作業をしなくて済むので見た目もスッキリする。 import dataclass...

LightGBMでnp.arrayを入力して回帰モデルを作ろうとした時に表題のエラー。 X_train, X_test, y_train, y_test = train_test_split(X, y) model = lgb.LGBMRe...

Raspberry piにI2Cのセンサーを繋ぎ、smbus2でデータの取得を試みたところ表題のエラー。 File "/usr/local/lib/python3.7/dist-packages/smbus2/smbus2.py", lin...

ローカルマシンのpandasでpickleを作り、クラウドのdocker上でpickleをロードした時に表題のエラー。 typeerror __cinit__() takes at least 2 positional arguments ...

ミリ秒単位の時系列データを扱っていた時、秒単位で集計した際に重複する時間が複数発生した。 同じ時間の値は平均値を取りたくなったが、dupulicatedやdrop_duplicatedでは上手く出来なかった。 以下の書籍の405ページから始...