CREATE TEMP FUNCTION StartTime1() RETURNS timestamp AS ('2023-01-01 00:00:00');CREATE TEMP FUNCTION StartDate1() RETURNS DATE AS (DATE(StartTime1()));CREATE TEMP FUNCTION StartSuffix1() RETURNS STRING AS (format_date('%Y%m%d',StartDate1()));

普通にヒストグラムを書いた時に、外れ値のせいで横軸のレンジが広くなりすぎて、左隅に1本棒が立っているだけの意味のない可視化になる時が多い。それを避けるために、クリッピングで数値丸めてからヒストグラム書くと、意味のある可視化になりやすい。fig=plt.figure(figsize=(18,14))

前処理してMecabやGiNZAで分かち書きするまでimport osimport numpy as np

公式

dockerの基本的な使い方参考のまとめ。docker desktopは有償化したのでdocker engineを使用した方がいい。docker engineはWindowsの場合、WSL上で使う。

ざっくりスケジュール作成のための、週単位のガントチャートを作る。参考：https://plotly.com/python/gantt/

apt search vimapt install vim-gtk3[Vimでクリップボードからのペーストを可能にする](

experiment_nameをもとにexperiment_idを取得して、取得したexperiment_idのrun_ind番目のrun_idを取得して、取得したrun_idに保存しているpickleファイルをロードする。import mlflowfrom mlflow.sklearn import log_model

意外にLGBMのOptuna最適化をしたことがないことに気づいたのでコードを書いた。不均衡データに対して実施したので、損失関数に重みづけしているようなかコードになっている。def sample_w(y_train, multip=1):

昔作ったことあるけど、昔よりもっと簡単に作れるようにplotlyが進化していた。参考：https://oeconomicus.jp/2021/07/plotly-color-scale/

参考：https://qiita.com/hrkz_szk/items/a213c2c4ba823cbf78f6

例えば、説明変数40個×3、目的変数3個でモデルを作るとする。入力層を複数用意して、tensorflow.keras.layers.concatenateで結合する。そのままネットワークを組んで、出力層も目的変数の数の文だけ作る。

新しいPCで久々にMecabの環境作っているときに、Neologdの登録方法をけっこう忘れていたので備忘録。※インストールしているMecabはC:\Program Files\MeCab\binのPath通しておくNeologd辞書をダウンロード。

" https://pytorch.org/ "で、自分の環境にあったインストール方法がわかる。また、日本語でtransformersを使う場合、fugashiやipadicが必要。なので、pytorch, transformersをインストールするときは以下を実行。

Anaconda有償化で社内使用NGの場合、conda仮想環境も使えない。 conda以外いろいろなアプローチがあるけど、pyenv+poetryという選択もある。

2クラス分類の評価アプローチ。混同行列で分類精度を見られる。Calibration Curveで分類の予測確率の精度を見られる。

Tree explainerでShap値を求めるとき、データに比例して時間がかかるのですべてのデータを渡さずサンプリングすることが推奨されていいる。（以下URLのfeature_perturbationの説明参照） https://shap-lrjball.readthedocs.io/en/docs_update/generated/shap.TreeExplainer.html

近似近傍探索モデル作成できるパッケージAnnoyの使い方。 インストールはAnacondaならconda installで一発。