Python
lintや型チェックなどの静的解析はバグを未然に防ぐのに役立ちますし、formatterの実行は規約に反するコードを自動で修正してきれいなコードベースを保つうえで便利です。 しかし、コードを変更するたびに手動でコマンドを実行するのは面倒なので、自動で実…
今年に入ってから順序尺度の離散変数×連続変数の相関係数についてのライブラリを作ったり記事を書いたりしています。 nigimitama.hatenablog.jp 「こんなマニアックな相関係数をどこで使うんだ？」 と感じる方が多いかも…と思ったので、主要な応用例であるカ…
記事別のアクセス数を見るとLightGBM関連がやはり多いので過去に書いた記事へのリンク一覧みたいなのを置いておきます 論文について LightGBMについて 量子化学習について ライブラリについて 欠損値の扱い その他 論文について LightGBMについて nigimitama…
を作ったので紹介させてください。 順序尺度とは 順序尺度の相関係数とは なぜ積率相関係数ではだめなのか 離散化された順序尺度の相関係数の例 Pythonの既存ライブラリ 作ったライブラリ 使い方 順序尺度とは 順序尺度 （ordinal-scale）というのは大小関係…
japanize-matplotlibライブラリがPython3.12以降で動かないという問題について、先日はこのような記事を書きました。 nigimitama.hatenablog.jp 記事の内容としては「ライブラリに依存せず自分で日本語対応する場合はこうすればいいよ」というものです。 た…
背景 日本語フォントが入っていない環境（Docker など）において日本語の含まれるグラフを matplotlib で描くとき、japanize_matplotlib パッケージ が便利でした。 しかし、2020 年から更新が停止されており、Python3.12 以降では使用できません。 japanize…
Pythonにおける並行処理・並列処理・非同期処理の概要とシンプルなコードの例
scipy.optimize.approx_fprime 先日、フィッシャー情報量を対数尤度の2次の導関数から計算してみようと思い、ChatGPTに「pythonで数値微分するコードの例を出して」と尋ねてみました。 するとscipyの approx_fprime という関数が提案され、2次の導関数につい…
TL; DR seaborn.kdeplotでクラスごとに分布を描くとき、デフォルト引数のままだとクラスごとのサンプル数が違うと分布の大きさも違ってしまう kdeplotではデフォルトではcommon_norm=Trueになっており、全クラスの分布の面積の合計が1になるように分布が調整…
ドラッグしたりズームできるようなマップ上に散布図などを描きたいとき、FoliumだけでなくPlotlyも使えることを知ったのでメモしておきます。 環境 python:3.11のDocker Imageの下で、以下のバージョンのライブラリで試しました。 jupyterlab==4.0.10 plotly…
Streamlitを静的サイトで動かせるstliteというライブラリがあるらしいです。 github.com 簡単に試してみたのでメモしておきます。 Streamlitとは StreamlitはPythonだけで簡単にWebアプリを作るライブラリです。 よくある使い方としてはダッシュボードとして…
①輝度を自動操作したい（朝は明るく、夜は暗くしたい）、②複数のモニターの輝度を一括で操作したい、という自分の要望を叶えるためのアプリを作りました
pythonのloggingを使うときのメモ 背景 loggerインスタンスにStreamHandlerやFileHandlerを設定する処理は使いまわしたいので、関数にしたい。 その際、単純にその処理を関数にまとめると、その関数が複数回呼ばれて同じ名前のloggerが複数回参照された場合…
個人的に業務ではよく使うのでもっと多くの人に認知されてほしいという想いを込めてメモ Pipelineとは scikit-learnにはPipelineというclassがある。これは複数の前処理用クラスと予測モデルをまとめて一つのオブジェクトにすることができるもの。 例えば、S…
pythonのmultiprocessingパッケージについてのメモ。 docs.python.org コード例 ProcessクラスとPipeクラスを使う場合 Poolクラスを使う場合 なぜmultiprocessingなのか コード例 こう書けば良いんじゃないかな、と思った実装例を載せていきます。 以下では…
前にどこかで見かけたやり方をメモ。 unittestでは、各テストの前にはsetUp()が実行され、テストの後にtearDown()が実行される。 なのでその前後でtime()を呼んで、その差分を表示させる。 from time import time import unittest class TestStringMethods(u…
FlaskとjQueryとsqliteについて少し勉強したのでメモ。 シンプルな例 まず、シンプルに文字を書き換えるだけの場合について。 バックエンド flaskでサーバー側の処理を書きます。 ページを表示するための index() と、フロントエンドからのAjax通信に対して…
これまで，APIの作成からHerokuへのデプロイまでを扱ってきました。 今回はAWS Lambda + API Gatewayでのデプロイについてメモしておきます。 機械学習モデルを動かすWeb APIを作ってみる(1)：APIの作成 - 盆暗の学習記録 機械学習モデルを動かすWeb APIを作…
今回はchaliceを使ってAWS Lambda + API Gatewayでデプロイする方法についてメモしておきます。
前回，前々回とでAPI部分をつくってきました。 機械学習モデルを動かすWeb APIを作ってみる(1)：APIの作成 - 盆暗の学習記録 機械学習モデルを動かすWeb APIを作ってみる(2)：uWSGIの設定 - 盆暗の学習記録 今回からはAPIのデプロイ（Web上への展開）につい…
前回 nigimitama.hatenablog.jp に引き続き，機械学習モデルを動かすAPIを作っていきます。 今回はアプリを動かすサーバ部分を設定します。 アプリケーションサーバの必要性 インストール 起動テスト 設定をファイルに記述する 起動 リロードと停止 GitHubリ…
PythonでAPIを作る方法をメモしておくことにします。
どの程度sparseだと疎行列ライブラリで計算が速くなるのか。気になったので試してみました。
XGBoostにはDMatrixという独自のデータ保持用クラスがあります。Documentの説明では optimized for both memory efficiency and training speed と書いてあり、私は「自動で疎行列クラスとかにしてくれるんだろうなぁ」と思っていたのですが、そうでもない様…
XGBoostの素敵なポイントの一つは、自分で定義した関数を目的関数に使うことができる点です。 でもどういう関数にしたらよいのかがわからなくて過去に戸惑ったことがあるのでメモしておきます。（詳しいやり方はXGBoostのdocumentationに書いてあります） 定…
最近少し覚えたことをまとめます。 （基本的にpythonのコードと共に述べていきますが、Rの場合についても少し触れていきます。） 不要なオブジェクトの削除 del 手動でのガベージコレクションは不要 Rの場合 データ型の最適化 自動で型変換するコード 疎行列…
geopandasによる基本的なplotの例示
Ubuntuへのgeopandasというライブラリのインストールまでの流れと、塗り分け図のプロットの例を書いていきます。 私のPCの環境について WindowsですがWSLを使います。 windows 10 ver.1903 WSL1 Ubuntu 18.04 geopandasのインストール windowsへのインストー…
前回に引き続いて，公的データの取得に関してメモ。 Rだと便利なライブラリがあるが，Pythonだとやや面倒かも。 アプリケーションIDの用意 APIアクセス用メソッドの定義 統計情報の取得 普通に人力で探す場合 APIのgetStatsListを使う場合 メタ情報の取得：g…
今までRでしか取得したことがなく，Pythonでは初めてだったのでメモ 使い方の流れ コードの例 RESASデータ取得用の関数 例：都道府県一覧の取得 例：市区町村一覧の取得 例：出生数・死亡数／転入数・転出数の取得 データの取得 使い方の流れ 利用登録してAP…
