盆暗の学習記録

データサイエンスを中心として,日々学んだことの備忘録としていく予定です。初心者であり独学なので内容には誤りが含まれる可能性が大いにあります。

Python

スパースなデータをXGBoost.DMatrixに入れるときはpd.DataFrame/np.arrayを使ってはいけない

XGBoostにはDMatrixという独自のデータ保持用クラスがあります。Documentの説明では optimized for both memory efficiency and training speed と書いてあり、私は「自動で疎行列クラスとかにしてくれるんだろうなぁ」と思っていたのですが、そうでもない様…

XGBoostで自作の目的関数を使う

XGBoostの素敵なポイントの一つは、自分で定義した関数を目的関数に使うことができる点です。 でもどういう関数にしたらよいのかがわからなくて過去に戸惑ったことがあるのでメモしておきます。(詳しいやり方はXGBoostのdocumentationに書いてあります) 定…

データ分析時のメモリ使用量を減らす方法

最近少し覚えたことをまとめます。 (基本的にpythonのコードと共に述べていきますが、Rの場合についても少し触れていきます。) 不要なオブジェクトの削除 del 手動でのガベージコレクションは不要 Rの場合 データ型の最適化 自動で型変換するコード 疎行列…

pythonで塗り分け地図を描く

geopandasによる基本的なplotの例示

[WSL Ubuntu]pythonで塗り分け地図を描くための環境構築

Ubuntuへのgeopandasというライブラリのインストールまでの流れと、塗り分け図のプロットの例を書いていきます。 私のPCの環境について WindowsですがWSLを使います。 windows 10 ver.1903 WSL1 Ubuntu 18.04 geopandasのインストール windowsへのインストー…

pythonによるe-stat APIからのデータ取得

前回に引き続いて,公的データの取得に関してメモ。 Rだと便利なライブラリがあるが,Pythonだとやや面倒かも。 アプリケーションIDの用意 APIアクセス用メソッドの定義 統計情報の取得 普通に人力で探す場合 APIのgetStatsListを使う場合 メタ情報の取得:g…

pythonによるRESAS APIからのデータ取得

今までRでしか取得したことがなく,Pythonでは初めてだったのでメモ 使い方の流れ コードの例 RESASデータ取得用の関数 例:都道府県一覧の取得 例:市区町村一覧の取得 例:出生数・死亡数/転入数・転出数の取得 データの取得 使い方の流れ 利用登録してAP…

[Python]パソコンのバッテリがおかしいのでログを取る

動機 昨年の11月にVAIO S13を買ったのですが,購入当初から「バッテリが少なくなっています」という警告が出ずにいきなりバッテリ切れでスリープに入ることがありました。 指紋リーダーもフリーズすることがよくあったので,「ソフトウェア(Windows?)のイ…

TensorFlow-GPUのインストールで詰まったときのメモ

久々にTensorFlowを使おうとしたら動かなくて(最近Rでkerasをインストールするときに失敗したから…?),再インストールしようとしたら詰まったので対処法をメモ 対処法というのもおこがましいレベルで,要するに「最新版じゃなく,少し古いバージョンのTen…

[Python]予測モデル作成の一連の流れのメモ

Pythonで予測モデルを作るときの大まかな流れの雛形みたいなやつ(自己流なので正しいかはわかりませんが…)をメモしていきます。 1. データの読み込みと確認 データの確認 データ間の関係を確認 データの可視化(単変量) データの可視化(多変量) 相関行…

scikit-learnメモ:サンプルデータセットの読み込み方

機械学習を使うための処理の書き方を勉強する上でお世話になるのがサンプルデータセットですが, scikit-learnはRとは読み込み方が異なって面倒くさかったため,メモしておきます。 iris データセット 定番のirisデータを例にしてみます。 Rだとdata(iris)あ…