盆暗の学習記録

データサイエンスを中心として,日々学んだことの備忘録としていく予定です。初心者であり独学なので内容には誤りが含まれる可能性が大いにあります。

cronでプログラムを定期的に自動実行させる

かなり詰まったのでメモ。 環境 cron crontabコマンドを使う方法 概要 コマンド 設定方法 /etc/cron.dに置く方法 概要 crontabファイルの準備 設定方法 私が詰まったポイント cronの再読み込み crontabの設定を楽にするサイト 参考になるサイト 環境 windows…

スパースなデータをXGBoost.DMatrixに入れるときはpd.DataFrame/np.arrayを使ってはいけない

XGBoostにはDMatrixという独自のデータ保持用クラスがあります。Documentの説明では optimized for both memory efficiency and training speed と書いてあり、私は「自動で疎行列クラスとかにしてくれるんだろうなぁ」と思っていたのですが、そうでもない様…

XGBoostで自作の目的関数を使う

XGBoostの素敵なポイントの一つは、自分で定義した関数を目的関数に使うことができる点です。 でもどういう関数にしたらよいのかがわからなくて過去に戸惑ったことがあるのでメモしておきます。(詳しいやり方はXGBoostのdocumentationに書いてあります) 定…

データ分析時のメモリ使用量を減らす方法

最近少し覚えたことをまとめます。 (基本的にpythonのコードと共に述べていきますが、Rの場合についても少し触れていきます。) 不要なオブジェクトの削除 del 手動でのガベージコレクションは不要 Rの場合 データ型の最適化 自動で型変換するコード 疎行列…

pythonで塗り分け地図を描く

geopandasによる基本的なplotの例示

[WSL Ubuntu]pythonで塗り分け地図を描くための環境構築

Ubuntuへのgeopandasというライブラリのインストールまでの流れと、塗り分け図のプロットの例を書いていきます。 私のPCの環境について WindowsですがWSLを使います。 windows 10 ver.1903 WSL1 Ubuntu 18.04 geopandasのインストール windowsへのインストー…

Chromeの標準フォントを変更してギザギザ文字を無くす

はじめに WindowsはMacに比べるとデフォルトのフォントが汚いことが多いですが,CSSが適切に設定されていないWebサイトのフォントについてはChrome側のデフォルトのフォント設定を変更することで解決できるみたいです。 やり方をメモしておきます。 設定方法…

pythonによるe-stat APIからのデータ取得

前回に引き続いて,公的データの取得に関してメモ。 Rだと便利なライブラリがあるが,Pythonだとやや面倒かも。 アプリケーションIDの用意 APIアクセス用メソッドの定義 統計情報の取得 普通に人力で探す場合 APIのgetStatsListを使う場合 メタ情報の取得:g…

pythonによるRESAS APIからのデータ取得

今までRでしか取得したことがなく,Pythonでは初めてだったのでメモ 使い方の流れ コードの例 RESASデータ取得用の関数 例:都道府県一覧の取得 例:市区町村一覧の取得 例:出生数・死亡数/転入数・転出数の取得 データの取得 使い方の流れ 利用登録してAP…

WSLのvimの背景ハイライトがおかしいのを直す方法

問題 WSLでvimを起動し,Ctrl + DやCtrl + Uなどを押すとハイライトがバグってしまいます。 デフォルトのカラースキームだと目立たないバグですが,自分でデフォルト以外のカラースキームを設定していると色がめちゃくちゃになってしまうこともあります。 解…

ssh接続についてのメモ

※環境 Windows 10 1093 WSL Ubuntu 18.04 鍵 keygen1:雑な方法 keygen2:丁寧に作る方法 .ssh/configの書き方 .sshディレクトリ configファイル 接続 パーミッション関連のエラー Are you sure ? を省略する 鍵 例えばEC2インスタンス作成時に受け取ったp…

vimで編集中のプログラムを実行する

初めて知ったのでメモ 概要 :w ![当該言語の実行コマンド] :![当該言語の実行コマンド] % :!clear; [当該言語の実行コマンド] % (コンパイルする場合) …コンパイラ言語の場合は長いので何かエイリアスを.vimrcに入れたほうがいいですね 意味 vimコマンド w…

Google Apps Scriptの基本の使い方と企業での活用事例

Google Apps Script(以下GAS)というGoogleが提供している言語(とその開発環境,実行環境)があります。 GASは次のような特徴を持っています。 Googleのサーバーで関数単位で実行してもらえる 「毎日朝8時に実行」「1時間毎に実行」といったタスクを設定…

[Windows]コマンドラインで「自分のいつもの環境」を簡単に再現する

自分がWindowsで環境を用意するときに便利だなとおもったものをメモしておきます。 省力化のポイントは「極力コマンドラインで操作する」ということかなと思うようになりました。 そうすれば,「自分にとって必要なソフトウェアのリスト」をコマンド集として…

NERDTreeのWSL(Ubuntu)へのインストール

試しにnerdtreeを入れてみたので入れ方と操作方法についてメモ。 ※ 執筆時のPCの環境など Windows 10 ver.1803 Ubuntu 18.04.1 LTS NERDTreeとは vimの画面左側に,カレントディレクトリのファイルツリーを表示させるもの。 インストール手順 ちょっと昔の記…

vimのカラースキームを変更する

カラースキーム変更についてメモ。 カラースキームの変更 一時的に変えるには :colorscheme [カラースキーム名] と打てばいいらしい(カラースキーム名については次節)。 永続的に変えるには.vimrcに colorscheme [カラースキーム名] と書き込む。 デフォル…

ポアソン対数正規分布についてのメモ

「所得分布のように格差がある歪んだ分布で,データ型は整数」というような確率分布ってあるのかなぁ・・・と探していたら,ポアソン対数正規分布(Poisson-lognormal distribution)なるものがあることを知ったのでちょっとだけメモ。 概要 ポアソン対数正…

[Windows]VSCodeのターミナルをPowerShellやBashにする

VSCodeが便利なのでよく使っています。 ただ,今迄の所唯一不満だったのが「ターミナルがコマンドプロンプトであること」です。 Bash(WSL)やPowerShellはUNIX系のコマンドラインが使えるので,VSCodeのターミナルをこれに変えると作業が捗りました。設定の…

Bash・Shellコマンドまとめ

bash操作・シェルスクリプトについて学んだのでメモ。 ファイル操作系コマンド カレントディレクトリ関係 フォルダ/ファイルの操作 ファイルの内容を表示 その他のコマンド curl:URLへのアクセス・ダウンロード find:ディレクトリツリーからファイルを探す…

Git基本操作メモ

ようやくGitをちゃんと学ぶことができたのでコマンド一覧的なのをメモ。 Git基本操作まとめ 設定 リポジトリ リモートリポジトリ ファイルの確認 ファイルの操作 タグ Gitエイリアス ブランチ リベース (rebasing) 参考 練習によさそうなアプリ Git基本操作…

手元の本を電子書籍にした

就職を機に都心の狭くて安い物件に引っ越すので荷物を減らそうと努力しています。 私が持っている本棚の使い勝手がイマイチで,専有する場所の割には本があまり入らない(文庫本向けっぽくて専門書があまり入らない。未使用の空間が多く生まれる)ので,一つ…

[R]R markdownでコードからmarkdownを書く

R

よくR markdownを使っているのですが, 変数に格納した文字列を見出しに使う forループを使って複数の節や小見出しを作る といったコードからmarkdownを書くという操作がしたくなるときが時折あります。 ちょっと調べてみたのでメモ。 文字 見出し 文章 グラ…

[R]ゼロから作る最尤法・ロジスティック回帰

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

[読書メモ]『ビジネスフレームワーク図鑑』

ビジネスフレームワーク図鑑 すぐ使える問題解決・アイデア発想ツール70作者: 株式会社アンド出版社/メーカー: 翔泳社発売日: 2018/08/29メディア: 単行本(ソフトカバー)この商品を含むブログを見る 半額セールを利用して買ってみました。 ”フレームワーク…

[読書メモ]話し方・会話に関する本

話し方に関する本3冊に目を通したのでざっくりメモ。 『「話し方」の授業』 あがってしまうシーンでも相手にきちんと伝わる「話し方」の授業作者: 高津和彦出版社/メーカー: 日本実業出版社発売日: 2016/04/21メディア: 単行本この商品を含むブログを見る ビ…

[R]ゼロから作る最小二乗法2:重回帰

「自分で数式をコードに落としていって動かす」という作業は非常に勉強になると思ったので,いろんなアルゴリズムをゼロから作っていきたいと思います。 理論の要点を整理してから実装する構成で述べていきます。 モデル 線形回帰(linear regression)は,…

本の安売りセール情報を知りたい

最近SNS経由で 翔泳社の50%OFFセール と 「まんがで読破」シリーズの99%OFFセール を偶然知り,たいへん得しました。 今回はたまたまTwitter等で見かけて知ることができたものの,こういうお得な情報を見逃すことは減らしたいものです。 どうしたらお得な情…

[R]ゼロから作る最小二乗法1:単回帰

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

愛媛県に行ってきた

愛媛県に行って松山市をうろうろしたので,せっかくなので印象に残ったこととかをメモしておきます。 (記憶力が極めて貧弱なので,せっかくどこか行って写真撮っても言葉とともに整理して記録しないと忘れちゃうんですよね…) 松山城 萬翠荘 道後温泉 伊予…

[R]交差項や2乗項を作る

R

どうやるのかちょっと悩んだのでメモ。 交差項 切片を除く もっと多数の場合 留意点 2乗項 交差項 交差項等を作りたいときはmodel.matrix()を使うといいようです。 object引数にformulaを指定して,変数名を*でかけ合わせて交差項を作ります。 library(tidy…