どの程度sparseだと疎行列ライブラリで計算が速くなるのか。気になったので試してみました。

かなり詰まったのでメモ。 環境 cron crontabコマンドを使う方法 概要 コマンド 設定方法 cronの起動 /etc/cron.dに置く方法 概要 crontabファイルの準備 設定方法 私が詰まったポイント cronの起動 cronの再読み込み crontabの設定を楽にするサイト 参考に…

XGBoostにはDMatrixという独自のデータ保持用クラスがあります。Documentの説明では optimized for both memory efficiency and training speed と書いてあり、私は「自動で疎行列クラスとかにしてくれるんだろうなぁ」と思っていたのですが、そうでもない様…

XGBoostの素敵なポイントの一つは、自分で定義した関数を目的関数に使うことができる点です。 でもどういう関数にしたらよいのかがわからなくて過去に戸惑ったことがあるのでメモしておきます。（詳しいやり方はXGBoostのdocumentationに書いてあります） 定…

最近少し覚えたことをまとめます。 （基本的にpythonのコードと共に述べていきますが、Rの場合についても少し触れていきます。） 不要なオブジェクトの削除 del 手動でのガベージコレクションは不要 Rの場合 データ型の最適化 自動で型変換するコード 疎行列…

geopandasによる基本的なplotの例示

Ubuntuへのgeopandasというライブラリのインストールまでの流れと、塗り分け図のプロットの例を書いていきます。 私のPCの環境について WindowsですがWSLを使います。 windows 10 ver.1903 WSL1 Ubuntu 18.04 geopandasのインストール windowsへのインストー…

はじめに WindowsはMacに比べるとデフォルトのフォントが汚いことが多いですが，CSSが適切に設定されていないWebサイトのフォントについてはChrome側のデフォルトのフォント設定を変更することで解決できるみたいです。 やり方をメモしておきます。 設定方法…

前回に引き続いて，公的データの取得に関してメモ。 Rだと便利なライブラリがあるが，Pythonだとやや面倒かも。 アプリケーションIDの用意 APIアクセス用メソッドの定義 統計情報の取得 普通に人力で探す場合 APIのgetStatsListを使う場合 メタ情報の取得：g…

今までRでしか取得したことがなく，Pythonでは初めてだったのでメモ 使い方の流れ コードの例 RESASデータ取得用の関数 例：都道府県一覧の取得 例：市区町村一覧の取得 例：出生数・死亡数／転入数・転出数の取得 データの取得 使い方の流れ 利用登録してAP…

問題 WSLでvimを起動し，Ctrl + DやCtrl + Uなどを押すとハイライトがバグってしまいます。 デフォルトのカラースキームだと目立たないバグですが，自分でデフォルト以外のカラースキームを設定していると色がめちゃくちゃになってしまうこともあります。 解…

※環境 Windows 10 1093 WSL Ubuntu 18.04 鍵 keygen１：雑な方法 keygen２：丁寧に作る方法 .ssh/configの書き方 .sshディレクトリ configファイル 接続 パーミッション関連のエラー Are you sure ? を省略する 鍵 例えばEC2インスタンス作成時に受け取ったp…

初めて知ったのでメモ 概要 :w ![当該言語の実行コマンド] :![当該言語の実行コマンド] % :!clear; [当該言語の実行コマンド] % （コンパイルする場合） …コンパイラ言語の場合は長いので何かエイリアスを.vimrcに入れたほうがいいですね 意味 vimコマンド w…

Google Apps Script（以下GAS）というGoogleが提供している言語（とその開発環境，実行環境）があります。 GASは次のような特徴を持っています。 Googleのサーバーで関数単位で実行してもらえる 「毎日朝8時に実行」「１時間毎に実行」といったタスクを設定…

自分がWindowsで環境を用意するときに便利だなとおもったものをメモしておきます。 省力化のポイントは「極力コマンドラインで操作する」ということかなと思うようになりました。 そうすれば，「自分にとって必要なソフトウェアのリスト」をコマンド集として…

試しにnerdtreeを入れてみたので入れ方と操作方法についてメモ。 ※ 執筆時のPCの環境など Windows 10 ver.1803 Ubuntu 18.04.1 LTS NERDTreeとは vimの画面左側に，カレントディレクトリのファイルツリーを表示させるもの。 インストール手順 ちょっと昔の記…

カラースキーム変更についてメモ。 カラースキームの変更 一時的に変えるには :colorscheme [カラースキーム名] と打てばいいらしい（カラースキーム名については次節）。 永続的に変えるには.vimrcに colorscheme [カラースキーム名] と書き込む。 デフォル…

「所得分布のように格差がある歪んだ分布で，データ型は整数」というような確率分布ってあるのかなぁ・・・と探していたら，ポアソン対数正規分布（Poisson-lognormal distribution）なるものがあることを知ったのでちょっとだけメモ。 概要 ポアソン対数正…

VSCodeが便利なのでよく使っています。 ただ，今迄の所唯一不満だったのが「ターミナルがコマンドプロンプトであること」です。 Bash（WSL）やPowerShellはUNIX系のコマンドラインが使えるので，VSCodeのターミナルをこれに変えると作業が捗りました。設定の…

bash操作・シェルスクリプトについて学んだのでメモ。 ファイル操作系コマンド カレントディレクトリ関係 フォルダ/ファイルの操作 ファイルの内容を表示 その他のコマンド curl：URLへのアクセス・ダウンロード find：ディレクトリツリーからファイルを探す…

ようやくGitをちゃんと学ぶことができたのでコマンド一覧的なのをメモ。 Git基本操作まとめ 設定 リポジトリ リモートリポジトリ ファイルの確認 ファイルの操作 タグ Gitエイリアス ブランチ リベース (rebasing) 参考 練習によさそうなアプリ Git基本操作…

就職を機に都心の狭くて安い物件に引っ越すので荷物を減らそうと努力しています。 私が持っている本棚の使い勝手がイマイチで，専有する場所の割には本があまり入らない（文庫本向けっぽくて専門書があまり入らない。未使用の空間が多く生まれる）ので，一つ…

よくR markdownを使っているのですが， 変数に格納した文字列を見出しに使う forループを使って複数の節や小見出しを作る といったコードからmarkdownを書くという操作がしたくなるときが時折あります。 ちょっと調べてみたのでメモ。 文字 見出し 文章 グラ…

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

ビジネスフレームワーク図鑑 すぐ使える問題解決・アイデア発想ツール70作者: 株式会社アンド出版社/メーカー: 翔泳社発売日: 2018/08/29メディア: 単行本（ソフトカバー）この商品を含むブログを見る 半額セールを利用して買ってみました。 ”フレームワーク…

話し方に関する本3冊に目を通したのでざっくりメモ。 『「話し方」の授業』 あがってしまうシーンでも相手にきちんと伝わる「話し方」の授業作者: 高津和彦出版社/メーカー: 日本実業出版社発売日: 2016/04/21メディア: 単行本この商品を含むブログを見る ビ…

「自分で数式をコードに落としていって動かす」という作業は非常に勉強になると思ったので，いろんなアルゴリズムをゼロから作っていきたいと思います。 理論の要点を整理してから実装する構成で述べていきます。 モデル 線形回帰（linear regression）は，…

最近SNS経由で 翔泳社の50%OFFセール と 「まんがで読破」シリーズの99%OFFセール を偶然知り，たいへん得しました。 今回はたまたまTwitter等で見かけて知ることができたものの，こういうお得な情報を見逃すことは減らしたいものです。 どうしたらお得な情…

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

愛媛県に行って松山市をうろうろしたので，せっかくなので印象に残ったこととかをメモしておきます。 （記憶力が極めて貧弱なので，せっかくどこか行って写真撮っても言葉とともに整理して記録しないと忘れちゃうんですよね…） 松山城 萬翠荘 道後温泉 伊予…