盆暗の学習記録

データサイエンスを中心として,日々学んだことの備忘録としていく予定です。初心者であり独学なので内容には誤りが含まれる可能性が大いにあります。

pythonによるe-stat APIからのデータ取得

前回に引き続いて,公的データの取得に関してメモ。 Rだと便利なライブラリがあるが,Pythonだとやや面倒かも。 アプリケーションIDの用意 APIアクセス用メソッドの定義 統計情報の取得 普通に人力で探す場合 APIのgetStatsListを使う場合 メタ情報の取得:g…

pythonによるRESAS APIからのデータ取得

今までRでしか取得したことがなく,Pythonでは初めてだったのでメモ 使い方の流れ コードの例 RESASデータ取得用の関数 例:都道府県一覧の取得 例:市区町村一覧の取得 例:出生数・死亡数/転入数・転出数の取得 データの取得 使い方の流れ 利用登録してAP…

WSLのvimの背景ハイライトがおかしいのを直す方法

問題 WSLでvimを起動し,Ctrl + DやCtrl + Uなどを押すとハイライトがバグってしまいます。 デフォルトのカラースキームだと目立たないバグですが,自分でデフォルト以外のカラースキームを設定していると色がめちゃくちゃになってしまうこともあります。 解…

ssh接続についてのメモ

※環境 Windows 10 1093 WSL Ubuntu 18.04 鍵 keygen1:雑な方法 keygen2:丁寧に作る方法 .ssh/configの書き方 .sshディレクトリ configファイル 接続 パーミッション関連のエラー Are you sure ? を省略する 鍵 例えばEC2インスタンス作成時に受け取ったp…

vimで編集中のプログラムを実行する

初めて知ったのでメモ 概要 :w ![当該言語の実行コマンド] :![当該言語の実行コマンド] % :!clear; [当該言語の実行コマンド] % (コンパイルする場合) …コンパイラ言語の場合は長いので何かエイリアスを.vimrcに入れたほうがいいですね 意味 vimコマンド w…

Google Apps Scriptの基本の使い方と企業での活用事例

Google Apps Script(以下GAS)というGoogleが提供している言語(とその開発環境,実行環境)があります。 GASは次のような特徴を持っています。 Googleのサーバーで関数単位で実行してもらえる 「毎日朝8時に実行」「1時間毎に実行」といったタスクを設定…

[Windows]コマンドラインで「自分のいつもの環境」を簡単に再現する

自分がWindowsで環境を用意するときに便利だなとおもったものをメモしておきます。 省力化のポイントは「極力コマンドラインで操作する」ということかなと思うようになりました。 そうすれば,「自分にとって必要なソフトウェアのリスト」をコマンド集として…

NERDTreeのWSL(Ubuntu)へのインストール

試しにnerdtreeを入れてみたので入れ方と操作方法についてメモ。 ※ 執筆時のPCの環境など Windows 10 ver.1803 Ubuntu 18.04.1 LTS NERDTreeとは vimの画面左側に,カレントディレクトリのファイルツリーを表示させるもの。 インストール手順 ちょっと昔の記…

vimのカラースキームを変更する

カラースキーム変更についてメモ。 カラースキームの変更 一時的に変えるには :colorscheme [カラースキーム名] と打てばいいらしい(カラースキーム名については次節)。 永続的に変えるには.vimrcに colorscheme [カラースキーム名] と書き込む。 デフォル…

ポアソン対数正規分布についてのメモ

「所得分布のように格差がある歪んだ分布で,データ型は整数」というような確率分布ってあるのかなぁ・・・と探していたら,ポアソン対数正規分布(Poisson-lognormal distribution)なるものがあることを知ったのでちょっとだけメモ。 概要 ポアソン対数正…

[Windows]VSCodeのターミナルをPowerShellやBashにする

VSCodeが便利なのでよく使っています。 ただ,今迄の所唯一不満だったのが「ターミナルがコマンドプロンプトであること」です。 Bash(WSL)やPowerShellはUNIX系のコマンドラインが使えるので,VSCodeのターミナルをこれに変えると作業が捗りました。設定の…

Bash・Shellコマンドまとめ

bash操作・シェルスクリプトについて学んだのでメモ。 ファイル操作系コマンド カレントディレクトリ関係 フォルダ/ファイルの操作 ファイルの内容を表示 その他のコマンド curl:URLへのアクセス・ダウンロード find:ディレクトリツリーからファイルを探す…

Git基本操作メモ

ようやくGitをちゃんと学ぶことができたのでコマンド一覧的なのをメモ。 Git基本操作まとめ 設定 リポジトリ リモートリポジトリ ファイルの確認 ファイルの操作 タグ Gitエイリアス ブランチ リベース (rebasing) 参考 練習によさそうなアプリ Git基本操作…

手元の本を電子書籍にした

就職を機に都心の狭くて安い物件に引っ越すので荷物を減らそうと努力しています。 私が持っている本棚の使い勝手がイマイチで,専有する場所の割には本があまり入らない(文庫本向けっぽくて専門書があまり入らない。未使用の空間が多く生まれる)ので,一つ…

[R]R markdownでコードからmarkdownを書く

R

よくR markdownを使っているのですが, 変数に格納した文字列を見出しに使う forループを使って複数の節や小見出しを作る といったコードからmarkdownを書くという操作がしたくなるときが時折あります。 ちょっと調べてみたのでメモ。 文字 見出し 文章 グラ…

[R]ゼロから作る最尤法・ロジスティック回帰

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

[読書メモ]『ビジネスフレームワーク図鑑』

ビジネスフレームワーク図鑑 すぐ使える問題解決・アイデア発想ツール70作者: 株式会社アンド出版社/メーカー: 翔泳社発売日: 2018/08/29メディア: 単行本(ソフトカバー)この商品を含むブログを見る 半額セールを利用して買ってみました。 ”フレームワーク…

[読書メモ]話し方・会話に関する本

話し方に関する本3冊に目を通したのでざっくりメモ。 『「話し方」の授業』 あがってしまうシーンでも相手にきちんと伝わる「話し方」の授業作者: 高津和彦出版社/メーカー: 日本実業出版社発売日: 2016/04/21メディア: 単行本この商品を含むブログを見る ビ…

[R]ゼロから作る最小二乗法2:重回帰

「自分で数式をコードに落としていって動かす」という作業は非常に勉強になると思ったので,いろんなアルゴリズムをゼロから作っていきたいと思います。 理論の要点を整理してから実装する構成で述べていきます。 モデル 線形回帰(linear regression)は,…

本の安売りセール情報を知りたい

最近SNS経由で 翔泳社の50%OFFセール と 「まんがで読破」シリーズの99%OFFセール を偶然知り,たいへん得しました。 今回はたまたまTwitter等で見かけて知ることができたものの,こういうお得な情報を見逃すことは減らしたいものです。 どうしたらお得な情…

[R]ゼロから作る最小二乗法1:単回帰

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

愛媛県に行ってきた

愛媛県に行って松山市をうろうろしたので,せっかくなので印象に残ったこととかをメモしておきます。 (記憶力が極めて貧弱なので,せっかくどこか行って写真撮っても言葉とともに整理して記録しないと忘れちゃうんですよね…) 松山城 萬翠荘 道後温泉 伊予…

[R]交差項や2乗項を作る

R

どうやるのかちょっと悩んだのでメモ。 交差項 切片を除く もっと多数の場合 留意点 2乗項 交差項 交差項等を作りたいときはmodel.matrix()を使うといいようです。 object引数にformulaを指定して,変数名を*でかけ合わせて交差項を作ります。 library(tidy…

使用を避けるべきグラフ

最近グラフつくってて思ったことをメモ 円グラフを使わない 帯グラフもあまり良くないかも 参考:グラフづくり全般で参考になる記事 (参考)記事中のグラフのコード 円グラフを使わない 「円グラフわかりにくいから,棒グラフを使え」という話です(人間は…

[R]BBCニュースで使われるグラフを描く{bbplot}パッケージ

BBCニュースで使われるグラフのスタイルを再現する{bbplot}というパッケージの存在を知りました github.com ちょっと使ってみたいと思います。 インストールと実行 Windowsだと警告がでる 折れ線グラフ 棒グラフ まとめ 参考 インストールと実行 ggplotのテ…

[Python]パソコンのバッテリがおかしいのでログを取る

動機 昨年の11月にVAIO S13を買ったのですが,購入当初から「バッテリが少なくなっています」という警告が出ずにいきなりバッテリ切れでスリープに入ることがありました。 指紋リーダーもフリーズすることがよくあったので,「ソフトウェア(Windows?)のイ…

パソコン蛾物故割れたのでMBを替えた

パソコン(のBIOS)が起動しなくなって,いろいろと試行錯誤した結果,マザーボード(MB)の載せ替えで直った,という経験をしたのでメモしておきます。 問題発生時の状況 グラボの載せ替え Windowsの破損 問題発生時のPCの状態 試した解決策1:Windowsの修…

[R]{stargazer}でロバスト標準誤差を使用した分析結果を載せる

R

問題 解決策 例(2つの回帰モデルの場合) 参考 問題 Rでロバスト標準誤差を使うときはsandwich::vcovHC()でロバスト標準誤差の分散共分散行列を算出し,lmtest::coeftest()を使ってRの標準的な結果表示のスタイルに似せた結果表示をする,というのが基本的…

サイトの「タイトル」と「URL」を取得するChrome拡張機能

あるサイトを閲覧していて,「お,このサイトは有益だな,メモしておこう」と思った時, そのサイトのタイトルとURLを簡単に取得したいと思ったことはありませんか? 私がGoogle Chromeに移行したのは最近でして,それまでは長い間Sleipnirという日本の企業…

統計調査士の概要と対策方法

以前,統計検定2級に関する記事を書きました。 統計検定2級レベルまでの教材と勉強方法 - 盆暗の学習記録 この統計検定と同じ協会が運営している資格試験で,もっとマニアックな統計調査士という資格があるのでそちらのご紹介をしたいと思います。 統計調査…