盆暗の学習記録

データサイエンス ,エンジニアリング,ビジネスについて日々学んだことの備忘録としていく予定です。初心者であり独学なので内容には誤りが含まれる可能性が大いにあります。

2018-01-01から1年間の記事一覧

[Windows]エクスプローラーのアドレスバーが思ったより便利だった

Windowsの小ネタです。 エクスプローラーのアドレスバーってパスを指定するくらいしか出来ないのかと思っていたのですが,プログラムを実行したりできるみたいです。 1. プログラムの実行 2. 任意のディレクトリでコマンドプロンプトを起動 WSLのUbuntuでは…

TensorFlow-GPUのインストールで詰まったときのメモ

久々にTensorFlowを使おうとしたら動かなくて(最近Rでkerasをインストールするときに失敗したから…?),再インストールしようとしたら詰まったので対処法をメモ 対処法というのもおこがましいレベルで,要するに「最新版じゃなく,少し古いバージョンのTen…

[R]Webサイトをスクレイピングしてxlsxをダウンロードする

R

Rでスクレイピングするときの基本的な手順 Rでネット上のデータをダウンロードするときの方法 についてメモ。 やりたいこと ①{rvest}によるスクレイピング 1. htmlの読み込み 2. 目的のタグ・URLを抽出 div要素を抽出 a要素を抽出 URLを抽出 リンクテキスト…

HackMDというmarkdownエディタがスゴイ

以前こんな記事を書いていました nigimitama.hatenablog.jp メモ系のアプリを比較してみて,自分にはTyporaが一番あってるな,と結論づけました。 nigimitama.hatenablog.jp ところが先日,友人と共同でメモを書きたいな,となったときに,「共同編集が可能…

Rのround()は四捨五入をするわけではない

round関数の意味を誤解したまま使っていて面倒なことになったのでメモ。 round()は四捨五入をするわけではない 偶数への最近接丸め 言い換えると round()は厳密に偶数丸めをするわけではない 偶数丸めのアルゴリズムから予想される結果と数値計算の結果との…

「統計的に有意」だけでは足りないワケ:バイアス-バリアンス分解のはなし

機械学習の教科書には,序盤などに「バイアスとバリアンス」とか「バイアス-バリアンス分解」といった項目があります。「誤差にはバイアスとバリアンスの2種類があるよ」という話です。正直私はそれを読んでも「ふーん。まぁ,そうだよね」と思うくらいで…

ディスプレイは2~3個あると作業が捗る説

今年に入ってからディスプレイの数を1台から2台へ,2台から3台へと段階的に増やしました。 その結果,すごく作業が捗るようになりました。仕事でも遊びでも。 世の中には「ノートPCひとつあれば十分」という方も多いとは思うのですが,私の体験を述べてみた…

メモ用アプリは結局Typoraが一番良かった

以前,自分に一番合うメモ用のテキストエディタを探したときのことを書きました。 nigimitama.hatenablog.jp この頃は「それぞれのアプリに一長一短あるのでどれがいいのかな~」と思っていたのですが,結局その後一番使っているのはTyporaでした(以前の記…

[読書メモ]「A/Bテストの効果的な実施法」(HBR 2018年7月号)

DIAMONDハーバード・ビジネス・レビュー 2018年07月号 [雑誌]作者: ダイヤモンド社出版社/メーカー: ダイヤモンド社発売日: 2018/06/09メディア: Kindle版この商品を含むブログを見る ハーバード・ビジネス・レビュー2018年7月号の記事「マイクロソフトの分…

RでGIS:日本の地理空間情報を取得する方法まとめ

GIS R

日本の地理空間情報を取得する方法をまとめました。R向けです。 1. Webサイトから手動でダウンロードする 国土数値情報ダウンロードサービス e-stat 統計GIS Global Administrative Areas 全国市区町村界データ | ESRIジャパン 2. パッケージやAPIを使ってダ…

[R]Rでパネルデータ分析:固定効果モデル

固定効果モデルの基礎的な理論と,Rでの実行方法の基本について学んだのでメモ。 理論 パネルデータ 固定効果モデル 固有効果,固定効果,変量効果 one-way固定効果モデル 主体の固定効果モデル(within model)の推定方法 1. 差分モデル(first difference …

Windowsのエクスプローラーにタブ機能を導入する

Windowsを使っていて,エクスプローラーをたくさん開いていると,「どれがあのフォルダのウィンドウだっけ…」という状態になりませんか? 以前この問題を解決する方法がないのかと調べたところ,2つの選択肢がありそうでした。 フリーソフトを入れてタブ機…

最先端の経済学の雰囲気を味わえる「CREPEフロンティアレポートシリーズ」がすごい

CREPE(東京大学政策評価研究教育センター)をご存知でしょうか。 CREPEは日本の実証に基づく政策立案(Evidence Based Policy Making:EBPM)の推進のために,政策評価(Program Evaluation)の研究や,専門知識をもった人材への実証分析の手法の普及(統計…

統計検定2級レベルまでの教材と勉強方法

最近私の周りで統計検定を受験しようとしている人を見かけるので, 統計検定2級レベルの教材 私が統計検定2級を取得したときに参照していた本,やっていた勉強 についてメモしてみたいとおもいます。 1. 統計検定2級レベルの教材 ネット上の資料 統計学の…

Windows Subsystem for Linuxやコマンドプロンプトのフォントを変える

WindowsのUbuntu Bashのフォントを変える このWSL Ubuntuのフォントが大変ギザギザしていて汚いなと思っていて,変える方法は無いんだろうかと調べたところ ウィンドウ上部を右クリックして[プロパティ]から変えられることに気づきました。 Ricty(https://g…

宅建

宅建受けました。 試験前日に解いた模試も33点しかとれなくて合格圏に一度も乗らなかったのであきらめモードで本番を受けましたが,すごく易化してたみたいで,自己採点だと39点。ボーダーがかなり上がりそうだけど合格できるかも…。せっかく勉強したので受…

[R]パッケージのインストールがうまくいかなくなった際の解決法(Windows)

R

環境 Windows 10 R 3.5.1 RStudio 1.1.456 問題 Rを3.5系にし,ついでにRStudioも更新したらパッケージのインストールができなくなった。 これまで(3.4系+昔のRStudio)は,パッケージのインストール時にはRStudioが自動的に F:/マイドキュメント/R/win-li…

[Python]予測モデル作成の一連の流れのメモ

Pythonで予測モデルを作るときの大まかな流れの雛形みたいなやつ(自己流なので正しいかはわかりませんが…)をメモしていきます。 1. データの読み込みと確認 データの確認 データ間の関係を確認 データの可視化(単変量) データの可視化(多変量) 相関行…

scikit-learnメモ:サンプルデータセットの読み込み方

機械学習を使うための処理の書き方を勉強する上でお世話になるのがサンプルデータセットですが, scikit-learnはRとは読み込み方が異なって面倒くさかったため,メモしておきます。 iris データセット 定番のirisデータを例にしてみます。 Rだとdata(iris)あ…

Rで小地域データの塗り分け地図を描く

R GIS

小地域(町字レベルの細かい地域区分のデータ)のシェープファイル(.shp)を使用してコロプレス図(塗り分け地図)を描く方法のメモ。 1. データの取得 2. データの読み込みとデータの確認 3. 塗り分け地図の作図 地図作成の準備 地図のプロット 地図の装飾…

Webページ制作の入門時に参考にしたサイト等まとめ

Web

最近HTML,CSS,Javascriptをちょっと勉強し,シンプルなWebサイトを作っていました。 その際に参考にしたサイトや,使ったツールをまとめます。 Webページの骨格を作る段階で参考にしたサイト saruwakakun.com HTMLやCSSの基本や,ちょっとした悩むポイント…

[読書メモ]伊神満(2018)『「イノベーターのジレンマ」の経済学的解明』

「イノベーターのジレンマ」の経済学的解明作者: 伊神満出版社/メーカー: 日経BP社発売日: 2018/05/24メディア: 単行本この商品を含むブログ (1件) を見る を読みました。 一般向けの経済学の書籍の中ではトップクラスに面白い部類の本だと思います。 この本…

微分積分学の歴史

最近なんとなく気になって微分積分の数学史を調べたのでメモします。 古代 アルキメデスの求積法 古代ギリシャ人の考え方 中世 16~17世紀前半 ケプラー(Kepler, 1571-1630) カヴァリエリ(Cavalieri, 1598-1647) トリチェッリ(Torricelli, 1608-1647) …

メモ系アプリ類の比較(Evernote, Dropbox Paper, Typoraなど)

普段のメモをどうやって残すか,ということについて頭を悩ませています。 私のニーズとして Markdownで記述できる TeXで数式を記述できる 簡単に画像を挿入できる(クリップボードから貼り付けなど) 複数の端末からアクセスできる(スマホやPCなど) がある…

科学史についてのメモ

科学哲学への招待 (ちくま学芸文庫)作者: 野家啓一出版社/メーカー: 筑摩書房発売日: 2015/03/10メディア: 文庫この商品を含むブログ (6件) を見る 諸学問について全体的に興味を持っていたため,「科学」を知ることができそうなこの本を買いました。 この本…

日本の臨床心理士は根拠のない治療を行っているのかも

心理職のためのエビデンス・ベイスト・プラクティス入門―エビデンスを「まなぶ」「つくる」「つかう」という本を,心理統計が好きな友人から借りて読みました。 この本では, エビデンス(根拠)に基づく臨床の実践(Evidence-Based Practice)がいかに重要…

Rとe-statAPIで在庫循環図

「公的統計の読み方」をテーマにした一般教養科目を履修したところ, 景気判断の指標の一つである在庫循環図を書く機会があったのでメモします。 在庫循環図とは 縦軸に鉱工業指数の在庫指数の前年比を、横軸に同生産指数の前年比をプロットしたもの 通常,…

文系学部生・新卒からデータサイエンティストになれる業界は?

文系学部生というデータサイエンスの王道からはやや外れた立場から,「データ分析を仕事にする(総合職ではなく職種別採用で働く)」という軸で就職活動をするなかで見かけた業界についてメモします。 文系出身だと就職先が絞られ(とくに大手企業),業界の…

[読書メモ]津川 友介『世界一シンプルで科学的に証明された究極の食事』

世界一シンプルで科学的に証明された究極の食事作者: 津川友介出版社/メーカー: 東洋経済新報社発売日: 2018/04/13メディア: 単行本この商品を含むブログを見る を読みました。 この著者は過去に『「原因と結果」の経済学―――データから真実を見抜く思考法』…

[読書メモ]『やり抜く力 GRIT』

『やり抜く力 GRIT』 やり抜く力 GRIT(グリット)――人生のあらゆる成功を決める「究極の能力」を身につける作者: アンジェラ・ダックワース,神崎朗子出版社/メーカー: ダイヤモンド社発売日: 2016/09/09メディア: 単行本(ソフトカバー)この商品を含むブログ…