盆暗の学習記録

データサイエンス ,エンジニアリング,ビジネスについて日々学んだことの備忘録としていく予定です。初心者であり独学なので内容には誤りが含まれる可能性が大いにあります。

統計学

モーメント法と最尤推定法の関連性についてメモ

メモしようとしたんですがはてなブログは単純な数式しかサポートしてなくて書けなかったのでzennに書きました。 zenn.dev ざっくり導入だけ書くと、難波明生『計量経済学講義』にて、 最尤推定量は, (7.7)式を直交条件として用いたGMM推定量であると考える…

順序尺度にピアソンの積率相関係数を使うと相関を過小評価するおそれがある

最近、因子分析を勉強しています。 そのなかで順序尺度の相関係数という話題があったのでメモ。 例 順序尺度の相関係数 カテゴリ数がいくつだったら積率相関係数を使っていいのか ポリコリック ポリシリアル 参考文献 例 たとえば、こんなデータがあったとし…

[R]ゼロから作る最尤法・ロジスティック回帰

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

[R]ゼロから作る最小二乗法2:重回帰

「自分で数式をコードに落としていって動かす」という作業は非常に勉強になると思ったので,いろんなアルゴリズムをゼロから作っていきたいと思います。 理論の要点を整理してから実装する構成で述べていきます。 モデル 線形回帰(linear regression)は,…

[R]ゼロから作る最小二乗法1:単回帰

(function () { var script = document.createElement("script"); script.type = "text/javascript"; script.src = "https://mathjax.rstudio.com/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"; document.getElementsByTagName("head")[0].appendChild(…

統計調査士の概要と対策方法

以前,統計検定2級に関する記事を書きました。 統計検定2級レベルまでの教材と勉強方法 - 盆暗の学習記録 この統計検定と同じ協会が運営している資格試験で,もっとマニアックな統計調査士という資格があるのでそちらのご紹介をしたいと思います。 統計調査…

「統計的に有意」だけでは足りないワケ:バイアス-バリアンス分解のはなし

機械学習の教科書には,序盤などに「バイアスとバリアンス」とか「バイアス-バリアンス分解」といった項目があります。「誤差にはバイアスとバリアンスの2種類があるよ」という話です。正直私はそれを読んでも「ふーん。まぁ,そうだよね」と思うくらいで…

[読書メモ]「A/Bテストの効果的な実施法」(HBR 2018年7月号)

DIAMONDハーバード・ビジネス・レビュー 2018年07月号 [雑誌]作者: ダイヤモンド社出版社/メーカー: ダイヤモンド社発売日: 2018/06/09メディア: Kindle版この商品を含むブログを見る ハーバード・ビジネス・レビュー2018年7月号の記事「マイクロソフトの分…

[R]Rでパネルデータ分析:固定効果モデル

固定効果モデルの基礎的な理論と,Rでの実行方法の基本について学んだのでメモ。 理論 パネルデータ 固定効果モデル 固有効果,固定効果,変量効果 one-way固定効果モデル 主体の固定効果モデル(within model)の推定方法 1. 差分モデル(first difference …

最先端の経済学の雰囲気を味わえる「CREPEフロンティアレポートシリーズ」がすごい

CREPE(東京大学政策評価研究教育センター)をご存知でしょうか。 CREPEは日本の実証に基づく政策立案(Evidence Based Policy Making:EBPM)の推進のために,政策評価(Program Evaluation)の研究や,専門知識をもった人材への実証分析の手法の普及(統計…

統計検定2級レベルまでの教材と勉強方法

最近私の周りで統計検定を受験しようとしている人を見かけるので, 統計検定2級レベルの教材 私が統計検定2級を取得したときに参照していた本,やっていた勉強 についてメモしてみたいとおもいます。 1. 統計検定2級レベルの教材 ネット上の資料 統計学の…

[読書メモ]伊神満(2018)『「イノベーターのジレンマ」の経済学的解明』

「イノベーターのジレンマ」の経済学的解明作者: 伊神満出版社/メーカー: 日経BP社発売日: 2018/05/24メディア: 単行本この商品を含むブログ (1件) を見る を読みました。 一般向けの経済学の書籍の中ではトップクラスに面白い部類の本だと思います。 この本…

日本の臨床心理士は根拠のない治療を行っているのかも

心理職のためのエビデンス・ベイスト・プラクティス入門―エビデンスを「まなぶ」「つくる」「つかう」という本を,心理統計が好きな友人から借りて読みました。 この本では, エビデンス(根拠)に基づく臨床の実践(Evidence-Based Practice)がいかに重要…

相関とその指標(相関係数)についての勉強

相関 相関の指標 ピアソンの積率相関係数 スピアマンの順位相関係数 ケンドールの順位相関係数 MIC ( Maximal information coefficient ) HSIC ( Hilbert-Schmidt Independence Criteria ) HSIC以降の独立性の検定 まとめ:アンスコムのデータと各手法 おま…

データサイエンス(統計学・機械学習)を鳥瞰する

データサイエンス(ここでは統計学と機械学習をまとめてこう呼ぶことにします)をざっくりと眺めることを考えてみます。 鳥瞰の仕方(分類の仕方)を考える 鳥瞰する(分類して,ざっくり解説していく) の流れになります。本題は2.のほうです。 1. まず分類…