盆暗の学習記録

データサイエンス ,エンジニアリング,ビジネスについて日々学んだことの備忘録としていく予定です。初心者であり独学なので内容には誤りが含まれる可能性が大いにあります。

モーメント法と最尤推定法の関連性についてメモ

メモしようとしたんですがはてなブログは単純な数式しかサポートしてなくて書けなかったのでzennに書きました。

zenn.dev

ざっくり導入だけ書くと、難波明生『計量経済学講義』にて、

最尤推定量は, (7.7)式を直交条件として用いたGMM推定量であると考えることができる.

と書かれていまして、7.7式というのは対数尤度の導関数をスコアとした直交条件

  \displaystyle
E\left[\frac{\partial \log f(Y \mid X ; \theta)}{\partial \theta}\right]=0

になります。

ちょっと面白いなと思ったので、前提となる知識(モーメント法の紹介とか)ふくめてメモしてみました。

なおHamiltonの"Time Series Analysis"が元ネタらしくて、そっちも

the MLE is the same as the GMM estimator based on the orthogonality conditions in [14. 4. 8].

と書いています([14. 4. 8]は式の番号で、対数尤度の導関数をスコアとした直交条件のこと)