Для доказательства того, что $\mathbb{E}_{\theta_0}[l(X, \hat{\theta}_n)]'_{\theta} \to 0$ означает, что оценка параметра $\hat{\theta}_n$ сходится по вероятности к истинному значению $\theta_0$, воспользуемся следующими шагами:

1. Основные предположения:

• Пусть $\{X_i\}_{i=1}^n$ — независимые и одинаково распределённые случайные величины с плотностью вероятности $f(X_i, \theta)$, зависящей от параметра $\theta$.
• Истинное значение параметра $\theta_0$ порождает выборку.

Оценка правдоподобия $\hat{\theta}_n$ определяется как значение параметра, максимизирующее логарифм функции правдоподобия: $l_n(\theta) = \log(L_n(\theta)) = \sum_{i=1}^n \log(f(X_i, \theta)).$

Мы хотим доказать, что если $\mathbb{E}_{\theta_0}[l(X, \hat{\theta}_n)]'_{\theta} \to 0$, то $\hat{\theta}_n \overset{p}{\to} \theta_0$.

---

2. Раскрытие условий сходимости

a) Логарифмическая функция правдоподобия

Функция $l_n(\theta)$ — сумма независимых слагаемых, поэтому по закону больших чисел при $n \to \infty$: $\frac{1}{n} l_n(\theta) \to \mathbb{E}_{\theta_0}[\log f(X, \theta)], \quad \text{почти наверное.}$ Обозначим логарифмическое правдоподобие на выборке $X$ через $l(X, \theta) = \log(f(X, \theta))$.

b) Первая производная логарифма правдоподобия

Первая производная функции логарифмического правдоподобия по параметру $\theta$ определяется как: $l'(X, \theta) = \frac{\partial}{\partial \theta} \log f(X, \theta).$

Для оценки максимального правдоподобия $\hat{\theta}_n$ выполняется условие: $l_n'(\hat{\theta}_n) = 0.$

---

3. Свойства оценки максимального правдоподобия

• При $\theta = \theta_0$, $\mathbb{E}_{\theta_0}[l'(X, \theta)] = 0$, так как $\theta_0$ максимизирует функцию правдоподобия.
• Второй момент производной $\mathbb{E}_{\theta_0}[(l'(X, \theta))^2]$ используется для контроля точности оценки.

---

4. Доказательство

1. По определению $\hat{\theta}_n$ максимизирует $l_n(\theta)$, поэтому при $n \to \infty$ можно утверждать, что $\hat{\theta}_n$ находится в окрестности $\theta_0$, так как $l_n(\theta)$ сходится к $\mathbb{E}_{\theta_0}[\log f(X, \theta)]$, максимум которой достигается в $\theta_0$.

2. Производная $\mathbb{E}_{\theta_0}[l(X, \hat{\theta}_n)]'_{\theta} \to 0$ означает, что для всех $\theta$ в окрестности $\theta_0$: $\mathbb{E}_{\theta_0}\left[\frac{\partial}{\partial \theta} \log f(X, \hat{\theta}_n)\right] \to 0.$

3. Используя свойства сходимости логарифмического правдоподобия и регулярные условия (например, непрерывность и выпуклость логарифмической функции правдоподобия), можно показать, что $\hat{\theta}_n$ сходится по вероятности к $\theta_0$: $\hat{\theta}_n \overset{p}{\to} \theta_0.$

---

Заключение

Условие $\mathbb{E}_{\theta_0}[l(X, \hat{\theta}_n)]'_{\theta} \to 0$ интерпретируется как необходимое для сходимости оценки максимального правдоподобия к истинному значению параметра $\theta_0$.

---

Вопросы для размышления:

1. Как можно уточнить предположения для функции $f(X, \theta)$, чтобы гарантировать сходимость?
2. Какие еще критерии используются для проверки состоятельности оценки?
3. Как влияет размер выборки $n$ на скорость сходимости?
4. Какие статистические свойства важны для второй производной $l''(X, \theta)$?
5. Как можно доказать состоятельность оценки без предположения регулярности?

Совет:

Для строгого доказательства воспользуйтесь теоремой о функциях максимального правдоподобия (MLE), которая включает свойства несмещенности, состоятельности и асимптотической нормальности.