Доказательство

Нужно показать, что условие $(E_{\theta_0}(l(X,\hat{\theta}_n)))'_{\theta} \to 0$ при $n \to \infty$ означает, что оценка $\hat{\theta}_n$ сходится по вероятности к истинному значению параметра $\theta_0$.

1. Обозначения и основные условия:

   • $L_n(\theta) = \prod_{i=1}^n f(X_i, \theta)$ — совместная функция правдоподобия для независимых наблюдений $X_1, \dots, X_n$.
   • $l_n(\theta) = \log(L_n(\theta)) = \sum_{i=1}^n \log(f(X_i, \theta))$ — логарифм функции правдоподобия.
   • $\hat{\theta}_n$ — оценка максимального правдоподобия (ОМП) параметра $\theta$.

2. Свойства оценки максимального правдоподобия (ОМП):

   • ОМП $\hat{\theta}_n$ максимизирует $l_n(\theta)$, т.е. $\frac{\partial l_n(\hat{\theta}_n)}{\partial \theta} = 0$.
   • Если $\hat{\theta}_n$ сходится к $\theta_0$, то логарифмическая функция правдоподобия $l_n(\theta)$ должна быть достаточно гладкой, чтобы её производная по $\theta$ близка к нулю в окрестности $\theta_0$.

3. Условие: $(E_{\theta_0}(l(X, \hat{\theta}_n)))'_{\theta} \to 0, \quad n \to \infty.$ Это условие говорит, что производная от ожидаемого значения логарифма функции правдоподобия стремится к нулю, если $\hat{\theta}_n$ близка к $\theta_0$.

4. Доказательство сходимости по вероятности:

   1. Асимптотическое свойство логарифмической функции правдоподобия: Согласно центральной предельной теореме для $l_n(\theta)$, её градиент в точке истинного значения параметра $\theta_0$ имеет следующую асимптотику: $\frac{1}{n} \frac{\partial l_n(\theta)}{\partial \theta} \to 0 \quad \text{в среднем}.$ Это справедливо, так как $E_{\theta_0}\left[\frac{\partial l(X, \theta)}{\partial \theta}\right] = 0$.

   2. Сходимость ОМП: Если $\hat{\theta}_n$ — корень уравнения $\frac{\partial l_n(\hat{\theta}_n)}{\partial \theta} = 0$, то для её сходимости к $\theta_0$ необходимо, чтобы:

      • $l_n(\theta)$ была выпуклой в окрестности $\theta_0$;
      • $(E_{\theta_0}(l(X, \hat{\theta}_n)))'_{\theta}$ была мала, так как отклонение от истинного значения $\theta_0$ приводит к изменению градиента.

   3. Использование условия: Условие $(E_{\theta_0}(l(X, \hat{\theta}_n)))'_{\theta} \to 0$ при $n \to \infty$ гарантирует, что отклонение $\hat{\theta}_n$ от $\theta_0$ незначительно. Тогда по определению сходимости по вероятности: $\hat{\theta}_n \xrightarrow{P} \theta_0.$

5. Вывод: Условие $(E_{\theta_0}(l(X, \hat{\theta}_n)))'_{\theta} \to 0$ обеспечивает выполнение критериев, необходимых для сходимости оценки максимального правдоподобия $\hat{\theta}_n$ к истинному значению параметра $\theta_0$ по вероятности.

---

Дополнительные вопросы:

1. Что означает сходимость по вероятности в контексте статистической оценки?
2. Какие еще методы доказательства сходимости параметра существуют?
3. Как центральная предельная теорема помогает в анализе сходимости $\hat{\theta}_n$?
4. Почему выпуклость $l_n(\theta)$ в окрестности $\theta_0$ важна для сходимости?
5. Как можно модифицировать условие, если $\hat{\theta}_n$ является байесовской оценкой?

Совет: Для проверки сходимости параметров полезно анализировать асимптотические свойства функции информации Фишера.