Давайте рассмотрим три разные модели и найдем оценки $\hat{\beta}$ в каждой из них с помощью метода наименьших квадратов (МНК).

1. Модель: $y_i = 3 + \beta x_i + u_i$

В данной модели $y_i = 3 + \beta x_i + u_i$, предполагается, что $\beta$ является единственным неизвестным параметром. Известно, что $\beta$ оценивается с использованием остаточного метода наименьших квадратов, то есть минимизации суммы квадратов ошибок.

Для этой модели можно переписать значения $y_i - 3 = \beta x_i + u_i$, и затем применить стандартную МНК-формулу:

$\hat{\beta} = \frac{\sum (x_i \cdot (y_i - 3))}{\sum (x_i^2)}$

Подставляем значения $x = (1, 2, 3)$ и $y = (5, 6, 10)$:

$\hat{\beta} = \frac{1 \cdot (5-3) + 2 \cdot (6-3) + 3 \cdot (10-3)}{1^2 + 2^2 + 3^2} = \frac{1 \cdot 2 + 2 \cdot 3 + 3 \cdot 7}{1 + 4 + 9} = \frac{2 + 6 + 21}{14} = \frac{29}{14} \approx 2.07$

2. Модель: $y_i = \beta x_i + u_i$

Здесь у нас простая линейная модель без свободного члена. Оценка $\hat{\beta}$ в модели $y_i = \beta x_i + u_i$ находится по формуле:

$\hat{\beta} = \frac{\sum (x_i \cdot y_i)}{\sum (x_i^2)}$

Подставляем значения $x = (1, 2, 3)$ и $y = (5, 6, 10)$:

$\hat{\beta} = \frac{1 \cdot 5 + 2 \cdot 6 + 3 \cdot 10}{1^2 + 2^2 + 3^2} = \frac{5 + 12 + 30}{1 + 4 + 9} = \frac{47}{14} \approx 3.36$

3. Модель: $y_i = \beta_1 + \beta_x x_i + u_i$

Здесь у нас множественная регрессия с двумя параметрами $\beta_1$ и $\beta_x$. Для оценки параметров $\beta_1$ и $\beta_x$ нам нужно использовать систему уравнений, основанную на методе наименьших квадратов. Для этого мы можем воспользоваться матричной формой:

$\hat{\beta} = (X^T X)^{-1} X^T y$

Где $X$ — это матрица, состоящая из столбца единиц (для $\beta_1$) и столбца значений $x_i$, а $y$ — вектор значений $y_i$.

$X = \begin{pmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{pmatrix}, \quad y = \begin{pmatrix} 5 \\ 6 \\ 10 \end{pmatrix}$

Теперь найдем $\hat{\beta}_1$ и $\hat{\beta}_x$.

1. $X^T X = \begin{pmatrix} 3 & 6 \\ 6 & 14 \end{pmatrix}$
2. $X^T y = \begin{pmatrix} 21 \\ 47 \end{pmatrix}$

Теперь вычисляем $(X^T X)^{-1}$:

$(X^T X)^{-1} = \frac{1}{3 \cdot 14 - 6 \cdot 6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix} = \frac{1}{42 - 36} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix} = \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix}$

Теперь находим $\hat{\beta} = (X^T X)^{-1} X^T y$:

$\hat{\beta} = \frac{1}{6} \begin{pmatrix} 14 & -6 \\ -6 & 3 \end{pmatrix} \begin{pmatrix} 21 \\ 47 \end{pmatrix} = \frac{1}{6} \begin{pmatrix} 14 \cdot 21 - 6 \cdot 47 \\ -6 \cdot 21 + 3 \cdot 47 \end{pmatrix} = \frac{1}{6} \begin{pmatrix} 294 - 282 \\ -126 + 141 \end{pmatrix} = \frac{1}{6} \begin{pmatrix} 12 \\ 15 \end{pmatrix}$

Таким образом, $\hat{\beta}_1 = 2$ и $\hat{\beta}_x = 2.5$.

Ответы:

1. $\hat{\beta} \approx 2.07$
2. $\hat{\beta} \approx 3.36$
3. $\hat{\beta}_1 = 2$ и $\hat{\beta}_x = 2.5$

---

Хотите узнать детали или у вас есть вопросы?

Вот 5 дополнительных вопросов по теме:

1. Как изменить модель, если добавить больше наблюдений?
2. Какова интерпретация коэффициентов в первой модели?
3. Влияет ли наличие свободного члена ($\beta_1$) на точность модели?
4. Какие предположения делаются при использовании МНК?
5. Как проверить адекватность полученной модели?

Совет: Для проверки правильности оценок используйте графическое представление регрессионной линии с фактическими данными.