Линейная комбинация случайных величин

Математическое ожидание комбинации

Линейная комбинация случайных величин

Но дисперсия - это уже совсем другая история…

Ковариация и независимость

Если \(X\) и \(Y\) - независимые случайные величины, то \(E[XY] = E[X]E[Y]\)

Proof

Используем определение независимости величин: \[\begin{equation*} \forall x_i, \; \forall y_j: \; P_X \left( X=x_i \right) P_Y \left( Y = y_j \right) = P(\{X=x_i \} \cap \{ Y=y_j\}) = P \left( X=x_i, Y=y_j \right) \end{equation*}\] \[\begin{align*} E[XY] &= \sum \limits_{i=1}^{n} \sum \limits_{j=1}^{m} x_i y_j P(X = x_i, Y = y_j) = \sum \limits_{i=1}^{n} \sum \limits_{j=1}^{m} x_i y_j P_X(x_i) P_Y(y_j) \\ &= \sum \limits_{i=1}^{n} x_i P_X(x_i) \sum \limits_{j=1}^{m} y_j P_Y(y_j) = E[X] E[Y]. \end{align*}\]

Будьте внимательны: обратное утверждение неверно!

Логика высказываний: независимость и ковариация

Случай \(C\) используем для детекции зависимости: \(Cov \neq 0\) \(\Rightarrow\) зависимы.

Корреляция

Пример:

Случайный вектор \((X,Y)\) принимает значения \((-1,1)\) и \((2,-2)\) с вероятностями \(\frac{2}{3}\) и \(\frac{1}{3}\).

Решение задачи

1. Маргинальные функции вероятности

Для \(X\): \[\begin{align*} P(X=-1) &= \sum\limits_{j} P(X=-1, Y=y_j) = \frac{2}{3} + 0 = \frac{2}{3} \\ P(X=2) &= \sum\limits_{j} P(X=2, Y=y_j) = 0 + \frac{1}{3} = \frac{1}{3} \end{align*}\]

Для \(Y\): \[\begin{align*} P(Y=1) &= \sum\limits_{i} P(X=x_i, Y=1) = \frac{2}{3} + 0 = \frac{2}{3} \\ P(Y=-2) &= \sum\limits_{i} P(X=x_i, Y=-2) = 0 + \frac{1}{3} = \frac{1}{3} \end{align*}\]

Пример

Проверка независимости

Проверим условие независимости для пары: \[\begin{align*} P(X=-1, Y=1) &= \frac{2}{3} \quad \text{и} \quad P(X=-1)P(Y=1) = \frac{2}{3} \cdot \frac{2}{3} = \frac{4}{9} \neq \frac{2}{3} \end{align*}\]

Ответ: \(X\) и \(Y\) не независимы.

Пример

Ковариация и корреляция

Сначала найдем математические ожидания: \[\begin{align*} E[X] &= (-1) \cdot \frac{2}{3} + 2 \cdot \frac{1}{3} = 0 \\ E[Y] &= 1 \cdot \frac{2}{3} + (-2) \cdot \frac{1}{3} = 0 \end{align*}\]

Теперь найдем \(E[XY]\): \[\begin{align*} E[XY] &= (-1) \cdot 1 \cdot \frac{2}{3} + 2 \cdot (-2) \cdot \frac{1}{3} = -\frac{2}{3} - \frac{4}{3} = -2 \end{align*}\]

Пример

Ковариация: \[\begin{align*} Cov(X,Y) &= E[XY] - E[X]E[Y] = -2 - 0 \cdot 0 = -2 \end{align*}\]

Для корреляции найдем дисперсии: \[\begin{align*} E[X^2] &= (-1)^2 \cdot \frac{2}{3} + 2^2 \cdot \frac{1}{3} = \frac{2}{3} + \frac{4}{3} = 2 \\ Var[X] &= E[X^2] - (E[X])^2 = 2 - 0 = 2 \end{align*}\]

\[\begin{align*} E[Y^2] &= 1^2 \cdot \frac{2}{3} + (-2)^2 \cdot \frac{1}{3} = \frac{2}{3} + \frac{4}{3} = 2 \\ Var[Y] &= E[Y^2] - (E[Y])^2 = 2 - 0 = 2 \end{align*}\]

Пример

Корреляция: \[\begin{align*} Corr(X,Y) &= \frac{Cov(X,Y)}{\sqrt{Var[X]Var[Y]}} = \frac{-2}{\sqrt{2 \cdot 2}} = \frac{-2}{2} = -1 \end{align*}\]

Корреляция равна \(-1\), что означает полную отрицательную линейную зависимость между \(X\) и \(Y\) (здесь \(Y = -X\)).

Пример зависимости при нулевой корреляции

Случайный вектор \((X,Y)\) равновероятно принимает одно из четырёх значений на окружности: \[ (2,0),\quad (0,2),\quad (-2,0),\quad (0,-2), \] каждое с вероятностью \(\frac{1}{4}\).

Найдите коэффициент корреляции и проверьте случайные величины на зависимость.

Пример: решение

Маргинальные распределения:

\(E[X] = (-2)\cdot\frac{1}{4} + 0\cdot\frac{1}{2} + 2\cdot\frac{1}{4} = 0\), \(E[Y] = (-2)\cdot\frac{1}{4} + 0\cdot\frac{1}{2} + 2\cdot\frac{1}{4} = 0\).

Во всех исходах произведение \(XY = 0\), поэтому \(E[XY] = 0\) и \[ Cov(X,Y) = E[XY] - E[X]E[Y] = 0 \implies Corr(X,Y) = 0. \]

Зависимость — проверка через произведение маргинальных вероятностей, например для пары \((0,-2)\): \[ P(X=0, Y=-2) = \frac{1}{4}, \qquad P(X=0)\,P(Y=-2) = \frac{1}{2}\cdot\frac{1}{4} = \frac{1}{8} \neq \frac{1}{4}. \] Значит \(X\) и \(Y\) зависимы (хотя \(Corr(X,Y)=0\)).