Полная вероятность

  • Концепция условной вероятности неразрывно связана со следующей, концепцией полной вероятности.

  • Рассмотрим зафиксированное пространство \(\left( \Omega, \mathcal{F}, P \right)\). Назовем разбиением \(\Omega\) коллекцию событий \(\{ B_k, \, k \in I \}\), таких что \(B_i \cap B_j = \varnothing\) при \(i \neq j\) и \(\bigcup B_i = \Omega\).

  • Вдобавок, рассмотрим какое-то другое событие \(B\), которое пересекается с какими-то событиями из разбиения, но не обязано пересекаться со всеми.

Полная вероятность

Theorem

Если \(\{B_1, B_2, \ldots \, \}\) - разбиение \(\Omega\), c \(P(B_i) > 0 \; \forall i\), то:

\[ \boxed{P(A) = \sum \limits_{i} P(A|B_i) P(B_i), \, \forall A \in \mathcal{F}} \]

Доказательство. Заметим, что мы можем реконструировать событие \(A\) из его частичек-пересечений со всеми \(B_i\): \(A = \bigcup\limits_{i} (A \cap B_i)\). Эти кусочки \(\{ A \cap B_i \}\) попарно не пересекаются, как и оригинальные элементы разбиения. Поэтому далее можем применить свойство аддитивности вероятности:

\[\begin{gather*} P(A) = P \left( \bigcup\limits_{i} (A \cap B_i) \right) \\ = \sum \limits_{i} P \left(A \cap B_i \right) = \sum \limits_{i} P(A|B_i) P(B_i) \end{gather*}\]

Теорема Байеса

Theorem

Пусть \(\{B_1, B_2, \ldots \, \}\) - разбиение \(\Omega\), c \(P(B_i) > 0 \; \forall i\). Тогда для любого события \(A\), \(P(A) > 0\), справедливо:

\[ \boxed{ P(B_j|A) = \frac{P(A|B_j)P(B_j)}{\sum \limits_{i} P(A|B_i) P(B_i)} } \]

Доказательство.

Опираемся на то, что \(P(X \cap Y)\) может быть выражена через разные условные вероятности: \[ P(X \cap Y) = P(X|Y) P(Y) = P(Y|X) P(X). \]

Применим это к условию

\[ P(B_j|A) = \frac{P(A|B_j) P(B_j)}{P(A)}, \]

где \(P(A) = \sum \limits_{i} P(A|B_i) P(B_i)\) как полная вероятность.

Пример 1

Вероятность победы лошади в скачках равна \(0.3\), если погода сухая, и \(0.5\) если идет дождь. Прогноз погоды дает вероятность дождя \(40\%\).

Пример 1

Обозначим: \(R\) — дождь, \(D\) — сухая погода; \(W\)/\(L\) — победа/проигрыш; \(A\) — победа лошади.

  • \(A = (A \cap B_1) \cup (A \cap B_2)\)

  • \(\begin{aligned}[t] A \cap B_1 &= \{(W,R)\} \\ A \cap B_2 &= \{(W,D)\} \end{aligned}\)

  • \(\begin{aligned}[t] P(A) &= P(A \cap B_1) + P(A \cap B_2) \\ &= P(A\mid B_1)P(B_1) + P(A\mid B_2)P(B_2) \end{aligned}\)

Пример 1

  • \(P(A \mid D) = 0.3\), \(P(A \mid R) = 0.5\), \(P(R) = 0.4\), \(P(D) = 0.6\).

  • \(P(A) = P(A \mid D) P(D) + P(A \mid R) P(R) = 0.3 \cdot 0.6 + 0.5 \cdot 0.4 = 0.38\)

  • \[ P(D \mid \bar{A}) = \frac{P(\bar{A} \mid D) P(D)}{P(\bar{A})} = \frac{0.7 \cdot 0.6}{1 - 0.38} \approx 0.677 \]

Пример 2 (False positives)

  • Редкое, но опасное заболевание имеет распространенность \(1\) на \(10^5\) в общей популяции. Существует диагностический тест, но он несовершенен. Если у человека есть заболевание, тест положительный с вероятностью \(0.9\); если нет - тест положительный с вероятностью \(\frac{1}{20}\). Тест дал положительный результат. Какова вероятность того, что у человека есть заболевание?

Пример 2 (False positives)

Обозначим: \(H\) — healthy, \(I\) — ill; \(A\) — положительный результат теста (detected positive).

  • \(A = (A \cap B_1) \cup (A \cap B_2)\)

  • \(\begin{aligned}[t] A \cap B_1 &= \{(+,I)\} \\ A \cap B_2 &= \{(+,H)\} \end{aligned}\)

  • \(\begin{aligned}[t] P(A) &= P(A \cap B_1) + P(A \cap B_2) \\ &= P(A\mid B_1)P(B_1) + P(A\mid B_2)P(B_2) \end{aligned}\)

Пример 2 (False positives)

  • \(P(I) = 10^{-5}\), \(P(A \mid I) = 0.9\), \(P(A \mid H) = \frac{1}{20}\).

  • \(P(A) = P(A \mid I) P(I) + P(A \mid H) P(H) = 0.9 \cdot 10^{-5} + 0.05 \cdot (1 - 10^{-5}) = 0.0500085\)

  • \[ P(I \mid A) = \frac{P(A \mid I) P(I)}{P(A)} = \frac{0.9 \cdot 10^{-5}}{0.0500085} \approx 0.0002 \]