Русская Википедия:Парадокс Симпсона
Парадокс Симпсона (также Парадокс Юла — Симпсона или парадокс объединения) — эффект, явление в статистике, когда при наличии двух групп данных, в каждой из которых наблюдается одинаково направленная зависимость, при объединении этих групп направление зависимости меняется на противоположное.
Это явление было описано en (Edward_H._Simpson) в 1951 году и Удни Юлом в 1903 году. Название «парадокс Симпсона» впервые предложил Колин Блайт в 1972 году. Однако, так как Симпсон не был первооткрывателем этого эффекта, некоторые авторы используют безличные названия, например, «парадокс объединения».
История открытия парадокса
Первый раз рассматриваемая ситуация отмечена Карлом Пирсоном в статье «Математический вклад в теорию эволюции»[1]. Он рассматривает зависимость признаков разнородных групп лошадей. Удни Юл делает более подробный анализ подобных популяционных изменений, изучая механизмы наследственности. Симпсон рассматривает то, что он называет «любопытным случаем» в нескольких разделах статьи «The Interpretation of Interaction in Contingency Tables»[2]. Симпсон был первым автором, изучавшим это явление с точки зрения статистики. Поэтому впоследствии математик К. Р. Блайт в статье «On Simpson’s Paradox and the Sure-Thing Principle»[3] вводит термин «парадокс Симпсона».
Примеры
Пример с фишками
Пусть есть четыре шляпы (две чёрных и две серых), 41 фишка (23 цветных и 18 белых) и два стола (А и Б). Фишки распределены по шляпам следующим образом:
- В чёрной шляпе на столе А лежат 5 цветных и 6 белых фишек.
- В серой шляпе на столе А лежат 3 цветные и 4 белые фишки.
- В чёрной шляпе на столе Б лежат 6 цветных и 3 белых фишки.
- В серой шляпе на столе Б лежат 9 цветных и 5 белых фишек.
Допустим, что вы хотите вытащить цветную фишку.
Если вы находитесь около стола А, то вероятность извлечь цветную фишку из чёрной шляпы равна Шаблон:S, а из серой шляпы на том же столе — Шаблон:S; таким образом, цветную фишку больше шансов вытащить из чёрной шляпы, чем из серой.
Если вы находитесь около стола Б, то вероятность извлечь цветную фишку из чёрной шляпы равна Шаблон:S, а из серой шляпы — Шаблон:S; таким образом, и здесь цветную фишку больше шансов вытащить из чёрной шляпы, чем из серой.
Допустим теперь, что фишки из двух чёрных шляп сложены в одну чёрную шляпу, а фишки из двух серых шляп — в одну серую шляпу. На первый взгляд, логично было бы предположить, что вероятность вытащить цветную фишку из чёрной шляпы выше, чем из серой. Но это неверно:
- вероятность вытащить цветную фишку из чёрной шляпы равна Шаблон:S,
- вероятность вытащить цветную фишку из серой шляпы равна Шаблон:S,
то есть больше шансов извлечь цветную фишку из серой шляпы, чем из чёрной[4].
Пример с камнями
Пусть мы имеем четыре набора камней. Вероятность вытащить чёрный камень из набора № 1 выше, чем из набора № 2. В свою очередь, вероятность вытащить чёрный камень из набора № 3 больше, чем из набора № 4. Объединим набор № 1 с набором № 3 (получим набор I), а набор № 2 — с набором № 4 (набор II). Интуитивно можно ожидать, что вероятность вытащить чёрный камень из набора I будет выше, чем из набора II. Однако в общем случае такое утверждение неверно.
Действительно, пусть <math>n_i</math> — число чёрных камней в <math>i</math>-ом наборе (выборке), <math>m_i</math> — общее число камней в <math>i</math>-ом наборе при <math>i=1, 2, 3, 4</math>. По условию:
- <math>\frac{n_1}{m_1} > \frac{n_2}{m_2}, \frac{n_3}{m_3} > \frac{n_4}{m_4}.</math>
Вероятность вытащить чёрный камень из наборов I и II, соответственно:
- <math>\frac{n_1 + n_3}{m_1 + m_3}, \frac{n_2 + n_4}{m_2 + m_4}.</math>
Выражение для набора I не всегда больше выражения для набора II; то есть может случится, что
- <math>\frac{n_1 + n_3}{m_1 + m_3}< \frac{n_2 + n_4}{m_2 + m_4}.</math>
Например, при <math>n_1 = 6,~m_1 = 13,~n_2 = 4,~m_2 = 9,~n_3 = 6,~m_3 = 9,~n_4 = 9,~m_4 = 14</math>. Легко проверить, что <math>6/13 > 4/9,~6/9 > 9/14</math>. В то время как <math>12/22 < 13/23</math>.
Причины
Причина парадокса заключается в некорректном усреднении двух групп данных с различной долей контрольных наблюдений (нерепрезентативная выборка). Поскольку интуитивно предполагается, что при применении найденных зависимостей доля контрольных будет одинаковой в обеих группах, а в исходных данных это не выполняется, то к ним нельзя применять арифметическое усреднение.
Для устранения проблемы, при усреднении необходимо использовать веса, устраняющие перекос доли контрольных. Так, в примере с фишками доля фишек в серой шляпе на столе А — 7 из 18 (39 %), а на столе Б — 14 из 23 (61 %).
Для репрезентативного усреднения шанса вытянуть цветную фишку достаточно умножить количество фишек обоих цветов в одной из шляп на весовой коэффициент, устраняющий перекос. Например, если вместо одной серой шляпы на столе А поставить две таких же шляпы, то вероятности для каждого стола в отдельности не изменятся, но для объединения столов парадокс будет устранён: вероятность цветной фишки в серой шляпе станет 15/28, то есть меньше, чем из чёрной.
Другой способ разрешения парадокса — использование формулы полной вероятности.
Парадокс Симпсона показывает, что выводы из результатов социологических опросов с нерепрезентативной выборкой нельзя принимать как неопровержимые, доказанные научным путём.
Практическая значимость
Парадокс Симпсона иллюстрирует неправомерность обобщений по нерепрезентативным выборкам, иногда опасных для жизни. Так, например, в ходе эксперимента в группе мужчин и группе женщин, больных одной и той же болезнью, к стандартному лечению прибавили новый лекарственный препарат. Результат по обеим группам в отдельности подтверждал эффективность нового средства.
| Мужчины | Принимавшие лекарство | Не принимавшие лекарство |
|---|---|---|
| Выздоровевшие | 700 | 80 |
| Невыздоровевшие | 800 | 130 |
| Соотношение | 0.875 | 0.615 |
| Женщины | Принимавшие лекарство | Не принимавшие лекарство |
|---|---|---|
| Выздоровевшие | 150 | 400 |
| Невыздоровевшие | 70 | 280 |
| Соотношение | 2.142 | 1.429 |
Интуитивно предполагается, что если в обеих группах прослеживается зависимость, она должна проявиться и при объединении этих групп. Но хотя соотношение выздоровевших и больных среди и женщин, и мужчин, принимавших лекарство, больше, чем среди тех из них, кто его не использовал, в связи с нерепрезентативностью контрольной группы в агрегированных данных эта закономерность не сохраняется.
| Сумма | Принимавшие лекарство | Не принимавшие лекарство |
|---|---|---|
| Выздоровевшие | 850 | 480 |
| Невыздоровевшие | 870 | 410 |
| Соотношение | 0.977 | 1.171 |
Соотношение в агрегированных данных 850/870<480/410, то есть 0,977<1,171. Следовательно, доля выздоровевших среди принимавших лекарство меньше той же доли среди не принимавших.
Для устранения парадокса нужно обратить внимание, что отношение контрольной группы к группе воздействия в приведённых группах резко различается: у мужчин составляет (80+130)/(700+800) = 14 %, а у женщин (400+280)/(150+70) = 309 %.
Для корректного усреднения нужно обеспечить репрезентативность контрольной группы в обеих выборках, введя весовые коэффициенты так, чтобы взвешенная доля контрольных в обеих группах стала одинаковой. В данном случае достаточно количество мужчин, не принимавших лекарства, умножить на весовой коэффициент 22.07. Измененные таблицы будут выглядеть так:
| Мужчины | Принимавшие
лекарство |
Не принимавшие лекарство | |
|---|---|---|---|
| исходные | с весом x22.07 | ||
| Выздоровевшие | 700 | 80 | 1765 |
| Невыздоровевшие | 800 | 130 | 2869 |
| Соотношение | 0.875 | 0.615 | |
| Сумма | Принимавшие
лекарство |
Не принимавшие лекарство | |
|---|---|---|---|
| исходные | с весом x22.07 | ||
| Выздоровевшие | 850 | 480 | 2165 |
| Невыздоровевшие | 870 | 410 | 3149 |
| Соотношение | 0.977 | 1.171 | 0.685 |
Соотношение взвешенного количества выздоровевших к не выздоровевшим среди не принимавших лекарство в этом случае составит 0,685, то есть ниже, чем у принимавших лекарство. Это устраняет парадокс и показывает отношение выздоровевших к не выздоровевшим без приема лекарства для такой же пропорции мужчин и женщин, как у принимавших лекарство, что позволяет сравнивать эти цифры.
См. также
Примечания
Ссылки
- Использование парадокса Симпсона в модели из живых бактерий — на сайте «Элементы»
- Секей Г. Парадоксы в теории вероятности и математической статистики — М.: Мир, 1990. — С. 132—133. — 240 с.
- Judea Pearl. Simpson’s Paradox: An Anatomy. — Technical report — April 1999 — 11 p.Шаблон:Ref-en
- Earliest Known Uses of Some of the Words of Mathematics (S) — Sept. 24, 2011Шаблон:Ref-en
- Simpson’s Paradox — First published Mon Feb 2, 2004; substantive revision Thu Aug 6, 2009Шаблон:Ref-en
- And now, who should kick the penalty?Шаблон:Недоступная ссылка — Практический пример парадокса Симпсона на сайте «Matifutbol»Шаблон:Недоступная ссылкаШаблон:Ref-en
- ↑ Karl Pearson. Mathematical Contributions to the Theory of Evolution. V. On the Reconstruction of the Stature of Prehistoric Races. Phil. Trans. R. Soc. Lond. A. 1899 192:169-244 doi:10.1098/rsta.1899.0004
- ↑ The Interpretation of Interaction in Contingency Tables // Journal of the Royal Statistical Society, B, 13 (1951) — pp. 238—241
- ↑ Blyth, Colin R. On Simpson’s Paradox and the Sure-Thing Principle // Journal of the American Statistical Association, 67 (1972) — p. 364.
- ↑ Шаблон:Книга
