IGCSE, A-Level & AP IGCSE, A-Level & AP Предпросмотр листа

Статистический вывод для категориальных данных: критерий хи-квадрат

AP Statistics · Тема 8

Просмотр слайдов Тренировать
Видеоурок по этой теме Открыть страницу видео
7:49

Статистический вывод для категориальных данных: критерий хи-квадрат

Бросьте честную игральную кость шестьдесят раз. Каждая грань должна выпасть десять раз. Но этого никогда не происходит — здесь восемь, там тринадцать. Разрывы всегда присутствуют. Поэтому бросьте еще…

Английское озвучивание · Английский + китайские субтитры (встроенные)

8.1

Неожиданны ли мой результат?
Программа

Вечная идея (VAR-1): Поскольку вариация может быть случайной или нет, выводы остаются неопределенными.

Цель обучения VAR-1.J: Определять вопросы, возникающие из вариации между наблюдаемыми и ожидаемыми частотами в категориальных данных. [Навык 1.A]

  • VAR-1.J.1 Вариация между тем, что мы находим, и тем, что ожидаем найти, может быть случайной или нет.

Источник: Описание курса и экзамена College Board AP

Когда данные представляют собой подсчеты, распределенные по нескольким категориям, мы проверяем, отличаются ли наблюдаемые подсчеты от предсказанных заявлением. Инструментом является статистика хи-квадрат ($\chi^2$), которая суммирует стандартизированные расхождения между наблюдаемыми и ожидаемыми подсчетами:

$$\chi^2=\sum \frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$
Большое значение $\chi^2$ означает, что наблюдаемые подсчеты сильно отличаются от ожидаемых — это доказательство против заявления. Распределение хи-квадрат имеет правый скос и зависит от своего числа степеней свободы.

8.2

Подготовка к тесту соответствия
Программа

Устойчивое понимание (VAR-8): Распределение хи-квадрат может использоваться для моделирования вариации.

Цель обучения VAR-8.A: Описывать распределения хи-квадрат. [Навык 3.C]

  • VAR-8.A.1 Ожидаемые частоты категориальных данных — это частоты, согласующиеся с нулевой гипотезой. Как правило, ожидаемая частота равна произведению объема выборки на вероятность.

    Статистика хи-квадрат измеряет расстояние между наблюдаемыми и ожидаемыми частотами относительно ожидаемых частот.

    Распределения хи-квадрат принимают только положительные значения и скошены вправо. В рамках семейства кривых плотности скошенность становится менее выраженной с увеличением числа степеней свободы.

Цель обучения VAR-8.B: Определять нулевую и альтернативную гипотезы в тесте распределения долей в наборе категориальных данных. [Навык 1.F]

  • VAR-8.B.1 Для критерия хи-квадрат goodness-of-fit нулевая гипотеза задает нулевые доли для каждой категории, а альтернативная гипотеза заключается в том, что хотя бы одна из этих долей не соответствует той, что указана в нулевой гипотезе.

Цель обучения VAR-8.C: Определять соответствующий метод тестирования для распределения долей в наборе категориальных данных. [Навык 1.E]

  • VAR-8.C.1 При рассмотрении распределения долей по одной категориальной переменной подходящим тестом является критерий хи-квадрат goodness-of-fit.

Цель обучения VAR-8.D: Вычислять ожидаемые частоты для критерия хи-квадрат goodness-of-fit. [Навык 3.A]

  • VAR-8.D.1 Ожидаемые частоты для критерия хи-квадрат goodness-of-fit равны (объем выборки)(нулевая доля).

Цель обучения VAR-8.E: Проверять условия для проведения статистических выводов при тестировании goodness-of-fit для распределения хи-квадрат. [Навык 4.C]

  • VAR-8.E.1 Чтобы провести статистические выводы для критерия хи-квадрат goodness-of-fit, необходимо проверить следующее:
    • a. Для проверки независимости:
      • i. Данные должны собираться с использованием случайной выборки или рандомизированного эксперимента.
      • ii. При выборке без возвращения проверьте, что $n \leq 10\%N$.
    • b. Критерий хи-квадрат goodness-of-fit становится более точным с большим количеством наблюдений, поэтому следует использовать большие частоты (форма).
      • i. Консервативной проверкой больших частот является условие, что все ожидаемые частоты должны быть больше 5.

Источник: Описание курса и экзамена College Board AP

Тест хи-квадрат (χ²)

Тест соответствия (GOF) проверяет, следует ли одна категориальная переменная заявленному распределению (например, «кубик честный»). Гипотезы:

$$H_0:\text{the distribution is as claimed}\qquad H_a:\text{at least one proportion differs}.$$
Ожидаемый подсчет для каждой категории $=n\times(\text{claimed proportion})$. Условия: случайная выборка, все ожидаемые подсчеты $\ge 5$ и условие 10%.

Распределение хи-квадрат и область отбрасывания правой хвоста
Распределение хи-квадрат имеет правый скос. Большое значение статистики попадает в заштрихованный правый хвост за критическим значением — именно там мы отвергаем модель.
Словарь Тренировать
English Русский
chi-square/kaɪ skweə/ хи-квадрат (χ²)
degrees of freedom/dɪˈɡriːz ɒv ˈfriːdəm/ число степеней свободы
goodness-of-fit (GOF)/ˈɡʊdnəs ɒv fɪt/ критерий согласия (GOF)
Test for homogeneity/test fɔː ˈhɒməʊdʒneɪti/ тест на гомогенность
Test for independence/test fɔː ˌɪndɪˈpendəns/ тест на независимость
8.3

Проведение теста соответствия
Программа

Устойчивое понимание (VAR-8): Распределение хи-квадрат может использоваться для моделирования вариации.

Цель обучения VAR-8.F: Вычислять соответствующую статистику для критерия хи-квадрат goodness-of-fit. [Навык 3.E]

  • VAR-8.F.1 Тестовая статистика для критерия хи-квадрат goodness-of-fit равна
    • Уравнение: $\chi^2 = \sum \dfrac{(Observed\ count - Expected\ count)^2}{Expected\ count}$, где $degrees\ of\ freedom = number\ of\ categories - 1$.
  • VAR-8.F.2 Распределение тестовой статистики при условии истинности нулевой гипотезы (нулевое распределение) может быть либо рандомизационным распределением, либо, когда предполагается истинность вероятностной модели, теоретическим распределением (хи-квадрат).

Цель обучения VAR-8.G: Определять значение $p$ для теста значимости критерия хи-квадрат goodness-of-fit. [Навык 3.E]

  • VAR-8.G.1 Значение $p$ для критерия хи-квадрат goodness-of-fit при определенном числе степеней свободы находится с помощью соответствующей таблицы или компьютерного вывода.

Продолжающееся понимание (DAT-3): Тестирование значимости позволяет нам принимать решения относительно гипотез в конкретном контексте.

Цель обучения DAT-3.I: Интерпретировать значение $p$ для критерия хи-квадрат goodness-of-fit. [Навык 4.B]

  • DAT-3.I.1 Интерпретацией значения $p$ для критерия хи-квадрат goodness-of-fit является вероятность того, что при истинности нулевой гипотезы и вероятностной модели будет получена тестовая статистика, равная наблюдаемому значению или являющаяся еще более экстремальной.

Цель обучения DAT-3.J: Обосновать утверждение о генеральной совокупности на основе результатов критерия хи-квадрат goodness-of-fit. [Навык 4.E]

  • DAT-3.J.1 Решение об отвержении или не отвержении нулевой гипотезы основано на сравнении значения $p$ с уровнем значимости $\alpha$.
  • DAT-3.J.2 Результаты критерия хи-квадрат goodness-of-fit могут служить статистическим обоснованием ответа на исследовательский вопрос о выборочной генеральной совокупности.

Источник: Описание курса и экзамена College Board AP

Вычислите $\chi^2=\sum\dfrac{(O-E)^2}{E}$ с использованием $df=(\text{number of categories})-1$. Найдите критическое $p$-значение из χ²-распределения (правый хвост), сравните его со $\alpha$ и сделайте вывод в контексте задачи. Большая компонента суммы указывает на категорию, которая наиболее отклоняется от ожидаемой.

Критерий хи-квадрат сравнивает наблюдаемые частоты с ожидаемыми при нулевой гипотезе
Хи-квадрат сравнивает наблюдаемые подсчеты с ожидаемыми при нулевой гипотезе

Разобранное решение. Кубик бросают $60$ раз, получая подсчеты $8,10,12,9,11,10$. Если кубик честный, каждый ожидаемый подсчет составляет $60/6=10$, поэтому

$$\chi^2=\frac{(8-10)^2}{10}+\frac{(10-10)^2}{10}+\frac{(12-10)^2}{10}+\frac{(9-10)^2}{10}+\frac{(11-10)^2}{10}+\frac{(10-10)^2}{10}=0.4+0+0.4+0.1+0.1+0=1.0,$$
при использовании $df=6-1=5$. Распишите каждую категорию, включая те две, которые точно совпадают со своим ожидаемым значением и поэтому дают вклад $0$ – сумма берется по всем шести категориям, а $df$ подсчитывает количество категорий, а не только те, что отличаются. Это $\chi^2$ мало (большое $p$-значение), поэтому мы не отвергаем $H_0$ – нет доказательств того, что игральная кость неравнозначна.

Исследовать

Исследуйте хи-квадрат распределение и его p-значение

p-значение — это площадь в правом хвосте за вашей статистикой, поэтому большее $\chi^2$ означает меньшее p-значение. Перетаскивайте $\chi^2$, чтобы увидеть, как эта площадь уменьшается, и перетаскивайте df, чтобы увидеть изменение формы всего семейства: сильно скошено вправо при малых df, более симметрично при росте df.

8.4

Ожидаемые подсчеты в таблицах сопряженности
Программа

Устойчивое понимание (VAR-8): Распределение хи-квадрат может использоваться для моделирования вариации.

Цель обучения VAR-8.H: Вычислять ожидаемые частоты для таблиц сопряженности категориальных данных. [Навык 3.A]

  • VAR-8.H.1 Ожидаемую частоту в конкретной ячейке таблицы сопряженности категориальных данных можно рассчитать по формуле:
    • Уравнение: $expected\ count = \dfrac{(row\ total)(column\ total)}{table\ total}$.

Источник: Описание курса и экзамена College Board AP

Для таблицы сопряженности ожидаемый подсчет в ячейке (при условии «нет ассоциации») равен

$$E=\frac{(\text{row total})\times(\text{column total})}{\text{grand total}}.$$
Это было бы количество, которое мы увидели бы, если бы переменные строк и столбцов были независимы.

Разобранное решение. В таблице сопряженности строковый итог ячейки составляет $40$, столбцовый итог — $50$, а общий итог — $200$. Ее ожидаемый подсчет равен $E=\dfrac{40\times50}{200}=10$. Повторив расчет для каждой ячейки, получаем таблицу ожидаемых значений для сравнения с наблюдаемой.

Электронная таблица структурирует категориальные частоты перед проведением критерия хи-квадрат
Электронная таблица организует категориальные подсчеты перед тестом хи-квадрат
8.5

Однородность или независимость?
Программа

Устойчивое понимание (VAR-8): Распределение хи-квадрат может использоваться для моделирования вариации.

Учебная цель VAR-8.I: Определить нулевую и альтернативную гипотезы для критерия хи-квадрат на гомогенность или независимость. [Навык 1.F]

  • VAR-8.I.1 Соответствующие гипотезы для критерия хи-квадрат на гомогенность:

    $H_0$: Нет различий в распределении категориальной переменной между популяциями или группами обработки.

    $H_a$: Имеются различия в распределении категориальной переменной между популяциями или группами обработки.

  • VAR-8.I.2 Соответствующие гипотезы для критерия хи-квадрат на независимость:

    $H_0$: Отсутствует связь между двумя категориальными переменными в данной популяции, либо две категориальные переменные независимы.

    $H_a$: Две категориальные переменные в популяции связаны или зависимы.

Учебная цель VAR-8.J: Выбрать соответствующий метод тестирования для сравнения распределений в двумерных таблицах категориальных данных. [Навык 1.E]

  • VAR-8.J.1 При сравнении распределений для определения того, одинаковы ли доли в каждой категории для категориальных данных, собранных из различных популяций, соответствующим тестом является критерий хи-квадрат на гомогенность.
  • VAR-8.J.2 Для определения того, могут ли строковые и столбцовые переменные в двумерной таблице категориальных данных быть связанными в популяции, из которой были отобраны данные, соответствующим тестом является критерий хи-квадрат на независимость.

Учебная цель VAR-8.K: Проверить условия для проведения статистических выводов при тестировании распределения хи-квадрат на независимость или гомогенность. [Навык 4.C]

  • VAR-8.K.1 Чтобы проводить статистические выводы для критерия хи-квадрат для двумерных таблиц (гомогенность или независимость), необходимо проверить следующее:
    • a. Для проверки независимости:
      • i. Для теста на независимость: Данные должны собираться с использованием простой случайной выборки.
      • ii. Для теста на гомогенность: Данные должны собираться с использованием стратифицированной случайной выборки или рандомизированного эксперимента.
      • iii. При выборке без возвращения проверьте, что $n \leq 10\%N$.
    • b. Тесты хи-квадрат на независимость и гомогенность становятся более точными при увеличении количества наблюдений, поэтому следует использовать большие ожидаемые частоты (форма).
      • i. Консервативной проверкой больших частот является условие, что все ожидаемые частоты должны быть больше 5.

Источник: Описание курса и экзамена College Board AP

Два теста используют одну и ту же математику $\chi^2$, но отвечают на разные вопросы:

  • Тест на однородность: являются ли распределения одной категориальной переменной одинаковыми в нескольких популяциях или группах (раздельные выборки/лечения)?
  • Тест на независимость: связаны ли две категориальные переменные внутри одной популяции (одна выборка, два измеряемых признака)?

Дизайн исследования (несколько выборок против одной выборки) определяет, какое название и гипотезы использовать.

8.6

Проведение теста на однородность или независимость
Программа
Enduring UnderstandingLearning ObjectiveEssential Knowledge

VAR-8
The chi-square distribution may be used to model variation.

VAR-8.L
Calculate the appropriate statistic for a chi-square test for homogeneity or independence. [Skill 3.E]

  • VAR-8.L.1 The appropriate test statistic for a chi-square test for homogeneity or independence is the chi-square statistic:
    • Equation: $\chi^2 = \sum \dfrac{(Observed\ count - Expected\ count)^2}{Expected\ count}$, with degrees of freedom equal to: $(number\ of\ rows - 1)(number\ of\ columns - 1)$.

VAR-8.M
Determine the $p$-value for a chi-square significance test for independence or homogeneity. [Skill 3.E]

  • VAR-8.M.1 The $p$-value for a chi-square test for independence or homogeneity for a number of degrees of freedom is found using the appropriate table or technology.
  • VAR-8.M.2 For a test of independence or homogeneity for a two-way table, the $p$-value is the proportion of values in a chi-square distribution with appropriate degrees of freedom that are equal to or larger than the test statistic.

DAT-3
Significance testing allows us to make decisions about hypotheses within a particular context.

DAT-3.K
Interpret the $p$-value for the chi-square test for homogeneity or independence. [Skill 4.B]

  • DAT-3.K.1 An interpretation of the $p$-value for the chi-square test for homogeneity or independence is the probability, given the null hypothesis and probability model are true, of obtaining a test statistic as, or more, extreme than the observed value.

DAT-3.L
Justify a claim about the population based on the results of a chi-square test for homogeneity or independence. [Skill 4.E]

  • DAT-3.L.1 A decision to either reject or fail to reject the null hypothesis for a chi-square test for homogeneity or independence is based on comparison of the $p$-value to the significance level, $\alpha$.
  • DAT-3.L.2 The results of a chi-square test for homogeneity or independence can serve as the statistical reasoning to support the answer to a research question about the population that was sampled (independence) or the populations that were sampled (homogeneity).

Источник: Описание курса и экзамена College Board AP

Вычислите ожидаемые подсчеты, затем суммируйте $\chi^2=\sum\dfrac{(O-E)^2}{E}$ по всем ячейкам, где

$$df=(\text{rows}-1)(\text{columns}-1).$$
Условия: случайные данные, все ожидаемые подсчеты $\ge 5$, условие 10%. Найдите p-значение ($p$-значение), сравните его со $\alpha$ и сделайте вывод в контексте — доказательства различия между группами (однородность) или наличия ассоциации (независимость).

8.7

Выбор подходящей процедурной для категориальных данных
Программа

Эта тема предназначена для отработки навыка выбора подходящей процедуры выводов после того, как у студентов появляется широкий спектр вариантов. Студентам следует предоставить возможность практиковаться в том, когда и как применять все учебные цели, связанные с выводами для категориальных данных.

Источник: Описание курса и экзамена College Board AP

Определите по постановке задачи: одна категориальная переменная против предполагаемого распределения $\Rightarrow$ соответствие; один выбор, перекрестно классифицированный двумя переменными $\Rightarrow$ независимость; несколько выборок/групп сравниваются $\Rightarrow$ гомогенность. Сравнение ровно двух долей может быть выполнено с помощью двухдолевого $z$-теста или критерия хи-квадрат, но только для двусторонней альтернативной гипотезы, когда они совпадают точно ($\chi^2=z^2$). Критерий хи-квадрат всегда является двусторонним, поэтому он не дает направления вывода: если $H_a$ — односторонняя (например, $p_1>p_2$), используйте $z$-тест.

Исследовать

Какой это тест хи-квадрат?

Все три теста используют одну и ту же арифметику $\chi^2$, поэтому очки достаются тем, кто назовет правильный. Решение принимает дизайн: сколько было взято выборок и сколько переменных измерялось на каждом объекте.

8.7

Советы для экзамена
  • Используйте $\chi^2=\sum\tfrac{(O-E)^2}{E}$ для категориальных данных; всегда делите на ожидаемое количество.
  • Выберите правильный тест: соответствие (одна переменная), независимость или гомогенность (таблица contingency).
  • Вычислите ожидаемые количества как $\tfrac{\text{row total}\times\text{column total}}{\text{grand total}}$ и убедитесь, что каждое из них $\ge5$.
  • Большое $\chi^2$ (маленькое p-значение) означает, что наблюдаемые количества отличаются от ожидаемых больше, чем можно объяснить случайностью.
  • Правильно укажите число степеней свободы (количество категорий $-1$, или $(r-1)(c-1)$).

Интерактивные уроки по этой теме

Пройдите его шаг за шагом с упражнениями мгновенной проверки.

Архив экзаменационных работ

Больше тем в AP Statistics

Войти или создать аккаунт

IGCSE, A-Level & AP