Выберите метод, который может ответить на вопрос
Мнение-опрос не измеряет все результаты
- Группа материалов спрашивает: «Нравится ли вам наша новая структура меток?» Положительный ответ может показать предпочтение, но не то, может ли читатель правильно отсортировать четыре элемента. Метод должен соответствовать результату в вопросе.
- Этот исходный урок, соответствующий стандарту GAC033, сравнивает наблюдение, опрос и малое эксперимент. Все они полезны для некоторых вопросов. Ни один автоматически не является лучшим методом для каждой темы, и сложная методология не исправит размытый исследовательский вопрос.
Что «Нравится ли вам эта планировка?» измеряет наиболее напрямую?
Нравится — это мнение. Оно не может заменить меру точности сортировки.
Сравните, что рассказывает каждый метод
- Наблюдение может зафиксировать происходящее в среде, но фиксация только ошибок может не раскрыть причины. Опрос может спросить об опыте или предпочтении, но ответы могут отличаться от поведения. Избегайте представления любого из них как доказательства результата, который он не измерял.
- Эксперимент намеренно изменяет характеристику и сравнивает результат в запланированных условиях. Для проекта с метками команда предлагает изменить структуру, сохраняя слова, выбор элементов, время и инструкции одинаковыми. Плохо контролируемые различия ослабили бы интерпретацию.
| Вопрос | Возможный метод | Важное ограничение |
|---|---|---|
| Какие ошибки происходят на реальных лотках? | Наблюдение с одобрением | Мотивы не наблюдаются напрямую |
| Какую структуру предпочитают читатели? | Опрос | Предпочтение не равно точности сортировки |
| Отличается ли точность между структурами? | Запланированное сравнительное задание | Небольшое бумажное задание — это не повседневное использование |
Планирование честного малого сравнения
- Предложение использует 24 готовых сверстника: 12 видят A и 12 видят B, назначаются путем перемешивания записок, а не по предпочтению команды. Каждый выполняет одно и то же бумажное задание по сортировке четырех элементов в течение двух минут, без подсказок. Формулировка меток остается прежней; отличаются отступы и выравнивание.
- Оцените один полностью правильный лист только тогда, когда все четыре размещения совпадают с ключом, установленным до задания. Запишите число полных успехов в каждой группе, а не меняющуюся смесь частичных баллов и счетчиков целых листов. Основное исследование еще не проводилось.
Правило исхода: четыре правильных размещения = один успех; любое неверное или пустое размещение = нет полного успеха. Отдельная заметка о категориях ошибок может помочь интерпретации, но она не должна молчаливо изменять основной исход.
Какие ДВЕ характеристики должны остаться неизменными при сравнении предлагаемой планировки?
Сохранение одинакового текста и времени снижает количество альтернативных объяснений. Разный коучинг или ключи исказили бы сравнение.
Лист содержит три правильных размещения и одно пустое место. Сколько полных успехов он засчитывает?
Фиксированное правило требует правильного выполнения всех четырёх размещений. Частичная точность не соответствует этому результату.
Честно опишите выборку
- Выборка — это группа участников. Добровольцы из одного класса — это не все студенты повсюду. Случайное назначение внутри этой группы может сделать сравнение A/B честнее, но это отличается от случайной выборки всей школы.
- Укажите, кто приглашен, сколько планируется и что будет, если меньше согласятся. Не набирайте только уверенных читателей для B и менее уверенных для A. В небольшой группе случайное назначение все равно не гарантирует идентичность групп по каждому признаку.
Не выполняйте задание с участием участников до того, как учитель одобрит процедуру. Участие должно быть добровольным, не влиять на оценки и объясняться без давления со стороны одноклассников или учителя.
Случайное назначение 24 волонтёров класса гарантирует, что они представят каждого ученика в школе.
Назначение к условиям и выборка из популяции — это разные вещи. Волонтёры одного класса всё равно ограничивают обобщение.
Сделайте этическую процедуру явной
- Объясните задачу, цель и использование анонимных итогов до того, как кто-либо согласится участвовать. Участники могут прекратить участие или не сдавать листок. Не собирайте имена или идентифицирующие комментарии. Объясните, что после сдачи листка без идентификатора команда не сможет надежно восстановить данные конкретного человека.
- Используйте обычные печатные материалы, а не задания, которые могут привести к повреждению, неловкости или разглашению информации. Храните записи в утвержденном месте проекта и согласуйте доступ к ним и порядок утилизации с учителем. «Без имен» не оправдывает небрежного обращения с другими идентифицирующими данными.
Протестируйте процедуру, а не свой вывод
- С разрешения попросите двух человек проверить, понятны ли инструкции и приемлемо ли время выполнения. Это пилотирование — репетиция метода. Если команда изменит инструкции после этого, пилотные листки следует исключить из основного сравнения.
- Напишите протокол, который мог бы выполнить другой: набор участников, распределение ролей, материалы, инструкции, хронометраж, оценка, конфиденциальность и анализ. Отметьте предложение, которое может привести к тому, что два помощника выполнят задачу по-разному, и уточните его до начала основной выборки.
Соотнесите метод с вопросом, определите результат заранее, контролируйте значимые различия и сделайте ограничения выборки и этичные нормы явными.
Упорядочьте этапы разработки метода.
Одобрение предшествует работе участников; пилот помогает уточнить процедуру перед основным заданием.