Choose a method that can answer the question · Escolher um método que possa responder à pergunta
An opinion survey cannot measure every outcome
- The materials team asks, “Do you like our new label layout?” A positive answer may show preference, but it does not show whether the reader can sort the four items correctly. The method must match the outcome in the question.
- This original GAC033-aligned lesson compares an observation, a survey and a small experiment. All are useful for some questions. None is automatically the best method for every topic, and an elaborate method cannot repair a vague research question.
Uma pesquisa de opinião não mede todos os resultados
- A equipe de materiais pergunta: “Gostam do nosso novo layout de etiqueta?” Uma resposta positiva pode mostrar preferência, mas não mostra se o leitor pode triagar os quatro itens corretamente. O método deve corresponder ao resultado na pergunta.
- Esta lição original alinhada ao GAC033 compara uma observação, um inquérito e um pequeno experimento. Todos são úteis para algumas perguntas. Nenhum é automaticamente o melhor método para cada tema, e um método elaborado não pode corrigir uma pergunta de pesquisa vaga.
What does “Do you like this layout?” measure most directly? · O que “Você gosta deste layout?” mede mais diretamente?
Liking is an opinion outcome. It cannot replace a sorting-accuracy measure. · Gostar é um resultado de opinião. Não pode substituir uma medida de precisão de organização.
Compare what each method tells you
- An observation can record what occurs in a setting, but recording errors alone may not reveal why they happen. A survey can ask about experience or preference, but answers may differ from behaviour. Avoid reporting either as evidence of an outcome it did not measure.
- An experiment deliberately changes a feature and compares an outcome under planned conditions. For the label project, the team proposes changing layout while keeping words, item choices, time and instructions the same. Poorly controlled differences would weaken the interpretation.
| Question | Possible method | Important limit |
|---|---|---|
| What errors occur at the real trays? | Observation with approval | Motives are not directly observed |
| Which layout do readers prefer? | Survey | Preference is not sorting accuracy |
| Does accuracy differ between layouts? | Planned comparison task | Small paper task is not everyday use |
Compare o que cada método revela
- Uma observação pode registrar o que ocorre em um ambiente, mas erros de registro isolados podem não revelar a causa. Um inquérito pode perguntar sobre experiência ou preferência, mas as respostas podem diferir do comportamento. Evite relatar qualquer um como evidência de um resultado que não foi mensurado.
- Um experimento altera deliberadamente uma característica e compara um resultado sob condições planejadas. Para o projeto de rótulos, a equipe propõe alterar o layout mantendo palavras, opções de itens, tempo e instruções iguais. Diferenças mal controladas enfraqueceriam a interpretação.
| Pergunta | Método possível | Limite importante |
|---|---|---|
| Quais erros ocorrem nas bandejas reais? | Observação com aprovação | Motivos não são observados diretamente |
| Qual layout os leitores preferem? | Inquérito | Preferência não é precisão de triagem |
| A precisão difere entre layouts? | Tarefa de comparação planejada | Pequena tarefa de papel não é uso cotidiano |
Plan a fair small comparison
- The proposal uses 24 willing peers: 12 see A and 12 see B, assigned by shuffled slips rather than the team's preference. Each completes the same four-item paper sorting task within two minutes, without coaching. The labels' wording remains the same; spacing and alignment differ.
- Score one completely correct sheet only when all four placements match the key fixed before the task. Record the number of complete successes in each group, not a changing mixture of partial marks and whole-sheet counts. No main study has been conducted yet.
Outcome rule: four correct placements = one success; any placement incorrect or blank = no complete success. A separate error-category note may aid interpretation, but it must not silently change the primary outcome.
Planeje uma pequena comparação justa
- A proposta utiliza 24 colegas dispostos: 12 veem A e 12 veem B, atribuídos por bilhetes embaralhados em vez da preferência da equipe. Cada um completa a mesma tarefa de triagem de papel com quatro itens em dois minutos, sem orientação. A redação dos rótulos permanece igual; espaçamento e alinhamento diferem.
- Pontue uma folha totalmente correta apenas quando as quatro colocações corresponderem à chave fixada antes da tarefa. Registre o número de sucessos completos em cada grupo, não uma mistura variável de notas parciais e contagens de folhas inteiras. Nenhum estudo principal foi realizado ainda.
Regra de resultado: quatro colocações corretas = um sucesso; qualquer colocação incorreta ou em branco = nenhum sucesso completo. Uma nota separada sobre categorias de erro pode auxiliar na interpretação, mas não deve alterar silenciosamente o resultado primário.
Which TWO features should stay the same in the proposed layout comparison? · Quais DUAS características devem permanecer iguais na comparação de layouts proposta?
Keeping wording and timing equal reduces alternative explanations. Unequal coaching or keys would confound the comparison. · Manter redação e tempo iguais reduzem explicações alternativas. Treino desigual ou chaves variáveis confundiriam a comparação.
A sheet has three correct placements and one blank. How many complete successes does it count as? · Uma folha tem três placements corretos e um em branco. Quantos sucessos completos ela conta como?
The fixed rule requires all four placements correct. Partial accuracy does not meet this outcome. · A regra fixa exige que todos os quatro placements estejam corretos. Precisão parcial não atende a este resultado.
Describe the sample honestly
- A sample is the participating group. Volunteers from one class are not all students everywhere. Random assignment within that group can make the A/B comparison fairer, but it is different from randomly sampling the entire school.
- State who is invited, how many are planned and what happens if fewer agree. Do not recruit only confident readers for B and less confident readers for A. With a small group, random assignment still does not guarantee identical groups in every characteristic.
Do not run a participant task before the teacher approves the procedure. Participation must be voluntary, separate from grades, and explained without pressure from teammates or teachers.
Descreva a amostra honestamente
- Uma amostra é o grupo participante. Voluntários de uma turma não representam todos os estudantes em lugar algum. Atribuição aleatória dentro desse grupo pode tornar a comparação A/B mais justa, mas difere de amostragem aleatória de toda a escola.
- Especifique quem é convidado, quantos estão previstos e o que acontece se menos concordarem. Não recrute apenas leitores confiantes para B e menos confiantes para A. Com um grupo pequeno, a atribuição aleatória ainda não garante grupos idênticos em todas as características.
Não realize a tarefa do participante antes da aprovação do professor. A participação deve ser voluntária, separada das notas e explicada sem pressão de colegas ou professores.
Randomly assigning 24 class volunteers guarantees they represent every student in the school. · Atribuir aleatoriamente 24 voluntários de classe garante que eles representem todos os alunos da escola.
Assignment to conditions and sampling from a population are different. One-class volunteers still limit generalisation. · Atribuição a condições e amostragem de uma população são diferentes. Voluntários de uma única classe ainda limitam a generalização.
Make an ethical procedure explicit
- Explain the task, purpose and use of anonymous totals before anyone agrees. Participants may stop or leave a sheet unsubmitted. Collect no names or identifying comments. Explain that after a sheet is submitted without an identifier, the team cannot reliably retrieve one person's data.
- Use ordinary printed materials, not a task that risks damage, embarrassment or disclosure. Keep records in the approved project location and agree access and disposal with the teacher. “No names” does not excuse careless handling of other identifying details.
Torne explícito um procedimento ético
- Explique a tarefa, propósito e uso de totais anônimos antes de qualquer consentimento. Participantes podem parar ou deixar uma folha sem submissão. Não colete nomes ou comentários identificadores. Explique que, após a submissão sem identificador, a equipe não pode recuperar confiavelmente os dados de uma pessoa.
- Use materiais impressos comuns, não uma tarefa que risque danos, constrangimento ou divulgação. Mantenha registros no local aprovado do projeto e concorde acesso e descarte com o professor. “Sem nomes” não justifica manuseio descuidado de outros detalhes identificadores.
Pilot the procedure, not your conclusion
- With approval, ask two people to check whether instructions are understandable and timing is workable. This pilot is a rehearsal of the method. If the team changes instructions afterward, keep those pilot sheets out of the main comparison.
- Write a protocol someone else could follow: recruitment, assignment, materials, instructions, clock, scoring, privacy and analysis. Mark a sentence that could lead two helpers to run the task differently and make it precise before any main collection.
Match the method to the question, define the outcome in advance, control relevant differences and make sample and ethical limits explicit.
Teste o procedimento, não sua conclusão
- Com aprovação, peça a duas pessoas para verificar se as instruções são compreensíveis e o tempo é viável. Este piloto é um ensaio do método. Se a equipe alterar as instruções depois, mantenha essas folhas piloto fora da comparação principal.
- Escreva um protocolo que outro possa seguir: recrutamento, atribuição, materiais, instruções, cronômetro, pontuação, privacidade e análise. Marque uma frase que poderia levar dois auxiliares a executarem a tarefa de forma diferente e torná-la precisa antes de qualquer coleta principal.
Combine o método com a pergunta, defina o resultado antecipadamente, controle diferenças relevantes e torne explícitos limites da amostra e éticos.
Order these method-development steps. · Ordenar estes passos de desenvolvimento de método.
Approval precedes participant work; the pilot helps refine the procedure before the main task. · A precedência de aprovação vem antes do trabalho dos participantes; o piloto ajuda a refinar o procedimento antes da tarefa principal.