Confiabilidade
de um instrumento de medição (reliability of a measurement instrument) é
a extensão em que o instrumento produz resultados reprodutíveis.
Referências
Um
instrumento de medição pode ser confiável e não ser válido. No entanto, um
instrumento de medição só será válido se for confiável.
Vamos
discorrer aqui sobre a confiabilidade de um questionário. Um questionário é
confiável se fornecer resultados consistentes quando replicado em condições
similares. Existem dois tipos de confiabilidade: a interna e a externa.
Confiabilidade externa (external reliability) refere-se à extensão com que os
resultados de um questionário variam quando aplicados em ocasiões diferentes (estabilidade) ou por examinadores diferentes (equivalência), aos mesmos participantes de pesquisa.
Dizemos, então, que o questionário tem estabilidade
se forem obtidos os mesmos resultados quando aplicado duas ou mais vezes às
mesmas pessoas. Para medir a estabilidade, usamos o método do teste re-teste.
Dizemos que o questionário apresenta equivalência
se dois ou mais examinadores obtiverem os mesmos resultados, quando o administrarem
às mesmas pessoas. Para medir equivalência, calculamos a confiabilidade entre
examinadores.
Método de teste re-teste (test-retest method): avalia a estabilidade, ou seja, a
extensão com que as pessoas respondem as mesmas perguntas da mesma forma,
depois de certo tempo. Para isso, o questionário é administrado duas vezes
(primeiro o teste, depois o re-teste), para o mesmo grupo de pessoas. A
aplicação do método exige, porém, duas pressuposições, nem sempre realistas:
primeiramente, nada deve acontecer no período que decorre entre o teste e o
re-teste que modifique a opinião dos respondentes e, segundo, eles não devem
estar lembrados,quando fazem o re-teste, das respostas dadas no teste.
Uma medida estatística da estabilidade das respostas no teste e
re-teste de um questionário é o coeficiente de correlação de Pearson. Calcula-se
a correlação entre o escore (total) dos respondentes no “teste” e o escore
(total) quando o questionário foi aplicado pela segunda vez – o “re-teste”.
O coeficiente de correlação é usado como índice da confiabilidade do
questionário.
Exemplo
MESQUITA e VIEIRA (2009)1 administraram o questionário
conhecido como Perfil do Impacto de Saúde Oral, conhecido como OHIP, (Oral
Health Impact Profile) para 916 funcionários e professores da rede estadual de
ensino de Montes Claros, MG (2). Os questionários estavam numerados, mas foram
distribuídos aleatoriamente e respondidos anonimamente. Quando distribuiu os
questionários, a pesquisadora explicou aos respondentes que deveriam memorizar
o número escrito no questionário, embora esse número não os identificasse. Isto
porque eles seriam chamados novamente para responder o mesmo questionário. Os
que aceitassem o convite deveriam então colocar, no segundo questionário, o
número do primeiro, pois seria o re-teste do questionário.
Confiabilidade
entre examinadores (Inter-rater
reliability): Se o mesmo questionário puder ser aplicado aos mesmos
respondentes por dois ou mais pesquisadores, é possível obter uma medida da confiabilidade entre examinadores, de duas
maneiras diferentes:
· Calculando a proporção de escores
que estão em perfeita concordância;
· Calculando o coeficiente
de correlação entre os escores obtidos pelos participantes com os dois entrevistadores.
Se forem mais de dois examinadores, calcule a média dos coeficientes de
correlação dos escores obtidos por participante com cada par de
entrevistadores.
Exemplo
Lobbestael, J; Leurgans M; Arntz (2011)2
administraram o questionário conhecido como Manual de Entrevista Clínica Estruturada
para o Diagnóstico e a Estatística de Transtornos Mentais a 151 pacientes
internados e ambulatoriais e controles, não-pacientes. Os examinadores
administravam os questionário independentemente, sem saber os resultados
obtidos pelos outros. Depois, analisaram os resultados, que revelaram
concordância entre os examinadores.
Confiabilidade
interna ou consistência interna de um
questionário 1 é
a extensão em que os diversos itens que o
compõem o questionário conduzem às mesmas respostas.
Existem vários métodos para estimar a confiabilidade interna de um
questionário, mas os mais conhecidos são:
· Método da divisão em metades
· Alfa de Cronbach
Método da divisão em metades (split-half method): para usar este método, divide-se o questionário em duas partes
iguais: por exemplo, a metade superior e a metade inferior, ou o conjunto dos
itens de número par e o conjunto dos itens de número impar. Calcula-se, então,
a correlação entre “o somatório dos escores obtidos pelos respondentes quando
se aplicou a primeira metade do questionário” e “o somatório dos escores
obtidos pelos respondentes quando se aplicou a segunda metade do questionário”.
O coeficiente de correlação, nesse caso, ajustado para o tamanho inicial do
questionário, é um indicador da confiabilidade.
Exemplo
O diretor de uma escola quer saber se um professor mostra conhecer
a disciplina que leciona. Fez então um questionário de auto-aplicação para os
alunos. Para estudar a confiabilidade pelo método da divisão em metades, o
diretor deve aplicar o questionário e depois dividir em dois, com metade das
questões em cada parte. Calcula, então, a correlação (que deve ser alta) entre
os pontos obtidos nas duas metades.
Alfa de Cronbach: é
uma medida da consistência interna de um questionário – um dos aspectos de
confiabilidade. Definitivamente, é a medida mais usada, não só por ser fácil de
calcular como também poder ser calculada mesmo quando se aplica o questionário
uma única vez. Mas nem sempre é bem entendida nem bem interpretada. Veja mais
sobre o alfa de Cronbach em outra postagem, deste mesmo blog.
Referências
1. Mesquita FAB, Vieira S. Impacto da
condição auto-avaliada de saúde bucal na qualidade de vida: um estudo em Montes Claros. RGO. 2009.
2.
Lobbestael, J; Leurgans M; Arntz, A Inter-rater reliability of the Structured Clinical Interview for
DSM-IV Axis I Disorders (SCID I) and Axis II Disorders (SCID II).
Clinical Psychology & Psychotherapy. Volume 18, Issue 1, pages 75–79, January/February
2011
