Confiabilidade de um instrumento de medição (reliability of a measurement instrument) é a extensão em que o instrumento produz resultados reprodutíveis.
Um instrumento de medição pode
ser confiável e não ser válido. No entanto, um instrumento de medição só será
válido se for confiável.
Vamos discorrer aqui sobre a confiabilidade de um questionário. Um questionário é confiável se fornecer resultados consistentes quando replicado em condições similares. Existem dois tipos de confiabilidade: a interna e a externa.
Confiabilidade externa (external reliability): refere-se à extensão com que os resultados de um questionário variam quando aplicados em ocasiões diferentes (estabilidade) ou por examinadores diferentes (equivalência), aos mesmos participantes de pesquisa.
§ Um questionário tem estabilidade se forem obtidos os mesmos resultados quando aplicado duas ou mais vezes às mesmas pessoas. Para medir a estabilidade, usamos o método do teste reteste.
§ Um questionário apresenta equivalência se
dois ou mais examinadores obtiverem os mesmos resultados, quando o
administrarem às mesmas pessoas. Para medir equivalência, calculamos a
confiabilidade entre examinadores.
Teste reteste (test-retest
method): avalia a estabilidade, ou seja, a extensão com que as
pessoas respondem as mesmas perguntas da mesma forma, depois de certo tempo.
Para isso, o questionário é administrado duas vezes (primeiro o teste, depois o
reteste), para o mesmo grupo de pessoas. A aplicação do método exige duas
pressuposições, nem sempre realistas: primeiramente, nada deve acontecer no
período que decorre entre o teste e o reteste que modifique a opinião dos
respondentes e, ainda, eles não devem estar lembrados, quando fazem o reteste,
das respostas dadas no teste.
Uma medida estatística da estabilidade das respostas no teste e reteste de um questionário é o coeficiente de correlação de Pearson. Calcula-se a correlação entre o escore (total) dos respondentes no “teste” e o escore (total) quando o questionário foi aplicado pela segunda vez – o “reteste”. O coeficiente de correlação é usado como índice da confiabilidade do questionário (obviamente, quanto mais alto é o coeficiente de correlação, maior é a confiabilidade).
Exemplo
MESQUITA e VIEIRA (2009)1 administraram
o questionário Perfil do Impacto de Saúde Oral, conhecido como OHIP, (Oral
Health Impact Profile) para 916 funcionários e professores da rede estadual de
ensino de Montes Claros, MG (2). Os questionários estavam numerados, mas foram
distribuídos aleatoriamente e respondidos anonimamente. Quando distribuiu os
questionários, a pesquisadora explicou aos respondentes que deveriam memorizar
o número escrito no questionário, embora esse número não os identificasse. Isto
porque eles seriam chamados novamente para responder o mesmo questionário. Os
que aceitassem o convite deveriam então colocar, no segundo questionário, o
número do primeiro, pois seria o reteste do questionário.
***********************
Confiabilidade entre examinadores (Inter-rater reliability): Se o mesmo
questionário puder ser aplicado aos mesmos respondentes por dois ou mais
pesquisadores, é possível obter uma medida da confiabilidade
entre examinadores, de duas maneiras diferentes:
· Calculando a proporção de escores que estão em
perfeita concordância;
· Calculando o coeficiente de correlação entre os
escores obtidos pelos participantes com os dois entrevistadores. Se forem mais
de dois examinadores, calcule a média dos coeficientes de correlação dos
escores obtidos por participante com cada par de entrevistadores.
*************************
Exemplo
Lobbestael, J; Leurgans M; Arntz (2011)2 administraram
o questionário conhecido como Manual de Entrevista Clínica Estruturada para o
Diagnóstico e a Estatística de Transtornos Mentais a 151 pacientes internados e
ambulatoriais e controles, não-pacientes. Os examinadores administravam os
questionário independentemente, sem saber os resultados obtidos pelos outros.
Depois, analisaram os resultados, que revelaram concordância entre os
examinadores.
**********************
Confiabilidade interna ou consistência interna de um questionário1 é a extensão em que os diversos itens que o compõem o questionário conduzem às mesmas respostas.
Existem vários métodos para estimar a confiabilidade interna de um questionário, mas os mais conhecidos são:
·
Método da divisão em metades
·
Alfa de Cronbach
Método da divisão em metades (split-half method): para
usar este método, divide-se o questionário em duas partes iguais: por exemplo,
a metade superior e a metade inferior, ou o conjunto dos itens de número par e
o conjunto dos itens de número impar. Calcula-se, então, a correlação entre “o
somatório dos escores obtidos pelos respondentes quando se aplicou a primeira
metade do questionário” e “o somatório dos escores obtidos pelos respondentes
quando se aplicou a segunda metade do questionário”. O coeficiente de
correlação, nesse caso, ajustado para o tamanho inicial do questionário, é um
indicador da confiabilidade.
***********************
O diretor de uma escola quer saber se um professor
mostra conhecer a disciplina que leciona. Fez então um questionário de
auto-aplicação para os alunos. Para estudar a confiabilidade pelo método da
divisão em metades, o diretor deve aplicar o questionário e depois dividir em
dois, com metade das questões em cada parte. Calcula, então, a correlação (que
deve ser alta) entre os pontos obtidos nas duas metades.
**************************
Alfa de Cronbach:
é uma medida da consistência interna de um questionário – um dos aspectos de
confiabilidade. Definitivamente, é a medida mais usada, não só por ser fácil de
calcular como também poder ser calculada mesmo quando se aplica o questionário
uma única vez. Mas nem sempre é bem entendida nem bem interpretada. Veja mais
sobre o alfa de Cronbach em outra postagem, deste mesmo blog.
