A confiabilidade
de um instrumento de medida tem diferentes aspectos. Existem, pois, diferentes
estatísticas para estimar confiabilidade, cada qual avaliando um aspecto da
conformidade do instrumento. Podem ser avaliadas:
· A confiabilidade
entre examinadores, ou seja, o grau com que diferentes examinadores vêem o
mesmo fenômeno, usando o mesmo instrumento.
· A confiabilidade
do teste-reteste, isto é, a consistência das medidas feitas com o mesmo
instrumento de medida, em ocasiões diferentes.
· A confiabilidade
de forma paralela, que é a consistência dos resultados de dois instrumentos
diferentes, mas construídos da mesma maneira.
Todas estas características dos sistemas de medição
são estudadas em estatística para qualidade. Os nomes usados em engenharia são
diferentes, mas, basicamente, os conceitos são os mesmos. Nas áreas de ciências
sociais, em que são feitos testes e questionários, também se define:
·
Consistência
interna de um teste ou um questionário é
a extensão em que os itens que o compõem medem o mesmo conceito ou construto. Por
exemplo, se dez questões foram projetadas para medir o mesmo construto, o
respondente deveria ter coerência nas respostas. A consistência interna é,
portanto, uma das quatro classes de estimativas de confiabilidade, sendo
específica para testes e questionários.
Para medir a consistência interna de um teste ou uma escala, Lee J. Cronbach desenvolveu em 1951 o coeficiente alfa, que hoje é a estatística mais usada para medir a consistência de um questionário.É fácil calcular esse coeficiente e essa estatística ainda tem a vantagem de poder ser calculada mesmo quando o questionário é aplicado uma única vez. No entanto, o coeficiente alfa nem sempre é bem interpretado.
Vamos lembrar um
pouco do vocabulário da área. Todo questionário é constituído por várias perguntas,
que aqui serão chamadas de itens. Depois de pronto, o questionário deve ser
entregue para um grupo de pessoas selecionadas de acordo com determinado
critério, para que o respondam e devolvam ao pesquisador.
As opções de
resposta para cada item podem ser dicotômicas como “Sim” e “Não” ou escalonadas
como “Concordo plenamente”, “Concordo”, “Não concordo nem discordo”, “Discordo”,
“Discordo completamente”. De qualquer forma, para o cálculo do coeficiente
alfa, toda resposta deve ser transformada em escores.
Seja xij
o i-ésimo escore do j-ésimo respondente, i = 1, 2,..,k, e j = 1, 2,...,n. Considere um questionário com k itens, respondido por n pessoas. Para calcular o coeficiente
alfa de Cronbach, aplica-se a fórmula:
k é o número de itens, n é o número de respondentes.
s2i é a variância dos n escores
das pessoas a i-ésimo item (i = 1, ..., k),
s2soma
é a variância dos totais Tj (j = 1, 2,...,n).de escores de cada respondente.
As variâncias são calculadas pela fórmula:
EXEMPLO
A Tabela 1 apresenta um exemplo fictício de resultados de um questionário. Eram k = 5 perguntas, que só podiam ser
respondidas como “Sim” ou “Não”. As respostas configuram uma variável dicotômica
que precisa ser transformada em número. Então “Sim” ficou sendo 1 e “Não” ficou
sendo zero. Responderam o questionário n
= 10 pessoas.
Tabela 1- Resultados da aplicação de um
questionário com
cinco itens e
dez respondentes
Para obter alfa, é preciso calcular as variâncias
que estão apresentadas no rodapé da Tabela 2. Use, para fazer esses cálculos, o
Excel.
Tabela 2- Variâncias usadas na fórmula de alfa
Número de itens = 5
Soma das variâncias dos itens = 0,1000 + 0,1778
+0,2667 + 0,2333 + 0,2333 = 1,0111
Variância dos totais dos escores de cada
respondente =1,4333
A interpretação do coeficiente alfa de Cronbach é aparentemente
intuitiva porque, na maior parte das vezes, os valores variam entre zero e 1.
Entende-se então que a consistência interna de um questionário é tanto maior
quanto mais perto de 1 estiver o valor da estatística. Há muita discussão sobre
os valores aceitáveis de alfa: em geral, variam entre 0,70 a 0,95.
A maneira prática de julgar o valor de alfa é comparar o valor calculado
com o valor preconizado por diferentes autores em tabelas apresentadas na
literatura. A regra é imprecisa, mas serve como primeira
aproximação, desde que se tenha a precaução de levar em conta as limitações
dessa estatística. Veja a Tabela 3.
É importante saber, ao julgar o valor calculado de alfa, que:
·
O número de questões afeta o valor de alfa.
Questionários muito longos aumentam o valor de alfa, sem que isso signifique
aumento de consistência interna; um valor baixo de alfa pode significar apenas
número pequeno de questões.
·
A redundância, isto é, questões verbalizadas
de forma diferente, mas praticamente iguais aumentam o valor de alfa.
·
Correlações entre os
itens do questionário aumentam o
valor de alfa Se vários itens do
questionário exibem correlações entre si, o valor de alfa aumenta. Como essas correlações
são maiores quando os itens do questionário medem o mesmo construto, o
pesquisador conclui que o questionário tem consistência interna, ou seja, o
valor alto do coeficiente alfa de Cronbach estaria indicando o grau de em que
os itens medem o mesmo construto. Mas é preciso cuidado: pode haver uma
terceira variável afetando as respostas de dois itens. Uma boa discussão ajuda
muito.
Para o exemplo dado, o valor do coeficiente alfa de
Cronbach é a = 0,36. Se os dados fossem reais (e não criados
apenas para mostrar com se fazem os cálculos), o valor de alfa poderia ser
explicado pelo número pequeno de perguntas e de respondentes, mas também
poderia indicar que os itens (perguntas) do questionário não estavam medindo o
mesmo construto ou mesma dimensão (unidimensional).
O coeficiente alfa
de Cronbach pode ser calculado a partir de programas estatísticos como SPSS (Statistical Software for Social Sciences)
ou SAS (Statistical Analysis System).
Esses programas fornecem análise descritiva inicial completa das respostas obtidas
do questionário, bem como listagem completa da análise da confiabilidade. O coeficiente alfa de Cronbach pode ser
calculado por outros programas.
Referências
1. Wei Tang1 , Ying Cui2 , Oksana Babenko. Internal Consistency: Do We Really Know
What It Is and How to Assess It? Journal of Psychology and Behavioral Science June 2014,
Vol. 2, No. 2, pp. 205-220.
2. Web Center for Research Methods. Types of Reliability.www.socialresearchmethods.net
› ... › Reliability
3.
Cronbach L J. Coefficient Alpha and the internal structure of tests. Psychometrika 16:297-334, 1951.
4. Maroco, J e Garcia-Marques, T Qual a fiabilidade do
alfa de Cronbach? Questões antigas e soluções modernas? http://repositorio.ispa.pt/bitstream/10400.12/133/1/LP%204(1)%20-%2065-90.pdf
Acesso 5 de junho de 2012.
5. Gliem, Joseph A. Gliem, Rosemary R Cronbach’s Calculating,
Interpreting, and Reporting Cronbach's Alpha ...
Midwest Research to Practice Conference in Adult, Continuing, and Community
Education 2003 www.ssnpstudents.com/wp/wp.../Gliem-Gliem.pdf
6. Tavakol, Mohsen et al. Editorial.
Making sense of Cronbach's
Alpha. InternationalInternational Journal of Medical Education. 2011; 2:53-55. 2011.www.ncbi.nlm.nih.gov
› ... › PubMed Central (PMC)
7. Ver critérios de inclusão e exclusão em: htpp://conselho.saude.gov.br.br/resolucoes/2012/Reso466. A
8. Reliability and Item Analysis http://www.statsoft.com/textbook/reliability-and-item-analysis/
9. Podem ser obtidos valores negativos para alfa.
10.SPSS FAQ:What does Cronbach's alpha mean? http://www.ats.ucla.edu/stat/spss/faq/alpha.html. Acesso
7 de junho de 2012.
11.Tavakol, M e Dennick, R. Making sense of Cronbach’s alpha. International Journal of Medical Education.
2011; 2:53-55 Editorial. http://www.ijme.net/archive/2/cronbachs-alpha.pdf
12. Cálculos podem ser feitos usando Excel. Veja: www.brunopedroso.com.br/cronbach.html.
Disponível em 20 de fevereiro de 2012.
