Saturday, March 08, 2025

Alfa de Cronbach: Medindo a Consistência Interna

 

Um instrumento de medida é considerado confiável quando produz resultados consistentes em medições repetidas. Confiabilidade é, portanto, o grau em que uma técnica de medição pode fornecer resultados estáveis e reproduzíveis ao longo do tempo.

A confiabilidade de um instrumento de medida pode ser analisada sob diferentes aspectos e, para cada um deles, existem estatísticas especificas para sua estimativa. Entre os principais aspectos avaliados estão:

Confiabilidade entre examinadores, que é o grau de concordância entre diferentes examinadores ao avaliarem o mesmo fenômeno, usando o mesmo instrumento de medida.

Confiabilidade do teste-reteste, que é a consistência das medições feitas com o mesmo instrumento de medida, em ocasiões diferentes.

Confiabilidade de formas paralelas, que é a consistência dos resultados obtidos a partir de dois instrumentos diferentes, mas construídos da mesma maneira.

Todas estas características dos sistemas de medição são abordadas na estatística aplicada à qualidade. Os termos usados em engenharia são diferentes, mas os conceitos são, basicamente, os mesmos. Nas ciências sociais, em que são amplamente empregados testes questionários, também se define:

Consistência interna de um questionário é o grau em que seus itens medem o mesmo conceito ou construto. A consistência interna é, portanto, uma das quatro classes de estimativas de confiabilidade, sendo específica para questionários. Por exemplo, se dez questões foram projetadas para medir o mesmo construto, o respondente deveria ter coerência nas respostas.

Para bem entender o que significa “medir um conceito ou construto”, imagine que pesquisadores querem medir a autoestima de idosos confinados em um asilo. Como autoestima é um conceito (não se mede com uma régua), os pesquisadores precisam desenvolver perguntas que meçam autoestima como, por exemplo:

    ✅   O senhor/a se sente satisfeito/a com a sua vida hoje?

    ✅    O senhor/a sente que tem valor, mesmo não podendo fazer o que fazia antes? 

    ✅  O senhor/a é respeitado/a pelas pessoas ao seu redor? 

    ✅   O senhor/a acha que sua vida é importante para alguém?

 O questionário é, portanto, uma série de perguntas, muitas vezes referidas como ítens, que mede o mesmo construto (no exemplo, autoestima), ou mede alguns construtos Assim, além de autoestima, o questionário  poderia buscar sonhos). Depois, é preciso associar, a cada pergunta, uma opção de resposta. As opções de resposta para cada item podem ser dicotômicas:


  🔲 Sim

              🔲 Não

           Ou como itens de Likert:

               🔲 Concordo plenamente 

🔲 Concordo 

🔲 Indeciso

🔲 Discordo

🔲 Discordo completamente


Depois de pronto, o questionário deve ser aplicado a um grupo de pessoas selecionadas conforme um critério específico, dos próprios pesquisadores. No caso do exemplo que apresentamos, de medir a autoestima de idosos residentes em um asilo, os pesquisadores poderiam selecionar  só de pessoas com 65 anos ou mais que escrevessem e lessem bem.

O coeficiente Alfa de Cronbach

Para medir a consistência interna de um teste ou escala, Lee J. Cronbach desenvolveu, em 1951, o coeficiente alfa, que se tornou a estatística mais utilizada para essa finalidade. Esse coeficiente é fácil de calcular e tem a vantagem de poder ser obtido mesmo quando o questionário é aplicado apenas uma vez. No entanto, sua interpretação pode ser inadequada se não for corretamente compreendida.

Para calcular o coeficiente alfa, todas as respostas devem ser transformadas em escores. Seja xi o escore do i-ésimo item para o j-ésimo respondente, com i=1, 2, ..., kiO coeficiente alfa é dado pela fórmula:

                                                


é o número de itens, n é o número de respondentes.

s2i   é a variância dos escores das pessoas a i-ésimo item (i = 1, ..., k),

s2soma é a variância dos totais Tj (j = 1, 2,...,n).de escores de cada respondente.

        As variâncias são calculadas pela fórmula:



Exemplo

A Tabela 1 apresenta um exemplo fictício dos resultados de um questionário com k=5 perguntas, com respostas dicotômicas (“Sim” ou “Não”). Para realizar o cálculo do coeficiente alfa, as respostas foram codificadas numericamente:

·  “Sim” = 1

·  “Não” = 0

O questionário foi respondido por n=10 pessoas.

Tabela 1

Resultados da aplicação de um questionário com cinco itens

(perguntas) a dez respondentes


    Com esses dados, foi possível calcular a variância das respostas dos respondentes em  cada item (no rodapé da tabela)e também a variância dos escores em todos os itens (na última coluna da tabela). O total dessa coluna dá a variância da soma. 

Tabela 2

Variâncias de cada respondente (rodapé) e de cada escore (coluna)


Número de itens = 5


Soma das variâncias dos itens                            

Variância dos totais dos escores de cada respondente

                                          s2soma=1,4333


Agora, é possível  obter o valor de alfa para os dados da Tabela 1:


                                              

    O coeficiente alfa é uma medida essencial para avaliar a consistência interna de questionários e escalas, garantindo que os itens realmente medem o mesmo construto. No entanto, valores muito altos podem indicar redundância entre os itens, exigindo uma análise cuidadosa da qualidade do instrumento de medida.


    A interpretação do coeficiente alfa de Cronbach é aparentemente intuitiva porque, na maior parte das vezes, os valores variam entre zero e 1. Entende-se então que a consistência interna de um questionário é tanto maior quanto mais perto de 1 estiver o valor da estatística. Há muita discussão sobre os valores aceitáveis de alfa: em geral, variam entre 0,70 a 0,95.

 

    A maneira prática de julgar o valor de alfa é comparar o valor calculado com o valor preconizado por diferentes autores em tabelas apresentadas na literatura.   A regra é imprecisa, mas serve como primeira aproximação, desde que se tenha a precaução de levar em conta as limitações dessa estatística. 


   É importante saber, ao julgar o valor calculado de alfa, que:

 

  O número de questões afeta o valor de alfa. Questionários muito longos aumentam o valor de alfa, sem que isso signifique aumento de consistência interna; um valor baixo de alfa pode significar apenas número pequeno de questões.

 

 A redundância, isto é, questões verbalizadas de forma diferente, mas praticamente iguais aumentam o valor de alfa.

 

 Correlações entre os itens do questionário aumentam o valor de alfa S e vários itens do questionário exibem correlações entre si, o valor de alfa aumenta. Como essas correlações são maiores quando os itens do questionário medem o mesmo construto, o pesquisador conclui que o questionário tem consistência interna, ou seja, o valor alto do coeficiente alfa de Cronbach estaria indicando o grau de em que os itens medem o mesmo construto. Mas é preciso cuidado: pode haver uma terceira variável afetando as respostas de dois itens. Uma boa discussão ajuda muito.

 

Para o exemplo dado, o valor do coeficiente alfa de Cronbach é a = 0,368. Se os dados fossem reais (e não criados apenas para mostrar como se fazem os cálculos), o valor de alfa poderia ser explicado pelo número pequeno de perguntas e de respondentes, mas também poderia indicar que os itens (perguntas) do questionário não estavam medindo o mesmo construto ou mesma dimensão (unidimensional). 

 

O coeficiente alfa de Cronbach pode ser calculado a partir de softwares estatísticos como SPSS (Statistical Software for Social Sciences) ou SAS (Statistical Analysis System). Os softwares fornecem análise descritiva inicial completa das respostas obtidas do questionário, bem como listagem completa da análise da confiabilidade.  


Referências

 

1. Wei Tang1 , Ying Cui2 , Oksana Babenko. Internal Consistency: Do We Really

 Know What It Is and How to Assess It? Journal of Psychology and

 Behavioral. Science June 2014,V ol. 2, No. 2, pp. 205-220.

2.  Web Center for Research Methods. Types of Reliability.  www.socialresearchmethods.net › ... › Reliability

3.  Cronbach L J. Coefficient Alpha and the internal structure of tests. Psychometrika 16:297-334, 1951.

4.  Maroco, J e Garcia-Marques, T Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas?

 http://repositorio.ispa.pt/bitstream/10400.12/133/1/LP%204(1)%20-%2065-90.pdf  Acesso 5 de junho de 2012.

5.  Gliem, Joseph A. Gliem, Rosemary R Cronbach’s Calculating, Interpreting, and Reporting Cronbach's Alpha ... Midwest Research to Practice Conference in Adult, Continuing, and Community Education 2003 www.ssnpstudents.com/wp/wp.../Gliem-Gliem.pdf

6. Tavakol, Mohsen et al. Editorial. Making sense of Cronbach's Alpha. InternationalInternational Journal of Medical Education. 2011; 2:53-55. 2011.www.ncbi.nlm.nih.gov › ... › PubMed Central (PMC)

7.  Ver critérios de inclusão e exclusão em:

 htpp://conselho.saude.gov.br.br/resolucoes/2012/Reso466. A

8.  Reliability and Item Analysis http://www.statsoft.com/textbook/reliability-and-item-analysis/

9.  Podem ser obtidos valores negativos para alfa.

10. SPSS FAQ: What does Cronbach's alpha mean http://www.ats.ucla.edu/stat/spss/faq/alpha.html. Acesso 7 de junho de 2012.

11.Tavakol, M e Dennick, R. Making sense of Cronbach’s alpha. International Journal of Medical Education2011; 2:53-55 Editorial. http://www.ijme.net/archive/2/cronbachs-alpha.pdf

12.  Cálculos podem ser feitos usando Excel. Veja: www.brunopedroso.com.br/cronbach.html. Disponível em 20 de fevereiro de 2012.

 

 









Toward the journey's end

 

    Each life is unique, and so is each death. We are distinct in both existence and departure. Different illnesses lead to different endings, yet even the same illness manifests uniquely in each individual. While many of us aspire to a "good death," it is improbable that we will pass away as we envisioned. Life rarely grants all our wishes, and an easy death is often among the unfulfilled. Ultimately, we cannot predict how our end will unfold. Even suicides do not always go as planned.

    Throughout life, we experience both joy and sorrow, but the process of dying is often marked solely by sadness. Death may or may not be preceded by prolonged suffering, making the hope for a painless passing an uncertain expectation rather than a guarantee. Even in sudden death, the realization of life's end brings not just pain and sorrow but also unresolved conflicts, unfulfilled promises, and lingering regrets. Most of all, it confronts us with the years that might have been but will never be.

    Perhaps a "good death" is possible, but the process of dying is rarely, if ever, good. The nature of our final illness shapes the atmosphere in which we take our leave. In the past, death was often a moment of communion with loved ones, a time for reflection, and, for many, a preparation for another life beyond this one. Today, fewer people seek solace in religion at the time of death. Nevertheless, some agnostics and even atheists find themselves drawn to faith when the end is near. The tragic hero Policarpo Quaresma, from Lima Barreto's novel, declared, "I will open the road to heaven even if it has to be with bullets." For many, the belief in an afterlife provides comfort. Pope John Paul II, sensing his time had come, said, "Let me go to the house of the Father."

    When facing death—our own or that of a loved one—we must recognize that not all circumstances allow for choices, even with the best medical knowledge available. We must permit those we love to die when their time arrives, without burdening ourselves with guilt for not prolonging life at any cost. Our existence is finite, and our departure is inevitable. Still, we hope to leave behind good memories and a meaningful legacy. Some find solace in knowing they have fulfilled their purpose. In this sense, dignity in death is not about the moment of dying but about the dignity with which life was lived.

    We must accept that our lifespan is limited for the survival of the species. We die so that others may live; our death is, paradoxically, a triumph of life's continuity. True dignity lies in facing death with altruism. Achieving this serenity is not easy, but our brief passage on Earth should be purposeful and fulfilling. As the Brazilian writer Guimarães Rosa observed, "Living is dangerous... because it is in learning to live that we truly experience life. A perilous crossing, but life’s crossing nonetheless."

    Philosopher Norberto Bobbio once reflected, "Before birth, I was not, and after death, I will not be... Will I?" The certainty of nonexistence is unknowable, but we do know that in death, we lose not only our physical form but also the life we have lived. Thus, the classic idea of dying with dignity may need reconsideration. Rather than seeking dignity at the moment of death, we should strive to embody it throughout our lives. Perhaps, as Nuland suggested, even our unrealized dreams can bring a form of contentment, for only those long dead have no more promises to keep or roads left to travel.

 

Monday, March 03, 2025

Not to be mentioned, mas impossible to keep quiet about

 

Fraud is as old as humankind. Whether it occurs in politics, business, or marriage, it often goes unnoticed compared to fraud in science. However, the underlying principle remains the same: to deceive others for personal gain. Until the mid-20th century, scientific fraud was virtually unheard of. Society viewed scientists as wise and honest individuals, dedicated solely to uncovering "the effective truth of things" through rational and competent analysis. However, scientific research, like any human endeavor, is susceptible to fraud, and scientists, professors, and researchers are not exempt from dishonesty.

But what exactly constitutes scientific fraud? According to the Dictionary of American History, "scientific fraud" refers to the intentional misrepresentation of methods, procedures, or results in scientific research. This includes plagiarism, fabrication, or falsification in proposing, conducting, reviewing, or reporting research findings.

Among the three main types of scientific fraud, plagiarism is perhaps the most prevalent today, made easier to detect with the advent of the internet. Plagiarism occurs when a researcher publishes another person's work under their own name. Traditional definitions of plagiarism do not typically include self-plagiarism—the republication of one's own work. However, self-plagiarism is still unethical, particularly when it infringes on a publisher’s rights.

Forgery, or data fabrication, occurs when a researcher presents fictitious data that were never collected or describes experiments that were never conducted. A less common but more extreme form of fabrication involves the creation of false physical evidence, such as manipulated photographs or images, to falsely claim a scientific discovery.

Falsification, also known as fudging or massaging data, involves the deliberate manipulation of research records, data, images, or statistics to support a desired conclusion. This is likely the most common form of fraudulent conduct in science.

How, then, can readers of scientific literature distinguish between honest experimental errors—an inherent part of inductive science—and intentional fraud? This is no easy task. Traditionally, errors are seen as part of the research process: they may arise from equipment limitations, observer bias, flawed experimental design, random variability, or simple human mistakes such as data entry errors.

Researchers working in unexplored fields are particularly prone to errors due to their unfamiliarity with the subject or an excess of passion (or vanity) that clouds their judgment. In most cases, these mistakes are genuine and unintended. However, some are committed deliberately—data are falsified or fabricated to create evidence that does not actually exist, all for the researcher’s benefit.

Some argue that science is becoming a cutthroat business, where accusations of fraudulent practices arise in the competitive pursuit of useful research findings, applications, and financial gain. Others insist that major scientific frauds are rare and that smaller infractions are just that—minor.

It is important to recognize that scientific fraud is not perpetrated by outsiders but by individuals embedded within research institutions, actively conducting investigations. Combating scientific fraud is crucial because academic credentials serve as the foundation for evaluating personnel for promotions, grants, financial support, and tenure. This issue therefore deserves greater research, discussion, and attention than it has received thus far.

This is not to suggest that science is experiencing an ethical crisis, but rather that the current academic system has weaknesses that need to be addressed. Ultimately, a well-informed scientific community is well-equipped to tackle these challenges. Nevertheless, fraud is bound to be uncovered sooner or later. As Francis Bacon wisely noted, "Truth is not the daughter of authority, but of time."

 

This article includes excerpts from a previously published work: Vieira, S. (2015). Not to be mentioned but impossible to keep quiet about. Journal of Scientific Research and Report. Available at http://sciencedomain.org/issue/1226

 

Friday, February 07, 2025

Erro médico: um problema de probabilidade

 

Recebi, de uma aluna, este bilhetinho: Tenho uma questão que não sei resolver. Pode me ajudar?


🔴QUESTÃO: Se cada um dos médicos que eu consulto tem uma probabilidade de 20% de acertar meu diagnóstico, quantos médicos eu precisarei consultar para assegurar que terei pelo menos 90% de probabilidade de ter um diagnóstico correto?

✅  RESPOSTA: Vamos calcular o número mínimo (n) de médicos necessários para garantir              90% de probabilidade de que pelo menos um deles acerte o diagnóstico. Veja:


      SOLUÇÃO: Você precisa consultar no mínimo 11 médicos para garantir pelo menos

               90%  de probabilidade de um deles acertar o diagnóstico.

O número dado como resposta parece absurdamente alto, mas o grau de acerto dos médicos foi estimado em 20%, extremamente baixo para situações normais.

Cabe colocar aqui o resumo de um interessante estudo, feito nos Estados Unidos da América e publicado em 2005, que identificou os principais fatores envolvidos nos erros de diagnósticos médicos e propôs uma forma de classificá-los1. Esse estudo investigou erros cometidos por internistas.


Nesse estudo, foram analisados 100 casos de erros de diagnóstico; 90 dos 100 casos resultaram em danos aos pacientes, incluindo 33 mortes. Os casos foram identificados por meio de discrepâncias em autópsias, atividades de controle de qualidade e relatos voluntários. Todos os casos foram reavaliados para identificar os fatores que levaram ao erro, fosse do sistema ou devido a fatores cognitivos, usando prontuários médicos e, quando possível, entrevistando os profissionais envolvidos. 

                                                       Classificação dos erros

🎯 Erro sem culpa (no fault): Erros inevitáveis devido a fatores externos, como doenças muito raras ou sintomas enganosos (7 casos).

🎯Fatores relacionados ao sistema: Problemas na estrutura organizacional, como políticas ineficientes, falhas na comunicação e falta de trabalho em equipe (presentes em 65% dos casos).

🎯 Fatores cognitivos: Erros no pensamento do médico, como interpretação equivocada de dados e uso inadequado de atalhos mentais (74% dos casos).

                                                         Fatores do sistema

🔺 Problemas com políticas e procedimentos.

🔺 Processos ineficientes.

🔺 Falta de trabalho em equipe e comunicação deficiente.

Fatores cognitivos

🔺 Síntese errada da informação (interpretação equivocada dos dados do paciente).

🔺 Fechamento prematuro (o erro mais comum): O médico chega a uma conclusão rapidamente e não considera outras hipóteses diagnósticas possíveis.

🔺 Geração falha de contexto: O médico não contextualiza corretamente as informações do paciente.

🔺 Erro na avaliação da importância dos achados clínicos.

🔺 Percepção falha: O médico interpreta erroneamente os sinais e sintomas.

🔺 Erros por heurísticas (atalhos mentais, ou seja, vieses cognitivos ou maneiras distorcidas de pensar, que levam a decisões erradas).

🔺 Falta de conhecimento foi um fator pouco frequente.

 

Erros de diagnóstico são explicados, segundo os autores, por uma combinação de problemas no sistema de saúde (de políticas ruins a comunicação falha) e erros de raciocínio dos médicos (como chegar a uma conclusão errada cedo demais).

Todos esses fatores teriam sido bem esquematizados no diagrama de Ishikawa, também conhecido como diagrama de espinha de peixe ou diagrama de causa e efeito, desenvolvido por Ishikawa, um engenheiro japonês, na década de 19603. Esse diagrama foi criado para identificar, organizar e analisar as possíveis causas de um problema ou defeito em um processo industrial. Mas qualquer problema, que precisa ter identificadas suas causas, pode ser estudado por um diagrama de Ishikawa. O nome diagrama de espinha de peixe tem sua explicação na aparência da figura abaixo, que ilustra bem como usar o diagrama2.

no caso de erro de diagnóstico médico, você pode pensar que mão de obra significa o médico e toda a equipe, de colegas a pessoal auxiliar, como secretários e enfermeiros. Material significa todo o instrumental médico; métodos vão desde os protocolos de atendimento até o treinamento contínuo; máquinas são equipes competentes nos laboratórios e na radiologia; medidas, significam especialmente a política reinante no ambiente; meio ambiente vão de salas de espera, consultórios, banheiros. Enfim, há muito mais no que pensar, como você bem sabe.  

Referências