Testes diagnósticos: sensibilidade e especificidade

      

São feitos diagnósticos na área de saúde para estabelecer se o paciente tem ou não determinada doença. Também são feitos diagnósticos na área de engenharia para determinar, por exemplo, se os itens produzidos estão conformes ou não conformes.

Para se chegar a um diagnóstico, é usual proceder a um teste. Esses testes são seguros, o que não significa dizer que nunca chegam a resultado errado. Vamos mostrar aqui como são calculadas as probabilidades  de testes diagnósticos chegarem a resultados certos e a resultados errados.

  Se um médico suspeita que seu paciente esteja infectado por HIV, pede um exame de laboratório. O resultado pode ser “positivo” ou “negativo”. Qualquer que seja o resultado, é preciso considerar a possibilidade de o teste ter dado resultado errado. Veja o esquema abaixo, onde acertos estão em verde e erros estão em laranja:

        O resultado de um teste diagnóstico pode ser:

             Verdadeiro positivo se detectou a doença em quem tem a doença.

             Falso negativo se não detectou a doença em quem tem a doença.

             Verdadeiro negativo se não detectou doença em quem não tem.

             Falso positivo se detectou a doença em quem não tem a doença.

            Para estimar a probabilidade de ocorrer falsos positivos ou falsos negativos em testes diagnósticos, são feitos grandes levantamentos de dados. Os resultados para um teste diagnóstico dicotômico (que só pode resultar em positivo ou negativo) são apresentados em uma tabela de contingência:

·    Colocamos nas linhas o resultado do teste (positivo ou negativo). 

·    Colocamos nas colunas o fato de a doença estar ou não presente .

     Se n₁ doentes forem voluntariamente submetidos ao teste, teremos:

•       VP verdadeiros positivos
•      FN falsos negativos.

        Se n₂ voluntários sadios forem submetidos ao teste, teremos:

•      VN verdadeiros negativos 
•      FP falsos positivos.

                                                  Tabela 1

 Resultados do teste diagnóstico

                  O teste tem sensibilidade (S) se detecta a doença em doentes:

                                        

        O teste tem especificidade (E) se resulta negativo em quem não tem a doença:

***********************************************

                                                  
                                                Exemplo 1

Considere que um teste diagnóstico X para detectar a doença Y foi aplicado em 1000 pessoas: 400 tinham a doença Y e 600 não tinham a doença Y. Os resultados do teste estão apresentados na Tabela 2.

                                                 Tabela 2

Resultados do teste diagnóstico 

O teste é sensível, porque detectou a doença em 95% dos casos. Então, a probabilidade de resultado positivo quando a pessoa tem a doença é alta.

O teste não é específico, porque acertou que a pessoa não tem a doença em apenas 60% dos casos. Então, a probabilidade de dar negativo em pessoas que não tem a doença é relativamente baixa.

                            **********************************************

                                              Exemplo 2

Foi feito um teste diagnóstico Z em 1200 pessoas: 500 tinham a doença para a qual o teste foi proposto e 700 não tinham a doença. Os resultados do teste estão na Tabela 3.

                                              Tabela 3

 Resultados do teste diagnóstico 

O teste não é sensível porque detectou a doença em apenas 64% dos doentes, ou seja, a probabilidade de resultado positivo em pessoa que tem a doença é baixa.

O teste é específico porque acertou que a pessoa não tem a doença 90% vezes, ou seja, a probabilidade de resultado negativo em pessoas que não têm a doença é alta.

                     **********************************************

Qual é o problema com os testes sensíveis?

   O número de falsos positivos é alto. Então muitas pessoas que não têm a doença são diagnosticadas como tendo a doença. Mas se a doença não pode ser negligenciada, escolha um teste sensível. 

Qual é o problema com os testes específicos?

   O número de falsos negativos é alto. Então muitas pessoas que têm a doença são diagnosticadas como não tendo a doença. Se o diagnóstico da doença pode ser traumático, escolha um teste específico porque, se a pessoa não tem a doença, o teste indica isso com alta probabilidade. 

Sinais e sintomas

   As definições de sensibilidade e especificidade também se aplicam aos sintomas e sinais. Assim:

·      Se o sintoma ou sinal é altamente sensível, aparece em quase todos os doentes.

·     Se o sintoma ou sinal é altamente específico, a ausência dele exclui a possibilidade de o indivíduo ter a doença.

                                        Acurácia

   Acurácia é a probabilidade de o teste dar resultado correto (positivo ou negativo).

                                   

    A acurácia pode parecer uma propriedade adequada para julgar um exame para diagnóstico, mas não é.  Como é a proporção dos resultados corretos na amostra, tanto positivos como negativos, se o valor da acurácia for alto não se sabe se o exame tem maior probabilidade de detectar verdadeiros positivos ou de detectar verdadeiros negativos.

                                            Literatura

      
     Todo este texto tem como base:

                   Motulsky, H. Intuitive Biostatistics. Nova York. Oxford University Press, 1995, p: 129-135.

                  Vieira, S. Bioestatística: tópicos avançados. Rio de Janeiro. Elsevier. 4 ed. 2018.  

Sham comparator arm (braço comparador simulado)

Braço comparador simulado do ensaio (sham comparator arm) é o grupo de participantes da pesquisa submetido a procedimentos ou dispositivos feitos de tal maneira que não podem ser distinguidos dos procedimentos ou dispositivos que estão sendo estudados, mas não contém seus elementos ativos ¹.

              *******************************

EXEMPLO

Foi conduzido um ensaio ² para testar a hipótese de que a expressão emocional por escrito de experiências estressantes do passado produz benefícios tanto de natureza psicológica como física. Os voluntários foram recrutados na comunidade em que foi realizada a pesquisa por meio de avisos em jornais, em clínicas e em hospitais. O critério de inclusão era o diagnóstico confirmado de asma ou artrite reumatoide. Foram excluídos da pesquisa pacientes psiquiátricos, pacientes em psicoterapia, pacientes que estivessem usando medicação que pudesse interferir no prognóstico da doença, pacientes que estivessem usando mais de 10 mg de prednisona por dia e pacientes impossibilitados de cumprir o protocolo.

Participaram do ensaio 58 pacientes com asma e 48 com artrite reumatoide. Os voluntários de cada um desses grupos foram designados ao acaso para um de dois braços do ensaio: o experimental e o simulado. Os participantes dos dois grupos foram convidados a escrever durante 20 minutos e por três dias consecutivos, em uma sala do departamento em que se realizou a pesquisa. A diferença estava no assunto sobre o qual deveriam escrever. Os pesquisadores pediram aos participantes do braço experimental que escrevessem sobre fatos estressantes do passado e aos participantes do braço simulado que escrevessem sobre seu dia a dia. Os participantes não se encontravam em salas de espera ou em corredores e todos sabiam que estavam participando de uma pesquisa para estudar a experiência com o estresse devido à doença. Os pesquisadores verificaram que os voluntários que haviam escrito sobre episódios estressantes do passado apresentavam melhoras significativas.

            *******************************

  Um braço comparador simulado em ensaio clínico é especialmente atraente nos casos em que o risco é baixo e o desfecho é subjetivo. No entanto, ensaios clínicos com braço simulado – embora constituam opção possível – são raros³. Na área de cirurgia, não existe nada que se assemelhe à ideia de placebo. Então, para testar o efeito de uma cirurgia experimental, o grupo controle é, em geral, submetido à cirurgia convencional ou é tratado clinicamente. As cirurgias simuladas são raras, mas há registros na literatura recente.

                                      Referências

[1] Glossary of Common Site Terms. http://clinicaltrials.gov/ct2/about-studies/glossary. Acesso em  10 de junho de 2014.

 2 Smyth, J.M; Stone, A. A.; Hurewitz, A.; Kaell, A. Effects of Writing About Stressful Experiences on Symptom Reduction in Patients With Asthma or Rheumatoid Arthritis: : A Randomized Trial.JAMA. 1999; 281(14):1304-1309.

 ³ E. Rand Sutherland "Sham Procedure versus Usual Care as the Control in Clinical Trials of Devices", Proceedings of the American Thoracic Society, Vol. 4, No. 7 (2007), pp. 574-576. 

Probabilidade: vamos resolver exercícios?

            

Variância de uma soma de variáveis aleatórias independentes: exemplo

         

No processo de extração do ouro, o minério é separado em duas partes: concentrado e rejeito. Portanto, de certa quantidade M de minério são obtidas uma quantidade C de concentrado e uma quantidade R de rejeito. Podemos escrever:

M = C + R

São feitas determinações do teor de ouro, tanto no minério como no concentrado. É possível, a partir das variâncias das determinações do teor de ouro no minério e no concentrado, obter a variância do teor de ouro no rejeito? Para responder à questão: seja m o teor de ouro no minério, c o teor de ouro no concentrado e r o teor de ouro no rejeito. Então a quantidade Mm de ouro no minério é dividida em duas partes, isto é,

Mm = C c + R r

Segue-se daí que 

   Como R = M – C, tem-se que 

É razoável considerar que os erros de medida das quantidades M e C são desprezíveis em relação aos erros de medida dos teores de ouro. Desprezando as variâncias de M e C e pressupondo que m e c são variáveis independentes, podemos obter a variância do teor de ouro no rejeito: 

Veja mais em

Vieira, S. Estatística para a Qualidade. Rio de Janeiro, 3 ed. Elsevier. 2014.

Riscos e estatísticos

Estatística é a ciência que fornece os princípios e a metodologia para coleta, organização e análise de dados. Por conta disso, os pesquisadores das mais diferentes áreas buscam, uma vez ou outra, um consultor (a) de estatística. Mas o consultor de estatística deve ter, além de conhecimento na área, habilidade para estabelecer bom relacionamento com os profissionais que o procuram. é um risco, de parte a parte.

          Muitos anos de atividade como consultora de estatística me convenceram de que é raro reunir, numa única entrevista, um problema interessante para o consultor, um pesquisador inteligente e disposto a estudar e uma situação favorável de trabalho. Mas quando essas três condições estão ausentes, fica difícil lidar com a situação. Um constante alerta para as questões de ética talvez seja a melhor defesa contra os reveses que podem ocorrer. E são muitos os meandros da consultoria estatística que trazem, em seu bojo, a possibilidade de frustração e sensação de derrota.

          Alguns percalços, porém, têm alto risco. Existem pesquisadores que esperam demais do consultor de estatística: querem que o consultor se entusiasme pelo trabalho deles, repita explicações várias vezes porque eles “não são bons na matemática”, tenha tempo sempre que eles precisarem e redija os resultados, além de se responsabilizar pelas conclusões. 

         Também é comum que um pesquisador apresente o trabalho feito pelo estatístico como sendo seu, sem sequer referenciar o nome do profissional que consultou. É fácil medir o risco: basta olhar algumas revistas especializadas e procurar pelos artigos que expõem análises estatísticas sofisticadas. Grande parte desses artigos não dá o nome de quem fez a análise, o nome do programa de computador utilizado ou o título de um livro didático que exponha a técnica utilizada. Quando perguntados sobre o autor das análises estatísticas, os autores alegam que o serviço de estatística foi pago – e esquecem que eles também são pagos para trabalhar.

         Não é claro, porém, quando o estatístico deva ser co-autor do trabalho. Há exageros dos dois lados. Alguns estatísticos exigem co-autoria de trabalhos em que somente calcularam médias e desvios padrões e desenharam gráficos. Isso é inaceitável porque, em tais casos, o trabalho do estatístico é de consultor. Outras vezes, o nome do estatístico não é sequer citado em trabalhos que exibem, por exemplo, o ajuste de uma função logística passo a passo para dados de resposta quântica, com testes e intervalos de confiança.

          Entretanto, a melhoria do status profissional do estatístico nas áreas da saúde depende tanto de o estatístico aprender a dar consultoria como de o pesquisador aprender metodologia científica. Os estatísticos começam a dar consultoria sem qualquer tipo de treinamento. No curso de Estatística, o aluno não aprende metodologia científica nem discute consultoria. Interage pouco com profissionais de outras áreas. O enfoque é a teoria. Já os profissionais das áreas da saúde tiveram aulas de Bioestatística, mas no início do curso, em salas superlotadas. O professor, que sente o desinteresse dos alunos, muitas vezes ensina apenas a usar um programa de computador e não ensina que a Estatística dá suporte à pesquisa científica.

         De qualquer modo, a quantidade de atenção dada pelo consultor de estatística ao pesquisador depende de diversos fatores, tais como competência profissional do consultor, propostas alternativas de trabalho, conhecimento do pesquisador sobre estatística, status profissional do pesquisador, política do ambiente de trabalho, simpatia e sentimentos pessoais. A ideia de que a interação pessoal não ocorre em ciência e que o consultor é um indivíduo calmo e reservado não confere com a realidade. A consultoria estatística é um caos: trabalha-se sob a pressão de tempo, da falta de verba, da política do ambiente de trabalho e da discriminação profissional. Da discriminação profissional sim – porque há pesquisadores que ainda pensam que o estatístico é mero acessório de computador.

Teorema da multiplicação de probabilidades ou a regra do e

Para bem entender o teorema da multiplicação de probabilidades, ajuda pensar o teorema dividido em duas regras: a regra nº 1, para a multiplicação de eventos independentes e a regra nº 2, para a multiplicação de eventos dependentes. Vamos começar pela “regra número 1”.

Eventos independentes

Dois eventos, A e B, são independentes se a ocorrência de um deles (A ou B) não tem efeito sobre a ocorrência do outro (B ou A).

Exemplo

Quando se lançam dois dados, o resultado em um dos dados não tem qualquer efeito sobre o resultado que ocorre no outro dado. Dizemos então que os eventos são independentes.

Na vida real encontramos muitos exemplos de eventos independentes. Por exemplo, “chover hoje” e “ser feriado amanhã” são eventos independentes porque o fato de “chover hoje” não muda a possibilidade de “ser feriado amanhã”, nem o fato de “ser feriado amanhã” muda a possibilidade de “chover hoje”. Na área de saúde, existem vários exemplos de eventos independentes: o fato de uma pessoa ser míope não afeta a probabilidade de ter cárie dentária; a profissão não afeta a probabilidade de uma pessoa ter cálculos renais; o estado civil do cidadão não modifica a probabilidade de ser calvo.

Regra 1 da multiplicação (para eventos independentes)

Se A e B são eventos independentes, a probabilidade de ocorrer A e B é dada pela probabilidade de ocorrer A, multiplicada pela probabilidade de ocorrer B. Escreve-se: 

Exemplo

Você lança dois dados ao mesmo tempo: um é vermelho e o outro é amarelo. Qual é a probabilidade de ocorrer a face 3 no dado amarelo e a face 5 no dado vermelho? Usando a regra 1 da multiplicação, você calcula a probabilidade de ocorrer face 3 no dado amarelo e face 5 no dado vermelho. Depois, multiplica essas probabilidades.

Eventos dependentes

Se a ocorrência do evento A modifica a probabilidade de ocorrência do evento B, dizemos que esses dois eventos, A e B, são dependentes.

Exemplo

Há seis meias em uma gaveta: três vermelhas e três azuis. Você quer um par de meias vermelhas. Sem olhar, você retira uma meia da gaveta. É vermelha. Sem recolocar essa meia de volta na gaveta, você retira uma segunda meia. Nesta segunda retirada, a probabilidade de a segunda meia ser vermelha é menor. Por quê?


      Na 1ª retirada você tinha três meias vermelhas em seis, ou seja, metade das meias era vermelha. Na 2ª retirada você tinha duas meias  vermelhas em cinco, ou seja, menos da metade das meias eram vermelhas. A probabilidade de sair meia vermelha na primeira retirada modifica a probabilidade de sair meia vermelha na segunda retirada. Dizemos então que esses eventos são dependentes.

Na vida real é comum nos depararmos com exemplos de eventos dependentes, ou seja, de eventos que embora não constituam, necessariamente, a “causa” de outros, aumentam a probabilidade desses outros eventos acontecerem. Por exemplo, o hábito de fumar aumenta a probabilidade de a pessoa ter câncer de pulmão; o motorista alcoolizado tem maior probabilidade de provocar acidente de trânsito; a criança imunizada para determinada doença tem menor probabilidade de ter essa doença.

Probabilidade condicional

Probabilidade condicional de B dado A é a probabilidade de ocorrer o evento B sob a condição de o evento A ter ocorrido. Indica-se por P(B|A), que se lê “probabilidade de B dado A”.

Exemplo

Há seis meias na gaveta: três vermelhas e três azuis. Você quer um par de meias vermelhas. Sem olhar, retira uma meia da gaveta e, sem recolocar essa meia na gaveta, retira outra. Qual é a probabilidade de ambas serem vermelhas?

Você tem aí uma probabilidade condicional: probabilidade de segunda meia vermelha dado primeira meia vermelha. Em outras palavras, foi calculada a probabilidade de sair uma segunda meia vermelha sob a condição de a primeira meia retirada ser vermelha.

Toda vez que calcularmos a probabilidade condicional de B dado A, devemos lembrar que o espaço amostral fica reduzido – a condição de o evento A ter ocorrido diminui o espaço amostral para a ocorrência do evento B .

Exemplo

Um dado foi lançado. 1) Qual é a probabilidade de ocorrer número 5? 2) Qual é a probabilidade de ocorrer número 5, dado que ocorreu número ímpar? 

Para responder a primeira questão, você tem seis eventos no espaço amostral e apenas um deles é de interesse. Para responder a segunda questão, você tem três eventos no espaço amostral e, também, apenas um deles é de interesse. Então

                         
                             Regra 2 da multiplicação (para eventos dependentes)

Se A e B são eventos dependentes, a probabilidade de ocorrer A e B é dada pela probabilidade de ocorrer A multiplicada pela probabilidade de ocorrer B dado que A ocorreu (esta probabilidade é condicional). Escreve-se: 

Exemplo

Cinco bolas que se distinguem apenas pela cor são colocadas dentro de um chapéu e perfeitamente misturadas. Três dessas bolas são azuis e duas são vermelhas. Retiram-se duas bolas ao acaso do chapéu, sem olhar, uma em seguida da outra e sem que a primeira tenha sido recolocada. Qual é a probabilidade de que as duas sejam vermelhas?

O chapéu contém cinco bolas: duas são vermelhas. Então a probabilidade de a primeira bola retirada ser vermelha é

Como a bola retirada não foi recolocada, restam quatro bolas no chapéu.  Se a primeira bola retirada era vermelha, das quatro bolas que ficaram no chapéu apenas uma é vermelha. A probabilidade (condicional) de a segunda bola retirada ser vermelha é:

A probabilidade de as duas bolas retiradas serem vermelhas é dada pelo produto:

                       Condição de independência

Dois eventos são independentes se a probabilidade de que ocorram juntos é igual ao produto das probabilidades de que ocorram em separado, uma vez que a ocorrência de um deles em nada ajuda a ocorrência do outro.

Exemplo

A questão da independência é bem ilustrada pelo jogo de uma moeda duas vezes: o resultado do primeiro lançamento não influi no resultado do segundo lançamento. Os dois eventos são independentes.

Veja probabilidade em:

                       Vieira, S. Introdução à Bioestatística. Rio de Janeiro. Elsevier.
                        Vieira, S. Estatística para a Qualidade. Rio de Janeiro. Elsevier.