OUTLIERS: métodos para identificar valores discrepantes

                                                       

Imagine que você, estatístico, recebeu uma amostra de dados com a pergunta: “devo eliminar os outliers da amostra?” Veja os dados:

                                                15 90 198 164 103 490 39 190 22 30

Comece calculando algumas estatísticas descritivas:

Agora você pode verificar, por critério estatístico, se no conjunto de dados que lhe foi fornecido há um outlier. O que é um outlier?

Um outlier (valor discrepante) em estatística é um valor muito maior ou muito menor do que os demais dados do um conjunto.

Existem vários métodos para identificar discrepâncias. Veja aqui:

🔹 Método da padronização da variável

🔹 Cálculo da distância interquartílica (DIQ)

🔹 Teste de Grubbs

🔹 Métodos gráficos

        🎯1.  Método da padronização da variável

   Se for possível pressupor que a distribuição da variável é normal ou, pelo menos,  aproximadamente normal, cerca de 70% dos dados estarão dentro de um desvio padrão da  média, cerca de 95% estarão dentro de dois desvios padrão e cerca de 99% estarão dentro de três desvios padrão. O desvio padrão representa o desvio típico das observações da média. 

      Para padronizar uma variável Y, subtraia de seu valor a média amostral (ȳ) e divida o resultado pelo desvio padrão da amostra (s), para obter: Valores de ǀ Z ǀ > 3 são considerados outliers.

Valores de ǀ Z ǀ > 3 são considerados outliers.

Para os dados da amostra, identifique o valor extremo, que é 490. Calcule z = 2,72. Como z = 2,72<3, o valor 490 não é considerado outlier pelo método de padronização da variável.          

      🎯 2.  Método da distância interquartílica

Para calcular a distância interquartílica, não é necessário fazer qualquer pressuposição a respeito da distribuição da variável. Mas é preciso calcular o primeiro quartil Q_{1 (}25% dos dados estão abaixo desse valor), o terceiro quartil Q₃ (75% dos dados estão abaixo desse valor) e a distância interquartílica (DIQ):

    Defina os limites:

O critério é considerar qualquer valor fora desses limites um outlier.

Para os dados da amostra, o limite inferior é −210 e o limite superior é 430. Analisando os dados, apenas o valor 490 está acima do limite superior. Então 490 é considerado outlier pelo método da distância interquartílica.

🎯 3.   Teste de Grubbs

O teste de Grubbs é utilizado para estabelecer se o valor mais extremo de um conjunto de dados univariados com distribuição normal é um outlier. É preciso, para proceder a um teste estatístico, fazer as hipóteses e estabelecer o nível de significância. Então:

· Hipótese nula (H₀​): Não há outliers no conjunto de dados.

· Hipótese alternativa (H₁​): Existe pelo menos um outlier no conjunto de dados.

  Nível de significância:  α = 5%.

Agora, calcule a estatística G, definida por 

em que

y: valor extremo, que se presume outlier (máximo ou mínimo).

ȳ: média do conjunto de dados.

s: desvio padrão do conjunto de dados.

Compare a estatística G calculada com o limite crítico, que depende do número de observações (n) e do nível de significância (α). O limite crítico pode ser encontrado na internet. Se G exceder o limite crítico, rejeite H₀ e o valor extremo é considerado um outlier. 

Você também pode fazer o teste de Grubs usando o Excel. 

https://statorials.org/pt/teste-grubs-excel/

                           🌀 Vantagens e limitações do teste de Grubbs

🔹Vantagens: é fácil de aplicar e muito eficiente para pequenas amostras.

🔹Desvantagens: Requer que os dados sigam uma distribuição normal. Não é recomendado para grandes amostras ou para identificar muitos outliers, de uma só vez.

🌀 Importante

Pode parecer, à primeira vista, que o teste de Grubbs é igual ao método da padronização da variável. Não é. O limite crítico é calculado a partir da distribuição t de Student, para um nível de significância escolhido (α) e para o número de graus de liberdade do desvio padrão.

 

Remoção iterativa (opcional): O outlier identificado pode ser removido, e o teste pode ser aplicado novamente para verificar se outros valores são outliers.

🎯 4.   Métodos gráficos

Os métodos gráficos utilizam mais a percepção do pesquisador do que um critério estatístico numérico. Mas você pode desenhar um gráfico de pontos, um boxplot, um histograma. Ao observar qualquer um deles, todos eles, a percepção do pesquisador será, provavelmente, a de que o valor 490 é um outlier.

❗ Observação

Vamos voltar à pergunta inicial: você, estatístico, recebeu uma amostra de dados com a pergunta: “devo eliminar os outliers da amostra?” Se você for consultor, ou mesmo fizer parte, como estatístico, de uma equipe de pesquisadores de áreas técnicas ou científicas, não é sua atribuição resolver por estatística se um dado deve ser descartado.

Para o estatístico, o objetivo da análise de outliers é apontar valores que se desviam significativamente do padrão da distribuição ou do conjunto de dados. Em análise estatística, outliers podem ser excluídos sob justificativas claras, como erros de medição, erros de registro ou falhas nos instrumentos de medição. Mas o conhecimento da variação natural da variável é de competência do especialista na área.

APRENDA ESTATÍSTICA

🔔  "O mundo está gerando uma quantidade crescente de dados a uma velocidade cada vez maior. No entanto, como observou o New York Times, 'dados são apenas a matéria-prima do conhecimento'. A estatística é a ferramenta mais poderosa para transformar essas informações em insights valiosos, seja para identificar jogadores de futebol subestimados ou para promover uma remuneração mais justa aos professores."

                                                                                                        Charles Wheelan

A palavra Estatística está associada à ideia de "coleção de números". No entanto, não se coletam números apenas para armazená-los: eles são utilizados para a tomada racional de decisões. Não é, porém, "torturando" os números que se obtêm respostas confiáveis. É necessário "dialogar" com eles, analisando-os cuidadosamente para deles tirar conclusões fundamentadas.

Artistas e produtores de rádio e televisão monitoram estatísticas de audiência com atenção redobrada. Quando um programa alcança o "horário nobre" — período em que os números indicam maior quantidade de espectadores —, o preço da propaganda aumenta. Consequentemente, também sobem os salários de artistas e produtores. Mas se o programa perde popularidade, ele pode ser retirado do ar.

A Polícia Rodoviária monitora estatísticas de trânsito, fundamentais para organizar o policiamento. Mas não basta contar o número de mortos e feridos; é necessário estruturar os dados de forma a identificar em quais pontos, dias ou épocas do ano os acidentes ocorrem com maior frequência. Com base nessas análises, tomam-se decisões estratégicas, como instalar radares nos trechos das estradas com maior índice de acidentes destacar mais policiais para as áreas consideradas de risco, nos horários de pico e em dias de trânsito intenso.

As estatísticas de exames vestibulares também geram muita especulação. Contudo, para o jovem que deseja ingressar em uma universidade, o dado mais relevante é o número de candidatos por vaga. Essa estatística oferece uma ideia clara sobre a probabilidade de aprovação.

Jornais e políticos observam com muito interesse estatísticas de opinião pública, pois só assim eles podem saber o percentual de pessoas que aprova o governo ou como anda a popularidade do Presidente da República. Os dados precisam ser analisados com rigor para que as informações apresentadas ao público sejam corretas e permitam a necessária discussão sobre temas de interesse.

A Estatística também abrange o cálculo de taxas, índices e coeficientes. Você certamente já ouviu falar em índice de inflação, taxa de evasão escolar ou taxa de mortalidade infantil. Mas o trabalho dos estatísticos vai além disso: eles participam do planejamento de experimentos.

Por exemplo: existe um bom creme antirrugas? Um robô pode ajudar no aprendizado de uma língua estrangeira? A vacina desenvolvida por determinada empresa é eficaz? Para responder a perguntas como essas, é necessário realizar experimentos. Nesse contexto, o estatístico desempenha um papel crucial ao planejar o experimento, analisar os dados e auxiliar na interpretação dos resultados.

A grande importância da Estatística reside em seu amplo campo de aplicação. Ela é utilizada em áreas tão diversas como estudos sobre DNA ou sobre as probabilidades relacionadas aos jogos de loteria. Assim, a Estatística oferece condições para responder a diversas perguntas, como estas, por exemplo:

🔹  Como alguém sabe se precisa ou não perder peso?

🔹Qual é a maior cidade do Brasil?

🔹Fumar faz mal à saúde?

🔹A temperatura no mundo está aumentando?

🔹Escovar os dentes previne cáries?

🔹Como se conhece o efeito de um anestésico?

🔹Machado de Assis usava poucos adjetivos?

🔹Por que os motoqueiros precisam usar capacete?

🔹Os alimentos transgênicos são mais nutritivos?

Alguns profissionais afirmam, com ênfase, que sabem tudo o que precisam para exercer suas atividades porque possuem experiência. Contudo, experiência por si só não basta. As mulas do exército de Napoleão tinham experiência de guerra, pois participaram de muitas batalhas, mas continuavam sendo mulas. Para crescer profissionalmente, a experiência precisa ser constantemente contestada e complementada com novas informações adquiridas por meio de aulas, congressos, livros, artigos, pesquisas – e estatísticas.

Apesar disso, muitas pessoas ainda desconfiam de estatísticas, como sugere a famosa frase irônica que atravessou os séculos: “Existem mentiras, mentiras deslavadas e estatísticas.” A afirmação ressoa porque evidencia o poder persuasivo dos números, ao mesmo tempo em que destaca a tendência de algumas pessoas em desacreditar estatísticas quando elas contrariam suas convicções. No entanto, quem se apoia apenas na retórica é ainda mais facilmente enganado. Por isso, aprenda estatística.

✅ "Muitos cometem o erro elementar de duvidar dos resultados das estatísticas. Devemos duvidar dos métodos de coleta, dos procedimentos de análise e das interpretações. De resto, boa parte da formação científica consiste em aprender a desconfiar e a encontrar erros nessas etapas. Contudo, se não somos capazes de detectar vícios nos processos usados, não podemos recusar os resultados. Pena que essa disciplina intelectual seja mais difícil do que dar palpites sobre o que não se estudou e ainda menos se aprendeu."

                                                                                  Cláudio de Moura Castro

Alfa de Cronbach: retirada de uma questão

 

                                                                   

                                     

                                                                         

                                                                               

                               

Quando consultar um estatístico?

                                                                

          O estatístico desempenha papel crucial na pesquisa científica e na ciência de dados, pois usa a arte e a ciência da Estatística para resolver problemas práticos. É o estatístico que faz a ponte entre dados e resultados, e propicia ao pesquisador as condições para fazer inferências válidas, dentro de uma margem calculada de erro.

          Por conta da aplicação prática, é preciso que o estatístico entenda as questões que lhe são propostas, e saiba traduzir  as análises que faz para o pesquisador. Portanto, esse profissional precisa ter formação teórica, mas tem de se familiarizar com a terminologia da área em que trabalha.

         O papel que um estatístico desempenha em uma pesquisa depende das necessidades do trabalho. O estatístico pode ser colaborador ou parceiro integral. Ao longo de um período de colaboração, cada colaborador educa o outro nas reuniões e discussões regulares, que abrangem muitos aspectos do estudo.

        Quando o estatístico é funcionário da instituição, ele  é, evidentemente, membro natural da equipe. É o estatístico quem avalia o projeto, propõe a análise dos dados e, eventualmente, vê problemas que não são óbvios para os demais pesquisadores. Ele tem, no trabalho,  responsabilidades que são próprias da profissão, independentemente de seu cargo e de seu status na instituição. 

       Embora seja melhor envolver um consultor estatístico no design de um estudo, ele também pode ser trazido para um projeto após os dados terem sido coletados. O consultor pode ajudar a selecionar e implementar métodos de análise que sejam apropriados e eficazes para os tipos de dados obtidos. Para fazer isso,  precisa ter uma descrição completa e detalhada do design e da conduta do trabalho, bem como uma exposição clara das questões a serem abordadas.

       Um estatístico deve saber (ou pode ser capaz de desenvolver) maneiras estatisticamente válidas de obter respostas para as perguntas do pesquisador. Além disso, ele examinará os dados em busca de ameaças à validade das conclusões, variando de dados ausentes a outliers questionáveis ​​e fatores de confusão. No entanto, se os procedimentos do estudo não forneceram dados que possam responder às questões da pesquisa, o estatístico não pode remediar isso com métodos estatísticos; ele pode, porém, apontar informações que, eventualmente, possam ser extraídas dos dados.

    Depois de os dados terem sido analisados, os resultados devem ser interpretados e transmitidos a um público como uma agência reguladora, um periódico de pesquisa um meio de comunicação ou à gerência. Um estatístico é valioso nesta fase para verificar se as conclusões do trabalho provieram dos resultados da análise, sugerir as melhores maneiras de descrever e exibir os dados e assegurar que não há declarações errôneas ou incompletas sobre as descobertas.

      Quando o estatístico é consultado nesta fase pela primeira vez,  pode querer reanalisar os dados usando métodos que ele considera mais apropriados do que aqueles aplicados. Isso pode ser ou não benéfico – depende de avaliação criteriosa. De qualquer forma, a discussão em ciência exige foco - e isso em aspectos específicos de uma questão complexa. Ao contrário dos argumentos cotidianos, o argumento científico é gerado sob critérios de aceitabilidade, como consistência com leis físicas, simplicidade, suporte empírico e, obviamente, estatística.

         💡 Dica. 

                Um estatístico é especialmente útil quando:

1.    O pesquisador precisa de ajuda para planejar um estudo que responda às suas perguntas;

2.       É preciso determinar o tamanho da amostra;

3.    A pesquisa resultou em diferentes tipos de dados, que exigem diferentes  tipos de análises;

4.       O volume de dados para analisar é muito grande;

5.      O método de análise que os dados exigem são complexos, além da experiência do pesquisador sobre o assunto;

6.   O pesquisador simplesmente prefere contar com um estatístico profissional.

          💡 Dica 

                      Um consultor de Estatística precisa:

 

1.           Ter bom conhecimento de estatística;

2.          Ter capacidade de comunicação, escrita e oral;

3.           Ser bom ouvinte;

4.           Saber solucionar problemas de estatística;

5.           Ser agradável para trabalhar;

6.    Ser paciente com clientes que têm pouco conhecimento de Estatística;

7.           Ter  ética;

8.         E, ainda, como a Estatística têm diferentes áreas de especialização, um consultor precisa ter habilidades que correspondam às necessidades da área de pesquisa que assessora. Por exemplo, um estatístico que trabalha na área experimental provavelmente não é versado nos melhores métodos para assessorar e analisar grande levantamentos de dados.

Colisão de táxis: Bayes resolve

                                   A 21 de fevereiro de 2022 publiquei, no meu blog, sob o título de

Inferência Bayesiana, um problema que encontrei no extraordinário livro

Kahneman, D. Thinking...fast and slow. Farrar, Straus and Giroux.  2011 p.167-168.

🔴 O PROBLEMA

Um táxi que causou um acidente de trânsito se evadiu. Para julgar o caso, são fornecidos os seguintes dados: 85% dos táxis da cidade são da empresa Verde e 15% da empresa Azul. Uma testemunha que presenciou o acidente disse que o táxi era da empresa Azul. Essa testemunha foi colocada em teste e se verificou que nas condições do acidente, acertava a cor dos táxis 80% das vezes. Qual é a probabilidade de o táxi que causou o acidente ser da empresa Azul, dado que a testemunha disse que era da Azul?

                                                  ✅ A SOLUÇÃO

Este é um problema clássico de inferência bayesiana. Há duas fontes de informação: uma estatística populacional e o relato de uma testemunha não perfeitamente confiável. Essas duas informações devem ser combinadas usando o teorema de Bayes.

Veja as probabilidades:

·       P(A): Probabilidade de o táxi ser da empresa Azul (0,15).

·       P(V): Probabilidade de o táxi ser da empresa Verde (0,85).

·   P(T∣A): Probabilidade de a testemunha dizer que o táxi é da empresa Azul dado que o táxi é realmente da empresa Azul (0,80).

·   P(T∣V): Probabilidade de a testemunha dizer que o táxi é da empresa Azul dado que o táxi é da empresa Verde (0,20).

·     P(T): Probabilidade de a testemunha dizer que o táxi é da empresa Azul.

Queremos calcular P(A∣T), que é a probabilidade de o táxi ser da empresa Azul dado que a testemunha disse que era da empresa Azul. Usamos a fórmula de Bayes:

               

A probabilidade de a testemunha dizer que o táxi é da empresa azul é

  A probabilidade de o táxi ser da empresa Azul dado que a testemunha disse que era da empresa Azul é

Portanto, a probabilidade de o táxi ser da empresa Azul dado que a testemunha disse que era da empresa Azul é 41,4%.