QUESTIONÁRIOS: cuidados ao perguntar

Palavra puxa palavra, uma ideia traz outra, e assim se faz um livro,

 um governo ou uma revolução.

Machado de Assis 

“A economia brasileira está bombando!”, disse um político a uma jornalista. E continuou: “em Brasília, não se encontra um saco de cimento pra comprar”. A avaliação desse político é espúria, a informação é fake. Embora as pessoas tenham se acostumado a converter seu círculo de conhecidos em “todo mundo” e tirar daí suas crenças, saiba que informações colhidas dessa forma são tremendamente tendenciosas.

No entanto – é preciso que fique claro – a maioria das informações é, mesmo, obtida com base em amostras. Para se conhecer uma população, os pesquisadores observam uma parte dessa população, que é a amostra. É, porém, absolutamente essencial que as amostras sejam representativas da população de onde foram retiradas. Mais ainda, é preciso bom conhecimento de Estatística e muito senso crítico para generalizar, para o todo, informações obtidas com base em apenas parte desse todo.

As técnicas estatísticas utilizadas para obter amostras representativas da população constituem área importante da Estatística, denominada amostragem. No entanto, mesmo que a amostra seja tomada dentro da mais estrita técnica, devidamente assinada por um estatístico, é preciso admitir uma margem de erro para a informação que será generalizada para toda a população. Afinal, a amostra é sempre menor do que o universo de onde ela foi retirada. Mas vamos à arte de perguntar.

Uma amostra tecnicamente adequada e bem dimensionada deve evitar a tendenciosidade. Pelo menos, evita, a tendenciosidade “aberta”, aquela que ocorre quando alguém emite opinião com base no seu círculo de compadres. Mas é preciso atenção para generalizar a informação apenas para a população de onde a amostra foi retirada. Ainda, muito cuidado com a maneira de perguntar, que pode tornar a amostra tendenciosa e, como consequência, invalidar a pesquisa.

Pesquisas feitas com base em questionários publicados em jornais, em revistas, em programas de televisão são respondidas apenas pelo público desse jornal, ou dessa revista, ou desse programa de televisão. Cada público tem características próprias. Pessoas que leem sobre celebridades da televisão são diferentes das que leem assuntos econômicos. Então, as respostas desses questionários refletem apenas a opinião de um grupo específico – não podem ser generalizadas para toda a população.

Quando se entrevistam pessoas na rua, sempre surge a dúvida: onde buscar a pessoa? Seria melhor numa esquina? Na fila do cinema? No ponto de ônibus? Alguns entrevistadores acham que podem encontrar "todo tipo de gente" cruzando as praças centrais de uma cidade, o que não é verdade. Mas não há dúvida de que, mesmo quando se descrevem as características da pessoa que deve ser procurada, ainda assim existe uma tendência em favor do mais convencional, do mais educado, do mais rico, do mais culto. Pense bem: se você deve entrevistar um adolescente de classe pobre, você procura um office-boy ou um trombadinha?  

Também se introduz tendência na amostra pela maneira como se define a característica de quem deve ser entrevistado. Existe a tendência de procurar os "típicos" e excluir quem têm características menos definidas. Se você deve entrevistar mulheres com mais de 40 anos, possivelmente irá procurar as mais idosas - porque assim não terá de perguntar: ”Já passou dos quarenta”?

Ainda, é importante variar a hora em que se faz a pesquisa. Se você fizer uma pesquisa domiciliar somente durante o dia, não entrevista quem trabalha em horário diurno. A amostra é tendenciosa por não captar informação desse tipo de pessoa. Se você fizer a pesquisa à noite, não entrevista quem sai à noite, a serviço ou a passeio. A amostra é tendenciosa porque não traz informação sobre esse tipo de gente.

Cabe lembrar aqui a pesquisa realizada pelo Instituto de Pesquisa Econômica Aplicada (IPEA)¹ entre maio e junho de 2013, para conhecer a opinião da população em relação à violência contra as mulheres. Foram entrevistadas 3.810 pessoas, homens e mulheres, em 212 cidades do Brasil. Os entrevistados foram questionados com base em afirmações pré-formuladas pelo Instituto, com as quais diziam se concordavam (total ou parcialmente) ou se discordavam (total ou parcialmente) ou se não tinham opinião.

Os dados revelaram uma sociedade machista. Segundo 58,5% dos entrevistados, “se a mulher soubesse se comportar melhor, haveria menos estupros”. Mais do que isso: para a maioria dos brasileiros, “mulheres que usam roupas que mostram o corpo merecem ser estupradas”. Alguns críticos consideraram que as entrevistas haviam sido feitas em hora e local inadequados, isto é, à tarde e nos domicílios e isto teria introduzido tendenciosidade aos resultados. Isto porque teriam sido entrevistados mais idosos e mulheres que estavam cuidando da família, pessoas que seriam mais conservadoras do que a população em geral. A crítica é pertinente? Os dados que apresentaremos mais adiante corroboram a conclusão de que vivemos em uma sociedade machista. Velhos e donas de casa não parecem mais machistas do que, por exemplo, altos mandatários do país.

Também é preciso muito cuidado ao se formular o questionário.Não se deve perguntar demais. As pessoas têm pressa. Mas se na porta de um supermercado você perguntar às pessoas se usam determinada marca de sabão, receberá muitas respostas "sim" porque as pessoas vão pensar que ganharão um brinde, ou um desconto, ou aparecerão na televisão...

As questões devem ser muito bem pensadas. Em um questionário perguntava-se: “Idade da mãe, se viva” e o respondente escreveu criteriosamente: 125 anos. Dada à baixa probabilidade de alguém viver até os 125 anos, perguntou-se ao respondente se a senhora em questão tinha, realmente, 125 anos de idade, ao que ele, prontamente, respondeu: sua mãe já havia falecido, mas se viva estivesse, teria 125 anos.

Ainda, o próprio entrevistador pode tornar as respostas tendenciosas pela entonação de voz ou, pior ainda, pela forma de fazer a pergunta. Você provavelmente obterá mais opiniões favoráveis sobre o uso gratuito de ônibus pelos idosos, em São Paulo, se perguntar às pessoas: "O senhor acha que as pessoas idosas podem usar gratuitamente o serviço de ônibus nos horários de pouco movimento?" No entanto, você aumentará o número de respostas negativas ao perguntar: "O senhor acha que o governo deve pagar, com o dinheiro dos impostos, o passeio de aposentados em ônibus urbanos?”.

Certas questões são ociosas porque a maioria das pessoas, quando perguntadas, responde o que se espera delas, ou o que lhes parece mais adequado, ou mais conveniente. Se você sair por aí perguntando se as pessoas leem jornal ou usam desodorantes, receberá muitas respostas positivas que não correspondem, necessariamente, à verdade. As pessoas respondem "sim" porque acham que é isso que se espera delas.

E o entrevistador pode se ver em apuros porque o respondente não gostou da pergunta. Perguntar sobre o uso de drogas ilícitas ou sonegação de impostos pode amedrontar o respondente. Perguntas sobre dinheiro podem mobilizar a memória seletiva, como acontece no caso dos políticos que esquecem detalhes sobre o próprio patrimônio, mas lembram de detalhes de seus feitos e oficializam seus sonhos sobre títulos acadêmicos...

Por outro lado, é preciso dar especial atenção à interpretação dos resultados das pesquisas. Algumas respostas indicam exatamente o contrário do que, à primeira vista, parecem mostrar. Se você perguntar às pessoas se elas acham que pretos e pardos sofrem discriminação quando procuram emprego, aquelas que não fazem discriminação provavelmente responderem "sim". Já as pessoas que fazem discriminação muito possivelmente serão aquelas que responderem "não". Da mesma forma, quem diz que "as mulheres se igualaram aos homens" revela não ter sensibilidade para a condição feminina.

Nessa mesma toada, vale lembrar que terminadas as eleições para a prefeitura de São Paulo em 1985 – e constatado o erro das prévias eleitorais feitas por determinado instituto de pesquisas para acompanhar as tendências do eleitorado paulistano – seu diretor veio a público para declarar que o erro se explicava “pela mutabilidade do voto feminino”! Pois é, “la donna e mobile”². Mas cá entre nós: o erro não poderia ter ocorrido por falta de avaliação dos que se declararam indecisos, por ocasião da pesquisa? Ou por conta de um fato novo, ocorrido às vésperas das eleições? Ou por erro de amostragem? Enfim, por causas sólidas – que não buscassem explicações no machismo.

Interpretações de dados com base no racismo, no machismo, na homofobia escondem a verdade dos fatos. Art Buchwald³ usou de ironia ao colocar tais interpretações em cheque. Segundo ele, toda vez que uma manifestação de rua era dissolvida em Los Angeles, eram atendidos em hospitais mais negros do que brancos. Será – perguntou provocativamente o jornalista – que os negros são mais frágeis do que os brancos?

De qualquer modo, pesquisas de opinião sempre suscitam dúvidas e discussões, o que é certo. Toda informação obtida por meio de amostras precisa ser analisada com cuidado. Lembre-se de que concluímos para toda a população tendo examinado apenas parte dessa população. As perguntas são uma "amostra" das perguntas possíveis. As respostas são, muitas vezes, uma "amostra" das respostas possíveis.

No entanto, a pesquisa que põe a questão “Em sua opinião, qual é o problema que mais urgentemente precisa ser resolvido em nosso país?” pode revelar áreas de preocupação que, eventualmente, seriam apenas vagamente percebidas pelos governantes. Um governo democrático leva em conta pesquisas de opinião – não a gritaria dos grupos que o cercam. Elas são importantes e deveriam ser levadas em conta para a tomada de decisão na administração pública.

E é preciso lembrar as prévias eleitorais – que são pesquisas de opinião. Os institutos de pesquisa ouvem parte da população de eleitores (a amostra), mas essa parte tem características similares às características da população de eleitores (em termos de gênero, idade, escolaridade, nível de renda). É claro que se deve acreditar em prévias eleitorais – desde que feitas por institutos de pesquisa credenciados, que publicam a metodologia utilizada, declaram as margens de erro com o necessário nível de confiança e – não menos importante – a data para o qual o resultado provavelmente é válido. Mas sempre acontece de alguém tirar da manga do colete e, portanto, sem provas, a ideia de que tais pesquisas são fraudulentas ou, até mesmo, de houve fraude nas eleições! Isto sim é fake news! E foi por esse caminho que se chegou à invasão do Capitólio⁴...

                 REFERÊNCIAS

1.     Para 58,5%, comportamento feminino influencia estupros, diz pesquisa. Instituto de Pesquisa Econômica Aplicada (IPEA). 2013. G1 (RJ). Disponível em https://www.ipea.gov.br/portal/index.php? Acesso em 14 se setembro de 2021.

2.    "La donna è mobile"  (A mulher é volúvel) é uma ária do terceiro ato da ópera Rigoletto criada por Giuseppe Verdi.

3.    Arthur Buchwald  foi um humorista norte-americano que ficou célebre pela sua coluna no The Washington Post. Esta coluna era focada na sátira política, pois era assim que ele expressava suas opiniões.

4.    Invasão do Capitólio entra para a história dos EUA como afronta à democracia. Disponível em  https://www.cnnbrasil.com.br/internacional/invasao-do-capitolio-entra-para-a-historia-dos-eua-como-afronta-a-democracia/. Acesso em 23 de setembro de 2021.

 

  

O que é Estatística?

     Muitos cometem o erro elementar de duvidar dos resultados das estatísticas. Devemos duvidar dos métodos de coleta, dos procedimentos de análise e das interpretações. De resto, boa parte da formação científica consiste em aprender a desconfiar e a encontrar erros nessas etapas. Contudo, se não somos capazes de detectar vícios nos processos usados, não podemos recusar os resultados. Pena que essa disciplina intelectual seja mais difícil do que dar palpites sobre o que não se estudou e ainda menos se aprendeu.

                           Cláudio de Moura Castro

        Para muitas pessoas, a palavra Estatística lembra "números". A Estatística trata, sem dúvida alguma, de contagens e medições. Mas a Estatística não é apenas "coleção de números". Ninguém coleta números só para tê-los e exibi-los, mas porque eles trazem informação relevante para quem ter opinião racional ou tomar decisões.

Na grande imprensa – e na imprensa especializada das mais diferentes áreas – você encontra dados, gráficos e análises estatísticas. Os procedimentos adequados para a coleta dos dados, para a análise e para o desenho dos gráficos dão ao leitor confiança no que lê. E é essa confiança que permite fazer uma boa interpretação dos resultados. Então, quando você se deparar com interpretações advindas de estatísticas, verifique se elas resultaram do trabalho de uma equipe de especialistas em Estatística. Não é torturando uns poucos números que se obtém a verdade. É preciso uma longa conversa com muitos dados bem coletados, para se tirar deles uma conclusão de interesse.

Então, se um jornal quiser saber a aprovação ao governo ou a popularidade do Presidente da República, deve contratar um instituto de pesquisa para coletar, organizar e analisar a opinião das pessoas. E esse trabalho exige conhecimento técnico, especializado. O mundo já atingiu desenvolvimento científico e tecnológico suficientes para buscar respostas de perguntas que envolvam grandes populações por meio de grande quantidade de dados. Não se chega a bom termo por achismo, por ideologia, por opiniões de autoridades no assunto.

Considere, por exemplo, as estatísticas de trânsito. Elas são úteis para organizar o policiamento. Mas não basta contar o número de mortos no trânsito em determinado dia – é preciso levantar dados e organizá-los constantemente, para saber em que pontos, em que dias, em que épocas do ano ocorrem mais acidentes. Só com base em muitos dados é que devem ser tomadas decisões. A Polícia Rodoviária pode então colocar radares para limitar a velocidade nos pontos das estradas em que os dados indicam maior número de acidentes e destacar mais policiais para as áreas de risco, onde o tráfego é mais intenso por conta de feriados prolongados.

Exames vestibulares também fornecem estatísticas que dão margem a muita especulação, mas para o jovem que pretende entrar em uma universidade interessa o número de candidatos por vaga na cota em que se enquadra. É essa estatística que dá ideia da chance de aprovação...

                                                                            VIRE BIXO!
    

Também faz parte da Estatística o cálculo de taxas, índices e coeficientes. Você já ouviu falar em índice de inflação, em taxa de desemprego, em coeficiente de mortalidade infantil. Mas os estatísticos trabalham, também, no planejamento de experimentos. Vitaminas retardam o envelhecimento? Um robô pode ajudar no aprendizado de uma língua estrangeira? A vacina desenvolvida por determinada empresa farmacêutica tem eficácia? Bem, para obter as respostas é preciso experimentar. E o estatístico entra nessa história para planejar o experimento, analisar os dados e ajudar na interpretação. Em linhas gerais:

Estatística é o conjunto de métodos usados para coletar, organizar, apresentar, analisar e interpretar informações numéricas.

A grande importância da Estatística está em seu vasto campo de aplicação. Usam-se conhecimentos de Estatística em áreas tão diversas como Engenharia, Medicina, Agronomia, Psicologia, Gestão Ambiental, Ciências Econômicas, Inteligência Artificial. Até meados do século passado, os cálculos eram o grande obstáculo para a Estatística. Mas hoje temos computadores, melhores a cada dia.

 

Statistics is cool!