MAIS SOBRE ANÁLISE DE CONTEÚDO

Reveja o blog anterior, sobre análise de conteúdo. É possível estabelecer outras categorias em lugar das que foram consideradas?  Sem dúvida, a definição das categorias é opção do analista. Apenas para exemplificar, vamos construir outras categorias ou “caixas” para locar os resultados da avaliação dos alunos do Curso de Mestrado em Bioética do Centro Universitário São Camilo sobre a disciplina de Metodologia Científica ministrada em 2011, ou seja, vamos fazer uma categorização diferente da apresentada no blog anterior com os mesmos dados. Vamos construir quatro categorias ou “caixas”, quais sejam:

                                          i.    Muito satisfatória, com as palavras: “ótima”, “muito satisfatória” e “boa”.

                                      ii.    Satisfatória com as palavras: “satisfatório” e “bom” (se o adjetivo não estiver acrescido de comentário desabonador);

                                        iii.    Pouco satisfatória com as palavras: “adequada” e “regular”

                                       iv.    Nada satisfatória com a palavra: “ruim”.

Esta categorização pode ser apresentada em um gráfico de barras, que dá bem a sensação de colocar palavras e frases dentro de ”caixas”, como expressa Bardin (1). Veja a figura dada em seguida.

  Para fazer uma análise de categorias, você primeiro lê o texto e categoriza palavras e frases. É o que se chama identificar as unidades de registro (palavras, recortes de falas, temas).

 Por exemplo, você faz, com outros colegas da empresa, uma entrevista para selecionar estagiários. Todos os seus colegas apresentam por escrito suas apreciações dos candidatos nos quesitos apresentação, conhecimento, grau de escolaridade etc.. As palavras serão variadas. Você pode optar por colocar numa só categoria – digamos aprovado – palavras como ótimo, bom, excelente, aceitável – e em outra categoria – reprovado – palavras como desagradável, ruim, horrível, sofrível. A análise de categorias é, portanto, um método taxonômico: estabelecem-se as caixas ou gavetas (categorias) e se coloca cada coisa em seu lugar. Depois, é só fazer as contagens.

As categorias devem ser: homogêneas, exaustivas, mutuamente exclusivas, pertinentes. Para entender o significado dessas palavras, imagine que você pede para várias pessoas dizerem o que acham do tamanho de uma sala. Você já tem as categorias possíveis, ditadas pela sua experiência. São elas: tamanho grande, tamanho correto, tamanho pequeno. Para que as categorias sejam

1.  Homogêneas, as caixas devem conter palavras com significados semelhantes ou próximos. Então, palavras como grande, enorme, ampla, demais são categorizadas como “tamanho grande”. Palavras como legal, tudo bem, OK são categorizadas como “tamanho correto” e palavras como pequena, acanhada, estreita, sem espaço são categorizadas como “tamanho pequeno”. Note que há homogeneidade em cada categoria. E se uma pessoa disse “agradável”? Você é o analista: então ou você entende que o tamanho está correto, ou descarta a resposta, ou volta à pessoa para entender o significado da palavra.

2.  Exaustivas, isto é, todas as palavras e frases do texto devem ser colocadas em caixas. Não podem sobrar respostas que não encontraram seu lugar numa caixa. Claro, abra uma categoria para outras respostas se há algumas sem sentido.

3.  Mutuamente exclusivas, ou seja, uma palavra que está numa caixa, não pode estar em outra. Então, pessoas que disseram que a sala era grande estão numa caixa que não pode conter pessoas que acharam a sala pequena.

4.  Pertinentes, ou seja, as caixas devem ser adequadas ao conteúdo. Não escreva “organizada”, “desorganizada” para categorizar tamanho de uma sala.

Mas não se preocupe. Regras existem, mas nem sempre são aplicadas. De qualquer forma, você já sabe que para fazer uma análise de categorias, é preciso:

1.    Fazer uma primeira leitura do texto (é o que os especialistas chamam de leitura flutuante) buscando captar como construir a análise.

2.    Marcar as unidades de registro.

3.    Construir “caixas” onde colocar as unidades de registro. Claro, as caixas devem contemplar o problema.

4.    Verificar se as caixas são exaustivas, isto é, podem conter todas as unidades de registro e são mutuamente exclusivas, ou seja, quem está numa caixa não se encaixaria em outra.

5.    Colocar as unidades de registro em suas devidas caixas. Cuide para que as unidades dentro da mesma caixa sejam homogêneas.

Referências

1.       Bardin, L Análise de conteúdo. São Paulo, Edições 70, 2011.

Análise de conteúdo: categorização

Na definição de Bernard Berelson ¹, análise de conteúdo é uma técnica para a descrição objetiva, sistemática e quantitativa do conteúdo manifesto das comunicações. A análise de conteúdo ² busca, portanto, palavras, frases, temas e conceitos dentro de um texto e os quantifica de maneira sistemática e objetiva. O resultado é usado para fazer inferência sobre as mensagens dentro do texto. Das análises de conteúdo, a mais comum é a análise de categorias ³.

Vamos fazer uma análise de categorias para um exemplo real. O Centro Universitário São Camilo adota a avaliação das atividades de docência como procedimento usual. Essa avaliação é feita por meio de um questionário elaborado por especialistas, que é entregue aos alunos no término de cada curso. Depois de respondidos anonimamente, os questionários são entregues pelos próprios alunos à administração e uma cópia das respostas é encaminhada ao professor responsável pelo curso.

Os dois grandes tópicos (dimensões) do questionário – avaliação da disciplina e avaliação do docente – são desmembrados em variáveis que são apresentadas como questões abertas. Veja em seguida:

                          

            Avaliação da disciplina

1. Organização

2. Conteúdo

3. Outros Itens Pertinentes

Avaliação do docente

1. Relacionamento interpessoal

2. Habilidade de comunicação

3. Habilidades técnicas de ensino (Didática)

4. Domínio do Conteúdo

5. Outras Questões

Os dados apresentados neste exemplo referem-se à avaliação feita por 15 alunos da Disciplina de Metodologia Científica por mim ministrada no primeiro semestre de 2011 no Curso de Mestrado em Bioética. Estão aqui apresentadas apenas as respostas ao primeiro item do questionário, isto é, à organização da disciplina. Veja o que foi respondido.

1.      ÓTIMA.

2.      A seqüência das aulas seguiu uma seqüência lógica, pena que faltou algum aprofundamento.

3.      Organização boa das aulas; para abordar o assunto numa carga horária da disciplina relativamente pequena.

4.      Regular – Não tivemos Acesso a um pano (sic) de curso.

5.      Satisfatório.

6.      Ruim. – Dificuldade na utilização das ferramentas.

7.      Boa organização dos tópicos da disciplina.

8.      Apresenta boa organização quanto ao conteúdo e a Proposta.

9.      Bom.

10.   Disciplina preparada previamente, com seguimento fiel das aulas previamente preparadas.

11.   Adequada.

12.   Boa organização dos temas.

13.   Muito satisfatório.

14.   Boa organização do conteúdo com demonstrações de planejamentos e desenvolvimento dos objetivos.

15.   Boa organização.

Como as questões são abertas, as respostas são diferentes, mas expressam a opinião dos alunos sobre a organização da disciplina. É razoável categorizar e, depois, quantificar as respostas, ou seja, aplicar uma análise de categorias. Foram organizadas três categorias a priori:

·          Avaliação positiva (cor verde)

·          Situação de advertência (cor amarela)

·          Avaliação negativa (cor vermelha).

 A justificativa para o estabelecimento dessas categorias é o fato de elas bem orientarem o professor, colocando a quantidade de opiniões favoráveis, de advertência e de crítica, em cada variável de cada dimensão estudada. Neste exemplo, é dada a análise da variável “Organização da Disciplina”, dimensão Avaliação da Disciplina. Com a análise de todas as variáveis, o professor pode facilmente verificar onde estão seus “pontos fortes” e aonde deve melhorar. É claro que a atribuição verde, amarelo ou vermelho é subjetiva, mas veja o que foi feito para o exemplo:

1.    ÓTIMA.

2.    A sequência das aulas seguiu uma sequência lógica, pena que faltou algum aprofundamento.

3.    Organização boa das aulas; para abordar o assunto numa carga horária da disciplina relativamente pequena.

4.    Regular – Não tivemos Acesso a um pano (sic) de curso.

5.    Satisfatório.

6.    Ruim. – Dificuldade na utilização das ferramentas.

7.    Boa organização dos tópicos da disciplina.

8.    Apresenta boa organização quanto ao conteúdo e a Proposta.

9.    Bom.

10.  Disciplina preparada previamente, com seguimento fiel das aulas previamente preparadas.

11.  Adequada.

12.  Boa organização dos temas.

13.  Muito satisfatório.

14.  Boa organização do conteúdo com demonstrações de planejamentos e desenvolvimento dos objetivos.

15.  Boa organização.

  Foram consideradas avaliações positivas (cor verde) as respostas:

1; 3; 7; 8; 9; 10; 12; 13; 14; 15.

   Foram consideradas como situação de advertência (cor amarela) as respostas:

2; 4; 5; 11

   Foi considerada categoria negativa a resposta:

6.

Esta categorização pode ser apresentada em um gráfico de barras, que dá bem a sensação de colocar palavras e frases dentro de ”caixas”, como expressa Bardin ³.

A análise aqui apresentada provavelmente tem algum viés, porque foi feita pela autora, que também ministrou as aulas. Claro, as críticas sempre chamam mais a atenção e o professor busca o que foi negativo na organização das aulas. A frase “Ruim. – Dificuldade na utilização das ferramentas” não é, porém, explícita. Afinal, qual é a crítica do aluno: faltou o ferramental organizacional de uma exposição didática ou faltou habilidade no uso de um mouse, por exemplo?

Referências

1.       Berelson, B.  Content analysis in communication research. New York, Free Press, 1952. In: Palmquist, M. Content Analysis   http://www.colostate.edu/Depts/WritingCenter/references/

research/content/page2.htm

2.       Stemler, S. An Overview of Content Analysis http://pareonline.net/getvn.asp?v=7&n=17

3.       Bardin, L Análise de conteúdo. São Paulo, Edições 70, 2011.

Pesquisa qualitativa? Pesquisa quantitativa?

A ciência é tanto um corpo estabelecido de conhecimentos como um processo em constante evolução. Faz parte da ciência a busca da verdade por meio dos processos de investigação, de teste, de avaliação. A ciência é, portanto, mutável e a busca da verdade, embora exija atitude crítica e racional, se faz por tentativa e erro. A pesquisa científica é, portanto, falível.

Pesquisa é um procedimento sistemático de investigação feita para rever ou ampliar o conhecimento existente descobrindo novos fatos, discutindo novas formas de pensar, retificando antigas conclusões, desenvolvendo novas tecnologias, estabelecendo novas teorias.

Mas qual seria a melhor maneira de fazer pesquisa? Alguns pesquisadores tentam contrapor a pesquisa qualitativa à pesquisa quantitativa, buscando, às vezes, estabelecer a superioridade de uma sobre a outra. Numa visão mais ampla, essas duas formas de pesquisar devem ser vistas como complementares porque têm a mesma finalidade:  buscar a verdade por meio de caminhos que, embora possam ser diferentes, se cruzam e se completam. E a busca da verdade, que é o ofício do pesquisador, não se faz pela profecia. Ao contrário, exige uma atitude ética e muito envolvimento profissional.

A pesquisa qualitativa não é uma mudança radical na maneira de fazer ciência, embora alguns pesquisadores dessa área pensem assim. É verdade que, para o estudo de realidades pouco conhecidas, os planejamentos pouco estruturados das pesquisas qualitativas são adequados, mas se já existe conhecimento acumulado sobre determinado tema, uma pesquisa pouco estruturada resultaria em perda de tempo (para o pesquisador e para os participantes da pesquisa) – e seria de nenhuma profundidade.

Alguns pesquisadores da área qualitativa consideram que não é necessário fornecer detalhes sobre o local ou sobre o procedimento de suas pesquisas, embora isso seja exigência da Resolução 466/12 do CNS-MS. No entanto, ninguém inicia uma coleta de informações sem qualquer idéia orientando seus passos. Um pesquisador, quando escolhe um campo (local) para sua pesquisa, seja uma comunidade ou uma instituição, o faz com algum objetivo e algumas questões em mente, compatíveis com a própria profissão. Pode, portanto, explicar para onde vai e a que vai, mesmo que depois precise fazer alguns ajustes.

Um pesquisador da área qualitativa analisa textos e não números – pelo menos no primeiro momento.  Não define, portanto, variáveis para analisar nem propõe hipóteses. Mas precisa escrever um projeto. Afinal de contas, a total ausência de diretrizes e critérios para a coleta de informações resulta sempre em excessos ou insuficiência e, posteriormente, em dificuldade de interpretação. Mas vamos ver aqui, rapidamente, as diferenças entre a pesquisa qualitativa e a pesquisa quantitativa.

O tamanho da amostra nas entrevistas qualitativas

Provavelmente, a pergunta que mais ouvi na minha vida profissional de estatística foi: “de que tamanho deve ser minha amostra?”. A pergunta surge assim, do nada, como se eu pudesse, tal qual um oráculo, dar respostas sem saber o que está sendo tratado. Mas já aprendi – por conta de muita leitura na área – a melhor resposta: “depende”.  O problema é que essa resposta não encerra a questão, traz outra: “depende do que”?

Na pesquisa quantitativa, o tamanho da amostra pode ser calculado por meio de fórmulas.  No entanto, o fato de o estatístico saber indicar a fórmula para o problema apresentado não basta. É preciso que o pesquisador tenha algumas informações de natureza numérica sobre as variáveis que estuda. Mas vamos deixar isso de lado para tratar aqui de outro assunto, que muito me tem intrigado depois que comecei a dar aulas de Metodologia Científica no Curso de Mestrado em Bioética do Centro Universitário São Camilo. Os alunos fazem pesquisa na área qualitativa ou fazem revisão da literatura, o que é esperado em função do conhecimento que eles têm e que buscam expandir. Qual deve ser o tamanho da amostra na pesquisa qualitativa?

Uwe Flick¹, autor consagrado na área, considera que, no delineamento de entrevistas qualitativas, é preciso refletir sobre o que se espera dos entrevistados, quanto tempo é preciso para conseguir boas entrevistas, a facilidade de acesso aos possíveis entrevistados e, se o estudo for longitudinal, o número de vezes que as entrevistas serão repetidas. O tamanho da amostra depende de contrabalançar todas essas considerações – e fazer caber tudo dentro do orçamento.

Já Rola Ajjawi² considera que o tamanho da amostra depende de contrapor profundidade e abrangência: um estudo fenomenológico que exija grande envolvimento do pesquisador com os participantes pede menos gente do que um estudo fundamentado em teoria que pretenda levantar, de cada entrevistado, uma só resposta para uma única pergunta.

Mas a grande questão para estabelecer o tamanho da amostra é pragmática. Afinal, estamos falando de uma dissertação? Segundo Adler and Adler³, o orientador deve limitar o projeto do aluno de três maneiras, isto é, dizer ao aluno para:

1.            Trabalhar em lugares onde conhece as pessoas, onde tem familiaridade com a situação e transita com facilidade, ou seja, trabalhar com o que de fato consegue administrar.

2.            Evitar assuntos altamente polêmicos ou fazer entrevistas de pessoas em situações ilegais, com populações vulneráveis ou que tenham grandes diferenças com eles próprios, ou seja, num primeiro trabalho de entrevista não se lançar demais. Fazer isso quando tiver um pouco mais de experiência.

3.            Entrevistar cerca de doze pessoas. Esse número permite ganhar experiência no planejamento das entrevistas, de transcrevê-las e tirar conclusões. Mais do que isso, pode ser difícil devido à limitação de tempo para desenvolver uma dissertação. Numa tese de doutorado, pode-se chegar a 30, ou um número pouco maior, de entrevistas. 

Um estudo interessante – pelo menos do ponto de vista da crítica – foi feito por Mark Mason⁴. Esse autor levantou uma amostra de teses de doutorado apresentadas em diversas universidades dos Estados Unidos da América que utilizaram entrevistas qualitativas como o método. Atenderam aos critérios de inclusão 560 (quinhentos e sessenta) teses. O tamanho médio das amostras foi 31, mas uma proporção significativa das teses estudadas apresentou tamanhos de amostra que eram múltiplos de dez. Esse fato sugere que os tamanhos das amostras foram estabelecidos antes do início das pesquisas, embora a explicação mais usada para justificar o número de entrevistas foi o conceito de saturação. O que isso significa?

Em qualquer área de pesquisa, os entrevistados têm, na maioria das vezes, diferentes pontos de vista, mas em certo momento pode parecer ao entrevistador que as opiniões começam a se repetir. A amostra teria então atingido o ponto de saturação. É hora de parar a coleta de dados: o pesquisador “sente” que os temas já se esgotaram porque as pessoas estão repetindo as respostas dadas anteriormente por outras pessoas.

Saturação é o ponto da coleta de dados em que nenhuma informação nova emerge de uma nova entrevista. 

              

Mas há alguns problemas com esta definição. Primeiro, é possível que o orçamento ou o número de respondentes se esgote antes de as pessoas começarem a se repetir. Segundo, o que é repetição? As mesmas palavras, ou podem ser sinônimos, ou bastam idéias similares? Terceiro, meu viés de professora de estatística insiste em perguntar: quantas repetições são necessárias para que o pesquisador “sinta” que está na hora de parar?

Rola Ajjawi ainda pergunta: é possível alcançar a saturação em pesquisas qualitativas?  Será que a próxima pessoa que será entrevistada não pode contar uma experiência muito diferente? Será que uma análise mais profunda não poderia identificar outros entendimentos e significados relacionados com a experiência – e não meros repetecos?

O’REILLY and Parker⁵ criticam o conceito de saturação usado corriqueiramente em pesquisas qualitativas. Segundo esses autores, saturação é um "marcador de adequação da amostragem”, ou seja, é o critério comumente usado para indicar que se deve parar de amostrar.

 Mas a noção de saturação, fundamentada em teoria, não se refere ao ponto em que não emergem novas idéias. Significa que as categorias estão bem estabelecidas, que a diferença entre elas faz sentido e as relações estabelecidas permitem estabelecer uma conclusão. Portanto, pode-se argumentar como Keen⁶ que o conceito de saturação admite variações.

A saturação descritiva ocorre quando o pesquisador constata que não estão surgindo novas descrições, novos temas ou novas categorias, na  sua coleta de dados. Este conceito contrasta com o conceito de saturação teórica, que diz que o pesquisador deve não só se certificar que tem uma categorização dos dados coletados, mas também explica como os diversos códigos, categorias e conceitos se interconectam, para considerar que houve saturação.

De qualquer forma, o conceito de saturação tem sido explorado em detalhes por vários autores, mas ainda é muito debatido e – dizem alguns – pouco compreendido. Há muita discussão na Internet⁷. Os pesquisadores da área qualitativa às vezes usam esse conceito para alegar que não se pode estabelecer, a priori, o tamanho da amostra que será necessária para obter bons resultados de entrevistas. Mas como os Comitês de Ética em Pesquisa (CEP) exigem, para aprovar um projeto de pesquisa, que se especifique o tamanho da amostra, é preciso estabelecer pelo menos um intervalo de variação. Afinal, você tem restrições de tempo e dinheiro. Conversar com alguém com conhecimento da área e experiência em pesquisa qualitativa, que olhe o trabalho com cuidado considerando os pontos já levantados, ajuda – e muito.

Referências

1.    Flick, Uwe in Baker, S. E. e Edwards, R How many qualitative interviews is enough. (2012)  http://eprints.ncrm.ac.uk/2273/4/how_many_interviews

2.    Ajjawi, R. Sample size in qualitative research Medical Education Research Network. blogs.cmdn.dundee.ac.uk/meded.../tag/sample-size/

3.    Adler, P.A. e Adler, P. in Baker, S. E. e Edwards, R How many qualitative interviews is enough. (2012)  http://eprints.ncrm.ac.uk/2273/4/how_many_interviews

4.    Mason, M Sample Size and Saturation in PhD Studies Using Qualitative Interviews. FQS.  Volume 11, Nº 3, Art. 8 – September 2010.

5.    O’Reilly, M., & Parker, N. ‘Unsatisfactory Saturation’: a critical exploration of the notion of saturated sample sizes in qualitative research. Qualitative Research, 13(2), 190-197. (2013).

6.    Keen, A. Saturation in qualitative research: distinguishing between descriptive and theoretical saturation www.rcn.org.uk/

7.    Procure: How many interviews are needed in a qualitative research ...www.researchgate.net/.../How_many_interviews_are

Posted by Rola Ajjawi on Jun 19, 2013 in News | 8 comments      

 

 

Vantagens e desvantagens das entrevistas qualitativas

As entrevistas qualitativas permitem estudar aspectos da vida sobre o quais o entrevistador tem experiência e considerável interesse. E é só assim que a entrevista pode fornecer pormenores da visão de mundo do entrevistado. O entrevistador esboça o quadro rascunhando algumas poucas questões – e espera pacientemente as respostas para completar cada entrevista.

É preciso que o entrevistador esteja consciente de que deve buscar as opiniões, as ideias, os sonhos, a vivência do entrevistado. Sua obrigação é ouvir. Não pode, portanto, entabular conversa e muito menos começar uma discussão. O que importa é entender a “verdade” do entrevistado. E - para isso - é  preciso maturidade e considerável percepção, além de saber tratar as pessoas. 

A análise das informações levantadas nas entrevistas face a face é difícil, porque o volume de respostas é muito grande e a forma de registro não é planejada previamente. A análise exige, portanto, grande esforço. O pesquisador precisa expor o pensamento de cada participante com muito cuidado, buscando a consistência. E é sempre recomendável que, terminado o trabalho, o pesquisador possa propor tópicos para novas pesquisas.

As entrevistas face a face permitem maior compreensão das opiniões do entrevistado. No entanto, como entrevistar por telefone ou pela internet é fácil e barato, o procedimento fica muito tentador – apesar do sacrifício da confiabilidade e validade das informações.

A grande vantagem das entrevistas qualitativas é o fato de trabalhar questões de valores e não se limitar às variáveis predefinidas. A grande desvantagem está na possibilidade de viés das respostas - mesmo que o entrevistador seja muito bem treinado. Mas a desvantagem sempre trazida à baila pelos críticos é, sem dúvida, o fato de a pesquisa qualitativa não ser respeitada pelos pesquisadores que poderíamos chamar de “clássicos”.

Finalmente, cabe sempre lembrar que as entrevistas face a face têm a vantagem, sobre as pesquisas feitas com grupos focais, de não ter a opinião de alguns dos participantes influenciando a opinião de outros – como sempre acontece na discussão de grupos.  Mas a pesquisa por meio de grupos focais é a opção para o pesquisador que quer muita informação de muitas fontes. Só que neste caso, já no projeto, o pesquisador deve mostrar que tem espaço físico onde coordenar a reunião e verba para locomoção e lanche dos participantes, além da possibilidade de análise. 

Pesquisas observacionais

Grupos focais ou grupos de discussão