Material da aula 3 - Revisão Sistemática da Literatura

Prévia do material em texto

13/10/2012 
1 
I Capacitação em Metodologia da 
Pesquisa Científica 
Prof. Miguel Isoni Filho 
João Pessoa 
Outubro 2012 
Roteiro da aula 
I Capacitação em Metodologia da Pesquisa Científica 
 Introdução 
 Métodos de SLR 
(1) Narrative Review 
(2) Descriptive Review 
(3) Vote Counting 
(4) Meta-analysis 
 Procedimentos extras 
(1) Avaliação da qualidade 
(2) Análise de redes sociais (ARS) 
 Exemplo de SLR: limitação digital 
 Resumo e sugestões. 
 
 
 
13/10/2012 
2 
Introdução 
 
Revisão sistemática de literatura (systematic literature review – SLR) é 
o pilar da prática baseada em evidências de literatura 
especializada (DYBÅ; DINGSØYR, 2008) 
 
 Diante da literatura em crescimento, cujo conhecimento encontra-se 
inexplorado, a SLR merece maior prioridade que a adição de um 
novo experimento ou survey (Glass, 1976) 
 
 
 
I Capacitação em Metodologia da Pesquisa Científica 
Destaca-se que uma tendência recente na revisão de 
literatura é integrar e caracterizar um conjunto de definições, 
diferenças e relações entre conceitos, resultando em um 
modelo de referência para implicações em investigações 
acadêmico-científica ou implicações práticas. 
 
Introdução 
 [FATOS] 
 Há estudos em Sistema de Informação (SI), em torno de 7%, que já 
utilizam SLR como a metodologia de pesquisa (KING; HE, 2005). 
 
 A SLR segue como um método importante em SI, especialmente 
devido aos inúmeros estudos que vem sido desenvolvidos nos últimos 
anos sobre o modelo de aceitação de tecnologia – 
(Technology Acceptance Model – TAM), em pró da investigação da 
inter/multidisciplinaridade de uma determinada área do conhecimento. 
 
 
 
 
No entando, a investigação em SI (assim como ocorre em outros campos 
maduros) apresenta um problema: incosistentes concluções de cunho 
empírico sobre essencialmente o mesmo questionamento de pesquisa. 
 
I Capacitação em Metodologia da Pesquisa Científica 
Métodos de SLR 
 O acúmulo de conhecimentos depende cada vez mais da 
integração entre estudos anteriores e a descoberta empíricas 
(KING; HE, 2005). 
 
 Pesquisadores podem usar uma série de técnicas para fazer 
sentido a uma literatura, com o propósito de lançar resultados 
atuais de pesquisa sobre contextos e explicações contraditórias 
sobre a mesma temática (RUMRILL; FITZGERALD, 2001) 
 
 
 
 
I Capacitação em Metodologia da Pesquisa Científica 
Há uma gama de estudos que dicotomizam 
os métodos de SLR entre as abordagens 
quantitativas e qualitativas. 
13/10/2012 
3 
Métodos de SLR 
I Capacitação em Metodologia da Pesquisa Científica 
 
 
 
 
 
 
 
 
 
 
 
 
Esta abordagem pode ser excessivamente simplista pelo fato 
das técnicas variarem no grau de revisão sistemática de um corpo 
literatura existente, que vai desde puramente qualitativa a 
moderadamente quantitativa para puramente quantitativo. 
 
Métodos de SLR 
Narrative Review 
 
 Apresentam descrições verbais sobre estudos publicados, a partir da 
junção de teorias, modelos e seus fatores elementares (preditor, 
moderador ou mediador), além de resultados de pesquisa. 
 
 OBJETIVO: Postular ou avançar novas teorias e modelos (olhar 
exploratório), além analisar temas importante e/ou controversos. 
 
 
 
 
 
I Capacitação em Metodologia da Pesquisa Científica 
Pela falta do rigor metodológico, com base em um protocolo de 
pesquisa, ao realizar uma revisão narrativa, os pesquisadores 
tendem a consciente ou inconscientemente fazer julgamentos 
que suportam seu próprio plano de fundo. 
Métodos de SLR 
Descriptive Review 
 A revisão descritiva segue a finalidade de introduzir certa quantificação da 
literatura investigada, vezes guinada por uma análise de distribuição de 
frequência de um corpo de categorias de análise (KING; HE, 2005). 
 
 Objetivo: descobrir em que medida a literatura existente suporta uma 
proposição teórica ou revela algo relativo à configuração da pesquisa. 
 
 
 
 
 
 
I Capacitação em Metodologia da Pesquisa Científica 
teoria fundamentada 
metodologia de pesquisa 
abordagem principal 
resultados simbólicos de pesquisa 
CATEGORIAS 
DE ANÁLISE 
13/10/2012 
4 
Métodos de SLR 
Vote Counting 
 
 Pesquisadores classificam esse método como sendo uma revisão 
moderadamente quantitativo, pelo fato de não se preocupar em 
analisar o efeito de tamanhos e a confiabilidade dos estudos 
 
 Uso simples e conveniente. 
 
 Objetivo: fazer inferências qualitativas sobre o foco dos estudos 
revisados (ex. interpretar as magnitudes das correlações) por 
intermédio da análise comparativa e analítica entre os estudos. 
 
 
 
 
 
 
I Capacitação em Metodologia da Pesquisa Científica 
 Este método faz uso de resultados, especialmente, 
 providos da significância dos testes de hipóteses, 
 proporcionados a partir da análise do p-valor. 
 
Métodos de SLR 
Meta-analysis 
[“Análise das análises”] 
 
 Tendência mais recente nas SLR em SI. 
 
 Mais comumente método utilizado na síntese quantitativa de 
pesquisas nas ciências sociais e comportamentais. 
 
 Objetivo: fornecer uma oportunidade alternativa de melhor 
visualização do contexto de pesquisa em questão, combinando e 
analisando resultados quantitativos de estudos empíricos (GLASS, 
1976), a fim de dar sentido à literatura em rápida evolução. 
 
 
I Capacitação em Metodologia da Pesquisa Científica 
Métodos de SLR 
 
 
 
 
 
 
 
 
 
Características gerais da meta-análise 
 Menos crítico e subjetivo do que outros métodos. 
 Configurado como sendo de confirmação da natureza. 
 Sintonizado fortemente com a tradição positivista. 
 Concentração em dados, operacionalização de variáveis. 
 Resultado global mais preciso e confiável. 
 
I Capacitação em Metodologia da Pesquisa Científica 
Nos últimos anos, meta-análise adiquiriu certa reputação, 
especialmente nos campos das ciências ciências sociais e 
comportamentais (FIELD, 2001). 
 
Exemplo: Alguns journals revisaram suas políticas editoriais de 
publicação a fim de incentivar o uso de meta-análise - Academy of 
Management Journal, desde 2002. 
 
13/10/2012 
5 
Métodos de SLR 
Preocupações com a meta-análise 
 
Mesmo sendo potencialmente eficaz, em muitas áreas do 
conhecimento, no entanto, este método é extremamente subutilizado 
(Hwang, 1996), sendo suas práticas conceitualmente e 
metodologicamente falhas (KING; HE, 2005). 
 
 Viés de amostragem para estudos empíricos 
 Reflete efeitos de tamanho, visto que os tipos de pesquisas que 
podem fornecer dados são: survey, experimento, estudos de campo. 
 
 Garbage In Garbage Out (GIGO) 
 Pelo fato de diferenciar os estudos via critérios de qualidade, esse 
método pode ser influenciado negativamente pela inclusão de 
resultados falhos, acarretando em conclusões infundamentadas. 
 
I Capacitação em Metodologia da Pesquisa Científica 
Métodos de SLR 
Preocupações com a meta-análise 
 
 Viés de publicação 
 Conhecido como o “file-drawer problem” (problema gaveta), o viés 
de publicação refere-se à seleção de estudos que fornecem 
resultados unicamente significativos, enquanto resultados não 
significativos tendem a ser relegados em gavetas. 
 
 Maçãs e laranjas 
 Uma meta-análise com resultados derivados de estudos com 
objetivos, medidas e procedimentos incomensuráveis. 
 
 Pequeno tamanho da amostra 
 Se o campo de pesquisa for dificilmente envolvido por estudos 
empíricos suficientes, seu uso não trará resultados conclusivos. 
 
I Capacitação em Metodologia da Pesquisa Científica 
Procedimentos EXTRAS 
Avaliação da qualidade 
 
Uma vez selecionados os estudos primários adequados, necessita-se 
estabelecer uma avaliação da qualidade dos mesmos, dado por 
meio da utilização de um “instrumento da qualidade” específico, 
contendo uma lista de critérios que precisam ser analisados. 
 
 
 
 
 
 
 
I Capacitação em Metodologia da Pesquisa Científica 
Objetivo: limitar distorçõesna condução da 
revisão, permitir a obtenção de insights sobre 
possíveis comparações entre os diferentes estudos, 
e fornecer informações que orientem no 
procedimento de extração e síntese dos dados. 
 
13/10/2012 
6 
Procedimentos EXTRAS 
I Capacitação em Metodologia da Pesquisa Científica 
Avaliação da qualidade 
 
Obs. prevenir viéses no desenrolar da revisão. 
 
 
 
Procedimentos EXTRAS 
Análise de Redes Sociais (SNA) 
 
 social network analysis (SNA) (WELLMAN, 1988) 
 
 Objetivo: conduzir implicações para a ciência que abrange, 
fundamentalmente, a proposição e validação preliminar de uma rede 
de colaboração científica para a caracterização do estágio atual de 
desenvolvimento de pesquisas. 
I Capacitação em Metodologia da Pesquisa Científica 
Contribui para a ampliação do conhecimento a respeito da rede de 
colaboração investigada, formada pelos autores que desenvolveram 
produção acadêmica do tema em questão, ou seja, quais seriam as 
principais instituições, grupos e pesquisadores que estão desenvolvendo 
estudos sobre o fenômeno, bem como as regiões geográficas e 
sociopolíticas que propõem soluções para o mesmo. 
 
 
 Sugere-se, para tanto, a aplicação de certas ferramentas analíticas de 
redes sociais, construídas a partir do método ARS, a fim de identificar 
as conexões (laços relacionais ou elos) e pontos (nós ou atores) dentro 
de um sistema determinado (rede pessoal/institucional). 
 
 Apoiado pelos softwares Ucinet 6.109 e Netdraw 2.28. 
 
 Ucinet 6.109: cria matrizes para a análise dos dados da rede. 
 Netdraw 2.28: constrói gráficos da rede investigada, podendo 
observar os laços relacionais (conexões) existentes entre os diferentes 
atores (nós) da rede, assim como analisar se tais laços são definidos 
por díades, tríades ou grupos. 
 
I Capacitação em Metodologia da Pesquisa Científica 
Procedimentos EXTRAS 
Análise de Redes Sociais (SNA) 
 
13/10/2012 
7 
Exemplo de SLR 
I Capacitação em Metodologia da Pesquisa Científica 
 
 
 
 
 
Limitações Digitais 
Revisão Sistemática da Literatura 
 
[WORKING PAPER/2012] 
 
Dr. Carlo Gabriel Porto Bellini 
Miguel Mauricio Isoni Filho 
 
 
 
 Modelo Tridimensional de Limitações Digitais 
(Bellini et al., 2010) 
Exemplo de SLR: limitação digital 
 
I Capacitação em Metodologia da Pesquisa Científica 
13/10/2012 
8 
Protocolo da SLR 
I Capacitação em Metodologia da Pesquisa Científica 
Para estabelecer as etapas da SLR, necessita-se 
definir um protocolo que especifique os 
procedimentos a serem utilizados durante a revisão. 
 
 
Protocolo: 
Reduz a possibilidade de ocorrer viés na pesquisa; 
Evita a seleção e análise dos estudos primários de forma parcial. 
 
 
Segundo Cook et al. (1997), os procedimentos metodológicos, 
presentes no protocolo, representam as “forças” da SLR, permitindo 
tanto avaliar o estado atual dos conhecimentos da área, como 
manter a atualização de pesquisas em base avançada. 
 
Exemplo de SLR: limitação digital 
Sobre o método 
 
 Por meio de uma SLR, discute-se a identificação e a síntese, de 
forma sistemática e auditável, de uma amostra de estudos relevantes 
publicados entre 2006 e 2011 nas áreas de TI, CI, comunicação e 
sociologia que abordam temáticas do campo da exclusão digital. 
 
Procedimentos do Protocolo 
1. justificativa 
2. questão de pesquisa 
3. seleção das fontes primárias (periódicos); 
4. estratégia de busca e seleção dos estudos primários; 
5. extração dos dados; 
6. síntese dos dados extraídos. 
 
 
Exemplo de SLR: limitação digital 
 
 
 
 Segue-se uma série de pontos para justificar sua aplicação: 
 
1. caracterizar um conjunto essencial de definições, diferenças e 
relações entre tipos de limitação digital; 
2. identificar lacunas nas pesquisas atuais, a fim de determinar se 
uma investigação mais aprofundada seria necessária; 
3. para fins futuros, examinar em que medida uma dada hipótese é 
suportada ou refutada pela evidência empírica disponível. 
 
 
 
 A literatura reconhece e discute as três formas de 
limitações digitais (acesso, cognição e comportamento)? 
 
I Capacitação em Metodologia da Pesquisa Científica 
Etapa 2: Questão de pesquisa: 
Etapa 1: Justificativa 
Exemplo de SLR: limitação digital 
13/10/2012 
9 
 
 
 
 
 
Etapa 3: Seleção das fontes primárias 
I Capacitação em Metodologia da Pesquisa Científica 
Etapa 4: Estratégia de busca e seleção dos estudos primários 
Uma estratégia de busca bem-estruturada permite a integridade da 
pesquisa, visto que a extensão da pesquisa pode ser realizada para 
confirmar e refutar hipóteses, ou auxiliar na geração de novas. 
1. Período 2006-2010. 
2. No máximo três estudos 
3. Mais recentes. 
 
Exemplo de SLR: limitação digital 
 Leitura completa de cada um dos estudos selecionados; 
 Estudos foram avaliados e sintetizados [2x]; 
 Perspectiva de pesquisa do tipo top-down. 
 
Após selecionar, avaliar e sintetizar 31 ESTUDOS, foram extraídos os 
dados com base nas seguintes categorias organizadas previamente: 
 
 
 
 
 
 
 
 
1. FORMA DE LIMITAÇÃO DIGITAL 
2. ESCOPO (ESC.) 
3. MÉTODO (MÉT.) 
4. EXTENSÃO (EXT.) 
5. CONTEXTO 
6. IMPLICAÇÃO (“Por quê?”) 
7. CAUSAS E SOLUÇÕES 
 
Etapa 5: Extração dos dados 
T
O
P
-D
O
W
N
 
Etapa 6: síntese dos 
dados extraídos 
 
Exemplo de SLR: limitação digital 
13/10/2012 
10 
 Apenas o estudo de Donat et al. (2009) considera essa três 
possibilidades entre 2006 e 2011 nas fontes adotadas. 
 
 Entre os 31 estudos primários (artigos): 
Predominam aqueles que abordam apenas LA, totalizando 13 artigos (42%); e, 
LA junto com LI e LC, eleva-se este total para 22 artigos (71%). 
 
 
 
 
Considerando apenas os 27 estudos que apresentam resultados empíricos: 
17 estudos (63%) se concentram no escopo “sociedade” e nenhum em “indivíduo” 
 
No que se refere ao método das pesquisas: 
19 artigos (70%) aplicam survey ou análise de dados primários; e, 
19 artigos (70%) apresentam extensão transversal. 
 
 
 
 
Discussão dos resultados 
Exemplo de SLR: limitação digital 
Em suma... 
Percebe-se a necessidade de pesquisas que investiguem o fenômeno 
das limitações digitais de modo mais completo, considerando as 
várias potenciais dimensões de análise (acesso, cognição e 
comportamento) e as interdependências entre elas, de modo 
que ações individuais, comunitárias e governamentais surtam efeito 
no que se relaciona à adoção e ao uso efetivo das TICs. 
 
A isto, propõe-se ampla aplicação e validação do modelo 
tridimensional de limitações digitais de Bellini et al. (2010), que 
pode se beneficiar das evidências encontradas na revisão 
sistemática da literatura parcialmente apresentada aqui. 
Exemplo de SLR: limitação digital 
 
Por fim, destaca-se que a aplicação de princípios de SLR permite 
alguma segurança ao leitor no que diz respeito à confiabilidade 
dos resultados, especialmente quanto às áreas consideradas 
(tecnologia da informação, ciência da informação, comunicação e 
sociologia), às categorias de análise e ao período do 
levantamento (2006 a 2011). 
 
Esta pesquisa fornece resultados para fins conceituais e práticos 
previstos para o campo de estudos sobre limitação digital. 
 
Em especial, entende-se que esta pesquisa apresenta benefícios ao 
cobrir fontes internacionais qualificadas sobre a temática e fatores que 
descrevem parte dessa literatura e identificar as variáveis que 
descrevem parte da variância do fenômeno de interesse. 
 
Conclusões do estudo 
Exemplo de SLR: limitação digital 
13/10/2012 
11 
I Capacitação em Metodologia da Pesquisa Científica 
Resumo 
(Kitchenham, 2004) 
Considerações finais 
 
 
 A SLR mudou o curso das pesquisas em diversas áreas. 
Por intermédio do uso desse método é possível acompanhar as 
mudanças que ocorrem constantemente nos objetos de estudo em 
SI,área que, pelo fato de ter uma natureza dinâmica, requer 
avaliações precisas e em tempo hábil. 
 
 Ao sintentizar estudos teóricos/empirícos, a SLR pode servir como 
uma eficiente ferramenta para satisfazer as necessidades de 
conclusões gerais sobre um determinado fenômeno de interesse. 
I Capacitação em Metodologia da Pesquisa Científica 
 
Espero que cada um de VOCÊS também se 
beneficie de forma significativa para realizar 
revisões sistemáticas da literatura 
 
Referências 
BELLINI, C.G.P.; GIEBELEN, E.; CASALI, R.R.B. Limitações digitais. Informação & Sociedade, v. 
20, n. 2, 2010, p. 25-35. 
COOK, D.J.; MULROW, C.D.; HAYNES, R.B. Systematic reviews: Synthesis of best evidence for 
clinical decisions. Annals of Internal Medicine, v. 126, n. 5, 1997, p. 376-380. 
DONAT, E.; BRANDTWEINER, R.; KERSCHBAUM, J. Attitudes and the digital divide: Attitude 
measurement as instrument to predict Internet usage. Informing Science, v. 12, 2009, p. 37-56. 
DYBÅ, T.; DINGSØYR, T. Empirical studies of agile software development: A systematic review. 
Information & Software Technology, v. 50, n. 9, 2008, p. 178-187. 
FIELD, A.P. Meta-Analysis of Correlation Coefficients: A Monte Carlo Comparison of Fixed- and 
Random-Effects Methods, Psychological Methods, v. 6, n. 2, 2011. 
GLASS, G.V. Primary, secondary, and meta-analysis of research. Review of Research in 
Education, v. 5, n. 10, 1976. 
GUZZO, R.A., S.E.; JACKSON, R.A.; KATZELL Meta-Analysis Analysis”, Research in 
Organizational Behavior, v. 9, 1987. 
KING, W. R.; HE, J. Understanding the role and methods of meta-analysis in IS research. 
Communications of the AIS, v. 15, 2005. 
KITCHENHAM, B. Procedures for performing systematic reviews. Technical Report TR/SE-0401. 
Keele: Keele University, 2004. 
RUMRILL, P.D. JR.; FITZGERALD, S.M. Using Narrative Literature Reviews To Build A Scientific 
Knowledge Base, Work: A Journal of Prevention, Assessment and Rehabilitation, v. 16. v. 2, 
2011. 
WELLMAN, B. Network analysis: From method and metaphor to theory and substance. In: 
Wellman, B., Berkowit, D. (Eds.). Social structures: A network approach. New York: Cambridge 
University, 1988. 
 
I Capacitação em Metodologia da Pesquisa Científica 
13/10/2012 
12 
 
I Capacitação em Metodologia da Pesquisa Científica 
Muito obrigado! 
 
Miguel Isoni Filho 
isonifilho@gmail.com