ESTUDO DE MAPEAMENTO
  SISTEMÁTICO
  Alexandre Nóbrega Duarte
  http://alexandre.ci.ufpb.br


04/02/2013     I Workshop do Laboratório de Análise de Redes Sociais da UFPB
Introdução
   Digamos que você pretende definir uma nova
    abordagem ou método para resolver um
    determinado problema.

     Qual é a primeira coisa que você deve fazer?
Revisão de Literatura
   Procurar trabalhos científicos primários,
    secundários, etc …
   Estudos secundários
     Estudo   de mapeamento sistemático
       Mais   geral
     Revisão   sistemática de literatura
       Mais detalhado
       Mais comparativo
Estudo de mapeamento sistemático
   Mapping study (a.k.a Scoping study)
   Estudo secundário: depende dos estudos primários
    utilizados para revelar evidências e construir
    conhecimento;
   Diferente de uma revisão comum de
    literatura, existe explicitamente uma estratégia de
    pesquisa, permitindo que as evidências pertinentes
    sejam consideradas de forma sistemática e
    transparente
Revisão Sistemática de Literatura
   Um dos principais métodos da pesquisa baseada
    em evidências (medicina, engenharia de
    software, etc)
   O mesmo arcabouço metodológico de um estudo de
    mapeamento sistemático é utilizado em uma RSL

   Contudo, os dois métodos apresentam diferenças
    importantes…
MS vs RSL: Abrangência do Estudo


             Mapeamento                      Revisão
              Sistemático                  Sistemática


            Exploratório                    Escopo definido




Questões de pesquisa mais amplas         Questões de pesquisa PICOC
                                   (Population, Intervention, Context, Outcomes e Comparison)
MS vs RSL: Processo de Busca


      Mapeamento         Revisão
       Sistemático     Sistemática
   Exploração: Menos    Extração: Mais
      aprofundada        aprofundada
    Síntese: Foco na   Síntese: Foco em
     categorização     melhores práticas




                        Avaliação da qualidade!
Por que fazer um mapping study?
   Para examinar a extensão, alcance e natureza dos
    fenômenos de investigação;
   Para determinar a necessidade de uma completa
    revisão sistemática;
   Para resumir e divulgar resultados de pesquisa;
   Para identificar as lacunas de pesquisa na
    literatura existente.
O que se precisa para fazer um
mapping study?
   Um tema a ser mapeado
   Perguntas a serem respondidas
   Um protocolo para guiar os participantes
   O número ideal de participantes é 3
     Executar   com uma única pessoa diminui a qualidade do
      mapping
Criando um protocolo para mapping
study
   Introdução
   Qual a área de conhecimento que você quer
    mapear?
   Qual a justificativa para realizar este estudo?
   Identificar questões de pesquisa
   Exemplos:
     Como   estão distribuídas as publicações ao longo dos
      anos?
     Podemos distribuir as publicações seguindo uma
      taxonomia? Se sim, como está esta distribuição?
Busca
   Busca automática
     Definir   quais engenhos de busca serão utilizados
       IEEEXplore, Google Scholar, Scopus, ScienceDirect, ACM
        Digital Library, Engineering Village, etc
     Definir   as strings de busca
   Busca manual
     Definirque conferências, journals, etc
     Principais conferências/journals da área
Busca automática
   Definindo as strings de busca
     Baseado   nas palavras-chaves das questões de
      pesquisa
     Strings podem ter sinônimos, variar em número e em
      idioma
     Exemplo: a palavra-chave “Programação Orientada a
      objetos”

      “programação orientada a
      objetos”, “POO”, “OO”, “orientação a objetos”, “object-
      oriented”, “object orientation”
Busca automática
   Definindo as strings de busca
     Devemos    usar operadores booleanos nas buscas
       ORpara sinônimos
       AND para integrar palavras-chaves
     Exemplo:
      Queremos pesquisar sobre métodos de design em
      POO.
        (“design” OR “método”)
        AND
        (“programação orientada a objetos” OR “POO” OR
        “OO” OR “orientação a objetos”)
Busca automática
   Definindo as strings de busca
     ATENÇÃO:   cada engenho de busca tem uma forma
      diferente para se criar a expressão
     Deve-se estudar como criar a expressão booleana em
      cada engenho de busca
Busca automática
   Exemplo
     IEEEXplore
      ("design" OR "metodo") AND ("OO" OR "orientação a
        objetos" OR "programação orientada a objetos")
     Scopus
      TITLE-ABS-KEY(("design" OR "metodo") AND ("OO" OR
        "orientação a objetos" OR "programação orientada a
        objetos"))
Busca manual
   Selecionar apenas as principais conferências sobre o
    tema
     É uma busca complementar
     Se o paper for relevante ele provavelmente será indexado
      pelos engenhos e recuperado na busca automática
   Interessantes para áreas novas de pesquisa, cujas
    conferências ainda não são devidamente indexadas
   Útil também para incluir artigos apresentados em
    workshops focados em tópicos muito específicos
Definir critérios de inclusão e exclusão

   Define quais os critérios para incluir ou excluir um
    trabalho do mapping
   Precisam estar bem definidos para não haver
    discordância nas avaliações dos pesquisadores
   Mesmo assim, vão haver discordâncias! 
Exemplos de critérios de
inclusão/exclusão
        rios de         o
     Estudos   que foquem no contexto de XXX baseado em
      YYY
     Estudos que estejam          veis para acesso      s
      do serviço de biblioteca online da UFPB.
        rios de          o
     Estudos irrelevantes para a pesquisa;
     Estudos repetidos e duplicados;
     Estudos que apresentem texto,        do e resultados
      incompletos.
Mapear
   Analisar os trabalhos selecionados de acordo com
    as questões de pesquisa
   Criar taxonomias para classificar os trabalhos e
    gerar resultados interessantes
     Criar  uma taxonomia nova não é trivial
     Tentar aproveitar taxonomias existentes na literatura
     Utilizar taxonomias das conferências da área
       Pode   usar o DBLP
   Gerar resultados
     Geralmente    em forma de gráficos
Taxonomias
Exemplos de resultados
Exemplos de resultados
Exemplos de resultados
Um processo para mapping study

                               Etapas do processo
Definição das                                        Determinação de        Extração e
                  Conduzir a         Exame dos
 questões de                                        palavras-chave nos   classificação dos
                    busca              artigos           abstracts
  pesquisa                                                                     dados




 Escopo da                             Artigos        Esquema de          Mapeamento
                Todos os artigos
  pesquisa                           relevantes       classificação        sistemático




                                   Resultados
Considerações finais
   É bastante trabalhoso!
   Pode ser interessante realizar um pré-mapeamento
    com apenas uma questão de pesquisa
   Definir bem as questões de pesquisa e o
    procedimento de busca;
   Realizar testes com a string para adaptá-la a
    cada engenho de busca.

Mapping Study

  • 1.
    ESTUDO DE MAPEAMENTO SISTEMÁTICO Alexandre Nóbrega Duarte http://alexandre.ci.ufpb.br 04/02/2013 I Workshop do Laboratório de Análise de Redes Sociais da UFPB
  • 2.
    Introdução  Digamos que você pretende definir uma nova abordagem ou método para resolver um determinado problema. Qual é a primeira coisa que você deve fazer?
  • 3.
    Revisão de Literatura  Procurar trabalhos científicos primários, secundários, etc …  Estudos secundários  Estudo de mapeamento sistemático  Mais geral  Revisão sistemática de literatura  Mais detalhado  Mais comparativo
  • 4.
    Estudo de mapeamentosistemático  Mapping study (a.k.a Scoping study)  Estudo secundário: depende dos estudos primários utilizados para revelar evidências e construir conhecimento;  Diferente de uma revisão comum de literatura, existe explicitamente uma estratégia de pesquisa, permitindo que as evidências pertinentes sejam consideradas de forma sistemática e transparente
  • 5.
    Revisão Sistemática deLiteratura  Um dos principais métodos da pesquisa baseada em evidências (medicina, engenharia de software, etc)  O mesmo arcabouço metodológico de um estudo de mapeamento sistemático é utilizado em uma RSL  Contudo, os dois métodos apresentam diferenças importantes…
  • 6.
    MS vs RSL:Abrangência do Estudo Mapeamento Revisão Sistemático Sistemática Exploratório Escopo definido Questões de pesquisa mais amplas Questões de pesquisa PICOC (Population, Intervention, Context, Outcomes e Comparison)
  • 7.
    MS vs RSL:Processo de Busca Mapeamento Revisão Sistemático Sistemática Exploração: Menos Extração: Mais aprofundada aprofundada Síntese: Foco na Síntese: Foco em categorização melhores práticas Avaliação da qualidade!
  • 8.
    Por que fazerum mapping study?  Para examinar a extensão, alcance e natureza dos fenômenos de investigação;  Para determinar a necessidade de uma completa revisão sistemática;  Para resumir e divulgar resultados de pesquisa;  Para identificar as lacunas de pesquisa na literatura existente.
  • 9.
    O que seprecisa para fazer um mapping study?  Um tema a ser mapeado  Perguntas a serem respondidas  Um protocolo para guiar os participantes  O número ideal de participantes é 3  Executar com uma única pessoa diminui a qualidade do mapping
  • 10.
    Criando um protocolopara mapping study  Introdução  Qual a área de conhecimento que você quer mapear?  Qual a justificativa para realizar este estudo?  Identificar questões de pesquisa  Exemplos:  Como estão distribuídas as publicações ao longo dos anos?  Podemos distribuir as publicações seguindo uma taxonomia? Se sim, como está esta distribuição?
  • 11.
    Busca  Busca automática  Definir quais engenhos de busca serão utilizados  IEEEXplore, Google Scholar, Scopus, ScienceDirect, ACM Digital Library, Engineering Village, etc  Definir as strings de busca  Busca manual  Definirque conferências, journals, etc  Principais conferências/journals da área
  • 12.
    Busca automática  Definindo as strings de busca  Baseado nas palavras-chaves das questões de pesquisa  Strings podem ter sinônimos, variar em número e em idioma  Exemplo: a palavra-chave “Programação Orientada a objetos” “programação orientada a objetos”, “POO”, “OO”, “orientação a objetos”, “object- oriented”, “object orientation”
  • 13.
    Busca automática  Definindo as strings de busca  Devemos usar operadores booleanos nas buscas  ORpara sinônimos  AND para integrar palavras-chaves  Exemplo: Queremos pesquisar sobre métodos de design em POO. (“design” OR “método”) AND (“programação orientada a objetos” OR “POO” OR “OO” OR “orientação a objetos”)
  • 14.
    Busca automática  Definindo as strings de busca  ATENÇÃO: cada engenho de busca tem uma forma diferente para se criar a expressão  Deve-se estudar como criar a expressão booleana em cada engenho de busca
  • 15.
    Busca automática  Exemplo  IEEEXplore ("design" OR "metodo") AND ("OO" OR "orientação a objetos" OR "programação orientada a objetos")  Scopus TITLE-ABS-KEY(("design" OR "metodo") AND ("OO" OR "orientação a objetos" OR "programação orientada a objetos"))
  • 16.
    Busca manual  Selecionar apenas as principais conferências sobre o tema  É uma busca complementar  Se o paper for relevante ele provavelmente será indexado pelos engenhos e recuperado na busca automática  Interessantes para áreas novas de pesquisa, cujas conferências ainda não são devidamente indexadas  Útil também para incluir artigos apresentados em workshops focados em tópicos muito específicos
  • 17.
    Definir critérios deinclusão e exclusão  Define quais os critérios para incluir ou excluir um trabalho do mapping  Precisam estar bem definidos para não haver discordância nas avaliações dos pesquisadores  Mesmo assim, vão haver discordâncias! 
  • 18.
    Exemplos de critériosde inclusão/exclusão  rios de o  Estudos que foquem no contexto de XXX baseado em YYY  Estudos que estejam veis para acesso s do serviço de biblioteca online da UFPB.  rios de o  Estudos irrelevantes para a pesquisa;  Estudos repetidos e duplicados;  Estudos que apresentem texto, do e resultados incompletos.
  • 19.
    Mapear  Analisar os trabalhos selecionados de acordo com as questões de pesquisa  Criar taxonomias para classificar os trabalhos e gerar resultados interessantes  Criar uma taxonomia nova não é trivial  Tentar aproveitar taxonomias existentes na literatura  Utilizar taxonomias das conferências da área  Pode usar o DBLP  Gerar resultados  Geralmente em forma de gráficos
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
    Um processo paramapping study Etapas do processo Definição das Determinação de Extração e Conduzir a Exame dos questões de palavras-chave nos classificação dos busca artigos abstracts pesquisa dados Escopo da Artigos Esquema de Mapeamento Todos os artigos pesquisa relevantes classificação sistemático Resultados
  • 25.
    Considerações finais  É bastante trabalhoso!  Pode ser interessante realizar um pré-mapeamento com apenas uma questão de pesquisa  Definir bem as questões de pesquisa e o procedimento de busca;  Realizar testes com a string para adaptá-la a cada engenho de busca.