SARESP Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo Maria Inês Fini Dia do Saresp na Escola 2010
Dia do SARESP na Escola Momento de reflexão inicial sobre os resultados do SARESP 2009. Etapa preparatória para o re- planejamento contínuo.
3.227 escolas municipais em 531 municípios. 112 escolas particulares 179 unidades do SESI. 86 escolas do Centro Paula Souza 2 escolas de aplicação: USP e UNICAMP Participação:  8.749  escolas  2.471.533  alunos  SARESP 2009
SARESP 2009 Resultados Informações para a escola nos documentos: Boletim da Escola: Dados gerais de participação no estado. Médias gerais por disciplina e série  considerando: estado, COGSP, CEI, Diretoria,  Município e Escola. Médias do SAEB e Prova Brasil 2007 por disciplina e série considerando as escolas estaduais do Brasil e as escolas estaduais de São Paulo.
Boletim Da Escola Os resultados obtidos pelas séries e componentes curriculares avaliados mostram também: A distribuição percentual dos alunos nos  Níveis de Desempenho   das escalas de proficiência de Língua Portuguesa, de Matemática  e de Ciências,
Escala de Proficiência Resultados 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 4ª EF Abaixo do Básico Básico Adequado Avançado 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 6ª EF Abaixo do Básico Básico Adequado Avançado 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 8ª EF Abaixo do Básico Básico Adequado Avançado 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 3ª EM Abaixo do Básico Básico Adequado Avançado LÍNGUA PORTUGUESA
SARESP Níveis de Desempenho Agrupamento de pontos da Escala de Proficiência caracterizados a partir  das expectativas de aprendizagem para cada série. Análise estatística indica percentual de Alunos nos níveis definidos para cada série e disciplina Abaixo do Básico -  INSUFICIENTE  Básico/ Adequado / Avançado -  SUFICIENTE
Níveis de Desempenho Investigar o percentual de alunos da escola que não alcançaram os níveis esperados de aprendizagem; Investigar o número de alunos nos níveis mais baixos Propor alternativas para fazer com que os alunos passem de um nível a outro  Onde estamos e o que é preciso  modificar, incluir ou consolidar para garantir, a cada aluno, seu direito de APRENDER?
Boletim da Escola Na leitura dos percentuais de alunos situados em cada nível da escala de proficiência, por série, deve-se observar o seguinte: quanto maior forem os percentuais de alunos posicionados nos níveis mais altos da escala e menores os percentuais nos níveis mais baixos, melhor será o resultado da série/instituição educacional;
Relatórios Pedagógicos 2008 São três relatórios pedagógicos: Língua Portuguesa Matemática Ciências Humanas
Relatórios Pedagógicos 1ª PARTE : Instrumentos: provas, questionários Contexto da Aplicação  Abrangência Resultados: médias das proficiências por série, distribuição de alunos nos níveis de desempenho.
Provas do  NOVO SARESP Características: Cada aluno responde a um conjunto de 24 itens em cada disciplina. São mais abrangentes em relação à abordagem do currículo. São 13 blocos de 8 itens cada= 104 itens da matriz de referência para cada série e disciplina avaliada. São organizados em  26 cadernos de provas com arranjos distintos dos blocos. O arranjo obedece à estruturação estatística denominada  BIB blocos incompletos balanceados. Os blocos se repetem mas com outra posição nos cadernos.
PROVAS  (cont) Dos 104 itens de cada série, 16 ( dois blocos de 8) são itens do SAEB; 16 são dos SARESPs anteriores MOTIVO : fazer a ligação entre as séries e entre anos e usar a mesma escala do SAEB. Restam 72 itens novos a cada ano de aplicação. Todos esses itens são pré-testados. Significa que : Sabe-se o que eles avaliam ( habilidades). Qual  é o grau de dificuldade que apresentam.
PROVAS (cont) Na escolha final dos itens que comporão os cadernos, são considerados: 15% de itens fáceis 15% de itens difíceis  70% de itens de média dificuldade  Os 104 itens resultantes de todas essas análises e escolhas são  aleatoriamente  distribuídos nos 26 cadernos diferentes de provas de uma  turma.
PROVAS (cont) Cada aluno de uma turma responde a um conjunto de itens que não  representa a soma de conhecimentos previstos para seu ano de escolaridade. O total da proficiência de sua turma só pode ser afirmado pelo conjunto das proficiências individuais tratados por metodologia específica. Não é correto  usar o score individual de cada aluno como a expressão de sua proficiência.
CONCEITOS ESTRUTURANTES Diferenças que complementam as avaliações na rede pública paulista
Processos formativos e continuados Verificação dos conhecimentos alcançados por cada um dos alunos: produções pessoais, estruturas de compreensão,pensamento, interatividade,resolução de problemas, solidariedade com a tarefa grupal. Processos avaliativos formais  Em etapas intermediárias ou finais do processo ensino aprendizagem  TODAS ARTICULADAS  às avaliações externas  (de larga escala). Avaliação da Aprendizagem:  gera resultados individuais
Avaliação de Sistemas, escolas e instituições baseada na construção de indicadores onde o  desempenho dos alunos  é avaliado por medidas específicas de  proficiência , que se  se transforma em um dos indicadores da avaliação. Avaliação em Larga Escala gera resultados coletivos
COMO  medir proficiência? Temos que medi-la como um  traço latente ou construto. Significa que um conjunto de medidas são necessárias para inferir sua expressão No caso de avaliação de desempenho como no SARESP, são os itens de prova que permitirão concluir pela proficiência.
Proficiência não é porcentagem de acertos: revela  um conjunto de habilidades que os estudantes  desenvolveram.  As proficiências no SARESP são apresentadas em uma escala única, cumulativa, que vai de 0 a 500 com intervalos de 25 em 25 pontos. A métrica é a mesma do SAEB. Proficiência
TRI -  Teoria de resposta ao Item   conjunto de modelos matemáticos que  representam a probabilidade de um indivíduo acertar um item como função de  sua proficiência. Modelo logístico de análise que considera 3 parâmetros estatísticos que permite medir proficiência de um aluno como um  traço latente .  considera um conjunto de itens que permitem avaliar proficiência.
Currículo e Avaliação Os resultados do SARESP devem ser analisados pelas escolas em função das expectativas de aprendizagem definidas no currículo.  Para tanto é necessário compreender a interpretação dos  níveis de desempenho  e não somente as médias obtidas em cada componente curricular.
Relatórios Pedagógicos 2ª Parte: Relações entre Currículo e Avaliação Análise do desempenho dos alunos por nível e por série Exemplo de itens por nível com análise do acerto Recomendações Pedagógicas Considerações Finais
Relatórios Pedagógicos SARESP na ESCOLA Sugestões de trabalho de aproveitamento dos relatórios em páginas intercaladas no relatório. Roteiros com questões para reflexão Apoio ao Trabalho das Escolas .
Caderno do Gestor Contém todos os roteiros do SARESP na ESCOLA Guias de utilização Apoio ao trabalho dos professores coordenadores e dos supervisores.
Matrizes de Referência para Avaliação - Documento Básico Conceitos estruturantes da Avaliação As competências e habilidades a serem avaliadas no SARESP por série e disciplina.
Documentos Complementares Documentos com exemplos comentados de itens que medem todas as habilidades das matrizes de referência.
Retomada do Trabalho Pedagógico da escola: re-planejamento contínuo
93% entre as escolas que tiveram acompanhamento mais próximo da SE (com menores valores do IDESP em 2008) atingiram ou superaram as metas em 2009
Evolução da Proficiência em  Língua Portuguesa  Em todos os ciclos, observa-se a elevação do indicador de desempenho, comparativamente a 2008.  Na comparação entre os resultados do SARESP 2008 e a edição de 2009, o destaque cabe à 4ª série do ensino fundamental, que assinala um incremento de 10 pontos no intervalo de apenas um ano.  Os resultados de Língua Portuguesa assinalam uma tendência de elevação dos níveis de proficiência do alunos em todo o percurso da educação básica.  A melhoria vigorosa dos níveis de letramento nas séries iniciais projeta para os anos próximos a manutenção da tendência à elevação do desempenho nas séries seguintes.
Evolução da Proficiência em  Matemática  Na comparação entre os resultados do SARESP 2008 e a edição de 2009, o destaque cabe à 4ª série do ensino fundamental, que assinala um incremento de 10 pontos no intervalo de apenas um ano.  O aumento na 8ª série do ensino fundamental foi de 6 pontos.  Os resultados de Matemática para o ensino fundamental também projetam um cenário de elevação dos níveis de proficiência do alunado. Os dados sugerem a existência de obstáculos mais severos à elevação dos níveis de desempenho em Matemática no ensino médio. Isso se revela na queda observada nos níveis de proficiência, em 2009, comparativamente aos resultados de 2008, com o alunado retornando ao patamar de 2007.
Nível das políticas públicas? Nível centralizado de gestão da rede? Nível de gestão da escola? Nível de coordenação pedagógica? Nível do professor e da sala de aula? Em que contexto de gestão estão inseridos os usos dos resultados das avaliações?
AÇÕES Pedagógicas Estruturantes Currículo Avaliação Materiais de apoio para professores, gestores e alunos Reforço e recuperação Apoio à implementação do currículo Apoio à implementação da recuperação Ações emergenciais para os que mais precisam
É possível utilizar os resultados da avaliação em larga escala para melhorar o desempenho dos alunos? Sim , desde que o desempenho insuficiente dos alunos esteja inserido como problema a ser enfrentado ao nível central das políticas públicas, ao nível centralizado de gestão da rede,ao nível de gestão da escola, ao nível de coordenação e supervisão pedagógica e ao nível da gestão da aprendizagem pelo professor e da sala de aula.

Saresp dia do

  • 1.
    SARESP Sistema deAvaliação do Rendimento Escolar do Estado de São Paulo Maria Inês Fini Dia do Saresp na Escola 2010
  • 2.
    Dia do SARESPna Escola Momento de reflexão inicial sobre os resultados do SARESP 2009. Etapa preparatória para o re- planejamento contínuo.
  • 3.
    3.227 escolas municipaisem 531 municípios. 112 escolas particulares 179 unidades do SESI. 86 escolas do Centro Paula Souza 2 escolas de aplicação: USP e UNICAMP Participação: 8.749 escolas 2.471.533 alunos SARESP 2009
  • 4.
    SARESP 2009 ResultadosInformações para a escola nos documentos: Boletim da Escola: Dados gerais de participação no estado. Médias gerais por disciplina e série considerando: estado, COGSP, CEI, Diretoria, Município e Escola. Médias do SAEB e Prova Brasil 2007 por disciplina e série considerando as escolas estaduais do Brasil e as escolas estaduais de São Paulo.
  • 5.
    Boletim Da EscolaOs resultados obtidos pelas séries e componentes curriculares avaliados mostram também: A distribuição percentual dos alunos nos Níveis de Desempenho das escalas de proficiência de Língua Portuguesa, de Matemática e de Ciências,
  • 6.
    Escala de ProficiênciaResultados 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 4ª EF Abaixo do Básico Básico Adequado Avançado 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 6ª EF Abaixo do Básico Básico Adequado Avançado 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 8ª EF Abaixo do Básico Básico Adequado Avançado 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 ESCALA DO SAEB 3ª EM Abaixo do Básico Básico Adequado Avançado LÍNGUA PORTUGUESA
  • 7.
    SARESP Níveis deDesempenho Agrupamento de pontos da Escala de Proficiência caracterizados a partir das expectativas de aprendizagem para cada série. Análise estatística indica percentual de Alunos nos níveis definidos para cada série e disciplina Abaixo do Básico - INSUFICIENTE Básico/ Adequado / Avançado - SUFICIENTE
  • 8.
    Níveis de DesempenhoInvestigar o percentual de alunos da escola que não alcançaram os níveis esperados de aprendizagem; Investigar o número de alunos nos níveis mais baixos Propor alternativas para fazer com que os alunos passem de um nível a outro Onde estamos e o que é preciso modificar, incluir ou consolidar para garantir, a cada aluno, seu direito de APRENDER?
  • 9.
    Boletim da EscolaNa leitura dos percentuais de alunos situados em cada nível da escala de proficiência, por série, deve-se observar o seguinte: quanto maior forem os percentuais de alunos posicionados nos níveis mais altos da escala e menores os percentuais nos níveis mais baixos, melhor será o resultado da série/instituição educacional;
  • 10.
    Relatórios Pedagógicos 2008São três relatórios pedagógicos: Língua Portuguesa Matemática Ciências Humanas
  • 11.
    Relatórios Pedagógicos 1ªPARTE : Instrumentos: provas, questionários Contexto da Aplicação Abrangência Resultados: médias das proficiências por série, distribuição de alunos nos níveis de desempenho.
  • 12.
    Provas do NOVO SARESP Características: Cada aluno responde a um conjunto de 24 itens em cada disciplina. São mais abrangentes em relação à abordagem do currículo. São 13 blocos de 8 itens cada= 104 itens da matriz de referência para cada série e disciplina avaliada. São organizados em 26 cadernos de provas com arranjos distintos dos blocos. O arranjo obedece à estruturação estatística denominada BIB blocos incompletos balanceados. Os blocos se repetem mas com outra posição nos cadernos.
  • 13.
    PROVAS (cont)Dos 104 itens de cada série, 16 ( dois blocos de 8) são itens do SAEB; 16 são dos SARESPs anteriores MOTIVO : fazer a ligação entre as séries e entre anos e usar a mesma escala do SAEB. Restam 72 itens novos a cada ano de aplicação. Todos esses itens são pré-testados. Significa que : Sabe-se o que eles avaliam ( habilidades). Qual é o grau de dificuldade que apresentam.
  • 14.
    PROVAS (cont) Naescolha final dos itens que comporão os cadernos, são considerados: 15% de itens fáceis 15% de itens difíceis 70% de itens de média dificuldade Os 104 itens resultantes de todas essas análises e escolhas são aleatoriamente distribuídos nos 26 cadernos diferentes de provas de uma turma.
  • 15.
    PROVAS (cont) Cadaaluno de uma turma responde a um conjunto de itens que não representa a soma de conhecimentos previstos para seu ano de escolaridade. O total da proficiência de sua turma só pode ser afirmado pelo conjunto das proficiências individuais tratados por metodologia específica. Não é correto usar o score individual de cada aluno como a expressão de sua proficiência.
  • 16.
    CONCEITOS ESTRUTURANTES Diferençasque complementam as avaliações na rede pública paulista
  • 17.
    Processos formativos econtinuados Verificação dos conhecimentos alcançados por cada um dos alunos: produções pessoais, estruturas de compreensão,pensamento, interatividade,resolução de problemas, solidariedade com a tarefa grupal. Processos avaliativos formais Em etapas intermediárias ou finais do processo ensino aprendizagem TODAS ARTICULADAS às avaliações externas (de larga escala). Avaliação da Aprendizagem: gera resultados individuais
  • 18.
    Avaliação de Sistemas,escolas e instituições baseada na construção de indicadores onde o desempenho dos alunos é avaliado por medidas específicas de proficiência , que se se transforma em um dos indicadores da avaliação. Avaliação em Larga Escala gera resultados coletivos
  • 19.
    COMO medirproficiência? Temos que medi-la como um traço latente ou construto. Significa que um conjunto de medidas são necessárias para inferir sua expressão No caso de avaliação de desempenho como no SARESP, são os itens de prova que permitirão concluir pela proficiência.
  • 20.
    Proficiência não éporcentagem de acertos: revela um conjunto de habilidades que os estudantes desenvolveram. As proficiências no SARESP são apresentadas em uma escala única, cumulativa, que vai de 0 a 500 com intervalos de 25 em 25 pontos. A métrica é a mesma do SAEB. Proficiência
  • 21.
    TRI - Teoria de resposta ao Item conjunto de modelos matemáticos que representam a probabilidade de um indivíduo acertar um item como função de sua proficiência. Modelo logístico de análise que considera 3 parâmetros estatísticos que permite medir proficiência de um aluno como um traço latente . considera um conjunto de itens que permitem avaliar proficiência.
  • 22.
    Currículo e AvaliaçãoOs resultados do SARESP devem ser analisados pelas escolas em função das expectativas de aprendizagem definidas no currículo. Para tanto é necessário compreender a interpretação dos níveis de desempenho e não somente as médias obtidas em cada componente curricular.
  • 23.
    Relatórios Pedagógicos 2ªParte: Relações entre Currículo e Avaliação Análise do desempenho dos alunos por nível e por série Exemplo de itens por nível com análise do acerto Recomendações Pedagógicas Considerações Finais
  • 24.
    Relatórios Pedagógicos SARESPna ESCOLA Sugestões de trabalho de aproveitamento dos relatórios em páginas intercaladas no relatório. Roteiros com questões para reflexão Apoio ao Trabalho das Escolas .
  • 25.
    Caderno do GestorContém todos os roteiros do SARESP na ESCOLA Guias de utilização Apoio ao trabalho dos professores coordenadores e dos supervisores.
  • 26.
    Matrizes de Referênciapara Avaliação - Documento Básico Conceitos estruturantes da Avaliação As competências e habilidades a serem avaliadas no SARESP por série e disciplina.
  • 27.
    Documentos Complementares Documentoscom exemplos comentados de itens que medem todas as habilidades das matrizes de referência.
  • 28.
    Retomada do TrabalhoPedagógico da escola: re-planejamento contínuo
  • 29.
    93% entre asescolas que tiveram acompanhamento mais próximo da SE (com menores valores do IDESP em 2008) atingiram ou superaram as metas em 2009
  • 30.
    Evolução da Proficiênciaem Língua Portuguesa Em todos os ciclos, observa-se a elevação do indicador de desempenho, comparativamente a 2008. Na comparação entre os resultados do SARESP 2008 e a edição de 2009, o destaque cabe à 4ª série do ensino fundamental, que assinala um incremento de 10 pontos no intervalo de apenas um ano. Os resultados de Língua Portuguesa assinalam uma tendência de elevação dos níveis de proficiência do alunos em todo o percurso da educação básica. A melhoria vigorosa dos níveis de letramento nas séries iniciais projeta para os anos próximos a manutenção da tendência à elevação do desempenho nas séries seguintes.
  • 31.
    Evolução da Proficiênciaem Matemática Na comparação entre os resultados do SARESP 2008 e a edição de 2009, o destaque cabe à 4ª série do ensino fundamental, que assinala um incremento de 10 pontos no intervalo de apenas um ano. O aumento na 8ª série do ensino fundamental foi de 6 pontos. Os resultados de Matemática para o ensino fundamental também projetam um cenário de elevação dos níveis de proficiência do alunado. Os dados sugerem a existência de obstáculos mais severos à elevação dos níveis de desempenho em Matemática no ensino médio. Isso se revela na queda observada nos níveis de proficiência, em 2009, comparativamente aos resultados de 2008, com o alunado retornando ao patamar de 2007.
  • 32.
    Nível das políticaspúblicas? Nível centralizado de gestão da rede? Nível de gestão da escola? Nível de coordenação pedagógica? Nível do professor e da sala de aula? Em que contexto de gestão estão inseridos os usos dos resultados das avaliações?
  • 33.
    AÇÕES Pedagógicas EstruturantesCurrículo Avaliação Materiais de apoio para professores, gestores e alunos Reforço e recuperação Apoio à implementação do currículo Apoio à implementação da recuperação Ações emergenciais para os que mais precisam
  • 34.
    É possível utilizaros resultados da avaliação em larga escala para melhorar o desempenho dos alunos? Sim , desde que o desempenho insuficiente dos alunos esteja inserido como problema a ser enfrentado ao nível central das políticas públicas, ao nível centralizado de gestão da rede,ao nível de gestão da escola, ao nível de coordenação e supervisão pedagógica e ao nível da gestão da aprendizagem pelo professor e da sala de aula.