Na última década a preocupação com a qualidade dos professores está presente na agenda mundial, principalmente pelas evidências dos baixos desempenhos demonstrados pelos alunos de quase todos os sistemas escolares no mundo. Por exemplo, o Programa Internacional de Avaliação de Alunos-PISA, que congrega os países membros da OCDE e outros por adesão, na sua edição de 2006 avaliou o desempenho de alunos de 15 anos de 57 países e seus resultados atestam o fracasso de grande parte das nações em prover uma educação de qualidade para sua população de estudantes.

Entretanto é importante acrescentar que, ainda hoje, não há consenso entre educadores sobre o fato da qualidade docente ser medida pelos resultados da aprendizagem dos alunos e mais, que o desempenho dos alunos avaliados por testes padronizados seja uma medida da qualidade docente, embora numerosos estudos venham buscando estabelecer estas relações

Segundo Laura Goe (2007) as pesquisas que fazem a ligação entre qualidade docente e resultados de desempenho dos alunos podem ser sintetizadas em três categorias Tais pesquisas buscam respostas para as seguintes questões: o que é qualidade docente e como ela pode ser medida? Quão importante é a qualidade docente para a aprendizagem dos estudantes? Qual o valor da experiência docente para a aprendizagem dos alunos?

Este artigo vai apresentar os resultados da pesquisa realizada com professores da Rede Estadual do Tocantins que participaram de atividades de capacitação, com vistas a melhorar a qualidade docente, conduzidas pelos autores do artigo durante 6 anos ,e que tiveram impacto no desempenho dos alunos medido pela Avaliação Nacional da Educação Básica (SAEB) - Prova Brasil{1}.

 1. A qualidade docente: conceituação e quadro de referência para análise

Analisando algumas pesquisas que investigam a qualidade docente vê-se que elas podem enfocar seus inputs, os processos e os resultados de aprendizagem dos alunos.

Neste artigo será priorizada a discussão sobre a qualidade docente como efetividade docente, definida como a contribuição demonstrável para o crescimento da aprendizagem do aluno por ser este o objetivo central do estudo realizado com professores e alunos do Ensino Fundamental da rede estadual do Tocantins no período de 2003 a 2008;

O estudo buscou investigar em que condições o Programa de Capacitação de Professores pode causar efeitos positivos no desempenho dos alunos, medidos por avaliações nacionais externas, procurando descobrir quais os componentes desse Programa produziram o aumento das médias dos alunos nas disciplinas de Matemática e Língua Portuguesa.

Antes de prosseguir, deve-se apontar o caráter não consensual do conceito de efetividade docente considerado apenas na sua relação com ganhos de aprendizagem cognitiva, pois bons professores podem acrescentar também outros valores, tais como, motivação e engajamento dos estudantes para adquirir novos conhecimentos, habilidades e espírito de colaboração com os colegas. Portanto, a aprendizagem dos alunos pode ser avaliada de diferentes maneiras e não apenas através dos seus resultados nos testes e exames de final de curso. Independentemente dos instrumentos usados como medida, a maioria dos educadores e autoridades educacionais concorda que há efetividade docente quando a aprendizagem dos estudantes aumenta (Darling-Hammond, 2007).

Focalizando a efetividade docente em termos dos resultados dos estudantes, importa saber quais são os professores que estão obtendo resultados e porque estão obtendo. Quando os dados de desempenho dos alunos estão disponíveis, esses podem ser usados como proxy da efetividade docente, embora seja recente a aceitação nos meios acadêmicos de que o desempenho dos alunos seja um componente da medida da qualidade docente. Até há bem pouco tempo atrás, educadores e gestores avaliavam a qualidade docente usando somente critérios de qualificação, de certificação, anos de experiência profissional, aquisição de graus mais avançados de educação, como mestrado e doutorado, por exemplo.

Essa qualificação não deve ser desprezada nos estudos do efeito - professor, pois ela serve como um controle de qualidade do desempenho docente e pode algumas vezes ser uma boa preditora do sucesso dos alunos. Entretanto, nos dias atuais há um consenso quanto à qualificação do professor ser uma condição necessária, mas não suficiente para produzir efeitos positivos no desempenho dos alunos.

A análise da literatura revela também que a ciência para medir a qualidade docente ainda está em estágios de desenvolvimento. Não se pode ainda contar com respostas, ou achados definitivos para todas as questões nas inúmeras pesquisas da área que, embora em desenvolvimento, já há um bom número delas que permite manter acesa a discussão.

A qualidade docente compreende vários aspectos que faz um professor ser “bom”. Entre eles, Goe (2007) inclui: a qualificação, formação, capacidade, expertise, caráter, performance e sucesso profissional. Ainda segundo a autora, há numerosos instrumentos para avaliar mais do que uma dimensão da qualidade docente e o uso de instrumentos variados requer um significativo investimento de tempo para desenvolvê-los e validá-los, treinar pessoas para aplicá-los, constituir os bancos de dados e analisar seus resultados
Voltando a Laura Goe (2007, p.1), a qualidade docente pode ser definida de diferentes maneiras e muito embora não haja consenso sobre uma definição única, há uma relativa concordância entre os pesquisadores da área que a qualidade docente pode ser evidenciada em professores com as seguintes características:

1. Qualificações e experiência apropriada para a matéria e o nível de ensino onde atua;
2. Altas expectativas para os estudantes, especialmente para os de baixo desempenho;
3. Criação de um ambiente na sala de aula que encoraje a participação de todos os estudantes nas atividades de aprendizagem propostas;
4. Desejo de ajudar os estudantes a atingirem altos níveis de proficiências;
5. Habilidade em monitorar novos professores e ação estabilizadora da permanência e coesão do corpo docente na escola;
6. Disposição para trabalhar com afinco para ajudar os estudantes com necessidade de maior apoio, mesmo que os resultados do desempenho desses alunos não reflitam a contribuição do professor.

Algumas dessas características que expressam a qualidade docente foram enfatizadas no Programa de Capacitação de Professores desenvolvido pelos autores do artigo.

As pesquisas sobre os desempenhos dos alunos em exames padronizados, associadas às características das escolas onde eles estudaram e as dos seus professores, não são recentes. Hanushek (1971) foi um dos primeiros pesquisadores a isolar de maneira analítica as diferenças de desempenho entre classes de uma escola e mostrou que existem diferenças de progresso bastante significativas segundo as salas de aula que os alunos frequentam.  Na obra citada, o autor, e, posteriormente Veldman e Brophy (1974), concluem, por inferência, que os efeitos de variabilidade do desempenho entre salas de aula eram produzidas pelos professores. Hanushek, entretanto, assinala que o efeito sala de aula não parece ser dissociado de um possível efeito de composição dos alunos daquela classe.

Baseados nessas premissas foram criados numerosos programas que tentam colocar em ação práticas e processos de ensino que se mostraram ligados às boas performances e, em seguida, novas correntes de pesquisa direcionam-se para avaliar se a implementação de tais programas conduziram a melhoria do desempenho dos alunos e das escolas, ou seja, origina-se um conjunto de pesquisas ligadas ao que convencionou-se chamar de”School Improvement”. (Reynolds et al., 1993).

2. A Efetividade docente e a sua medida

A efetividade docente se tornou um tema de grande interesse entre os pesquisadores que estudam qualidade docente. Conforme assinalado anteriormente,essa área de investigação ainda necessita de mais trabalhos para demonstrar quais são as características docentes, qualificações, práticas que contribuem para as diferenças de desempenho encontradas nos alunos.

Outro aspecto importante na investigação na área da efetividade docente é a questão metodológica, pois o desenho das pesquisas deve possibilitar fazer a ligação entre o professor (práticas, características docentes e formação) com o desempenho dos alunos, turmas e escolas.

Aaronson, Barrow and Sanders (2003), por exemplo, conduziram um estudo unindo os dados do Chicago Públic Education High School de professores e alunos de 8º e 9º anos em Matemática. Usando o método de valor agregado os autores encontraram que professores de alta qualidade acadêmica (médias de desempenho com 2 desvios padrão acima da média geral) adicionam entre 25% a 45% no crescimento da média de um ano de escolaridade nos escores do estudante em Matemática. Os autores tentaram correlacionar alguns dados disponíveis dos professores, idade, experiência, certificação e diploma de graduação na área e encontraram pouca correlação entre os fatores observáveis de professor e o desempenho dos alunos, exceto a graduação em Matemática. Eles concluíram que, o que os professores de alta qualidade fazem nas salas de aula é mais importante do que suas qualificações iniciais. Para os autores, o método de valor agregado não explica porque os professores variam de qualidade e nada se sabe do que se passa na sala de aula que ajude a predizer com quais professores os alunos ganharão mais. Há ainda algumas questões metodológicas que precisam também ser contornadas, pois, de acordo com Braun (2004) é difícil isolar o efeito do professor de outros efeitos do nível sala de aula tais como clima, influência dos pares, disponibilidade de livros e outros materiais didáticos e ainda de outros fatores escolares que podem contribuir para a aprendizagem dos estudantes e que estão fora do controle do professor.

Noell (2006) usou o método do valor agregado nos escores obtidos pelos alunos para examinar a eficácia do professor. Na primeira fase da pesquisa os escores do valor agregado foram calculados para estudantes de 4º a 9º anos em 66 das 68 escolas públicas de Louisiania e ligados aos professores. Sem surpresa, encontraram que o maior preditor de ganhos de aprendizagem dos alunos foi o escore obtido pelo professor no teste inicial na área que ensinavam, Matemática ou Linguagem. Na segunda fase o autor relacionou professores de um programa de capacitação e estes foram identificados e ranqueados de acordo com estimativas de efetividade. Foram encontradas relações positivas entre os dois.

Um dos mais importantes estudos ligando os impactos das escolas e dos professores ao desempenho dos estudantes foi realizado por Rivkin, Hanushek, and Kain, em 2005. Usando dados do Texas, os autores examinaram os resultados obtidos pelos alunos no Texas Assessement of Academic Skills (TAAS) e componentes observáveis (educação do professor e experiência) e componentes não observáveis (residuais). Focalizando alunos de 3º ao 7º anos e escores de mais de 140 000 a 455 000 alunos (os números variavam dependendo do ano e série), os autores encontraram que as características observáveis têm um pequeno mas significativo efeito nos ganhos dos alunos, embora a maior efetividade docente está ligada a diferenças não observáveis da qualidade da instrução. As principais conclusões dos autores contrariam as divulgadas pelo Relatório Coleman, pois afirmam que as escolas e os professores importam para os resultados dos alunos. O modelo da pesquisa e os dados usados permitiram aos autores chegar a 4 importantes conclusões:

1. Não há evidências quanto à obtenção de um diploma de mestrado aumentar as habilidades docentes;
2.  Os ganhos na qualidade docente são grandes no primeiro ano de exercício e menores nos anos seguintes, em até 3anos. Há pequenas evidências que os ganhos na qualidade docente continuem após os três primeiros anos;
3. O tamanho das classes têm um modesto, mas estatisticamente significativo efeito em matemática e leitura nas séries iniciais, mas esses efeitos decrescem conforme aumenta a progressão nas séries escolares;

Entretanto o aspecto mais polêmico dos resultados da pesquisa é a afirmação que, embora reconhecendo que o professor tenha um poderoso efeito no desempenho dos alunos em Leitura e em Matemática, somente uma parte pequena da variação da qualidade docente é explicada por características observáveis como a sua educação ou experiência. Esta conclusão tem um grande impacto nas políticas públicas de formação e educação continuada de professores, uma vez que são as características que não têm sido observadas que explicam a maior variação das proficiências dos alunos.

Espera-se que os resultados obtidos no estudo com os professores possibilitem acrescentar novos elementos às conclusões da pesquisa conduzida por Hanushek, pois foram encontrados efeitos positivos, de certa magnitude, relacionando a capacitação docente e melhoria de desempenho dos alunos
No Projeto de Capacitação dos Professores do Tocantins, cujos efeitos estão sendo discutidos nesse artigo houve uma grande ênfase em capacitar o professor no conteúdo a ser ensinado, na metodologia do ensino e nas práticas na sala de aula.

Os estudos têm consistentemente encontrado que professores efetivos provocam impactos mais significativos na aprendizagem dos estudantes do que qualquer outro fator, e que professores efetivos podem compensar desafios tais como pobreza, etnia e lacunas de aprendizagem (Rivikin et al., 2002; Clotfelter et al., 2007).

A magnitude da diferença nos desempenhos dos alunos como efeito do ensino, faz com que muitos pesquisadores venham enfatizando que a efetividade do professor, mais do que qualquer outro indicador da qualidade docente,\ deve ser a área em que os educadores e os implementadores de políticas públicas de melhoria da qualidade da educação precisam focar sua atenção se o objetivo é o de aumentar os ganhos de aprendizagem dos alunos (Alliance for Excellent Education, 2008, p. 2).

Apesar das dificuldades metodológicas apontadas, alguns efeitos foram consistentemente encontrados nos diferentes estudos sobre a qualidade docente. O primeiro deles é a correlação positiva entre a Graduação do professor e certificação ou aprovação em exames de Matemática e o desempenho dos alunos nessa disciplina, particularmente no ensino secundário e médio. Em outras áreas curriculares, como Linguagem, Estudos Sociais e Ciências, não há tantos estudos focalizando os aspectos que as pesquisas em Matemática vêm estudando. Alguns pesquisadores sugerem que a aprendizagem da Matemática se dá em grande medida na escola, ao contrário de outras disciplinas, como a língua, por exemplo, que são influenciadas por outras situações sociais não mediadas pela escola. Nesse raciocínio, os efeitos do professor são mais sensíveis de serem encontrados nessa área curricular e para desenvolver habilidades de alta ordem é fundamental que os professores de Matemática tenham competência para guiar seus alunos nas atividades práticas na sala de aula que conduzem a descobertas.

Os estudos sugerem ainda que seria recomendável aumentar as exigências de ingresso no magistério para ensinar Matemática, inclusive oferecendo pagamentos diferenciados para atrair e manter professores bem treinados e certificados na carreira docente.

O segundo efeito encontrado pelas pesquisas refere-se ao número de anos de exercício profissional, evidenciando que o pico de performance se dá até o quinto ano de magistério. Assim torna-se bastante relevante traçar políticas efetivas para distribuir equitativamente os professores pelas escolas, evitando-se alocar professores inexperientes em escolas com altas porcentagens de alunos de nível socieconômico mais desfavorecidos ou de minorias raciais.

Outro aspecto importante a considerar diz respeito ao contexto do ensino. Até que ponto o ambiente social da escola interfere no desempenho de alunos e professores?  Essa é uma questão crucial para promover-se a equidade. A pergunta que precisa ser respondida é: dado um determinado contexto que características devem ter os professores para produzir um efetivo impacto nos ganhos de aprendizagem dos alunos? Ou que práticas os professores efetivos das escolas que atendem a alunos em situação de vulnerabilidade social adotam para levar esses alunos a altos níveis de desempenho?

O que importa é que as definições da qualidade docente dependem dos propósitos que se tem em mente e essas definições devem, em princípio, englobar dois componentes:

1. um conjunto de qualificações ligadas fortemente à disciplina e ao nível de ensino tem que estar garantidas antes que o professor assuma uma classe e;
2. algum mecanismo para avaliar a efetividade docente capaz de predizer altos níveis de aprendizagem de  seus alunos.

A combinação das duas definições conduz a dois estágios de avaliação da qualidade docente: o primeiro, baseado nos diplomas e certificações dos professores e alguma medida de efetividade a ser obtida antes que o professor assuma seu posto com uma turma. Essa avaliação envolve a combinação de provas ou certificações, de avaliação de especialistas ou de pares, portfólios docentes. O segundo é avaliar o professor já em exercício pelos escores do desempenho dos seus alunos, medidos por avaliações externas.

 3. O programa de capacitação de professores do ensino fundamental do tocantins

As atividades de capacitação dos professores de Língua Portuguesa e de Matemática do Ensino Fundamental iniciaram-se em junho de 2003 e ao longo deste período de 6 anos, o Programa de Capacitação sofreu diversas modificações no formato originalmente concebido,embora o principal eixo integrador da proposta permaneceu constante, associando a atualização dos conteúdos das disciplinas às práticas de sala de aula, mediante o desenvolvimento de metodologias e de material didático para professores e alunos que favorecessem mudanças na dinâmica das interações entre eles e os conteúdos de ensino.

As três orientações metodológicas que nortearam o programa de capacitação de professores naquele ano de 2003 permaneceram até o ano de 2008. Cada uma delas será discutida à luz de uma literatura selecionada sobre mudanças na prática docente que parecem produzir efeitos positivos na melhoria do desempenho acadêmico dos alunos.

A adoção do ensino participativo e o estímulo ao trabalho em grupo são recomendações recorrentes na literatura pedagógica desde o advento da Escola Nova surgido nos Estados Unidos, no final do século XIX, que postulava uma profunda reestruturação do ensino baseada em métodos ativos e experimentais.
Para aumentar a participação dos alunos no seu processo de aprendizagem o Programa de Capacitação propôs alterar a dinâmica da sala de aula, mudando o foco da atividade do professor para os alunos, organizados em grupos de trabalho voltados para a discussão e resolução de problemas ou exercícios desafiadores.

Uma das recomendações mais frequentes feitas por autores que pesquisaram os fatores que favorecem o ensino efetivo, nas últimas décadas, tem sido o de substituir o ensino frontal, unidirecional – no qual o ato de ensinar é quase exclusivamente desempenhado pelo professor enquanto os alunos passivamente ouvem ou copiam do quadro de giz – por situações que envolvam ativamente os alunos nas atividades de aprendizagem e que criem condições de troca de experiências entre eles (Bressoux, 2003).
Os processos de trabalho em grupo, em particular em grupos cooperativos e seus efeitos nas aquisições dos alunos, já foram bem estudados nos últimos 30 anos e uma grande quantidade de pesquisas sobre o tema pode ser encontrada  na literatura.

Slavin, um dos teóricos mais importantes da aprendizagem cooperativa, no seu artigo Cooperative Learning and Achievement: Research and Theory (2003) faz uma síntese das pesquisas voltadas para estudar os efeitos do uso em sala de aula de grupos cooperativos nos desempenhos dos alunos. Segundo o autor, em mais de meio quarto de século, foram realizados centenas de estudos que compararam os efeitos da aprendizagem cooperativa utilizando variados métodos de controle, apoiados em inúmeras medidas de resultados obtidas nas diversas áreas curriculares e em todas as séries escolares. Os estudos abrangeram também diferentes cenários educacionais em muitos países.

Esses estudos produziram um conhecimento acumulado sobre os efeitos de vários tipos de intervenções cooperativas e dos mecanismos responsáveis por esses efeitos. Slavin ressalta, porém, que a aprendizagem cooperativa não é apenas um objeto de teoria e pesquisa, ela é usada, em alguma medida, por milhões de professores americanos, por exemplo, em um levantamento nacional realizado em 1993 (Slavin, op.cit., p.2) encontrou-se que 79% dos professores do Ensino Fundamental e 62% dos do Ensino Médio usam alguma técnica de aprendizagem cooperativa nas suas turmas. Os princípios da aprendizagem cooperativa também não se reduzem a um único método de ensino ou assumem um mesmo formato nas diferentes aplicações práticas no cotidiano das escolas, embora todos tenham um elemento comum: postularem uma mudança na atmosfera da sala de aula para aumentar a confiança dos alunos encorajando-os a participar, falar, debater, discordar e argumentar ao invés de esperar que o professor traga as soluções prontas ou explique os tópicos das disciplinas, sentados nas suas cadeiras, levantando a mão para perguntar e esperando serem chamados.

Para favorecer essa mudança da prática na sala de aula o Programa de Capacitação, conduzido pelos autores deste artigo, adotou duas estratégias principais: a elaboração de material didático desafiador para professores e alunos e a participação dos professores em oficinas com trabalho em grupo.

O material didático era composto de apostilas para o professor contendo orientações quanto o desenvolvimento de habilidades constantes dos guias curriculares editados pela Secretaria de Educação do Tocantins, sugestões de atividades a serem desenvolvidas com os alunos e, quando era o caso, alguns aportes teóricos sobre determinado tópico.

Para os alunos, os materiais assumiram o formato de roteiros de atividades ou exercícios para serem trabalhados e resolvidos em grupos.

Em nenhum momento pretendeu-se substituir os livros didáticos distribuído gratuitamente pelo Governo aos alunos brasileiros por esses materiais. Eles eram complementares aos livros que os professores adotavam nas suas escolas. Entretanto, uma pesquisa preliminar feita pelos autores deste artigo junto aos professores revelou que havia entre eles grande variedade de livros adotados e, assim, era preciso criar práticas unificadoras de abordagens e de conteúdos de ensino.

Acrescente-se também que ao longo desses 6 anos do Programa de Capacitação, os materiais didáticos sofreram numerosas alterações no seu formato, embora tenham conservado algumas características editoriais da primeira versão de 2003

A terceira e última orientação metodológica implementada pelo Programa de Capacitação de Professores foi o uso de avaliações formativas para acompanhar o progresso dos alunos e fornecer aos professores informações sobre as necessidades de re-ensino ou de reforço com suas turmas. Há um grande consenso entre os teóricos da aprendizagem sobre o fato de a avaliação periódica e constante ser uma ferramenta pedagógica encadeada no processo ensino-aprendizagem.

O conceito de avaliação formativa foi desenvolvido por Scriven (1967) e tem a função de constatar o que está sendo aprendido mediante coleta de informações feita pelo professor de forma contínua, com diversos procedimentos metodológicos e julgar o grau de aprendizagem, ora em relação a todo grupo-classe ora em relação a um determinado aluno em particular.

A avaliação formativa, na sua concepção original, não tem como objetivo classificar, selecionar, aprovar ou reprovar o aluno, mas adequar o processo de ensino ao grupo e ou àqueles alunos que apresentam dificuldades, tendo em vista o alcance dos objetivos propostos.

Nos anos vigência do Programa de Capacitação foram elaboradas numerosos testes formativos para serem aplicados nos alunos nas séries e disciplinas focalizadas  aplicadas nas duas séries e disciplinas. Em geral, eles apresentaram 20 questões de múltipla escolha e os alunos as respondiam no próprio caderno de teste. Após 1 hora de resolução das questões, os alunos transcreviam suas respostas para uma folha de respostas que eram recolhidas pelos professores para serem remetidas à Fundação Cesgranrio, na cidade do Rio de Janeiro, para processamento.

Para contornar o tempo necessário para a devolução dos resultados a professores e alunos, pois não estava disponível a transmissão de dados on line, e para que os alunos fossem imediatamente informados dos seus erros e acertos, o professor, após recolhimento das folhas de respostas, corrigia as questões com a classe, utilizando variadas formas de estimular a participação de todos os alunos. Os alunos podiam ser convidados a apresentar oralmente como chegou à resposta ou ir ao quadro para demonstrar como resolveu a questão.

A recomendação feita nas oficinas de capacitação era de que o professor aproveitasse os erros mais frequentes para reensinar os aspectos não dominados. Há bastante evidências na literatura sobre a importância do professor corrigir os erros no momento em que ele é cometido, pois a motivação é ativada quando o aluno corrige suas respostas logo após ter realizado o esforço para resolver as questões. Pesquisa realizada por Rosenshine e Stevens, em 1986, citada por Bressoux (op. cit., 2003 p.35) aponta que os professores eficazes corrigem imediatamente os erros dos alunos a fim de evitar que eles se tornem sistemáticos.

 4. Metodologia do estudo dos efeitos do programa de capacitação de professores no desempenho dos alunos

O objetivo desta seção é descrever o estudo feito pelos autores com 538 professores de Língua Portuguesa e de Matemática, que em 2007 estavam inscritos no Curso de Pós-Graduação lato sensu em Avaliação Escolar ministrado pela Fundação Cesgranrio e que lecionavam do 6º ao 9º ano do Ensino Fundamental da Rede Estadual do Tocantins.

Procurava-se identificar se nas escolas com professores que apresentavam um alto grau de participação nas atividades de capacitação houve aumento das médias de proficiências dos alunos, medidas no ano de 2001 pela Fundação Cesgranrio e em 2007 pela Prova Brasil. As variáveis de participação e de uso do material didático distribuído ao longo dos anos foram derivadas de dois instrumentos respondidos pelos professores e foram correlacionadas ao desempenho dos alunos mediante análises de regressão linear.

Os professores, sujeitos da pesquisa, ao inscreverem-se no curso preencheram um formulário que, além dos dados pessoais, investigava se eles já haviam participado anteriormente de atividades de capacitação promovidas pela Fundação Cesgranrio, em que ano a participação ocorreu e se aplicaram nas suas turmas a metodologia de ensino recomendada. Além dessas informações, os professores responderam, em 2008, a um questionário que retomava algumas informações sobre eles obtidas com o formulário de inscrição e incluía outras variáveis de interesse da pesquisa que, posteriormente, permitissem correlacioná-las com o desempenho dos alunos das escolas onde eles lecionavam no período compreendido entre os anos de 2001 e 2007.

4.1. Descrição das variáveis dos professores e das escolas dos participantes do programa de capacitação consideradas no modelo de análise

O objetivo do estudo era o de procurar uma associação entre as médias de proficiência, por escola, obtidas pelos alunos das escolas estaduais do Tocantins na Prova Brasil 2007 e um grau de participação dos professores daquelas escolas nas atividades do Programa de Capacitação de 2003 até 2007, utilizando como variável controle as médias das proficiências por escola obtidas pelos alunos na Avaliação Estadual de 2001, na Escala SAEB.

4.1.1.  Descrição das variáveis do professor

A ficha de inscrição continha perguntas sobre a modalidade de participação do professor nos diferentes anos do Programa de Capacitação de 2003 a 2006, inclusive, perguntas sobre o uso do material didático distribuído no período e sobre aplicação e uso dos resultados das avaliações formativas. O questionário continha a pergunta sobre o número de anos que o professor trabalhava na escola no momento de resposta ao questionário.

O primeiro passo da análise foi definir o “grau de participação” dos professores das escolas no Programa, pois nem todos os professores de 8a série das duas disciplinas participaram do curso de Aperfeiçoamento ou do Programa de Capacitação em anos anteriores.

Uma primeira medida foi definir um índice de participação do professor a partir de 5 situações independentes: ter sido Multiplicador de 5a a 8a série em 2003, em 2004 e em 2005, ser participante de Seminário em 2005 e 2006.

As tabelas 1 e 2 mostram o número de professores que participou como multiplicador ou nos seminários. Como se pode ver, na Matemática há mais professores que declararam ter participado nas diversas modalidades, por ocasião, do que em Língua Portuguesa. O número de professores que assistiu aos seminários é bem maior, foram cerca de 400, por disciplina.

Tabela 1. Número de professores por modalidade de participação em Matemática

Tabela 2. Número de professores por modalidade de participação em Língua Portuguesa

As variáveis do professor estão definidas no quadro 1.

Quadro 1. Definição das variáveis do professor

As tabelas 3 e 4 apresentam as distribuições das duas primeiras variáveis. Nestas tabelas pode-se ver que o percentual do grau de participação de 3 ou mais, em Matemática, é mais do que o dobro do que em Língua Portuguesa.

Tabela 3. Distribuição de GRpart4, em Matemática e Língua Portuguesa

Tabela 4. Distribuição de GRpart5, em Matemática e Língua Portuguesa

A variável Mdid foi definida a partir da seguinte pergunta da ficha de inscrição.

A distribuição desta variável é apresentada na tabela 5 .Cerca de 50% em cada disciplina declararam que usaram muito o material didático,entretanto observa-se um maior percentual de professores em Língua Portuguesa que nunca usou e também que usou.Na realidade,o percentual em Língua Portuguesa concentra-se nos extremos:nunca e muito.

Tabela 5. Distribuição da frequência de uso do material didático (Mdid),
em Matemática e Língua Portuguesa

4.1.2.  Descrição das variáveis da escola

A variável da escola a ser explicada é a média de desempenho em uma disciplina – Língua Portuguesa ou Matemática – de seus alunos na Prova Brasil 2007. A variável explicativa utilizada como controle é a média de desempenho na Avaliação Estadual de 2001, na Escala SAEB.

Para as demais variáveis explicativas, procurou-se criar índices de participação da escola no Programa de Capacitação. Estas foram sempre definidas como sendo a proporção de professores na escola que satisfazem uma certa condição relacionada ao projeto, associada aos professores.

Não foi possível usar as turmas de cada professor em 2007, pois o Programa não tem dados relacionando professor e turma, além do que os controles nos anos do estudo têm que ser por escola.
O quadro 2 a seguir apresenta a descrição das variáveis da escola.

Quadro 2. Definição das variáveis da escola

Ressalta-se que o número de professores de 5ª a 8ª séries (6º e 9º anos), por disciplina, por escola utilizado foi o total de professores (nprof) da disciplina da escola no Curso de Aperfeiçoamento. Para verificar quão adequada foi essa medida, obteve-se do Censo Educacional de 2006, o número de turmas da 5ª a 8ª série (6º e 9º anos) (ntotal) para cada escola da Rede Estadual de Tocantins. Foi feita a hipótese de que a carga horária semanal para cada uma das disciplinas de Língua Portuguesa e de Matemática é de 5 horas por semana e dessa maneira um professor com carga horária de pelo menos 30 horas pode dar aulas em pelo menos 4 turmas. Estimou-se o número de professores (nprofhat) de cada disciplina em cada escola por: arredondamento (número de turmas / 4).

A tabela 6 mostra a diferença entre o número estimado de professores por escola e o número de professores utilizado, para cada uma das disciplinas de Matemática e Língua Portuguesa e sob as hipóteses de um professor poder dar aulas para 4, 5 ou 6 turmas. Pode-se ver que mesmo no pior caso, de apenas 4 turmas, somente cerca de 30 escolas, 15% do total, têm diferenças maior que 1. Mesmo nesse caso, não foi relevante para as análises realizadas, o número de professores utilizado ou o número de professores estimado.

Tabela 6. Diferença entre o número estimado de professores por escola e o
número de professores utilizado

A tabela 7 fornece a distribuição das variáveis de interesse Alt_part_4 e Alt_part_5. Vê-se que o percentual de escolas nas quais essas variáveis são maiores que ½ são de cerca de 21%, e 27%, respectivamente.

Em Língua Portuguesa, a tabela 8 mostra que esse percentual de escolas é de cerca de somente 7% para Alt_part_4 e de cerca de 15% para Alt_part_5.

Tabela 7. Distribuição das variáveis Alt_part_4 e Alt_part_5 para as escolas do estudo em Matemática

Tabela 8. Distribuição das variáveis Alt_part_4 e Alt_part_5 para as escolas do estudo em Língua Portuguesa

Em relação ao uso do material, as tabelas 9 e 10 apresentam a distribuição da variável Alt_Mdid. Pode-se ver que em Matemática somente cerca de 44% das escolas têm mais da metade de seus professores que declararam usar muito. Em Língua Portuguesa, esse percentual é de aproximadamente 49%.

Tabela 9. Distribuição da variável Alt_Mdid para as escolas do estudo em Matemática

Tabela 10 Distribuição da variável Alt_Mdid para as escolas do estudo em Língua Portuguesa

A variável do questionário utilizada foi a questão 8 (Q8) sobre o tempo de trabalho na escola, cuja resposta “D” indicava mais de 5 anos, gerando a variável dicotômica IQ8d e a “C”, de 3 a 5 anos, que junto com a “D” deu origem a variável dicotômica IQ8cd (mais de 3 anos) na mesma escola.

A Prova Brasil de 2007 aplicou testes em 264 escolas urbanas da Rede Estadual do Tocantins, com pelo menos 20 alunos previstos na 8ª série (9º ano). No entanto, para a análise neste estudo, somente 130 dessas escolas têm também médias de proficiências em 2001 e professores de Matemática no Curso de Aperfeiçoamento. Em Língua Portuguesa, são 132 escolas. A variável dependente neste estudo é a média dos alunos da escola na Prova Brasil 2007 (Media07).

Na regressão descrita posteriormente, em Matemática foram identificadas duas escolas com valores aberrantes (outliers), que foram retiradas da análise.

Tabela 11. Resumo das distribuições das médias das escolas do estudo em 2007, 2001 e
das variáveis utilizadas com e sem os valores aberrantes, na disciplina de Matemática

Tabela 12. Resumo das distribuições das médias das escolas do estudo em 2007,
2001 e das variáveis utilizadas, na disciplina de Língua Portuguesa

Tabela 13. Resumo das distribuições das médias das variáveis das escolas com pelo menos um professor há mais de 3 anos com e sem os valores aberrantes, na disciplina de Matemática

Tabela 14. Resumo das distribuições das médias das variáveis das escolas com pelo menos um professor há mais de 5 anos com e sem os valores aberrantes, na disciplina de Matemática

As tabelas 11 e 12 apresentam um resumo da distribuição das proficiências em Matemática e Língua Portuguesa para as escolas do estudo na Prova Brasil 2007 e na Avaliação Estadual de 2001, assim como o resumo da diferença de médias das escolas. Pode-se ver que houve um aumento médio de cerca de 16 pontos em Matemática e um decréscimo médio de cerca de 8 pontos em Língua Portuguesa.

Estas tabelas apresentam também as médias e desvio padrão das demais variáveis explicativas. Observa-se que as médias das variáveis Alt_part_4 e Alt_part_5 são mais que o dobro em Matemática do que em Língua Portuguesa. Uma possível explicação para este fato é que um maior número de multiplicadores de Língua Portuguesa não frequentaram o curso de Aperfeiçoamento, talvez por lecionarem no Ensino Médio. Quanto à frequência do uso de material didático (Alt_Mdid), vê-se que a média é um pouco maior em Língua Portuguesa, apesar das escolas terem professor com menor participação no projeto.

As análises, em Matemática, foram repetidas duas vezes, considerando dois casos: escolas com pelo menos um professor há mais de 3 anos e escolas com pelo menos um professor há mais de 5 anos. As variáveis Alt_part_4, Alt_part_ 5 e Alt_Mdid foram adaptadas para esses novos casos para serem a proporção de professores nas escolas que satisfazem simultaneamente o critério da variável e do tempo na mesma escola. A essas variáveis foram acrescidos os sufixos Q8cd – mais de três anos de permanência na escola e Q8d, mais de cinco anos de permanência na escola, respectivamente para os dois casos.

As tabelas 13 e 14 apresentam as médias e desvios padrão das variáveis das escolas para esses casos.

4.2.    As análises realizadas

Para verificar se há associação positiva entre o desempenho dos alunos na Prova Brasil 2007 e a participação no Programa de Capacitação conduzido pelos autores do artigo, controlado pelo desempenho dos alunos na Avaliação Estadual de 2001, na Escala SAEB, foi feita a seguinte regressão:

Média07i = b0 + b1*Média01i + b2*vari + erroi

Onde:

Média07i é a média dos alunos da escola i na Prova Brasil 2007,
Média01i é a média dos alunos da escola i na Avaliação Estadual de 2001,
vari é a variável de interesse na escola i, por exemplo Alt_part_4..

erroi são supostas serem variáveis aleatórias independentes com distribuição normal com média 0 e mesma variância.

 5. Discussão dos resultados

Nesta seção, inicialmente serão mostrados os resultados das regressões realizadas, respectivamente para Matemática e Língua Portuguesa. Será apresentado um estudo da magnitude dos coeficientes b2 em relação aos desvios padrão da variável Média07 e em relação ao desvio padrão do resíduo da regressão de Média07 em relação à variável controle Média01.

5.1. Os resultados em Matemática
O primeiro modelo para Matemática utilizando a variável Alt_part_4 apresenta o seguinte resultado com o coeficiente b2 significativo a 10% como mostra a tabela15.

Tabela 15. Resultados das estimativas com a variável Alt_part_4, em Matemática

Após uma análise de resíduos, verificou-se que duas escolas apresentaram-se como observações aberrantes ou “outliers”. Retirando-se essas escolas e refazendo-se a análise, obtém-se o coeficiente b2 significativo a 5% como visto na tabela 16.

Tabela 16. Resultados das estimativas com a variável Alt_part_4, em Matemática,
retirando-se duas escolas “outliers”

Essas escolas retiradas apresentam as seguintes características. A primeira teve uma perda de média de 257.9 para 210.8, possui 2 professores no Curso de Aperfeiçoamento, 17 turmas de 5a a 8a série pelo Censo Educacional de 2006 e supondo 1 professor para 4 turmas, precisaria ter 4 professores. Os dois professores do Aperfeiçoamento, segundo o questionário de 2008, estão há mais de 5 anos na escola, mas tiveram uma baixa participação no Programa de  Capacitação tendo frequentado somente o seminário de 2005 e um deles também o seminário de 2006. A estimativa da média do Critério Brasil, segundo a pontuação de 2003, dos alunos dessa escola praticamente se manteve constante em torno de 10.5, média do limite superior da classe D, 10, e do limite inferior da classe C, 11. A taxa de aprovação no segmento da 5a a 8a série também caiu de 86.5% (txap01) para 77.6% (txap07).

A segunda escola teve um ganho grande de média, tem 1 professor no Curso de Aperfeiçoamento, mas que não respondeu ao questionário e segundo o formulário de inscrição não participou de nenhuma atividade de capacitação. Essa escola tem um nível socioeconômico mais alto, crescendo no Critério Brasil de 16.1 a 17.4, o que coloca, provavelmente, metade dos alunos na classe B2 ou acima. Sua taxa de aprovação caiu muito, de 97.6 a 83.2.

Tabela 17. Características das escolas retiradas na análise de regressão em Matemática

Tabela 18. Características dos professores das escolas retiradas na análise
de regressão em Matemática

Onde

IM503 é variável indicadora de ter sido multiplicador em 2003,
IM504 é variável indicadora de ter sido multiplicador em 2004,
IM505 é variável indicadora de ter sido multiplicador em 2005,
IPS05 é variável indicadora de ter participado do seminário em 2005,
IPS06 é variável indicadora de ter participado do seminário em 2006,

A seguir, procurou-se restringir o estudo a escolas que tinham professores na escola há mais de 3 anos. O número de professores nas mesmas escolas há mais de três anos é de 128 que estão em 96 escolas. Essas escolas podem ter também professores com menos de 3 anos.

Fez-se a mesma regressão (tabela 19) considerando somente essas escolas e a variável Alt_part_4Q8cd que é a proporção de professores há mais de 3 anos na mesma escola e com grau de participação na capacitação maior ou igual a 3. O coeficiente b2 é significativo a 5%, quase 1%. Ressalta-se que a escola 2 não satisfaz o critério de ter professor com mais de 3 anos. A escola 1 satisfaz este critério e está entre as 96 escolas. Ela continua sendo um “outlier”, e retirando-a, o resultado da análise refeita está na tabela 20, cujo coeficiente b2 continua sendo significativo a 5%, quase a 1%.

Tabela 19. Resultados das estimativas com a variável Alt_part_4Q8cd, em Matemática,
para escolas com pelo menos um professor há mais de 3 anos

Tabela 20. Resultados das estimativas com a variável Alt_part_4Q8cd, em Matemática,
para escolas com pelo menos um professor há mais de 3 anos, sem a escola 1

Se o estudo for mais exigente quanto ao tempo que o professor está na mesma escola, supondo mais de 5 anos, o número de professores nesta condição é de 80 e o de escolas de 63. No entanto os coeficientes b2 nas análises equivalentes cujos resultados estão nas tabelas 21 e 22 continuam significativos a 10%, sendo que na tabela 21 quase a 5%.

Tabela 21. Resultados das estimativas com a variável Alt_part_4Q8d, em Matemática,
para escolas com pelo menos um professor há mais de 5 anos

Tabela 22. Resultados das estimativas com a variável Alt_part_4Q8d, em Matemática,
para escolas com pelo menos um professor há mais de 5 anos, sem a escola 1

O estudo continuou fazendo as análises da variável Alt_part_5 e suas derivadas. Essa variável permite a inclusão da participação dos professores no seminário de 2006. Os resultados são parecidos, mas mais “significantes”. As tabelas, a seguir, apresentam os resultados dessas análises.

Tabela 23. Resultados das estimativas com a variável Alt_part_5, em Matemática

Tabela 24. Resultados das estimativas com a variável Alt_part_5, em Matemática,
retirando-se somente a escola 2

Tabela 25. Resultados das estimativas com a variável Alt_part_5Q8cd, em Matemática,
para escolas com pelo menos um professor há mais de 3 anos

Tabela 26. Resultados das estimativas com a variável Alt_part_5Q8cd, em Matemática,
para escolas com pelo menos um professor há mais de 3 anos, sem a escola 1

Tabela 27. Resultados das estimativas com a variável Alt_part_5Q8d, em Matemática,
para escolas com pelo menos um professor há mais de 5 anos

Tabela 28. Resultados das estimativas com a variável Alt_part_5Q8d, em Matemática,
para escolas com pelo menos um professor há mais de 5 anos, sem a escola 1

As análises realizadas indicam haver um efeito positivo que está de acordo com a hipótese do Programa de Capacitação de Professores ter influído na melhoria de desempenho dos alunos da 8a série (9º ano) na disciplina de Matemática. Entretanto essa afirmação só pode ser feita para um conjunto pequeno de escolas que tinham professores cursando o Aperfeiçoamento e que preencheram o formulário de inscrição e o questionário. Com esses instrumentos, não houve como avaliar a relação de outros professores e escolas nos desempenhos dos demais alunos e o Programa de Capacitação. Também não se determinou influência do Programa de Capacitação nas escolas com baixa participação declarada pelos professores do estudo, pois o Programa não atingiu a todos os professores da escola como, por exemplo, aqueles que atuam também no Ensino Médio e que também participaram das atividades de capacitação promovidas, mas que no ano de 2007 e 2008 cursavam a Especialização em Avaliação Escolar do Ensino Médio, além da rotatividade de professores nas escolas anteriormente discutida.

Nas análises de regressão feitas foram testadas outras variáveis como o uso do material didático, aplicação das formativas e discussão dos resultados com os alunos, diferença do nível socioeconômico dos alunos das escolas entre 2007 e 2001, diferença de taxas de aprovação do segmento de 5a a 8a (6º e 9º anos). Estas variáveis não se mostram significativas.

5.2. Resultados em Língua Portuguesa

As variáveis significativas em Matemática também foram testadas em Língua Portuguesa, mas mostraram-se não significativas. As outras variáveis mencionadas anteriormente foram também testadas e a variável Alt_Mdid, proporção de professores da escola que declararam utilizar muito o material mostrou-se ser significativa a 5%.

Tabela 29. Resultados das estimativas com a variável Alt_Mdid, em Língua Portuguesa

As análises restritas às escolas com professores com mais de 5 anos ou mais de 3 anos na escola não deram resultados significativos. Possíveis hipóteses para esse resultado é o baixo percentual de professores de Língua Portuguesa com participação em mais de 3 instâncias no Programa de Capacitação como multiplicador ou participante de seminário. Talvez, muitos multiplicadores fossem também professores do Ensino Médio, aliada à alta rotatividade de professores nas escolas pesquisadas. Outra explicação pode estar ligada às características do material didático de Língua Portuguesa que era mais detalhado e talvez mais fácil de ser assimilado e utilizado pelos professores do que o material de Matemática, que exigia a presença nos encontros com os multiplicadores nas Diretorias Regionais ou os conduzidos pelos consultores da Fundação Cesgranrio. Por outro lado o domínio dos conteúdos e da metodologia do Programa dependia nos anos de 2003 a 2005, da qualidade dos multiplicadores para que o repasse aos professores fosse efetivo.

É possível que o material didático de Língua Portuguesa, que apresentava muitos textos de diferentes gêneros, e com inúmeras sugestões de atividades de leitura e interpretação, além de orientações concretas de como utilizá-lo, tenha circulado mais amplamente nas escolas e, mesmo os professores com grau de participação pequeno nas atividades de capacitação tenham utilizado os materiais nas suas aulas, como pode ser visto na tabela onde cerca de 42% dos professores declararam ter baixa participação (GRpart5 <= 2) e utilizar muito o material didático (Mdid = 2).

Tabela 30. Número e percentual de professores do Aperfeiçoamento por grau de participação (GRpart5) e uso do material (Mdid)

Fonte: Fundação Cesgranrio 2009

5.3. Estudo da magnitude dos coeficientes da variável de interesse

Para estudar a magnitude do coeficiente b2 da variável de interesse, comparar-se-á este com o desvio padrão da variável dependente Média07 e também com o desvio padrão do resíduo da regressão de Média 07 em relação à variável controle Média01. Esses desvios padrão estão na tabela31 para Matemática e na tabela 32 para Língua Portuguesa. Como é de se esperar, o desvio padrão dos resíduos do modelo são menores que o desvio padrão da variável Média07. Da mesma forma, os desvios padrão são menores retirando-se as escolas com os valores aberrantes.

Tabela 31. Desvios padrão para a variável Média07 e para os resíduos da regressão de Média07 em relação ao controle Média01, nos 3 casos em Matemática

	Todas as escolas	Escolas com pelo menos um professor há mais de 3 anos	Escolas com pelo menos um professor há mais de 5 anos
dp(Média07)	14.24	13.24	13.57
dp(Média07 sem valores aberrantes)	12.86	13.16	13.44
dp(residuos)	11.68	11.02	11.40
dp(residuos sem valores aberrantes)	10.38	10.38	10.38

Tabela 32. Desvios padrão para a variável Média07 e para os resíduos da regressão de Média07 em relação ao controle Média01 em Língua Portuguesa

Observa-se na tabela 33 que a magnitude do coeficiente b2 da variável Alt_part_4, em Matemática é considerável. Em relação ao desvio padrão da média varia de 33% deste a 55% e em relação ao desvio padrão dos resíduos de Média07 em relação a Média01 de 40% a 66%. Isto significa, que dada a mesma média M01 espera-se que a escola, na qual todos os seus professores tenham alta participação no Programa de Capacitação, tenha uma média mais alta em cerca de 50% do desvio padrão da variável Média07 em relação à escola na qual nenhum professor tenha tido participação no Programa. O comportamento do coeficiente da variável Alt_part_5, em Matemática, é semelhante, como pode ser visto na tabela 34.

Tabela 33. Magnitude dos coeficientes da variável Alt_part_4 em Matemática

Tabela 34. Magnitude dos coeficientes da variável Alt_part_5 em Matemática

Finalmente, a tabela 35 mostra a magnitude do coeficiente da variável Alt_Mdid em Língua Portuguesa como sendo cerca de 40% do desvio padrão da Média07 ou do desvio padrão dos resíduos da regressão da Média07 em relação a Média01.

Tabela 35. Magnitude dos coeficientes da variável Alt_Mdid em Língua Portuguesa

Fonte: Fundação Cesgranrio, 2009.

Para finalizar os resultados apresentados indicam que os coeficientes das variáveis de escola ligados a participação de seus professores nas atividades do programa de capacitação de Matemática são positivamente correlacionados com a variável dependente média da escola na Prova Brasil em 2007, na presença da variável controle, média da escola na avaliação de 2001.
Em Língua Portuguesa a variável que apresentou correlação positiva com o melhor desempenho dos alunos nesta disciplina expresso pela média da escola na Prova Brasil 2007 foi o uso frequente do material didático distribuído composto por apostilas e livros do professor, além de roteiros e cadernos de exercícios para os alunos.

6. Conclusões

Após seis anos de trabalho sistemático com professores e alunos do Tocantins chega-se ao final do estudo com uma indagação se valeu a pena a quantidade de recursos materiais e humanos investidos para obter-se resultados tão modestos quanto às evidências dos efeitos das ações de capacitação na melhoria de desempenho dos alunos da 8ª série do Ensino Fundamental. O estabelecimento dessas relações é de suma importância no estudo realizado, numa vez que as ações empreendidas, em todos esses anos, tiveram como principal objetivo melhorar a qualidade docente para aumentar as médias de proficiências dos alunos avaliadas pelo SAEB/Prova Brasil, entre os anos de 2001 e 2007.

Esta não é uma área de pesquisa explorada no Brasil, pois foram encontrados poucos estudos na revisão da literatura que apresentam um modelo de intervenção nos resultados acadêmicos dos estudantes de um sistema educacional concreto, mediante propostas de mudanças da qualidade docente e o simultâneo acompanhamento do desempenho dos alunos por um período de tempo relativamente longo. No modelo do presente estudo, as médias de proficiências iniciais de uma população de alunos da 8ª série foram obtidas em 2001, os resultados de desempenho de outra população de alunos ao final de 6 anos foram avaliados em 2007 e em ambas medidas utilizou-se a mesma escala de proficiências, pretendendo-se relacionar os possíveis ganhos de aprendizagem com as ações de melhoria da qualificação docente empreendidas pelo Programa de Capacitação.

Para iniciar a discussão de resultados, recorrer-se-á novamente à Laura Goe que na revisão da literatura apresentada anteriormente (Goe, 2007, p.2) afirma que medir a qualidade docente usando os resultados de desempenho dos alunos obtidos por avaliações externas ainda é, nos dias atuais, um grande desafio por que:

1. Os testes padronizados de rendimento escolar são criados para medir as proficiências dos alunos e não para medir a qualidade docente;
2. É difícil separar os efeitos do professor (isto é, a contribuição líquida do professor) dos efeitos da sala de aula, tais como a relação com os pares, livros e outros materiais didáticos, clima da sala de aula, entre outros fatores;
3. É difícil obter a ligação entre os dados do professor e alunos que permita conectar um professor específico ao desempenho dos alunos nos testes, a não ser em pesquisas desenhadas para tal;

Diante disto, qualquer proposta de intervenção na escola com vistas a aumentar os níveis de proficiências dos alunos tem que focalizar prioritariamente suas ações na busca da qualidade docente, na qual a qualificação dos professores é uma das componentes. Com essa afirmação não se pretende excluir outros fatores escolares, como a liderança do diretor, o clima da escola, a participação das famílias, pois eles importam e devem ser considerados, mas sim que é na sala de aula e no ambiente escolar, na interação professor-aluno que se estabelecem as relações de aprendizagem, e é nesse contexto que a qualidade docente tem que ser implementada, monitorada e avaliada.

O programa de Capacitação de Professores desenvolvido no Tocantins que foi analisado neste artigo teve como proposta, desde a sua concepção, a melhoria da qualidade docente acreditando que esta poderia ser aumentada pela qualificação dos professores e assim traduzir-se em efetividade docente, ou seja, em uma contribuição demonstrável nos desempenhos mensurados dos alunos. Desde o início, tinha-se presente que esta efetividade docente, de um lado, não é fácil de alcançar e de outro, é difícil de medir e, são essas dificuldades que serão discutidas nestas conclusões. Nelas, serão apresentadas também algumas reflexões sobre os requisitos necessários aos programas de capacitação que pretendam causar impactos na efetividade docente. Estas reflexões têm a intenção de chamar a atenção das autoridades educacionais e gestores de sistemas de ensino sobre algumas características que devem ser atendidas quando forem implementados programas de capacitação de professores com vistas à melhoria do desempenho dos alunos.

As qualificações docentes, representadas pelos diplomas, certificados de participação em cursos de educação continuada, ou mesmo aprovação em exames de ingresso na carreira docente, no entender de uma parcela de pesquisadores servem para permitir o acesso ao cargo e possibilitar aos gestores dos sistemas educacionais, escolher entre aqueles com maior potencial para o cargo ou com probabilidade de melhor atuação em sala de aula, mas não são uma medida de efetividade docente. Para eles importa examinar quais são as relações que as qualificações docentes guardam com a efetividade docente.

No estudo realizado com os professores do Tocantins ficou provado que professores de Matemática que tinham melhorado sua qualificação participando com frequência das atividades de capacitação promovidas causaram impacto positivo no desempenho dos alunos nas escolas que lecionavam. Da mesma maneira, professores de Língua Portuguesa que, embora não tendo participado das atividades de capacitação, mas usaram frequentemente o material didático – livros e roteiros ou cadernos de exercícios para os alunos-levados para a escola pelos multiplicadores ou por outros colegas que frequentaram as atividades de capacitação entre os anos 2003 a 2006, conseguiram aumentar a média de proficiências dos alunos nas suas escolas.

Essas evidências são também uma contribuição ao conhecimento disponível na área, uma vez que o estudo científico realizado com professores do Tocantins comprova que as atividades de capacitação de professores com certas características, conduzida por um longo período de tempo, no mínimo por 3 anos ou mais, são capazes de aumentar o desempenho dos alunos. Tais evidências permitem também afirmar que, contrariamente aos achados por Hanushek (op.cit, 2005, p.417) quanto a ser apenas uma porção pequena da variação da qualidade docente explicada pelas características observáveis de professor, como educação ou experiência, na pesquisa realizada, comprovou-se que a qualificação do professor aumentada pelas atividades de capacitação ou pelo uso do material didático e acompanhada da permanência relativamente estável na escola produziram efeitos de certa magnitude no desempenho dos alunos.

Prosseguindo com a análise de alguns autores que estudam a qualidade docente, Linda Darling-Hammond (2002) - provavelmente a mais influente pesquisadora da qualidade docente e autora de numerosas pesquisas na área-, fazendo uma revisão da literatura empírica sobre qualificações docentes e resultados dos alunos, encontra que a educação do professor é importante para as aquisições dos alunos, embora  tanto a educação quanto a certificação docente possam não estar relacionadas à efetividade docente. De acordo com a autora, as pesquisas indicam que a habilidade verbal e o domínio da matéria que leciona são os mais importantes componentes da efetividade docente. Acrescenta ainda que, os professores que terminam seus cursos de formação não estão preparados para exercerem seus cargos e que algumas qualificações docentes importam menos que as outras em função do grau ou da série que o professor leciona e da matéria que ele ensina. (Darling – Hammond and Youngs, 2002 p.13-25).

Outras pesquisas examinadas no estudo e apresentado neste trabalho são unânimes em afirmar que o domínio da matéria que leciona é o primeiro requisito da efetividade docente e, este foi um aspecto central do Programa de Capacitação de Professores do Tocantins. O material didático produzido, as atividades de capacitação de multiplicadores e os seminários realizados com os professores enfatizaram o domínio dos conteúdos dos programas de ensino praticados, associado à estratégias de desenvolvimento das habilidades das matrizes de referência do SAEB.. No entanto, o Programa de Capacitação não havia realizado até 2007 qualquer atividade de monitoramento da aprendizagem dos professores. Por exemplo, no período de 2003 a 2007, os professores não foram submetidos à qualquer instrumento de avaliação que permitisse identificar lacunas dos conteúdos ensinados e pudesse gerar ações de superação de dificuldades, como o aporte de materiais didáticos complementares ou  oferta de seminários extras para os professores com desempenhos muito insatisfatórios. Somente a partir do segundo semestre de 2007, com a introdução do Curso de Aperfeiçoamento em Avaliação Escolar é que foram aplicadas questões de prova versando sobre os conteúdos ensinados, uma vez que nestes cursos, as provas e os trabalhos são requisitos necessários à concessão de títulos ou certificados. As avaliações dos docentes realizadas nos anos 2007 e 2008 revelaram que quantidade expressiva dos professores de Matemática não dominaram os conteúdos ensinados, pois 44% deles (118) foram reprovados no final do curso de Aperfeiçoamento. Em Língua Portuguesa a reprovação foi menor, 16% dos 278 professores. Estas reprovações revelam que, pelo menos em Matemática, o primeiro requisito para a efetividade docente não foi atendido integralmente, embora nas regressões realizadas, a aprovação no Curso de Aperfeiçoamento não apresentou correlação positiva com o desempenho dos alunos.

É interessante lembrar que a maioria das pesquisas sobre certificação docente encontra uma correlação positiva entre os resultados do desempenho dos professores nos testes de Matemática (Goldhaber and Brewer, 1999; Harris and Sass, 2007, Hill Rowan and Ball. 2005) e o desempenho dos estudantes, particularmente no 2º segmento do Ensino Fundamental. Entretanto, no caso dos professores do Tocantins, uma explicação provável para a não correlação positiva pode ser o descompasso de tempo entre a medida de desempenho dos alunos realizada pela prova Brasil em 2007 e a avaliação final dos professores ocorrida em novembro de 2008. Seria possível supor, por exemplo, que os professores adquiriram ou melhoraram o domínio dos conteúdos lecionados com as atividades e os materiais didáticos distribuídos para eles e suas turmas ao longo do curso, iniciado apenas em outubro de 2007 e continuado até o final de 2008. Acrescente-se também que não foi feito qualquer processo inicial de seleção dos participantes até 2007, uma vez que nos anos anteriores competiu à Secretaria de Educação do Tocantins indicar os professores entre aqueles que estavam em exercício na Rede Estadual, mesmo os que não atendessem aos requisitos para a função, como por exemplo, não possuíssem licenciatura plena nas duas áreas curriculares do 2º segmento do Ensino Fundamental. Mais uma vez, somente com a oferta do Curso de Aperfeiçoamento, pode-se ter o controle da titulação inicial dos professores.

Na literatura examinada constatou-se também que os professores efetivos, além dos conteúdos do programa, devem dominar os métodos para ensiná-lo, especialmente em Matemática e Ciências (Walsh and Tracy, 2004 e Allen, 2003), áreas onde há sólidas evidências sobre o impacto do domínio do conhecimento e da pedagogia utilizada pelos professores nos resultados dos estudantes, embora estes devam ser requisitos presentes também nos professores de todas as disciplinas do currículo (Darling-Hammond,2008).

No que poder-se-ia chamar de ¨boa pedagogia¨ as pesquisas indicam que o engajamento dos estudantes nos processos de aprendizagem é a chave de um ensino efetivo. Neste sentido o Programa de Capacitação propôs a criação de situações de trabalho em grupo com os alunos, o incentivo da aprendizagem cooperativa, a distribuição de roteiros e cadernos de exercícios para as turmas. Estas estratégias didáticas tinham como objetivo modificar a prática docente diminuindo a frequência das atividades de ensino frontal e aumentando as situações didáticas mais dinâmicas com os alunos. Este foi, sem dúvida, um componente importante do Programa de Capacitação que não foi avaliado, já que não foi possível contratar monitores/supervisores, externos à Secretaria de Educação, para realizar as atividades de acompanhamento dos professores nas escolas. Os multiplicadores que intermediavam as ações de capacitação junto aos professores entre os anos de 2003 a 2006, não chegaram até as salas de aula. Acrescente-se o fato de muitos multiplicadores não possuírem também os requisitos necessários para exercerem as funções de monitoramento, pois eram profissionais do quadro docente, que, embora interessados e disponíveis, necessitavam também de maior suporte técnico, logístico e de supervisão por parte do Programa.

Entretanto o monitoramento externo ou realizado por professores mais experientes da própria escola são aspectos considerados prioritários pelos pesquisadores que estudam a melhoria da qualidade e da efetividade docente. Darling-Hammond e demais autores do texto Democracy at Risk (2008, p.29-30) propõem a criação de um programa Federal nos Estados Unidos para todos os professores iniciantes na carreira, garantindo a presença de um profissional altamente qualificado e especializado em treinamento docente na escola, ou em um conjunto de escolas geograficamente próximas, para dar suporte técnico e pedagógico aos professores na sua prática cotidiana.

Os autores sugerem também a criação de programas de residência de professores (por analogia aos programas de residência médica) para as comunidades socialmente mais vulneráveis, realizados em parceria com as universidades. Estes programas seriam mantidos pelo governo e os candidatos às residências, de no mínimo um ano, seriam pagos durante o período de formação e em troca assumiriam o compromisso de permanecerem na localidade a eles destinada por 4 ou 5 anos.A permanência dos professores por um período mais longo em uma mesma escola é um fator que deve ser controlado pelos implementadores de programas de melhoria da efetividade docente.

Retomando o aspecto da ausência de controle da aprendizagem e da prática em sala de aula dos professores, o Programa de Capacitação, também não tinha como empreender qualquer ação efetiva para evitar a rotatividade dos professores. Este é um aspecto que não deve ser minimizado, pois sabe-se que a mobilidade dos docentes, tanto dentro da rede quanto para fora dela é um fenômeno de uma certa magnitude, principalmente quando os sistemas educacionais mantém um quadro expressivo de professores temporários.

Na presente pesquisa, a rotatividade dos professores no Programa de Capacitação só pode ser parcialmente dimensionada, uma vez que os dados disponíveis foram obtidos com os professores inscritos no Curso de Aperfeiçoamento, que ao preencherem o formulário de inscrição assinalaram quanto tempo e qual a modalidade de participação nas atividades promovidas nos anos anteriores. Não há informação sobre demais professores que, embora possam ter participado das atividades anteriormente, não puderam ser alcançados pela pesquisa.

A variável participação definida nas páginas anteriores deste artigo mostrou ter um efeito positivo com o desempenho dos alunos em Matemática, com nível de significância a 1% quando o professor está há mais de 3 anos na escola e a proporção de professores na escola com grau de participação 3 ou mais nas 5 modalidades de participação ,ou seja, ter sido multiplicador  ou participante dos seminários.

Uma provável explicação também para a pouca permanência dos professores pesquisados nas escolas pode ser a situação trabalhista de vínculo precário. Dos respondentes, 27% dos de Língua Portuguesa eram prestadores de serviço por contrato temporário e em Matemática esse percentual era de 31%. Apenas um pouco mais de 50% das duas disciplinas afirmaram ter um vínculo permanente na carreira docente.

Um outro aspecto central do Programa de Capacitação voltado para o acompanhamento sistemático do desempenho dos alunos mediante a aplicação de avaliações formativas, na prática, foi muito difícil implementá-lo com eficiência. As questões de natureza logística de impressão, distribuição, recolhimento, processamento de posterior análise de resultados impossibilitaram que as avaliações formativas cumprissem um dos seus papeis mais relevantes de acompanhamento do desempenho do aluno, que é o de fornecer informações sistematizadas sobre esses resultados para todos os níveis do sistema de ensino: turmas, escolas, e Secretaria. Assim, da mesma maneira que o Programa de Capacitação não foi capaz de prover o monitoramento das atividades e do uso do material didático pelos professores na sala de aula também não pôde controlar se os professores corrigiam as questões das avaliações formativas imediatamente após sua aplicação e, quando necessário, organizassem atividades de reforço.

Essa prática de fornecer aos alunos um feedback imediato sobre seus erros e acertos é apontada, em quase todas as pesquisas dos efeitos de fatores escolares sobre o desempenho dos alunos, como uma condição para o ensino efetivo como apresentado em algumas seções deste texto.

Estes e outros aspectos discutidos podem dar uma dimensão das dificuldades de atuação em sistemas educacionais concretos, onde algumas variáveis intervenientes nas propostas de melhoria não são passíveis de controle pelos agentes promotores das ações e assim, reduzem as possibilidades de alcançar metas projetadas. Entretanto, são bastante estudadas as dificuldades enfrentadas pelos processos de promoção de mudanças que envolvam modificações de práticas arraigadas, atitudes, crenças e valores, especialmente quando estão envolvidos um grande número de indivíduos dispersos em uma extensão territorial considerável.

Ignorar essas premissas é adotar uma postura de que o professor não faz melhor o seu ofício apenas porque não sabe fazê-lo e não, entre outros determinantes, porque não pode ou porque não quer. O desafio nos programas de capacitação de professores que, precisa incluir um expressivo número de docentes e escolas, e lidar com as múltiplas variáveis dos sistemas educacionais concretos está em superar a aparente oposição entre a dimensão individual, biográfica dos professores para articulá-la a um contexto mais amplo de projetos de melhoria da qualidade e equidade da educação oferecida a todos alunos.

Refletindo sobre esses mais de 6 anos de experiência com os professores do Tocantins é inevitável, no final, avaliar os erros e acertos, repensá-la para retirar dela elementos que possam servir, não de conselhos, mas de contribuição para um debate sobre programas de melhoria da qualidade docente que pretendam  aumentar o desempenho dos alunos.

O primeiro aspecto a ser discutido é o que diz respeito à ênfase que deve ser dada pelos programas de capacitação docente ao domínio da matéria, investindo fortemente no ensino dos conteúdos dos programas das disciplinas da Educação Básica e garantindo que os professores efetivamente os aprendam. Para tal, os programas devem ser relativamente longos, sistemáticos e apresentar mecanismos de avaliação frequentes dos professores, aplicando testes, exercícios e ou trabalhos sobre os conteúdos ensinados. É importante que os programas de capacitação criem também as condições de reforço para os professores que não alcancem os níveis adequados de aprendizagem, já que a reprovação não é desejável.

Da mesma forma, é importante ensinar o professor a transpor os conteúdos aprendidos para seu dia a dia na sala de aula, criando situações dinâmicas de aprendizagem e para isso, os programas de melhoria da qualidade docente devem desenvolver materiais de formatos variados, como roteiros, cadernos de exercícios para o aluno, Dvds com simulações de situações concretas e como o professor deve atuar na sala e na escola. Esses Dvds, além de demonstrarem o ensino de aspectos críticos do ensino dos conteúdos, podem também abordar questões sobre indisciplina, falta de motivação e violência, dinâmica do trabalho em grupos cooperativos, entre outros. É possível também, nos dias atuais usar o computador para manter o professor em uma rede de comunicação entre os consultores e coordenadores das capacitações e com os demais colegas do curso. O acompanhamento do desempenho dos alunos deve ser realizado frequentemente e deve ser fornecido um banco de questões de avaliação formativa para serem aplicadas nos alunos e colocá-lo à disposição das escolas e dos professores. É importante por outro lado, ajudar ao professor a interpretar os resultados obtidos e os programas de capacitação têm que ensinar aos professores a dominar a tecnologia de avaliação e de interpretação de escalas de proficiências, empregada com sucesso na última década nas avaliações externas.

O acompanhamento do desempenho dos alunos não pode, por outro lado, dispensar medidas de aprendizagem externas e assim os programas de capacitação precisam criar ou aproveitar mecanismos de avaliação externos às escolas.

Por fim, sugere-se o debate sobre três aspectos importantes que precisam ser desenvolvidos e divulgados.

O primeiro trata dos mecanismos de monitoramento dos programas de capacitação dos professores na sala de aula e nas escolas, que tenham características de controle da efetividade docente e de apoio para as dificuldades encontradas. A formação a supervisão e o acompanhamento desse profissional altamente especializado é um desafio que precisa ser enfrentado em conjunto com as Universidades, o Ministério de Educação e Secretarias.

Uma outra sugestão para o debate é o estudo da criação de Programas de Residência Docentel, feitos em parcerias com as Universidades e que poderiam transformar a médio prazo os Cursos de Licenciaturas. A última questão levantada para o debate diz respeito à carreira docente sugerindo que, os estudos que estão hoje nas agendas dos Ministérios de Educação incluam também na parcela variável da remuneração docente, além da titulação e anos de serviço, o desempenho dos alunos.

Para concluir retomam-se as recomendações do Relatório McKinsey que estudou os melhores sistemas educacionais do mundo, apresentado na Introdução deste texto e no qual aqueles que estavam situados nas primeiras posições apontaram que para garantir altos desempenhos dos alunos deve-se:

• atrair as pessoas certas para a carreira docente;
• transformá-las em instrutores efetivos;
• garantir que a escola e o sistema sejam capazes de fornecer a melhor instrução possível para cada aluno.

Referencias Bibliográficas

Allen, M. (2003).Eigth questions on teacher preparation. Denver, CO: Education Commission of the States.

Alliance for Excellent Education, (2008). Issue Brief. March. Washington, D.C: Met Life Foundation.

Braun, H. (2004). Value-Added modeling: what does due diligence require?. Priceton, N.J: Educational Testing Service.

Bressoux, P. (2003). As Pesquisas sobre o Efeito Escola e o Efeito Professor. Educação em Revista, Revista da Faculdade de Educação da UFMG, n38, dez, Belo Horizonte.

Clotfelter, C., Ladd, H., Vigdor, J. (2007).Teacher credentials and student achievement in high school: a cross-subject analysis with fixed effects. Washington, DC: Urban Institute.

Darling – Hammond, L. (2000). Teacher quality and student achievement: A review of state policy evidence. Education Policy Analisys Archives, 8(1).

Darling – Hammond, L., and Youngs, P. (2002). Defining ¨highly qualified teachers¨: What does ¨scientifically –based research¨ tell us?. Educational Researcher, 31(9), pp. 13-25.

Darling – Hammond, L., and Bransford, J. (2005). Preparing Teachers for Changing World: what teachers should learn and be able to do. San Francisco: Jossey-bass.

Goe, L. (2007). The link between teacher quality and students outcomes: a Research Synthesis. Washington, DC: National Comprehensive Center for Teacher Quality.

Hanushek, E.A. (1971). Teacher Characteristics and Gains in Student Achievement Estimation: using micro data. American Economic Review, 61(2), pp. 280-288.

Hanushek, E.A., Kain, J.F. Rivkin, S.G. (2005). Teachers, Schools and Academic Achievement. Econometrica, 73(2), pp. 417-458.

Harris, D.N. and Sass, T.R. (2007). Teacher training, teacher quality and student achievement. Washington, DC: National Center for Analysis of Longitudinal Data in Education and Research.

Hill, H.C., Rowan, B.E., Ball, D.L. (2005). Effects of teacher mathematical knowledge for teaching on student achievement. American Educational Journal, 42(2).

Noell, G.H. (2006). Annual Report of: Value added assessment of teacher preparation. Baton Rouge: Louisiana State University.

Reynolds, D., Hopkins, D., et Stoli, L. (1993). Linking School Effectiveness Knowledge and School Improvement Practice: towards a synergy. School Effectiveness and School Improvement, 4, pp. 37-58.

Rivikin, S., Hanushek, J. (2002).Teachers, Schools and Academic Achievement. Texas Schools Project. Dallas: University of Texas-Dallas.

Rosenshine, B., et Stevens, R. (1986). Teaching Functions, in WITTROCK, M.C. (ed.). Handbook of Research on Teaching. 3ª édition, pp. 376-391. New York: Macmillan.

Scriven, M. (1967). The Methodology of Evaluation. in Tyler, R.W., Gagné, R.M. and Scriven, M (Eds), Perspectives of Curriculum Evaluation. pp.39-83, Chicago: Rand McNally.

The Forum Education Democracy, (2008). Democracy at Risk: the need for a new federal police in education. Washington, DC.

Slavin, R.E., Hurley.E.A. and Chamberlain, A.M. (2003). Cooperative Learning and Achievement :Theory and Researchs in Reinolds W.M. and Miller, G.E. (eds). Handbook of Psycology, 7, pp. 177-198, NJ: Hoboken

Veldman, D.J et Brophyj, E. (1974). Measuring Teacher Effects on Pupil Achievement. Journal of Educational Psycology, 66(3), pp. 319-324.

Walsh, K and Tracy, C. (2004). Increased the odds. Washington, D.C: National Council on Teacher Quality.

 

{1} O SAEB/PROVA BRASIL é uma avaliação nacional do universo dos alunos de 4ª e 8ª séries do Ensino Fundamental, das escolas públicas urbanas brasileiras, com pelo menos 20 alunos na série, nas disciplinas de Língua Portuguesa e Matemática, realizada a cada 2 anos. As Escalas do SAEB/PROVA BRASIL vêm permitindo acompanhar o desempenho dos alunos desde 1995.