Recentemente, participei de uma oficina promovida pela Cambridge Assessment com o título Understanding and optmising your mark schemes. Me interessei em participar não só por conhecer a qualidade dos cursos oferecidos pela Cambridge Assessment e por estar fazendo um doutorado na área de avaliação de línguas, mas principalmente porque sempre me intrigaram (e incomodaram) as rubricas das tarefas discursivas de inglês do CACD.

Uma rubrica (mark scheme), em termos simples, é o plano de como serão distribuídos os pontos de acordo com as respostas dos avaliados a uma dada questão em uma avaliação. As rubricas das tarefas discursivas de inglês do CACD podem ser encontradas no anexo IV do edital de abertura do concurso (1), descrevendo quantos pontos cada tarefa vale e como estão distribuídos esses pontos entre os critérios de correção. Por exemplo, sabemos pela rubrica da tarefa da tradução inglês-português que a tarefa vale um total de 15 pontos e que esses pontos estão distribuídos em 5 pontos para “fidelidade ao texto original” e 10 pontos para “correção gramatical e propriedade da linguagem”. Com relação ao segundo quesito, sabemos também que o candidato já começa a prova com 10 pontos e perde 0,5 ponto a cada erro identificado pela banca examinadora. O que não está descrito de forma clara, contudo, é como são distribuídos os 5 pontos de fidelidade. 

Meu incômodo com as rubricas da prova discursiva de inglês é justamente esse: elas são sucintas, vagas, abstratas, pouco explícitas. Um aspirante à carreira de diplomata que lê a rubrica não faz ideia de what looks good, ou seja, do que é preciso entregar para ter uma boa pontuação. Professores que oferecem simulados, por sua vez, se baseiam em suas próprias interpretações das rubricas. E assim como as rubricas são vagas para candidatos e para professores, é possível que elas também o sejam para os examinadores. E aqui temos muitos problemas…

Minha maior preocupação com as rubricas, contudo, sempre foi na tarefa da Redação (Composition). Isso porque a tarefa vale 50 pontos (em um universo total de 100 pontos da prova discursiva de inglês), 25 pontos dos quais temos informações muito vagas sobre como são avaliados, como veremos a seguir. Isso é particularmente preocupante em uma prova em que o candidato precisa obter uma nota mínima de 50 pontos para avançar para as provas de terceira fase. Precisamos (candidatos, professores e examinadores) entender com maior precisão como são distribuídos esses 25% da pontuação total da prova discursiva de inglês do CACD.

O objetivo deste post é (i) analisar a rubrica atual da tarefa da Redação da prova de inglês do CACD, com foco no quesito “organização do texto e desenvolvimento do tema”, (ii) diagnosticar problemas, à luz da literatura sobre avaliação de línguas, (iii) propor não uma solução em si, mas um formato de solução e (iv) oferecer recomendações, principalmente aos candidatos.

1.A rubrica atual da tarefa da Redação: o quesito “organização do texto e desenvolvimento do tema”

A rubrica da tarefa da Redação da prova discursiva de inglês do CACD pode ser encontrada no Anexo IV do edital mais recente (CACD 2023):

O que observamos na rubrica é que a tarefa vale um total de 50 pontos, 25 dos quais são referentes ao quesito “organização do texto e desenvolvimento do tema”, que é o nosso enfoque nesta análise. Esses 25 pontos são distribuídos em três subcritérios: o subcritério 1A, valendo 10 pontos, avalia “apresentação/impressão geral do texto, legibilidade, estilo e coerência”; o subcritério 1B, também valendo 10 pontos, avalia “capacidade de argumentação (objetividade, sistematização, conteúdo e pertinência das informações)”, e o subcritério 1C, valendo 5 pontos, avalia “capacidade de análise e reflexão”. 

Esse formato de rubrica pode levar candidatos, professores e até examinadores a questionar: o que, exatamente, diferencia uma nota 6 no quesito 1A de uma nota 8? O que, exatamente, diferencia uma nota 2 no quesito 1C de uma nota 4? A resposta para essas perguntas não está na rubrica em si, mas sim na interpretação que candidatos, professores e examinadores fazem da rubrica. E o fato de haver inúmeras interpretações possíveis leva a uma série de problemas, como veremos na próxima seção.

Pensando em termos dos tipos de rubricas que são comumente usados na avaliação de línguas (constrained, points-based, levels-based etc.), é possível identificar que essa rubrica é uma holistic/impressionistic mark scheme. Isso significa, em termos práticos, que o examinador toma a decisão de quantos pontos atribuir a cada subcritério com base em sua impressão geral, holística, do desempenho do candidato naquele subcritério. A avaliação holística é muito útil em diversos cenários, inclusive educacionais, mas parece pouco apropriada para a situação em questão: uma prova de inglês dentro de um concurso público de altíssimo impacto (high-stakes test). Discuto os problemas que essa rubrica apresenta dentro do contexto específico do CACD e um formato de solução nos itens 2 e 3, a seguir.

2. Diagnosticando problemas

Cito aqui quatro problemas que me parecem ser os principais no uso de uma rubrica holística no quesito “organização do texto e desenvolvimento do tema” da tarefa da Redação da prova discursiva de inglês do CACD.

O primeiro problema, que me parece o mais alarmante, é que uma rubrica assim não serve como referência clara para os examinadores. No CACD 2020, por exemplo, foram nove os examinadores que corrigiram as provas de inglês do CACD, cada um dos quais pode ter interpretado os subcritérios da sua própria maneira. Isso pode levar a sérios problemas de consistência na avaliação (inter-rater reliability), e uma avaliação que não é consistente não é válida para propósito algum.

O segundo problema, claramente associado ao primeiro, é que essa rubrica não distingue com clareza os diferentes níveis de desempenho dos candidatos. Por que o candidato X tirou 6 no quesito 1B e a candidata Y tirou 6,5? Em um concurso no qual a diferença de pontuação entre o último candidato aprovado e o primeiro candidato da longa lista de não-aprovados às vezes não chega a ser 0,5 ponto, distinguir desempenho de forma clara é crucial. 

O terceiro problema é que essa rubrica confere pouca transparência ao processo de avaliação e, portanto, ao processo de seleção, e a transparência deve ser um dos princípios norteadores de qualquer concurso público. 

O quarto problema é que uma rubrica como essa simplesmente ignora as consequências educacionais (washback effects) dessa prova. Apesar de a prova de inglês do CACD não ser uma avaliação educacional, ela tem efeitos educacionais, no sentido de que ela move milhares de cidadãos brasileiros a estudar em preparação para ela. Quando o candidato que fez a prova de segunda fase recebe as notas nesses subcritérios, ele muitas vezes não consegue identificar o que precisa ser melhorado e o que pode ser mantido em termos de preparação e desempenho. 

3.Um formato de solução

Uma forma de melhorar a rubrica existente e de potencialmente reduzir ou evitar os problemas discutidos seria mudar o tipo da rubrica e desenvolver um novo formato de rubrica.

Um tipo de rubrica que me parece mais apropriado considerando a tarefa em si (unstructured essay) e a situação de avaliação (prova de inglês de alto impacto em concurso público) é uma rubrica analítica (levels-based analytic mark scheme). Em poucas palavras, em uma rubrica analítica, o desempenho do candidato seria classificado em níveis (levels ou bands) aos quais correspondem faixas de notas, e a classificação se daria com base em descritores de desempenho. Esse formato é muito utilizado em diversos exames internacionais e poderia trazer maior consistência e transparência para a avaliação de língua inglesa do CACD.

Apenas a título de exemplo, mostro abaixo uma adaptação da rubrica atual, holística, para um formato analítico. No exemplo, simplesmente adaptei o que está escrito na rubrica 1A para um formato com níveis e faixas de notas e imaginei alguns descritores. Atenção: esse exemplo não reflete aquilo que eu penso sobre o que deveria ser avaliado nessa tarefa, quantos pontos deveriam ser distribuídos para cada subquesito ou quais deveriam ser os descritores; a minha opinião sobre isso passa por uma discussão sobre o construto e a validação da tarefa, discussão que é muito necessária, mas que não é o objetivo deste post. O único objetivo desse exemplo é mostrar um exemplo de como o formato holístico poderia ser adaptado para o formato analítico:

Subcritério 1A (10 pontos)	Apresentação	Legibilidade	Estilo	Coerência
Nível 3	2 a 2,5 pontos	2 a 2,5 pontos	2 a 2,5 pontos	2 a 2,5 pontos
	O texto (praticamente) não contém rasuras e está (muito) bem apresentado.	O texto é (praticamente) completamente legível, pois os grafemas têm traços distintivos.	O texto transcorre (praticamente) todo no registro neutro/formal, como apropriado.	A tese serve como plano argumentativo do texto; os parágrafos argumentativos discutem o que foi anunciado na tese; a conclusão retoma a tese e a linha argumentativa.
Nível 2	1 a 1,5 pontos	1 a 1,5 pontos	1 a 1,5 pontos	1 a 1,5 pontos
	O texto contém algumas rasuras e está razoavelmente apresentado.	Há alguns problemas de legibilidade ao longo do texto, pois os grafemas por vezes não são claros.	O texto transcorre majoritariamente no registro neuro/formal, mas com algumas marcas de informalidade.	Há algum problema de coerência entre tese e estágio argumentativo e/ou entre argumentação e conclusão, mas isso não prejudica a compreensão geral do texto.
Nível 1	0 a 0,5 ponto	0 a 0,5 ponto	0 a 0,5 ponto	0 a 0,5 ponto
	O texto contém demasiadas rasuras e não está bem apresentado.	É difícil compreender diversos grafemas.	O texto contém muitas marcas de informalidade/ oralidade.	Há problemas de coerência entre tese e estágio argumentativo e/ou entre argumentação e conclusão, e isso prejudica a compreensão geral do texto.

Nesse formato de rubrica, o examinador atribuiria a nota não com base em sua impressão geral sobre “estilo” ou “legibilidade” etc., mas sim com base nos descritores. Os descritores também também norteiam os examinadores sobre as faixas de nota possíveis para aquele nível de desempenho. Assim, uma das maiores vantagens de adotar uma rubrica analítica em nossa prova é que as rubricas analíticas são mais referenciadas por examinadores, o que pode trazer maior consistência na avaliação. Uma segunda vantagem é que os descritores e as faixas de notas facilitam a discriminação dos candidatos, o que é muito benéfico em uma prova de seleção. Uma terceira vantagem é que, se a rubrica analítica estiver no edital de abertura do concurso, ela funciona como objetivos de aprendizagem, e os candidatos poderão se preparar para a prova com mais informações sobre o que é avaliado; e se a rubrica for marcada pelo examinador e divulgada junto com o espelho de prova para o candidato que realizou a prova discursiva, o candidato terá uma devolutiva muito mais precisa do que foi bem avaliado e do que não foi bem avaliado em seu desempenho, o que significa mais transparência no concurso público e mais responsabilidade (accountability) pelas consequências educacionais da prova.  

De novo, reforço: talvez não sejam esses os critérios mais importantes a ser avaliados, talvez essas faixas de notas não sejam adequadas e talvez esses descritores não representem o construto da prova. O que eu quero ressaltar aqui é o formato da rubrica analítica, com níveis, faixas de pontuação e descritores.

4.Recomendações

Como o público-alvo deste blog é o público ceacedista, em grande medida escrevi este post para trazer para a atenção do candidato que a prova de inglês do CACD não é só “difícil”: muitas vezes faltam também consistência, transparência e accountability. Como um dos grupos de interesse mais importantes do CACD (afinal, não há corpo diplomático brasileiro sem ceacedistas), acho importante a mobilização para reivindicar que melhorias sejam feitas – algumas delas tão simples quanto mudar o formato das rubricas. 

Ainda pensando nos candidatos, um alerta específico sobre práticas de simulação, que são pervasivas no mercado de preparação para a prova de inglês do CACD: a correção dos simulados que você realizar serão feitas por um professor ou uma professora que, assim como a banca examinadora, é intérprete de uma rubrica que, como vimos, é extremamente vaga. Certifique-se sempre de que essa interpretação é feita com base na análise de como esses critérios de correção de fato foram operacionalizados pela banca na prova anterior – é isso que possibilita uma real simulação de notas. 

Finalmente, como este é um texto publicado na world wide web, também posso imaginar que pessoas envolvidas na correção e na organização da prova venham a ler o post. Como qualquer avaliação de línguas, a prova de inglês do CACD pode ser melhorada. E as melhorias não trariam benefícios apenas para os candidatos, os professores e os examinadores: em última instância, ela traria melhorias para o próprio corpo diplomático brasileiro e sua capacidade de representar o interesse nacional em campo internacional. 

Cheers!

Selene

Notas

(1) https://www.iades.com.br/inscricao/upload/327/20230629103743283.pdf