Recentemente, participei de uma oficina promovida pela Cambridge Assessment com o título Understanding and optmising your mark schemes. Me interessei em participar não só por conhecer a qualidade dos cursos oferecidos pela Cambridge Assessment e por estar fazendo um doutorado na área de avaliação de línguas, mas principalmente porque sempre me intrigaram (e incomodaram) as rubricas das tarefas discursivas de inglês do CACD.

Uma rubrica (mark scheme), em termos simples, é o plano de como serão distribuídos os pontos de acordo com as respostas dos avaliados a uma dada questão em uma avaliação. As rubricas das tarefas discursivas de inglês do CACD podem ser encontradas no anexo IV do edital de abertura do concurso (1), descrevendo quantos pontos cada tarefa vale e como estão distribuídos esses pontos entre os critérios de correção. Por exemplo, sabemos pela rubrica da tarefa da tradução inglês-português que a tarefa vale um total de 15 pontos e que esses pontos estão distribuídos em 5 pontos para “fidelidade ao texto original” e 10 pontos para “correção gramatical e propriedade da linguagem”. Com relação ao segundo quesito, sabemos também que o candidato já começa a prova com 10 pontos e perde 0,5 ponto a cada erro identificado pela banca examinadora. O que não está descrito de forma clara, contudo, é como são distribuídos os 5 pontos de fidelidade. 

Meu incômodo com as rubricas da prova discursiva de inglês é justamente esse: elas são sucintas, vagas, abstratas, pouco explícitas. Um aspirante à carreira de diplomata que lê a rubrica não faz ideia de what looks good, ou seja, do que é preciso entregar para ter uma boa pontuação. Professores que oferecem simulados, por sua vez, se baseiam em suas próprias interpretações das rubricas. E assim como as rubricas são vagas para candidatos e para professores, é possível que elas também o sejam para os examinadores. E aqui temos muitos problemas…

Minha maior preocupação com as rubricas, contudo, sempre foi na tarefa da Redação (Composition). Isso porque a tarefa vale 50 pontos (em um universo total de 100 pontos da prova discursiva de inglês), 25 pontos dos quais temos informações muito vagas sobre como são avaliados, como veremos a seguir. Isso é particularmente preocupante em uma prova em que o candidato precisa obter uma nota mínima de 50 pontos para avançar para as provas de terceira fase. Precisamos (candidatos, professores e examinadores) entender com maior precisão como são distribuídos esses 25% da pontuação total da prova discursiva de inglês do CACD.

O objetivo deste post é (i) analisar a rubrica atual da tarefa da Redação da prova de inglês do CACD, com foco no quesito “organização do texto e desenvolvimento do tema”, (ii) diagnosticar problemas, à luz da literatura sobre avaliação de línguas, (iii) propor não uma solução em si, mas um formato de solução e (iv) oferecer recomendações, principalmente aos candidatos.

1.A rubrica atual da tarefa da Redação: o quesito “organização do texto e desenvolvimento do tema”

A rubrica da tarefa da Redação da prova discursiva de inglês do CACD pode ser encontrada no Anexo IV do edital mais recente (CACD 2023):

O que observamos na rubrica é que a tarefa vale um total de 50 pontos, 25 dos quais são referentes ao quesito “organização do texto e desenvolvimento do tema”, que é o nosso enfoque nesta análise. Esses 25 pontos são distribuídos em três subcritérios: o subcritério 1A, valendo 10 pontos, avalia “apresentação/impressão geral do texto, legibilidade, estilo e coerência”; o subcritério 1B, também valendo 10 pontos, avalia “capacidade de argumentação (objetividade, sistematização, conteúdo e pertinência das informações)”, e o subcritério 1C, valendo 5 pontos, avalia “capacidade de análise e reflexão”. 

Esse formato de rubrica pode levar candidatos, professores e até examinadores a questionar: o que, exatamente, diferencia uma nota 6 no quesito 1A de uma nota 8? O que, exatamente, diferencia uma nota 2 no quesito 1C de uma nota 4? A resposta para essas perguntas não está na rubrica em si, mas sim na interpretação que candidatos, professores e examinadores fazem da rubrica. E o fato de haver inúmeras interpretações possíveis leva a uma série de problemas, como veremos na próxima seção.

Pensando em termos dos tipos de rubricas que são comumente usados na avaliação de línguas (constrained, points-based, levels-based etc.), é possível identificar que essa rubrica é uma holistic/impressionistic mark scheme. Isso significa, em termos práticos, que o examinador toma a decisão de quantos pontos atribuir a cada subcritério com base em sua impressão geral, holística, do desempenho do candidato naquele subcritério. A avaliação holística é muito útil em diversos cenários, inclusive educacionais, mas parece pouco apropriada para a situação em questão: uma prova de inglês dentro de um concurso público de altíssimo impacto (high-stakes test). Discuto os problemas que essa rubrica apresenta dentro do contexto específico do CACD e um formato de solução nos itens 2 e 3, a seguir.

2. Diagnosticando problemas

Cito aqui quatro problemas que me parecem ser os principais no uso de uma rubrica holística no quesito “organização do texto e desenvolvimento do tema” da tarefa da Redação da prova discursiva de inglês do CACD.

O primeiro problema, que me parece o mais alarmante, é que uma rubrica assim não serve como referência clara para os examinadores. No CACD 2020, por exemplo, foram nove os examinadores que corrigiram as provas de inglês do CACD, cada um dos quais pode ter interpretado os subcritérios da sua própria maneira. Isso pode levar a sérios problemas de consistência na avaliação (inter-rater reliability), e uma avaliação que não é consistente não é válida para propósito algum.

O segundo problema, claramente associado ao primeiro, é que essa rubrica não distingue com clareza os diferentes níveis de desempenho dos candidatos. Por que o candidato X tirou 6 no quesito 1B e a candidata Y tirou 6,5? Em um concurso no qual a diferença de pontuação entre o último candidato aprovado e o primeiro candidato da longa lista de não-aprovados às vezes não chega a ser 0,5 ponto, distinguir desempenho de forma clara é crucial. 

O terceiro problema é que essa rubrica confere pouca transparência ao processo de avaliação e, portanto, ao processo de seleção, e a transparência deve ser um dos princípios norteadores de qualquer concurso público. 

O quarto problema é que uma rubrica como essa simplesmente ignora as consequências educacionais (washback effects) dessa prova. Apesar de a prova de inglês do CACD não ser uma avaliação educacional, ela tem efeitos educacionais, no sentido de que ela move milhares de cidadãos brasileiros a estudar em preparação para ela. Quando o candidato que fez a prova de segunda fase recebe as notas nesses subcritérios, ele muitas vezes não consegue identificar o que precisa ser melhorado e o que pode ser mantido em termos de preparação e desempenho. 

3.Um formato de solução

Uma forma de melhorar a rubrica existente e de potencialmente reduzir ou evitar os problemas discutidos seria mudar o tipo da rubrica e desenvolver um novo formato de rubrica.

Um tipo de rubrica que me parece mais apropriado considerando a tarefa em si (unstructured essay) e a situação de avaliação (prova de inglês de alto impacto em concurso público) é uma rubrica analítica (levels-based analytic mark scheme). Em poucas palavras, em uma rubrica analítica, o desempenho do candidato seria classificado em níveis (levels ou bands) aos quais correspondem faixas de notas, e a classificação se daria com base em descritores de desempenho. Esse formato é muito utilizado em diversos exames internacionais e poderia trazer maior consistência e transparência para a avaliação de língua inglesa do CACD.

Apenas a título de exemplo, mostro abaixo uma adaptação da rubrica atual, holística, para um formato analítico. No exemplo, simplesmente adaptei o que está escrito na rubrica 1A para um formato com níveis e faixas de notas e imaginei alguns descritores. Atenção: esse exemplo não reflete aquilo que eu penso sobre o que deveria ser avaliado nessa tarefa, quantos pontos deveriam ser distribuídos para cada subquesito ou quais deveriam ser os descritores; a minha opinião sobre isso passa por uma discussão sobre o construto e a validação da tarefa, discussão que é muito necessária, mas que não é o objetivo deste post. O único objetivo desse exemplo é mostrar um exemplo de como o formato holístico poderia ser adaptado para o formato analítico:

Subcritério 1A (10 pontos)	Apresentação	Legibilidade	Estilo	Coerência
Nível 3	2 a 2,5 pontos	2 a 2,5 pontos	2 a 2,5 pontos	2 a 2,5 pontos
	O texto (praticamente) não contém rasuras e está (muito) bem apresentado.	O texto é (praticamente) completamente legível, pois os grafemas têm traços distintivos.	O texto transcorre (praticamente) todo no registro neutro/formal, como apropriado.	A tese serve como plano argumentativo do texto; os parágrafos argumentativos discutem o que foi anunciado na tese; a conclusão retoma a tese e a linha argumentativa.
Nível 2	1 a 1,5 pontos	1 a 1,5 pontos	1 a 1,5 pontos	1 a 1,5 pontos
	O texto contém algumas rasuras e está razoavelmente apresentado.	Há alguns problemas de legibilidade ao longo do texto, pois os grafemas por vezes não são claros.	O texto transcorre majoritariamente no registro neuro/formal, mas com algumas marcas de informalidade.	Há algum problema de coerência entre tese e estágio argumentativo e/ou entre argumentação e conclusão, mas isso não prejudica a compreensão geral do texto.
Nível 1	0 a 0,5 ponto	0 a 0,5 ponto	0 a 0,5 ponto	0 a 0,5 ponto
	O texto contém demasiadas rasuras e não está bem apresentado.	É difícil compreender diversos grafemas.	O texto contém muitas marcas de informalidade/ oralidade.	Há problemas de coerência entre tese e estágio argumentativo e/ou entre argumentação e conclusão, e isso prejudica a compreensão geral do texto.

Nesse formato de rubrica, o examinador atribuiria a nota não com base em sua impressão geral sobre “estilo” ou “legibilidade” etc., mas sim com base nos descritores. Os descritores também também norteiam os examinadores sobre as faixas de nota possíveis para aquele nível de desempenho. Assim, uma das maiores vantagens de adotar uma rubrica analítica em nossa prova é que as rubricas analíticas são mais referenciadas por examinadores, o que pode trazer maior consistência na avaliação. Uma segunda vantagem é que os descritores e as faixas de notas facilitam a discriminação dos candidatos, o que é muito benéfico em uma prova de seleção. Uma terceira vantagem é que, se a rubrica analítica estiver no edital de abertura do concurso, ela funciona como objetivos de aprendizagem, e os candidatos poderão se preparar para a prova com mais informações sobre o que é avaliado; e se a rubrica for marcada pelo examinador e divulgada junto com o espelho de prova para o candidato que realizou a prova discursiva, o candidato terá uma devolutiva muito mais precisa do que foi bem avaliado e do que não foi bem avaliado em seu desempenho, o que significa mais transparência no concurso público e mais responsabilidade (accountability) pelas consequências educacionais da prova.  

De novo, reforço: talvez não sejam esses os critérios mais importantes a ser avaliados, talvez essas faixas de notas não sejam adequadas e talvez esses descritores não representem o construto da prova. O que eu quero ressaltar aqui é o formato da rubrica analítica, com níveis, faixas de pontuação e descritores.

4.Recomendações

Como o público-alvo deste blog é o público ceacedista, em grande medida escrevi este post para trazer para a atenção do candidato que a prova de inglês do CACD não é só “difícil”: muitas vezes faltam também consistência, transparência e accountability. Como um dos grupos de interesse mais importantes do CACD (afinal, não há corpo diplomático brasileiro sem ceacedistas), acho importante a mobilização para reivindicar que melhorias sejam feitas – algumas delas tão simples quanto mudar o formato das rubricas. 

Ainda pensando nos candidatos, um alerta específico sobre práticas de simulação, que são pervasivas no mercado de preparação para a prova de inglês do CACD: a correção dos simulados que você realizar serão feitas por um professor ou uma professora que, assim como a banca examinadora, é intérprete de uma rubrica que, como vimos, é extremamente vaga. Certifique-se sempre de que essa interpretação é feita com base na análise de como esses critérios de correção de fato foram operacionalizados pela banca na prova anterior – é isso que possibilita uma real simulação de notas. 

Finalmente, como este é um texto publicado na world wide web, também posso imaginar que pessoas envolvidas na correção e na organização da prova venham a ler o post. Como qualquer avaliação de línguas, a prova de inglês do CACD pode ser melhorada. E as melhorias não trariam benefícios apenas para os candidatos, os professores e os examinadores: em última instância, ela traria melhorias para o próprio corpo diplomático brasileiro e sua capacidade de representar o interesse nacional em campo internacional. 

Cheers!

Selene

Notas

(1) https://www.iades.com.br/inscricao/upload/327/20230629103743283.pdf

No mês de junho, aproveitando esse meu período de pesquisa na maravilhosa “Emerald Isle”, leremos um clássico da literatura irlandesa: “Dubliners”, de James Joyce!

Os quinze contos que compõem essa obra, publicada originalmente em 1914, acontecem na região de Dublin, capital da Irlanda, em um momento em que o nacionalismo irlandês buscava por um senso de identidade, em meio a incertezas políticas e muita dificuldade econômica. Os contos tratam de temáticas variadas, algumas muito peculiares como o escapismo, a embriaguez e a insularidade.

Alunos em nível avançado podem ler a obra original. Alunos do CACD Step by Step podem fazer a levita facilitada (há uma edição para nível intermediário da Penguin Readers).

O objetivo da leitura é promover o gosto pela leitura em língua inglesa, fazer uma atividade de extensive reading e desenvolver a competência tradutória (faremos um exercício de tradução comparativa, como usual).

O CACD Inglês Book Club é uma atividade gratuita, e todos os alunos do CACD Inglês e do Curso IDEG estão convidados a participar (clique aqui para o link de inscrição para alunos que ainda não estão no grupo do Telegram).

Boa leitura a todas e todos!

No mês de maio, o CACD Inglês Book Club fará uma leitura especial em homenagem ao historiador Boris Fausto! Leremos o primeiro capítulo de A concise history of Brazil, a versão de Arthur Brakel para a língua inglesa do original História Concisa do Brasil!

Boris Fausto (1930-2023) foi um dos maiores historiadores brasileiros e é considerado leitura fundamental para quem deseja pensar o Brasil do século 20 — e para quem é aspirante à carreira de diplomata!

Em nossa discussão do Book Club, leremos o capítulo Colonial Brazil (1500-1822) e refletiremos sobre o fazer historiográfico e sobre a terminologia de Brasil colonial (português-inglês), com base na discussão proposta um artigo que publiquei na Revista TradTerm em 2022.

Além disso, faremos um exercício de busca terminológica para que os candidatos possam conhecer equivalentes de vocábulos específicos de nossa história colonial em inglês!

Você é aluno do CACD Inglês e/ou do Curso Ideg e quer participar do nosso clube de leitores? Basta preencher este formulário! 

Para comemorar o quarto aniversário do nosso CACD Inglês Book Club, leremos um grande clássico distópico: 1984, de George Orwell!

Winston Smith vive na cidade de Londres, Oceania. É membro do Partido que governa Oceania e que controla tudo. O Big Brother, líder onisciente do Partido, parece tudo observar através de seus mecanismos de vigilância. O Partido está inclusive tentando implementar uma língua inventada para evitar rebeliões e até mesmo o pensamento crítico. Winston trabalha no Ministério da Verdade, alterando registros históricos de acordo com as necessidades do Partido. Mas Winston se sente oprimido… Será que o Partido é capaz de controlar até mesmo o amor?

Publicado em 1949, o romance trata de temas tão atuais como os perigos do totalitarismo, o controle da informação e da história, a linguagem como forma de controle do pensamento e a manipulação psicológica!

Leitores em nível avançado podem ler a obra original (disponível em diversas edições). Leitores em nível alto-intermediário (CACD Step by Step, Step 4) podem ler a versão do Macmillan Readers. Leitores em nível intermediário (CACD Step by Step, Step 3) podem ler a versão do Eli Readers.

Comentaremos a leitura em nosso grupo no Telegram ao longo dos meses de fevereiro e março, quando nos reuniremos, via Zoom, para discutir a obra e fazer uma atividade de tradução comparada (data a definir)!

É aluno do CACD Inglês e ou do Curso Ideg e quer entrar em nosso clube de leitores? Basta preencher este link!

Cheers!

Selene

Nossa última leitura de 2022 será um clássico da ficção estadunidense: The Great Gatsby, de F. Scott Fitzgerald!

Publicado em 1925 e ambientado na Long Island da década de 1920, o romance é um comentário social da Era do Jazz. Triunfo e tragédia caracterizam a história de Jay Gatsby, o emergente empreendedor obcecado por Daisy Buchannan, representante da elite americana e casada com o bruto aristocrata Tom Buchannan.

Os leitores em nível avançado podem fazer a leitura do texto original (há diversas edições disponíveis, inclusive para Kindle). Para leitores em nível intermediário (CACD Step by Step, Step 3), há uma edição simplificada da Macmillan Readers. Para leitores em nível pré-intermediário (CACD Step by Step, Step 2), existe uma edição facilitada da Penguin Readers.

Nosso encontro será apenas no fim de janeiro (via Zoom, como sempre), então teremos cerca de dois meses para nos dedicarmos a essa leitura!

As atividades do CACD Inglês Book Club são gratuitas e exclusivas para alunas e alunos do CACD Inglês e do Curso Ideg.

Quer fazer essa leitura conosco? Preencha este link para participar de nosso grupo no Telegram e saber mais!

Boa leitura e Boas Festas!

Nossa atividade do clube de leitores em novembro será um pouco diferente do usual: leremos o primeiro capítulo de Raízes do Brasil, de Sergio Buarque de Holanda, tanto na versão original quanto na versão em língua inglesa!

Não há dúvidas de que Raízes do Brasil é, como disse Antônio Cândido, “um clássico de nascença”. É uma das obras fundadoras da historiografia e das ciências sociais brasileiras e, com seus mais de 80 anos, continua a inspirar o pensamento crítico sobre nossa sociedade. 

Nos últimos anos, a reflexão sobre Raízes do Brasil foi exigida pela banca do CACD diversas vezes. Nos anos de 2007, 2009 e 2010, por exemplo, os candidatos se depararam com trechos da obra na prova de língua portuguesa; em 2017, Raízes do Brasil caiu na prova de francês; e em 2015 e 2018, foi na prova de inglês que a obra se fez presente, na tarefa da tradução na direção português – inglês.

Nossos objetivos com essa leitura de novembro são diversos: refletir sobre a relevância da obra, avaliar sua tradução para a língua inglesa, pensar na terminologia relacionada à história do Brasil e conversar sobre desafios e estratégias para a tarefa da versão na prova discursiva de inglês!

Nosso encontro está marcado para 25 de novembro, às 20h, via Zoom! É aluno do CACD Inglês e/ou do Curso Ideg e quer participar? Basta preencher este formulário!

É com muita alegria que anunciamos que nossa leitura do mês de julho em nosso clube de leitores será em língua espanhola!

Sob a curadoria de Cris Huffel, professora de espanhol do Curso Ideg, este mês leremos La gallina degollada, um conto de Horacio Quiroga! Nosso encontro para a discussão da obra será em 4 de agosto, quinta-feira, a partir das 20h, via Zoom!

É aluno do CACD Inglês e/ou do Curso Ideg e quer participar dessa leitura? Basta inscrever-se aqui!

Com o CACD 2022 chegando ao fim, já podemos retomar nossas atividades do CACD Inglês Book Club!

Em uma votação dos membros do clube de leitores, decidimos voltar às leituras de textos clássicos em língua inglesa. Assim, no mês de junho, voltamos a nossas atividades de leitura extensiva com um clássico fantasmagórico (mas também muito humoroso): leremos The Canterville Ghost (1887), de Oscar Wilde!

Quando a família Otis se muda dos Estados Unidos para Canterville, na Inglaterra, logo ouve falar que sua nova casa é assombrada. Inicialmente descrente de fantasmas, a família aos poucos toma contato com os mistérios de Canterville Chase. Em um conto no qual os estereótipos da decadência aristocrática inglesa e da vulgaridade americana são levados aos extremos, Oscar Wilde nos leva a refletir sobre temas como perdão e vingança, aparências e realidade, empatia e amor.

Participantes que já têm conhecimentos avançados do idioma podem fazer a leitura do texto original (veja aqui). Existe uma versão facilitada do texto da Penguin Readers para leitores em nível alto-intermediário (veja aqui). Participantes com conhecimentos básicos de língua inglesa podem fazer a leitura da versão do Macmillan Readers (veja aqui).

O CACD Inglês Book Club tem como objetivos centrais desenvolver o gosto pela leitura em língua inglesa e promover atividades de extensive reading (saiba mais aqui). Também faremos nossa tradicional atividade de tradução, com o objetivo de desenvolver a competência tradutória!

Nosso encontro para a discussão do conto será em 1o. de julho, sexta-feira, a partir das 20h, via Zoom!

Essa é uma atividade gratuita, e todos os alunos do CACD Inglês e/ou do Curso Ideg estão convidados a participar! Caso você ainda não esteja em nosso grupo, junte-se a nós clicando aqui!

Cheers!

Selene