Introdução

O objetivo desta postagem é discutir problemas de inconsistência (unreliability) nas correções da prova discursiva de inglês do CACD 2023. A motivação desta postagem é dupla. A primeira é conscientizar o ceacedista, público-alvo principal deste blogue, sobre como a prova de inglês do CACD não acontece no vácuo sócio-institucional, como se a língua inglesa pudesse ser “hermeticamente isolada” e avaliada em uma forma “pura” — e o impacto que isso tem em sua preparação para essa prova. A segunda é construir um argumento de que avaliar a língua inglesa com mais consistência (e validade e transparência e accountability) é fundamental para que a prova de inglês do CACD realmente sirva o propósito declarado de selecionar quem mais está preparado (em termos de habilidades linguísticas em inglês, no caso) para ser diplomata no Brasil. Assim, a segunda motivação é, em última instância, levar a melhorias no processo de avaliação, tanto para candidatos como para o próprio corpo diplomático brasileiro.

Contextualização

A prova de segunda fase de língua inglesa do CACD 2023 aconteceu em 17 de outubro e, em apenas 17 dias corridos, como previa o edital, as mais de 400 provas que foram realizadas nessa fase do certame já haviam sido corrigidas e as notas, divulgadas. Meu receio, como comentei na live sobre estratégias de segunda fase, era que, com tão poucos dias separando a prova das notas, tivéssemos um cenário de uma banca avaliadora muito numerosa e/ou de problemas de consistência (reliability) na avaliação.

A preocupação não era infundada. No CACD 2021, a média das notas provisórias de inglês foi baixíssimos 48,26 pontos, sendo que a nota mínima para aprovação na prova era de 50 pontos. Na ocasião, cerca de 80% dos candidatos negros e PCD foram eliminados do certame por causa das hipercorreções (overmarking) na prova de inglês, e o Instituto Americano de Desenvolvimento (Iades), banca organizadora do concurso, chegou a ser denunciado ao MPF por irregularidades no concurso. Após o período de recursos contra as marcações da banca, as médias finais de inglês aumentaram para 60,46 pontos: foram mais de 12 pontos de diferença na média final de inglês, baseados aparentemente na capacidade de argumentar dos candidatos e no livre convencimento da banca avaliadora. 

O ano de 2022 foi menos comentado, mas não isento de problemas. Mencionei um desses problemas na live de estratégias: o ano de 2022 foi quando o quesito CGPL (correção gramatical e propriedade da linguagem) começou a ser avaliado em correlação com os quesitos FID (fidelidade, nas traduções), CSC (capacidade de síntese e concisão, no resumo) e 1C (capacidade de análise e reflexão, na redação) (vide nota 1). No exemplo que dei na live, comentei que as notas 1C (que, teoricamente, podem variar entre 0 e 5 pontos) variaram tão pouco que todas as notas abaixo de 4 foram subutilizadas (underutilized): de 270 notas publicadas no DOU, apenas 28 eram inferiores a 4,0 (em termos técnicos, identifiquei alfa de Crombach inferior a 0,7 no quesito 1C da redação, o que demonstra inconsistência interna do item). Isso contribuiu para notas altas na tarefa da redação em 2022 e, portanto, para pouca insatisfação com essas correções, que, no entanto, claramente também apresentaram problemas de consistência. 

Em 2021, muito se protestou contra a prova de inglês; em 2022, contudo, pouco se comentou sobre a prova. Entretanto, são problemas de consistência que observamos nesses dois anos de aplicação da prova. Quando as notas são mais altas, os candidatos costumam ficar mais satisfeitos, como se notas mais altas fossem necessariamente um reflexo de melhora em seus desempenhos, o resultado positivo de seus esforços. No entanto, notas sem consistência não são reflexo de desempenho, mas sim sinais de problemas sérios na avaliação.

Com aparentemente nenhuma mudança nesse sentido foi implementada depois do CACD 2021 e do CACD 2022, e com o prazo exíguo para as correções da prova de 2023, os temores foram confirmados: no CACD 2023, tivemos mais um ano de muitas inconsistências. Entre 6 e 8 de outubro, recebi 159 provas de candidatos para nossa iniciativa de auxílio na interposição de recursos, dentre as quais consegui analisar 131 dentro do prazo de recursos. Comento seis dos problemas que observei nessas provas:

1.Subcorreção

Não foi preciso chegar à análise da vigésima prova para perceber o óbvio: as provas de inglês deste ano foram subcorrigidas (undermarked) no critério “correção gramatical e propriedade da linguagem” (CGPL). Isso é dizer que as notas de CGPL foram altas nas tarefas não necessariamente porque os candidatos tiveram desempenhos melhores, mas sim porque o examinador não corrigiu a prova conforme o construto declarado da prova e conforme a operacionalização do construto em outros anos de aplicação da prova (para os conceitos de construto declarado e construto operacionalizado, veja Knoch, Macqueen, 2020).

Isso não significa dizer que eu acho que correção deveria ser mais “rígida”: é importante ressaltar que eu nem ao menos acredito que “correção gramatical e propriedade da linguagem” deveria ser um critério de correção em nossa prova. O que faltou à correção não foi “rigidez”, mas sim consistência: muito do que usualmente é considerado erro no quesito CGPL (considerando a atuação da banca outras edições do CACD) mal foi marcado nas provas, e houve muita discrepância nas marcações se comparadas as provas dos candidatos. É como se o examinador tivesse usado, este ano, uma régua diferente para mensurar as habilidades linguísticas dos candidatos, se comparada à régua usada em anos anteriores (e, na verdade, réguas diferentes para mensurar as habilidades de candidatos diferentes neste mesmo ano), sendo que a régua anunciada no edital de 2023 era igual às réguas anunciadas em anos anteriores. Falta de consistência é problema sério em qualquer avaliação, mas especialmente naquelas que servem para ranquear os avaliados e tomar decisões de alto impacto (como a seleção dos novos diplomatas brasileiros) com base nesse ranqueamento.  

2. CGPL: ortografia, legibilidade, rasuras

Em muitas provas, a avaliação do quesito CGPL foi simplesmente reduzida a marcações de ortografia, legibilidade e rasuras. Não que os candidatos não tivessem cometidos outros tipos de erros, mas os únicos marcados e penalizados, nessas provas, foram ortografia, legibilidade e rasuras… A impressão que se tem ao analisar essas provas é que, para ser diplomata no Brasil, o que importa, em termos de conhecimentos de língua inglesa, é escrever as palavras com as grafias indexadas em dicionários, ter boa caligrafia e não editar o próprio texto ao perceber que há erros… Isso me lembra os antigos regulamentos de prova do hoje Ministério de Relações Exteriores, ainda no século 19, em que se exigia que o candidato tivesse “um bom talho de letra” (veja Castro, 2009). Qual seria a validade (vide nota 2) desse tipo de avaliação em pleno século 21, quando suponho que todos os diplomatas brasileiros tenham acesso a processadores de texto? É isso mesmo que o MRE deseja avaliar por meio da prova discursiva de inglês do exame de entrada da carreira diplomática?   

3. Quesitos não-CGPL

Para os quesitos não-CGPL (fidelidade, capacidade de síntese e concisão, organização do texto e desenvolvimento do tema), ainda farei análises descritivas dos resultados provisórios e finais da nossa prova de inglês, como fiz em 2022, quando identifiquei o problema de falta de consistência interna no quesito 1C da redação. De qualquer forma, ao longo do processo de interposição de recursos, acompanhei de perto o desespero dos candidatos por não saber exatamente o que argumentar em seus recursos com relação aos quesitos não-CGPL. Isso acontece porque a prova não traz qualquer marcação relacionada a esses quesitos, e a ausência de rubricas analíticas impossibilita que os candidatos saibam, por exemplo, por que tiraram 4,00 e não 4,25 em CSC. Falei mais sobre esse problema das rubricas não-CGPL nesta postagem. 

4. Padrão de respostas

Talvez o maior absurdo da prova deste ano tenha sido o caso do padrão de respostas. Um padrão de respostas foi divulgado assim que as provas começaram a ser liberadas na plataforma do Iades, e os candidatos recursantes começaram a redigir seus recursos com base nesse padrão de resposta. Contudo, pouco tempo depois, o padrão de resposta literalmente desapareceu do site do Iades; ao ser contatada, a instituição afirmou que o padrão “saiu sozinho” do sistema e que o mesmo arquivo seria devolvido para a plataforma. A surpresa geral, entre os candidatos recursantes, foi quando surgiu um arquivo novo, retificado, com um novo padrão de resposta para a redação. Compare o teor dos dois padrões de resposta da redação:

As perguntas que não querem calar são óbvias: as provas foram corrigidas pela banca examinadora com base no padrão original ou no padrão retificado? O conteúdo do padrão de resposta é avaliado no quesito 1A, 1B e/ou 1C? Para que serve o padrão de resposta, em termos de atuação dos examinadores, considerando o anexo IV do edital de abertura do concurso?

5. Banca avaliadora

Até hoje (21/10/23), não temos informações sobre quem são os membros da banca avaliadora de inglês. A disponibilização dessa informação é crucial para a transparência do concurso, porém essa não é a primeira vez em que estamos no escuro (sugiro ler esta postagem do professor Luigi Bonafé). Mas, para além de “quem foi a banca desse ano?”, algumas questões mais aprofundadas precisam ser perguntadas: quem está de fato apto a elaborar e corrigir avaliações de inglês de alto impacto (high-stakes tests), como é a prova de inglês do CACD? Será que basta ter bons conhecimentos de língua inglesa para avalizar a atuação de alguém como desenvolvedor de avaliação (test designer) e/ou como examinador? As pessoas envolvidas no desenvolvimento e na correção da prova passam por algum tipo de formação técnica específica, na área de avaliação de línguas? A ciência da Avaliação de Línguas, subcampo da Linguística Aplicada, tem 70 anos de existência, mas a prova de inglês do CACD ainda parece estar na era pré-científica (Spolsky, 1978) – farei uma postagem sobre isso em breve. 

6. Respostas aos recursos

As notas finais da nossa prova de segunda fase já foram divulgadas, e os candidatos aprovados seguem para a terceira fase. No entanto, as respostas aos recursos interpostos pelos candidatos ainda não foram publicadas. Isso significa que os candidatos recursantes não receberam qualquer feedback ainda a respeito de seus desempenhos e de suas argumentações. É como se a única coisa que importasse nessa avaliação fossem as notas, as quais nem ao menos têm consistência.

É impossível olhar para essa situação e não lembrar do que diz Elana Shohamy (2013, pos. 3132): “not providing the test taker with feedback, can be considered a situation in which the test taker is being used by those in authority. In such ways the test taker becomes a tool through which the agenda of those in power can be achieved but the test taker receives no personal benefit. Thus, the use of feedback provides a more ethical and pedagogical approach (…)”. Ainda nas palavras de Shohamy (2013, pos. 3143), “feedback is the minimum that testers need to supply to test takers. The feedback should be used to expand and get to deeper insight into learning”. 

Impacto nos seus estudos

Se você, leitor, é ceacedista, acho esse relato e esses questionamentos fundamentais para que você reflita sobre sua preparação para a prova de inglês do CACD:

• ortografia: quando você receber o feedback dos exercícios com correção individualizada, se houver marcações de ortografia, elas não são menos importantes que marcações de morfossintaxe ou de propriedade vocabular. Construa um baralho no Anki (ou aplicativo equivalente) para treinar ortografia, com flashcards inspirados sobretudo em seus próprios erros.
• legibilidade: ao receber o feedback dos exercícios com correção individualizada, se houver marcações de legibilidade, perceba a necessidade de trabalhar na sua caligrafia.
• silabação: ainda há candidatos que perdem pontos por separação de sílabas incorreta em inglês. É desnecessário separar sílabas nas tarefas em inglês. Falei sobre isso aqui.
• rasuras: o único tipo de rasura aceito pela banca examinadora está previsto no item 13.7.1 do edital (2023): “Caso o candidato queira desconsiderar, para fins de avaliação, trecho escrito na(s) folha(s) de texto definitivo das provas escritas, ele deverá fazer um único traço sobre o trecho a ser desconsiderado e continuar o texto da resposta imediatamente após o trecho traçado”. Outros tipos de rasuras, inclusive rasuras sobrescritas, podem ser, como foram este ano de novo, penalizadas. Desenvolva a habilidade de editar seus textos na etapa do rascunho.
• notas simuladas: é impossível simular notas tecnicamente em um cenário em que a rubrica não é clara e a atuação da banca examinadora é inconsistente, como o cenário descrito acima. Faça exercícios de correção individualizada com foco no qualitativo (desenvolver competências, habilidades, estratégias), não com foco no quantitativo (simular notas).

Considerações finais

É evidente que a falta de consistência na prova de inglês de 2023 não é um ponto fora da curva, considerando o que vivemos em 2021 e 2022 (isso se analisarmos apenas esses últimos anos). E é igualmente evidente que o problema não está tão somente na banca organizadora do concurso, que não é responsável, por exemplo, pela redação dos padrões de respostas. Se nada for feito para uma prova com mais consistência, validade, transparência e accountability, o que podemos esperar para 2024 é mais descaso e mais decisões de seleção tomadas com base em notas que, apesar da aparência de cientificidade e legitimidade, têm problemas sérios de consistência (reliability). E, como nos lembra Livingstone (2018, p. 8), “test scores cannot be valid for any purpose unless they are reliable”.

Notas e referências

(1) Caso você não esteja familiarizado com os quesitos avaliados, sugiro observar o anexo IV do edital de abertura do concurso do CACD 2023, disponível aqui.

(2) O conceito de “validade”, no sentido utilizado no contexto, está relacionado a se a prova de fato avalia o que deveria avaliar (veja Knoch, Macqueen, 2020).

CASTRO, F. M. O. Dois séculos de história da organização do Itamaraty. Brasília, DF: FUNAG, 2009. 2 v. 

KNOCH, U.; MACQUEEN, S. Assessing English for professional purposes. London: Routledge, 2020.

LIVINGSTONE, S. A. Test reliability: basic concepts (Research Memorandum No. RM-18-01). Princeton, NJ: Educational Testing Service, 2018. Disponível em: < https://www.ets.org/Media/Research/pdf/RM-18-01.pdf>. Acesso em 21 out. 2023.

SHOHAMY, E. The power of tests: a critical perspective on the uses of language tests. London: Routledge, 2013. 

SPOLKSY, B. Introduction: linguists and language testers. In: SPOLSKY, B. (ed.) Approaches to language testing. Arlington, VA: Center for Applied Linguistics, 1978, p. v-x.