Introdução

O objetivo desta postagem é discutir problemas de inconsistência (unreliability) nas correções da prova discursiva de inglês do CACD 2023. A motivação desta postagem é dupla. A primeira é conscientizar o ceacedista, público-alvo principal deste blogue, sobre como a prova de inglês do CACD não acontece no vácuo sócio-institucional, como se a língua inglesa pudesse ser “hermeticamente isolada” e avaliada em uma forma “pura” — e o impacto que isso tem em sua preparação para essa prova. A segunda é construir um argumento de que avaliar a língua inglesa com mais consistência (e validade e transparência e accountability) é fundamental para que a prova de inglês do CACD realmente sirva o propósito declarado de selecionar quem mais está preparado (em termos de habilidades linguísticas em inglês, no caso) para ser diplomata no Brasil. Assim, a segunda motivação é, em última instância, levar a melhorias no processo de avaliação, tanto para candidatos como para o próprio corpo diplomático brasileiro.

Contextualização

A prova de segunda fase de língua inglesa do CACD 2023 aconteceu em 17 de outubro e, em apenas 17 dias corridos, como previa o edital, as mais de 400 provas que foram realizadas nessa fase do certame já haviam sido corrigidas e as notas, divulgadas. Meu receio, como comentei na live sobre estratégias de segunda fase, era que, com tão poucos dias separando a prova das notas, tivéssemos um cenário de uma banca avaliadora muito numerosa e/ou de problemas de consistência (reliability) na avaliação.

A preocupação não era infundada. No CACD 2021, a média das notas provisórias de inglês foi baixíssimos 48,26 pontos, sendo que a nota mínima para aprovação na prova era de 50 pontos. Na ocasião, cerca de 80% dos candidatos negros e PCD foram eliminados do certame por causa das hipercorreções (overmarking) na prova de inglês, e o Instituto Americano de Desenvolvimento (Iades), banca organizadora do concurso, chegou a ser denunciado ao MPF por irregularidades no concurso. Após o período de recursos contra as marcações da banca, as médias finais de inglês aumentaram para 60,46 pontos: foram mais de 12 pontos de diferença na média final de inglês, baseados aparentemente na capacidade de argumentar dos candidatos e no livre convencimento da banca avaliadora. 

O ano de 2022 foi menos comentado, mas não isento de problemas. Mencionei um desses problemas na live de estratégias: o ano de 2022 foi quando o quesito CGPL (correção gramatical e propriedade da linguagem) começou a ser avaliado em correlação com os quesitos FID (fidelidade, nas traduções), CSC (capacidade de síntese e concisão, no resumo) e 1C (capacidade de análise e reflexão, na redação) (vide nota 1). No exemplo que dei na live, comentei que as notas 1C (que, teoricamente, podem variar entre 0 e 5 pontos) variaram tão pouco que todas as notas abaixo de 4 foram subutilizadas (underutilized): de 270 notas publicadas no DOU, apenas 28 eram inferiores a 4,0 (em termos técnicos, identifiquei alfa de Crombach inferior a 0,7 no quesito 1C da redação, o que demonstra inconsistência interna do item). Isso contribuiu para notas altas na tarefa da redação em 2022 e, portanto, para pouca insatisfação com essas correções, que, no entanto, claramente também apresentaram problemas de consistência. 

Em 2021, muito se protestou contra a prova de inglês; em 2022, contudo, pouco se comentou sobre a prova. Entretanto, são problemas de consistência que observamos nesses dois anos de aplicação da prova. Quando as notas são mais altas, os candidatos costumam ficar mais satisfeitos, como se notas mais altas fossem necessariamente um reflexo de melhora em seus desempenhos, o resultado positivo de seus esforços. No entanto, notas sem consistência não são reflexo de desempenho, mas sim sinais de problemas sérios na avaliação.

Com aparentemente nenhuma mudança nesse sentido foi implementada depois do CACD 2021 e do CACD 2022, e com o prazo exíguo para as correções da prova de 2023, os temores foram confirmados: no CACD 2023, tivemos mais um ano de muitas inconsistências. Entre 6 e 8 de outubro, recebi 159 provas de candidatos para nossa iniciativa de auxílio na interposição de recursos, dentre as quais consegui analisar 131 dentro do prazo de recursos. Comento seis dos problemas que observei nessas provas:

1.Subcorreção

Não foi preciso chegar à análise da vigésima prova para perceber o óbvio: as provas de inglês deste ano foram subcorrigidas (undermarked) no critério “correção gramatical e propriedade da linguagem” (CGPL). Isso é dizer que as notas de CGPL foram altas nas tarefas não necessariamente porque os candidatos tiveram desempenhos melhores, mas sim porque o examinador não corrigiu a prova conforme o construto declarado da prova e conforme a operacionalização do construto em outros anos de aplicação da prova (para os conceitos de construto declarado e construto operacionalizado, veja Knoch, Macqueen, 2020).

Isso não significa dizer que eu acho que correção deveria ser mais “rígida”: é importante ressaltar que eu nem ao menos acredito que “correção gramatical e propriedade da linguagem” deveria ser um critério de correção em nossa prova. O que faltou à correção não foi “rigidez”, mas sim consistência: muito do que usualmente é considerado erro no quesito CGPL (considerando a atuação da banca outras edições do CACD) mal foi marcado nas provas, e houve muita discrepância nas marcações se comparadas as provas dos candidatos. É como se o examinador tivesse usado, este ano, uma régua diferente para mensurar as habilidades linguísticas dos candidatos, se comparada à régua usada em anos anteriores (e, na verdade, réguas diferentes para mensurar as habilidades de candidatos diferentes neste mesmo ano), sendo que a régua anunciada no edital de 2023 era igual às réguas anunciadas em anos anteriores. Falta de consistência é problema sério em qualquer avaliação, mas especialmente naquelas que servem para ranquear os avaliados e tomar decisões de alto impacto (como a seleção dos novos diplomatas brasileiros) com base nesse ranqueamento.  

2. CGPL: ortografia, legibilidade, rasuras

Em muitas provas, a avaliação do quesito CGPL foi simplesmente reduzida a marcações de ortografia, legibilidade e rasuras. Não que os candidatos não tivessem cometidos outros tipos de erros, mas os únicos marcados e penalizados, nessas provas, foram ortografia, legibilidade e rasuras… A impressão que se tem ao analisar essas provas é que, para ser diplomata no Brasil, o que importa, em termos de conhecimentos de língua inglesa, é escrever as palavras com as grafias indexadas em dicionários, ter boa caligrafia e não editar o próprio texto ao perceber que há erros… Isso me lembra os antigos regulamentos de prova do hoje Ministério de Relações Exteriores, ainda no século 19, em que se exigia que o candidato tivesse “um bom talho de letra” (veja Castro, 2009). Qual seria a validade (vide nota 2) desse tipo de avaliação em pleno século 21, quando suponho que todos os diplomatas brasileiros tenham acesso a processadores de texto? É isso mesmo que o MRE deseja avaliar por meio da prova discursiva de inglês do exame de entrada da carreira diplomática?   

3. Quesitos não-CGPL

Para os quesitos não-CGPL (fidelidade, capacidade de síntese e concisão, organização do texto e desenvolvimento do tema), ainda farei análises descritivas dos resultados provisórios e finais da nossa prova de inglês, como fiz em 2022, quando identifiquei o problema de falta de consistência interna no quesito 1C da redação. De qualquer forma, ao longo do processo de interposição de recursos, acompanhei de perto o desespero dos candidatos por não saber exatamente o que argumentar em seus recursos com relação aos quesitos não-CGPL. Isso acontece porque a prova não traz qualquer marcação relacionada a esses quesitos, e a ausência de rubricas analíticas impossibilita que os candidatos saibam, por exemplo, por que tiraram 4,00 e não 4,25 em CSC. Falei mais sobre esse problema das rubricas não-CGPL nesta postagem. 

4. Padrão de respostas

Talvez o maior absurdo da prova deste ano tenha sido o caso do padrão de respostas. Um padrão de respostas foi divulgado assim que as provas começaram a ser liberadas na plataforma do Iades, e os candidatos recursantes começaram a redigir seus recursos com base nesse padrão de resposta. Contudo, pouco tempo depois, o padrão de resposta literalmente desapareceu do site do Iades; ao ser contatada, a instituição afirmou que o padrão “saiu sozinho” do sistema e que o mesmo arquivo seria devolvido para a plataforma. A surpresa geral, entre os candidatos recursantes, foi quando surgiu um arquivo novo, retificado, com um novo padrão de resposta para a redação. Compare o teor dos dois padrões de resposta da redação:

As perguntas que não querem calar são óbvias: as provas foram corrigidas pela banca examinadora com base no padrão original ou no padrão retificado? O conteúdo do padrão de resposta é avaliado no quesito 1A, 1B e/ou 1C? Para que serve o padrão de resposta, em termos de atuação dos examinadores, considerando o anexo IV do edital de abertura do concurso?

5. Banca avaliadora

Até hoje (21/10/23), não temos informações sobre quem são os membros da banca avaliadora de inglês. A disponibilização dessa informação é crucial para a transparência do concurso, porém essa não é a primeira vez em que estamos no escuro (sugiro ler esta postagem do professor Luigi Bonafé). Mas, para além de “quem foi a banca desse ano?”, algumas questões mais aprofundadas precisam ser perguntadas: quem está de fato apto a elaborar e corrigir avaliações de inglês de alto impacto (high-stakes tests), como é a prova de inglês do CACD? Será que basta ter bons conhecimentos de língua inglesa para avalizar a atuação de alguém como desenvolvedor de avaliação (test designer) e/ou como examinador? As pessoas envolvidas no desenvolvimento e na correção da prova passam por algum tipo de formação técnica específica, na área de avaliação de línguas? A ciência da Avaliação de Línguas, subcampo da Linguística Aplicada, tem 70 anos de existência, mas a prova de inglês do CACD ainda parece estar na era pré-científica (Spolsky, 1978) – farei uma postagem sobre isso em breve. 

6. Respostas aos recursos

As notas finais da nossa prova de segunda fase já foram divulgadas, e os candidatos aprovados seguem para a terceira fase. No entanto, as respostas aos recursos interpostos pelos candidatos ainda não foram publicadas. Isso significa que os candidatos recursantes não receberam qualquer feedback ainda a respeito de seus desempenhos e de suas argumentações. É como se a única coisa que importasse nessa avaliação fossem as notas, as quais nem ao menos têm consistência.

É impossível olhar para essa situação e não lembrar do que diz Elana Shohamy (2013, pos. 3132): “not providing the test taker with feedback, can be considered a situation in which the test taker is being used by those in authority. In such ways the test taker becomes a tool through which the agenda of those in power can be achieved but the test taker receives no personal benefit. Thus, the use of feedback provides a more ethical and pedagogical approach (…)”. Ainda nas palavras de Shohamy (2013, pos. 3143), “feedback is the minimum that testers need to supply to test takers. The feedback should be used to expand and get to deeper insight into learning”. 

Impacto nos seus estudos

Se você, leitor, é ceacedista, acho esse relato e esses questionamentos fundamentais para que você reflita sobre sua preparação para a prova de inglês do CACD:

• ortografia: quando você receber o feedback dos exercícios com correção individualizada, se houver marcações de ortografia, elas não são menos importantes que marcações de morfossintaxe ou de propriedade vocabular. Construa um baralho no Anki (ou aplicativo equivalente) para treinar ortografia, com flashcards inspirados sobretudo em seus próprios erros.
• legibilidade: ao receber o feedback dos exercícios com correção individualizada, se houver marcações de legibilidade, perceba a necessidade de trabalhar na sua caligrafia.
• silabação: ainda há candidatos que perdem pontos por separação de sílabas incorreta em inglês. É desnecessário separar sílabas nas tarefas em inglês. Falei sobre isso aqui.
• rasuras: o único tipo de rasura aceito pela banca examinadora está previsto no item 13.7.1 do edital (2023): “Caso o candidato queira desconsiderar, para fins de avaliação, trecho escrito na(s) folha(s) de texto definitivo das provas escritas, ele deverá fazer um único traço sobre o trecho a ser desconsiderado e continuar o texto da resposta imediatamente após o trecho traçado”. Outros tipos de rasuras, inclusive rasuras sobrescritas, podem ser, como foram este ano de novo, penalizadas. Desenvolva a habilidade de editar seus textos na etapa do rascunho.
• notas simuladas: é impossível simular notas tecnicamente em um cenário em que a rubrica não é clara e a atuação da banca examinadora é inconsistente, como o cenário descrito acima. Faça exercícios de correção individualizada com foco no qualitativo (desenvolver competências, habilidades, estratégias), não com foco no quantitativo (simular notas).

Considerações finais

É evidente que a falta de consistência na prova de inglês de 2023 não é um ponto fora da curva, considerando o que vivemos em 2021 e 2022 (isso se analisarmos apenas esses últimos anos). E é igualmente evidente que o problema não está tão somente na banca organizadora do concurso, que não é responsável, por exemplo, pela redação dos padrões de respostas. Se nada for feito para uma prova com mais consistência, validade, transparência e accountability, o que podemos esperar para 2024 é mais descaso e mais decisões de seleção tomadas com base em notas que, apesar da aparência de cientificidade e legitimidade, têm problemas sérios de consistência (reliability). E, como nos lembra Livingstone (2018, p. 8), “test scores cannot be valid for any purpose unless they are reliable”.

Notas e referências

(1) Caso você não esteja familiarizado com os quesitos avaliados, sugiro observar o anexo IV do edital de abertura do concurso do CACD 2023, disponível aqui.

(2) O conceito de “validade”, no sentido utilizado no contexto, está relacionado a se a prova de fato avalia o que deveria avaliar (veja Knoch, Macqueen, 2020).

CASTRO, F. M. O. Dois séculos de história da organização do Itamaraty. Brasília, DF: FUNAG, 2009. 2 v. 

KNOCH, U.; MACQUEEN, S. Assessing English for professional purposes. London: Routledge, 2020.

LIVINGSTONE, S. A. Test reliability: basic concepts (Research Memorandum No. RM-18-01). Princeton, NJ: Educational Testing Service, 2018. Disponível em: < https://www.ets.org/Media/Research/pdf/RM-18-01.pdf>. Acesso em 21 out. 2023.

SHOHAMY, E. The power of tests: a critical perspective on the uses of language tests. London: Routledge, 2013. 

SPOLKSY, B. Introduction: linguists and language testers. In: SPOLSKY, B. (ed.) Approaches to language testing. Arlington, VA: Center for Applied Linguistics, 1978, p. v-x.

Recentemente, participei de uma oficina promovida pela Cambridge Assessment com o título Understanding and optmising your mark schemes. Me interessei em participar não só por conhecer a qualidade dos cursos oferecidos pela Cambridge Assessment e por estar fazendo um doutorado na área de avaliação de línguas, mas principalmente porque sempre me intrigaram (e incomodaram) as rubricas das tarefas discursivas de inglês do CACD.

Uma rubrica (mark scheme), em termos simples, é o plano de como serão distribuídos os pontos de acordo com as respostas dos avaliados a uma dada questão em uma avaliação. As rubricas das tarefas discursivas de inglês do CACD podem ser encontradas no anexo IV do edital de abertura do concurso (1), descrevendo quantos pontos cada tarefa vale e como estão distribuídos esses pontos entre os critérios de correção. Por exemplo, sabemos pela rubrica da tarefa da tradução inglês-português que a tarefa vale um total de 15 pontos e que esses pontos estão distribuídos em 5 pontos para “fidelidade ao texto original” e 10 pontos para “correção gramatical e propriedade da linguagem”. Com relação ao segundo quesito, sabemos também que o candidato já começa a prova com 10 pontos e perde 0,5 ponto a cada erro identificado pela banca examinadora. O que não está descrito de forma clara, contudo, é como são distribuídos os 5 pontos de fidelidade. 

Meu incômodo com as rubricas da prova discursiva de inglês é justamente esse: elas são sucintas, vagas, abstratas, pouco explícitas. Um aspirante à carreira de diplomata que lê a rubrica não faz ideia de what looks good, ou seja, do que é preciso entregar para ter uma boa pontuação. Professores que oferecem simulados, por sua vez, se baseiam em suas próprias interpretações das rubricas. E assim como as rubricas são vagas para candidatos e para professores, é possível que elas também o sejam para os examinadores. E aqui temos muitos problemas…

Minha maior preocupação com as rubricas, contudo, sempre foi na tarefa da Redação (Composition). Isso porque a tarefa vale 50 pontos (em um universo total de 100 pontos da prova discursiva de inglês), 25 pontos dos quais temos informações muito vagas sobre como são avaliados, como veremos a seguir. Isso é particularmente preocupante em uma prova em que o candidato precisa obter uma nota mínima de 50 pontos para avançar para as provas de terceira fase. Precisamos (candidatos, professores e examinadores) entender com maior precisão como são distribuídos esses 25% da pontuação total da prova discursiva de inglês do CACD.

O objetivo deste post é (i) analisar a rubrica atual da tarefa da Redação da prova de inglês do CACD, com foco no quesito “organização do texto e desenvolvimento do tema”, (ii) diagnosticar problemas, à luz da literatura sobre avaliação de línguas, (iii) propor não uma solução em si, mas um formato de solução e (iv) oferecer recomendações, principalmente aos candidatos.

1.A rubrica atual da tarefa da Redação: o quesito “organização do texto e desenvolvimento do tema”

A rubrica da tarefa da Redação da prova discursiva de inglês do CACD pode ser encontrada no Anexo IV do edital mais recente (CACD 2023):

O que observamos na rubrica é que a tarefa vale um total de 50 pontos, 25 dos quais são referentes ao quesito “organização do texto e desenvolvimento do tema”, que é o nosso enfoque nesta análise. Esses 25 pontos são distribuídos em três subcritérios: o subcritério 1A, valendo 10 pontos, avalia “apresentação/impressão geral do texto, legibilidade, estilo e coerência”; o subcritério 1B, também valendo 10 pontos, avalia “capacidade de argumentação (objetividade, sistematização, conteúdo e pertinência das informações)”, e o subcritério 1C, valendo 5 pontos, avalia “capacidade de análise e reflexão”. 

Esse formato de rubrica pode levar candidatos, professores e até examinadores a questionar: o que, exatamente, diferencia uma nota 6 no quesito 1A de uma nota 8? O que, exatamente, diferencia uma nota 2 no quesito 1C de uma nota 4? A resposta para essas perguntas não está na rubrica em si, mas sim na interpretação que candidatos, professores e examinadores fazem da rubrica. E o fato de haver inúmeras interpretações possíveis leva a uma série de problemas, como veremos na próxima seção.

Pensando em termos dos tipos de rubricas que são comumente usados na avaliação de línguas (constrained, points-based, levels-based etc.), é possível identificar que essa rubrica é uma holistic/impressionistic mark scheme. Isso significa, em termos práticos, que o examinador toma a decisão de quantos pontos atribuir a cada subcritério com base em sua impressão geral, holística, do desempenho do candidato naquele subcritério. A avaliação holística é muito útil em diversos cenários, inclusive educacionais, mas parece pouco apropriada para a situação em questão: uma prova de inglês dentro de um concurso público de altíssimo impacto (high-stakes test). Discuto os problemas que essa rubrica apresenta dentro do contexto específico do CACD e um formato de solução nos itens 2 e 3, a seguir.

2. Diagnosticando problemas

Cito aqui quatro problemas que me parecem ser os principais no uso de uma rubrica holística no quesito “organização do texto e desenvolvimento do tema” da tarefa da Redação da prova discursiva de inglês do CACD.

O primeiro problema, que me parece o mais alarmante, é que uma rubrica assim não serve como referência clara para os examinadores. No CACD 2020, por exemplo, foram nove os examinadores que corrigiram as provas de inglês do CACD, cada um dos quais pode ter interpretado os subcritérios da sua própria maneira. Isso pode levar a sérios problemas de consistência na avaliação (inter-rater reliability), e uma avaliação que não é consistente não é válida para propósito algum.

O segundo problema, claramente associado ao primeiro, é que essa rubrica não distingue com clareza os diferentes níveis de desempenho dos candidatos. Por que o candidato X tirou 6 no quesito 1B e a candidata Y tirou 6,5? Em um concurso no qual a diferença de pontuação entre o último candidato aprovado e o primeiro candidato da longa lista de não-aprovados às vezes não chega a ser 0,5 ponto, distinguir desempenho de forma clara é crucial. 

O terceiro problema é que essa rubrica confere pouca transparência ao processo de avaliação e, portanto, ao processo de seleção, e a transparência deve ser um dos princípios norteadores de qualquer concurso público. 

O quarto problema é que uma rubrica como essa simplesmente ignora as consequências educacionais (washback effects) dessa prova. Apesar de a prova de inglês do CACD não ser uma avaliação educacional, ela tem efeitos educacionais, no sentido de que ela move milhares de cidadãos brasileiros a estudar em preparação para ela. Quando o candidato que fez a prova de segunda fase recebe as notas nesses subcritérios, ele muitas vezes não consegue identificar o que precisa ser melhorado e o que pode ser mantido em termos de preparação e desempenho. 

3.Um formato de solução

Uma forma de melhorar a rubrica existente e de potencialmente reduzir ou evitar os problemas discutidos seria mudar o tipo da rubrica e desenvolver um novo formato de rubrica.

Um tipo de rubrica que me parece mais apropriado considerando a tarefa em si (unstructured essay) e a situação de avaliação (prova de inglês de alto impacto em concurso público) é uma rubrica analítica (levels-based analytic mark scheme). Em poucas palavras, em uma rubrica analítica, o desempenho do candidato seria classificado em níveis (levels ou bands) aos quais correspondem faixas de notas, e a classificação se daria com base em descritores de desempenho. Esse formato é muito utilizado em diversos exames internacionais e poderia trazer maior consistência e transparência para a avaliação de língua inglesa do CACD.

Apenas a título de exemplo, mostro abaixo uma adaptação da rubrica atual, holística, para um formato analítico. No exemplo, simplesmente adaptei o que está escrito na rubrica 1A para um formato com níveis e faixas de notas e imaginei alguns descritores. Atenção: esse exemplo não reflete aquilo que eu penso sobre o que deveria ser avaliado nessa tarefa, quantos pontos deveriam ser distribuídos para cada subquesito ou quais deveriam ser os descritores; a minha opinião sobre isso passa por uma discussão sobre o construto e a validação da tarefa, discussão que é muito necessária, mas que não é o objetivo deste post. O único objetivo desse exemplo é mostrar um exemplo de como o formato holístico poderia ser adaptado para o formato analítico:

Subcritério 1A (10 pontos)	Apresentação	Legibilidade	Estilo	Coerência
Nível 3	2 a 2,5 pontos	2 a 2,5 pontos	2 a 2,5 pontos	2 a 2,5 pontos
	O texto (praticamente) não contém rasuras e está (muito) bem apresentado.	O texto é (praticamente) completamente legível, pois os grafemas têm traços distintivos.	O texto transcorre (praticamente) todo no registro neutro/formal, como apropriado.	A tese serve como plano argumentativo do texto; os parágrafos argumentativos discutem o que foi anunciado na tese; a conclusão retoma a tese e a linha argumentativa.
Nível 2	1 a 1,5 pontos	1 a 1,5 pontos	1 a 1,5 pontos	1 a 1,5 pontos
	O texto contém algumas rasuras e está razoavelmente apresentado.	Há alguns problemas de legibilidade ao longo do texto, pois os grafemas por vezes não são claros.	O texto transcorre majoritariamente no registro neuro/formal, mas com algumas marcas de informalidade.	Há algum problema de coerência entre tese e estágio argumentativo e/ou entre argumentação e conclusão, mas isso não prejudica a compreensão geral do texto.
Nível 1	0 a 0,5 ponto	0 a 0,5 ponto	0 a 0,5 ponto	0 a 0,5 ponto
	O texto contém demasiadas rasuras e não está bem apresentado.	É difícil compreender diversos grafemas.	O texto contém muitas marcas de informalidade/ oralidade.	Há problemas de coerência entre tese e estágio argumentativo e/ou entre argumentação e conclusão, e isso prejudica a compreensão geral do texto.

Nesse formato de rubrica, o examinador atribuiria a nota não com base em sua impressão geral sobre “estilo” ou “legibilidade” etc., mas sim com base nos descritores. Os descritores também também norteiam os examinadores sobre as faixas de nota possíveis para aquele nível de desempenho. Assim, uma das maiores vantagens de adotar uma rubrica analítica em nossa prova é que as rubricas analíticas são mais referenciadas por examinadores, o que pode trazer maior consistência na avaliação. Uma segunda vantagem é que os descritores e as faixas de notas facilitam a discriminação dos candidatos, o que é muito benéfico em uma prova de seleção. Uma terceira vantagem é que, se a rubrica analítica estiver no edital de abertura do concurso, ela funciona como objetivos de aprendizagem, e os candidatos poderão se preparar para a prova com mais informações sobre o que é avaliado; e se a rubrica for marcada pelo examinador e divulgada junto com o espelho de prova para o candidato que realizou a prova discursiva, o candidato terá uma devolutiva muito mais precisa do que foi bem avaliado e do que não foi bem avaliado em seu desempenho, o que significa mais transparência no concurso público e mais responsabilidade (accountability) pelas consequências educacionais da prova.  

De novo, reforço: talvez não sejam esses os critérios mais importantes a ser avaliados, talvez essas faixas de notas não sejam adequadas e talvez esses descritores não representem o construto da prova. O que eu quero ressaltar aqui é o formato da rubrica analítica, com níveis, faixas de pontuação e descritores.

4.Recomendações

Como o público-alvo deste blog é o público ceacedista, em grande medida escrevi este post para trazer para a atenção do candidato que a prova de inglês do CACD não é só “difícil”: muitas vezes faltam também consistência, transparência e accountability. Como um dos grupos de interesse mais importantes do CACD (afinal, não há corpo diplomático brasileiro sem ceacedistas), acho importante a mobilização para reivindicar que melhorias sejam feitas – algumas delas tão simples quanto mudar o formato das rubricas. 

Ainda pensando nos candidatos, um alerta específico sobre práticas de simulação, que são pervasivas no mercado de preparação para a prova de inglês do CACD: a correção dos simulados que você realizar serão feitas por um professor ou uma professora que, assim como a banca examinadora, é intérprete de uma rubrica que, como vimos, é extremamente vaga. Certifique-se sempre de que essa interpretação é feita com base na análise de como esses critérios de correção de fato foram operacionalizados pela banca na prova anterior – é isso que possibilita uma real simulação de notas. 

Finalmente, como este é um texto publicado na world wide web, também posso imaginar que pessoas envolvidas na correção e na organização da prova venham a ler o post. Como qualquer avaliação de línguas, a prova de inglês do CACD pode ser melhorada. E as melhorias não trariam benefícios apenas para os candidatos, os professores e os examinadores: em última instância, ela traria melhorias para o próprio corpo diplomático brasileiro e sua capacidade de representar o interesse nacional em campo internacional. 

Cheers!

Selene

Notas

(1) https://www.iades.com.br/inscricao/upload/327/20230629103743283.pdf

No mês de junho, aproveitando esse meu período de pesquisa na maravilhosa “Emerald Isle”, leremos um clássico da literatura irlandesa: “Dubliners”, de James Joyce!

Os quinze contos que compõem essa obra, publicada originalmente em 1914, acontecem na região de Dublin, capital da Irlanda, em um momento em que o nacionalismo irlandês buscava por um senso de identidade, em meio a incertezas políticas e muita dificuldade econômica. Os contos tratam de temáticas variadas, algumas muito peculiares como o escapismo, a embriaguez e a insularidade.

Alunos em nível avançado podem ler a obra original. Alunos do CACD Step by Step podem fazer a levita facilitada (há uma edição para nível intermediário da Penguin Readers).

O objetivo da leitura é promover o gosto pela leitura em língua inglesa, fazer uma atividade de extensive reading e desenvolver a competência tradutória (faremos um exercício de tradução comparativa, como usual).

O CACD Inglês Book Club é uma atividade gratuita, e todos os alunos do CACD Inglês e do Curso IDEG estão convidados a participar (clique aqui para o link de inscrição para alunos que ainda não estão no grupo do Telegram).

Boa leitura a todas e todos!

No mês de maio, o CACD Inglês Book Club fará uma leitura especial em homenagem ao historiador Boris Fausto! Leremos o primeiro capítulo de A concise history of Brazil, a versão de Arthur Brakel para a língua inglesa do original História Concisa do Brasil!

Boris Fausto (1930-2023) foi um dos maiores historiadores brasileiros e é considerado leitura fundamental para quem deseja pensar o Brasil do século 20 — e para quem é aspirante à carreira de diplomata!

Em nossa discussão do Book Club, leremos o capítulo Colonial Brazil (1500-1822) e refletiremos sobre o fazer historiográfico e sobre a terminologia de Brasil colonial (português-inglês), com base na discussão proposta um artigo que publiquei na Revista TradTerm em 2022.

Além disso, faremos um exercício de busca terminológica para que os candidatos possam conhecer equivalentes de vocábulos específicos de nossa história colonial em inglês!

Você é aluno do CACD Inglês e/ou do Curso Ideg e quer participar do nosso clube de leitores? Basta preencher este formulário! 

Para comemorar o quarto aniversário do nosso CACD Inglês Book Club, leremos um grande clássico distópico: 1984, de George Orwell!

Winston Smith vive na cidade de Londres, Oceania. É membro do Partido que governa Oceania e que controla tudo. O Big Brother, líder onisciente do Partido, parece tudo observar através de seus mecanismos de vigilância. O Partido está inclusive tentando implementar uma língua inventada para evitar rebeliões e até mesmo o pensamento crítico. Winston trabalha no Ministério da Verdade, alterando registros históricos de acordo com as necessidades do Partido. Mas Winston se sente oprimido… Será que o Partido é capaz de controlar até mesmo o amor?

Publicado em 1949, o romance trata de temas tão atuais como os perigos do totalitarismo, o controle da informação e da história, a linguagem como forma de controle do pensamento e a manipulação psicológica!

Leitores em nível avançado podem ler a obra original (disponível em diversas edições). Leitores em nível alto-intermediário (CACD Step by Step, Step 4) podem ler a versão do Macmillan Readers. Leitores em nível intermediário (CACD Step by Step, Step 3) podem ler a versão do Eli Readers.

Comentaremos a leitura em nosso grupo no Telegram ao longo dos meses de fevereiro e março, quando nos reuniremos, via Zoom, para discutir a obra e fazer uma atividade de tradução comparada (data a definir)!

É aluno do CACD Inglês e ou do Curso Ideg e quer entrar em nosso clube de leitores? Basta preencher este link!

Cheers!

Selene

Nossa última leitura de 2022 será um clássico da ficção estadunidense: The Great Gatsby, de F. Scott Fitzgerald!

Publicado em 1925 e ambientado na Long Island da década de 1920, o romance é um comentário social da Era do Jazz. Triunfo e tragédia caracterizam a história de Jay Gatsby, o emergente empreendedor obcecado por Daisy Buchannan, representante da elite americana e casada com o bruto aristocrata Tom Buchannan.

Os leitores em nível avançado podem fazer a leitura do texto original (há diversas edições disponíveis, inclusive para Kindle). Para leitores em nível intermediário (CACD Step by Step, Step 3), há uma edição simplificada da Macmillan Readers. Para leitores em nível pré-intermediário (CACD Step by Step, Step 2), existe uma edição facilitada da Penguin Readers.

Nosso encontro será apenas no fim de janeiro (via Zoom, como sempre), então teremos cerca de dois meses para nos dedicarmos a essa leitura!

As atividades do CACD Inglês Book Club são gratuitas e exclusivas para alunas e alunos do CACD Inglês e do Curso Ideg.

Quer fazer essa leitura conosco? Preencha este link para participar de nosso grupo no Telegram e saber mais!

Boa leitura e Boas Festas!

Nossa atividade do clube de leitores em novembro será um pouco diferente do usual: leremos o primeiro capítulo de Raízes do Brasil, de Sergio Buarque de Holanda, tanto na versão original quanto na versão em língua inglesa!

Não há dúvidas de que Raízes do Brasil é, como disse Antônio Cândido, “um clássico de nascença”. É uma das obras fundadoras da historiografia e das ciências sociais brasileiras e, com seus mais de 80 anos, continua a inspirar o pensamento crítico sobre nossa sociedade. 

Nos últimos anos, a reflexão sobre Raízes do Brasil foi exigida pela banca do CACD diversas vezes. Nos anos de 2007, 2009 e 2010, por exemplo, os candidatos se depararam com trechos da obra na prova de língua portuguesa; em 2017, Raízes do Brasil caiu na prova de francês; e em 2015 e 2018, foi na prova de inglês que a obra se fez presente, na tarefa da tradução na direção português – inglês.

Nossos objetivos com essa leitura de novembro são diversos: refletir sobre a relevância da obra, avaliar sua tradução para a língua inglesa, pensar na terminologia relacionada à história do Brasil e conversar sobre desafios e estratégias para a tarefa da versão na prova discursiva de inglês!

Nosso encontro está marcado para 25 de novembro, às 20h, via Zoom! É aluno do CACD Inglês e/ou do Curso Ideg e quer participar? Basta preencher este formulário!

É com muita alegria que anunciamos que nossa leitura do mês de julho em nosso clube de leitores será em língua espanhola!

Sob a curadoria de Cris Huffel, professora de espanhol do Curso Ideg, este mês leremos La gallina degollada, um conto de Horacio Quiroga! Nosso encontro para a discussão da obra será em 4 de agosto, quinta-feira, a partir das 20h, via Zoom!

É aluno do CACD Inglês e/ou do Curso Ideg e quer participar dessa leitura? Basta inscrever-se aqui!

Com o CACD 2022 chegando ao fim, já podemos retomar nossas atividades do CACD Inglês Book Club!

Em uma votação dos membros do clube de leitores, decidimos voltar às leituras de textos clássicos em língua inglesa. Assim, no mês de junho, voltamos a nossas atividades de leitura extensiva com um clássico fantasmagórico (mas também muito humoroso): leremos The Canterville Ghost (1887), de Oscar Wilde!

Quando a família Otis se muda dos Estados Unidos para Canterville, na Inglaterra, logo ouve falar que sua nova casa é assombrada. Inicialmente descrente de fantasmas, a família aos poucos toma contato com os mistérios de Canterville Chase. Em um conto no qual os estereótipos da decadência aristocrática inglesa e da vulgaridade americana são levados aos extremos, Oscar Wilde nos leva a refletir sobre temas como perdão e vingança, aparências e realidade, empatia e amor.

Participantes que já têm conhecimentos avançados do idioma podem fazer a leitura do texto original (veja aqui). Existe uma versão facilitada do texto da Penguin Readers para leitores em nível alto-intermediário (veja aqui). Participantes com conhecimentos básicos de língua inglesa podem fazer a leitura da versão do Macmillan Readers (veja aqui).

O CACD Inglês Book Club tem como objetivos centrais desenvolver o gosto pela leitura em língua inglesa e promover atividades de extensive reading (saiba mais aqui). Também faremos nossa tradicional atividade de tradução, com o objetivo de desenvolver a competência tradutória!

Nosso encontro para a discussão do conto será em 1o. de julho, sexta-feira, a partir das 20h, via Zoom!

Essa é uma atividade gratuita, e todos os alunos do CACD Inglês e/ou do Curso Ideg estão convidados a participar! Caso você ainda não esteja em nosso grupo, junte-se a nós clicando aqui!

Cheers!

Selene