O GRANDE Problema do Uso da IA na Avaliação: Descubra os Riscos e Desafios!

Certamente você já deve ter se deparado com aquelas folhas de respostas, muito utilizadas em simulados escolares ou grandes provas para concursos diversos. Folhas estas que foram criadas para a leitura de uma máquina criada pela empresa Scantron, que também dá nome ao equipamento. A empresa foi fundada em 1972 quando, à época, os testes de múltipla escolha já haviam se tornado parte essencial da educação, especialmente americana. Em vista do aparecimento dessa máquina, que escaneia os cartões de respostas, a demanda por tecnologia por pontuação aumentou.

Assim como a Scantron conquistou o mercado de maneiras mais baratas, fáceis e eficientes de classificar as avaliações dos alunos, agora temos a IA entrando em cena. Se você deseja passar por admissão universitária nos EUA, por exemplo, sabe que exames como SAT, ACT, AP e vários outros já migraram para avaliações online baseadas em computador e IA. Talvez nem estejam chamando isso de “classificação por IA”, mas sejamos realistas: computadores e algoritmos estão fazendo o trabalho.

Com isso, nas Avaliações de Prontidão Acadêmica do Estado do Texas (STAAR), por exemplo, ao menos em parte, os computadores pontuarão produções textuais e outras questões abertas. E, certamente, há quem esteja preocupado com esse sistema de correção, em como ele pode impactar as notas e como os professores podem responder ao ensinarem os alunos a se prepararem para o teste no futuro. Essa matéria aqui, traz mais informações para você se inteirar de todas as preocupações que estão rolando por aí. Clique aqui para ler a matéria.

A verdade é que tudo isso levanta uma questão muito grande (e, creio, bastante genuína):

Em um mundo de Inteligência Artificial, o que VALORIZAMOS na experiência educacional?

A forma como respondemos a essa pergunta terá grandes ramificações dentro e fora dos nossos sistemas escolares.

E então, o que valorizamos?

Bem, se você leu até aqui, é possível que esteja se perguntando qual é o GRANDE problema de se usar IA para avaliação. Quais são as crenças fundamentais que mantêm a educação uma prática humana e social? O que sabemos, com certeza, é que o Scantron deixou bem claro que estamos bem com computadores classificando avaliações padronizadas. Essa prática vem acontecendo há muitos anos com avaliações de múltipla escolha. Porém, em testes que utilizam essa forma de avaliação, sempre houve uma parte “humana”, na qual uma pessoa real analisa a escrita e dá a nota de acordo.

Ocorre que, de um tempo para cá, a IA e os sistemas baseados em computador estão fazendo esse trabalho. Pergunto novamente: O que valorizamos e queremos MANTER HUMANO em nossos sistemas educacionais?

Alinhando nossa missão, valores e princípios-chave

A escola na qual você trabalha traz a pergunta “O que valorizamos?” como base sólida para o ano letivo? Quando menciono escola, quero incluir todos os envolvidos nessa comunidade. De diretores, coordenadores a orientadores e professores, além de pais e responsáveis (por que não?).

Para um aprendizado poderoso, há que se considerar como base para todas as decisões sobre currículo, avaliação, tecnologia, programas de ensino, a “Missão” e os “Princípios de Aprendizagem”. Ter uma Missão conhecida já é um bom passo, mas ter um conjunto de crenças, valores e princípios de aprendizagem orientadores é um GRANDE passo.

Grant Wiggins e Jay McTighe, em seu livro Schooling By Design, apontam que:

Como os Princípios de Aprendizagem refletem pesquisa e melhores práticas, eles servem para orientar o planejamento curricular, instrução e avaliação. Eles fornecem uma linguagem comum para conversas sobre ensino e aprendizagem, e funcionam como critérios para uma variedade de ações escolares (por exemplo, seleção de livros didáticos, observações em sala de aula).

Com os princípios de aprendizagem muito bem alinhados por todos os envolvidos no processo escolar, vamos, então ao uso da IA para avaliação, já que o contexto atual nos permite falar – também – sobre essa tecnologia que vive e cresce entre nós.

O GRANDE problema com o uso de IA para avaliação

O primeiro problema no uso de IA para avaliação é simples de ver e reconhecer: a avaliação deve ser uma conversa sobre aprendizagem. Se valorizamos feedbacks relevantes e diferenciados além de reflexão significativa, e usamos a avaliação como uma conversa sobre aprendizagem, então valorizamos um HUMANO do outro lado dessa conversa.

Você me perguntará: a IA pode ser usada para verificações formativas de entendimento? Sim, claro. A IA pode ser usada da mesma forma que um Scantron é usado para classificar avaliações de múltipla escolha? Sim, por que não?

Mas, quando realmente queremos avaliar a compreensão de um aluno e ver seu trabalho, seu processo, seus erros e seus insights, um ser humano precisa estar do outro lado dessa conversa.

Analisando os Princípios de Aprendizagem do livro Schooling by Design, observamos duas situações interessantes, que falam sobre o papel da avaliação (tanto feedback externo quanto autorreflexão) para impulsionar o aprendizado e o crescimento significativos. No livro, os autores dizem que o aprendizado bem-sucedido requer indivíduos que saibam como refletir, autoavaliar e usar feedback para estabelecer metas pessoais para o aprendizado. O ensino e a modelagem da prática reflexiva serão incorporados em todos os aspectos do processo de aprendizado.

Outro princípio que me chamou atenção no livro é que, para os autores, os alunos se envolverão no trabalho em ambientes de apoio e receberão feedback regular e específico relacionado ao seu progresso para maximizar o aprendizado e desenvolver persistência individual. Os alunos terão oportunidades de usar esse feedback para permanecerem responsáveis enquanto melhoram seu próprio aprendizado.

Esse primeiro princípio que mencionei aqui está conectado e talvez seja mais importante em nossas conversas atuais sobre inteligência artificial.

O maior problema com avaliações de IA é se alguém ou alguma coisa pode avaliar a compreensão se eles próprios não entendem? Até que a IA possa dar sua própria metacognição, eles não têm lugar para determinar o aprendizado do aluno.

-Mark Gerl (@mark_gerl) 18 de setembro de 2024

Como Mark tão apropriadamente aponta: se a IA não pode realmente ter a metacognição para “entender”, como podemos confiar nessa tecnologia para decifrar o “entendimento”?

A professora Patricia Taylor detalhou seu tempo como bolsista do Centro de IA Generativa e Sociedade da Universidade do Sul da Califórnia :

Ficou claro ao longo do experimento que a IA estava dando variações no mesmo feedback, independentemente da qualidade do artigo. Ela pedia mais exemplos ou estatísticas em artigos que não precisavam deles. Ela encorajava continuamente a estrutura de redação de cinco parágrafos — mas, infelizmente, isso ia contra o que eu queria, já que eu (como tantos outros professores de redação no nível universitário ) quero que os alunos desenvolvam argumentos que vão além da estrutura de cinco parágrafos. Ao focar em questões de linguagem e gramática, ela achatou o estilo e a voz do aluno.

A avaliação e o feedback da IA ​​só podem ser tão bons quanto o “Treinamento LLM” e, neste caso, você verá um educador frustrado com as respostas excessivamente padronizadas ao trabalho humano que é, sem dúvida, cheio de nuances. A IA poderia ajudar com algumas tarefas de nível mais baixo e feedback? Sim, e ela se saiu muito bem quando recebeu uma área específica para focar que era mais objetiva do que subjetiva.

No entanto, o resumo final de Patricia Taylor faz com que qualquer um que esteja pensando em usar IA para obter feedback significativo pense duas vezes:

Ao longo deste projeto, fui forçada a gastar mais tempo tentando fazer com que a IA produzisse um feedback significativo adaptado ao artigo real do que apenas escrevendo o feedback na minha passagem inicial pelo artigo. A IA não economiza tempo para os professores se estamos realmente tentando dar reações significativas aos artigos dos alunos que têm problemas complexos. E seu feedback sobre coisas como estrutura pode realmente fazer mais mal do que bem se não for cuidadosamente curado — curadoria que facilmente leva tanto tempo quanto escrever o feedback nós mesmos.

Ao que parece, essa conversa está apenas começando. Mais e mais tarefas de desempenho, como escrever ensaios, serão avaliadas com sistemas assistidos por IA nos próximos anos. E tenho certeza que a inteligência artificial continuará a melhorar sua capacidade de dar feedback e ir além do “Scantron” em seu esforço para tornar a classificação mais eficiente.

Quando se trata de como respondemos como educadores, será, em última análise, uma conversa sobre o que valorizamos como experiência humana e quais princípios seguimos em nossas decisões para apoiar nossos alunos.

Afinal, se chegarmos a um ponto em que a IA está fazendo o trabalho do aluno e avaliando esse trabalho, o que resta para ser valorizado?

Seria um grande aprendizado trocar ideias com você, que me lê por aqui. Então, não deixe de comentar o que você acha de todas essas inovações que andam a rodear o mundo e, claro, a educação.