Inteligência Artificial Aplicada à Avaliação Acadêmica em Larga Escala
Este estudo propõe um framework de avaliação automatizada que combina modelos de linguagem e rubricas estruturadas para atribuir notas consistentes e auditáveis em cursos online de larga escala. Avaliamos a concordância com avaliadores humanos e discutimos mecanismos de transparência e recurso.
A avaliação em larga escala é um dos maiores gargalos da educação online. Propomos um framework que mantém a consistência das notas sem abrir mão da auditabilidade exigida por instituições acreditadas.
Arquitetura do framework #
O sistema decompõe cada tarefa em critérios de rubrica explícitos. O modelo de linguagem produz uma justificativa por critério, e a nota final é agregada de forma determinística a partir desses critérios — o que torna cada decisão rastreável.
- Decomposição por critério reduz a variância das notas.
- Justificativas por critério permitem revisão humana eficiente.
- Calibração por coorte mitiga vieses sistemáticos.
Concordância com avaliadores humanos #
Comparamos as notas do sistema com um painel de avaliadores especialistas. Relatamos a concordância por faixa de nota e analisamos os casos de maior divergência, que se concentram em respostas criativas fora do escopo da rubrica.
Transparência e recurso #
Discutimos diretrizes de governança: direito a explicação, trilha de auditoria e um caminho de recurso com revisão humana. Argumentamos que esses mecanismos são pré-requisitos éticos para o uso de IA em decisões acadêmicas.
Keywords
References
- Burstein, J., et al. (2021). Automated Essay Scoring: A Review. Journal of Educational Measurement.
- Floridi, L., & Cowls, J. (2019). A Unified Framework of Five Principles for AI in Society. Harvard Data Science Review.
- OECD (2023). AI and the Future of Skills. OECD Publishing.