Challenges in automatic peer review

Abstract

O processo de revisão por pares é o principal recurso acadêmico para garantir que a ciência avance e seja divulgada. Para contribuir com esse importante processo, trabalhos foram realizados para criar modelos de classificação capazes de prever a nota e a decisão final de um artigo a partir do texto do relatório de revisão. No entanto, as tarefas de dar nota e decidir sobre a aceitação ou rejeição de um artigo apresentam diversos desafios tanto para humanos quanto para máquinas. Neste trabalho, nós analisamos o desempenho de modelos estado da arte nestas tarefas quando expostos a instâncias difíceis relacionadas à mudança de texto e nota durante a fase de rebuttal, bem como instâncias difíceis relacionadas a revisões borderlines. Além disso, discutimos o quão longe estamos de ter um sistema capaz de dar a nota para um artigo e decidir a situação final dele de forma automática. Nossos experimentos mostraram, por exemplo, que o desempenho de um modelo para prever a decisão final de um artigo é 23,31% menor quando exposto a instâncias difíceis e que os classificadores quando erram, cometem esse erro com uma confiança muito alta. Esses e outros resultados nos levaram a concluir que ainda estamos longe de sistemas automáticos para dar notas a artigos e prever a situação final deles por meio do texto dos relatórios dos revisores, no entanto mostramos que as dificuldades enfrentadas pelas máquinas também são enfrentadas por humanos. Isso indica que para a implantação de um sistema de revisão por pares automático, talvez seja necessário repensar o processo de escrita das revisões, para que as impressões e posicionamentos dos revisores sejam mais claras.