KINO: an approach for rule-based chatbot development, monitoring and evaluation
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
KINO: uma abordagem baseada em regras para desenvolvimento, monitoração e avaliação de chatbots
Primeiro orientador
Membros da banca
Maria das Graças Volpe Nunes
Flávio Vinícius Diniz de Figueiredo
Luiz Chaimowicz
Flávio Vinícius Diniz de Figueiredo
Luiz Chaimowicz
Resumo
Chatbots are software conversational agents invented in the 1960’s that answer in human language. There are still many challenges and opportunities to be explored, even though more than fifty years have gone by since the first chatbot was created. The aim of this research is to develop the implementation, evaluation, and monitoring for a rule-based chatbot. Having this in mind, KINO, a bot that answers questions about movies, was developed. KINO’s architecture is presented, along with challenges and proposed solutions described as a reference for the development of other chatbots. An experiment was performed on Facebook with more than 300 users generating automated metrics of assertiveness and feedback for further evaluation and monitoring. These metrics were validated using different Brazilian Portuguese text normalization methods: RiveNorm, Enelvo, and UGCNormal. As a result, the feasibility of evaluation and monitoring proposed has been demonstrated, yielding various analyses. Furthermore, the analyses of the collected metrics have shown issues that allow future maintenance and possible improvements of KINO.
Abstract
Chatbots são programas de computador que atuam como agentes conversacionais inventados na década de 1960 respondendo em linguagem humana. Ainda há muitos desafios e oportunidades a serem explorados, apesar de mais de cinquenta anos se passarem desde a criação do primeiro chatbot. O objetivo desta pesquisa é desenvolver a implementação, avaliação e monitoramento de um chatbot baseado em regras. Tendo isso em mente, KINO, um bot que responde a perguntas sobre filmes, foi desenvolvido. A arquitetura do KINO é apresentada, juntamente com desafios e soluções propostas descritas como uma referência para o desenvolvimento de outros chatbots. Um experimento foi realizado no Facebook com mais de 300 usuários gerando métricas automatizadas de assertividade e feedback para avaliação e monitoramento. Essas métricas foram validadas usando diferentes métodos de normalização de texto em português do Brasil: RiveNorm, Enelvo e UGCNormal. Como resultado, a viabilidade da avaliação e monitoramento propostos foi demonstrada, gerando várias análises. Além disso, as análises das métricas coletadas mostraram problemas que permitem manutenção futura e possíveis melhorias do KINO.
Assunto
Computação - Teses, Inteligência Artificial, Chatbot, Agente de Conversação
Palavras-chave
Chatbot, Dialogue systems, Conversational agent