KINO: an approach for rule-based chatbot development, monitoring and evaluation
| dc.creator | Thiago Carvalho D'Ávila | |
| dc.date.accessioned | 2019-10-22T21:31:02Z | |
| dc.date.accessioned | 2025-09-08T23:00:46Z | |
| dc.date.available | 2019-10-22T21:31:02Z | |
| dc.date.issued | 2018-08-24 | |
| dc.description.abstract | Chatbots são programas de computador que atuam como agentes conversacionais inventados na década de 1960 respondendo em linguagem humana. Ainda há muitos desafios e oportunidades a serem explorados, apesar de mais de cinquenta anos se passarem desde a criação do primeiro chatbot. O objetivo desta pesquisa é desenvolver a implementação, avaliação e monitoramento de um chatbot baseado em regras. Tendo isso em mente, KINO, um bot que responde a perguntas sobre filmes, foi desenvolvido. A arquitetura do KINO é apresentada, juntamente com desafios e soluções propostas descritas como uma referência para o desenvolvimento de outros chatbots. Um experimento foi realizado no Facebook com mais de 300 usuários gerando métricas automatizadas de assertividade e feedback para avaliação e monitoramento. Essas métricas foram validadas usando diferentes métodos de normalização de texto em português do Brasil: RiveNorm, Enelvo e UGCNormal. Como resultado, a viabilidade da avaliação e monitoramento propostos foi demonstrada, gerando várias análises. Além disso, as análises das métricas coletadas mostraram problemas que permitem manutenção futura e possíveis melhorias do KINO. | |
| dc.identifier.uri | https://hdl.handle.net/1843/30618 | |
| dc.language | eng | |
| dc.publisher | Universidade Federal de Minas Gerais | |
| dc.rights | Acesso Aberto | |
| dc.subject | Computação - Teses | |
| dc.subject | Inteligência Artificial | |
| dc.subject | Chatbot | |
| dc.subject | Agente de Conversação | |
| dc.subject.other | Chatbot | |
| dc.subject.other | Dialogue systems | |
| dc.subject.other | Conversational agent | |
| dc.title | KINO: an approach for rule-based chatbot development, monitoring and evaluation | |
| dc.title.alternative | KINO: uma abordagem baseada em regras para desenvolvimento, monitoração e avaliação de chatbots | |
| dc.type | Dissertação de mestrado | |
| local.contributor.advisor1 | Pedro Olmo Stancioli Vaz de Melo | |
| local.contributor.advisor1Lattes | http://lattes.cnpq.br/3262926164579789 | |
| local.contributor.referee1 | Maria das Graças Volpe Nunes | |
| local.contributor.referee1 | Flávio Vinícius Diniz de Figueiredo | |
| local.contributor.referee1 | Luiz Chaimowicz | |
| local.creator.Lattes | http://lattes.cnpq.br/2531986810893058 | |
| local.description.resumo | Chatbots are software conversational agents invented in the 1960’s that answer in human language. There are still many challenges and opportunities to be explored, even though more than fifty years have gone by since the first chatbot was created. The aim of this research is to develop the implementation, evaluation, and monitoring for a rule-based chatbot. Having this in mind, KINO, a bot that answers questions about movies, was developed. KINO’s architecture is presented, along with challenges and proposed solutions described as a reference for the development of other chatbots. An experiment was performed on Facebook with more than 300 users generating automated metrics of assertiveness and feedback for further evaluation and monitoring. These metrics were validated using different Brazilian Portuguese text normalization methods: RiveNorm, Enelvo, and UGCNormal. As a result, the feasibility of evaluation and monitoring proposed has been demonstrated, yielding various analyses. Furthermore, the analyses of the collected metrics have shown issues that allow future maintenance and possible improvements of KINO. | |
| local.identifier.orcid | https://orcid.org/0000-0002-0943-1638 | |
| local.publisher.country | Brasil | |
| local.publisher.department | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO | |
| local.publisher.initials | UFMG | |
| local.publisher.program | Programa de Pós-Graduação em Ciência da Computação |