Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/30618| Type: | Dissertação |
| Title: | KINO: an approach for rule-based chatbot development, monitoring and evaluation |
| Other Titles: | KINO: uma abordagem baseada em regras para desenvolvimento, monitoração e avaliação de chatbots |
| Authors: | Thiago Carvalho D'Ávila |
| First Advisor: | Pedro Olmo Stancioli Vaz de Melo |
| First Referee: | Maria das Graças Volpe Nunes |
| Second Referee: | Flávio Vinícius Diniz de Figueiredo |
| Third Referee: | Luiz Chaimowicz |
| Abstract: | Chatbots are software conversational agents invented in the 1960’s that answer in human language. There are still many challenges and opportunities to be explored, even though more than fifty years have gone by since the first chatbot was created. The aim of this research is to develop the implementation, evaluation, and monitoring for a rule-based chatbot. Having this in mind, KINO, a bot that answers questions about movies, was developed. KINO’s architecture is presented, along with challenges and proposed solutions described as a reference for the development of other chatbots. An experiment was performed on Facebook with more than 300 users generating automated metrics of assertiveness and feedback for further evaluation and monitoring. These metrics were validated using different Brazilian Portuguese text normalization methods: RiveNorm, Enelvo, and UGCNormal. As a result, the feasibility of evaluation and monitoring proposed has been demonstrated, yielding various analyses. Furthermore, the analyses of the collected metrics have shown issues that allow future maintenance and possible improvements of KINO. |
| Abstract: | Chatbots são programas de computador que atuam como agentes conversacionais inventados na década de 1960 respondendo em linguagem humana. Ainda há muitos desafios e oportunidades a serem explorados, apesar de mais de cinquenta anos se passarem desde a criação do primeiro chatbot. O objetivo desta pesquisa é desenvolver a implementação, avaliação e monitoramento de um chatbot baseado em regras. Tendo isso em mente, KINO, um bot que responde a perguntas sobre filmes, foi desenvolvido. A arquitetura do KINO é apresentada, juntamente com desafios e soluções propostas descritas como uma referência para o desenvolvimento de outros chatbots. Um experimento foi realizado no Facebook com mais de 300 usuários gerando métricas automatizadas de assertividade e feedback para avaliação e monitoramento. Essas métricas foram validadas usando diferentes métodos de normalização de texto em português do Brasil: RiveNorm, Enelvo e UGCNormal. Como resultado, a viabilidade da avaliação e monitoramento propostos foi demonstrada, gerando várias análises. Além disso, as análises das métricas coletadas mostraram problemas que permitem manutenção futura e possíveis melhorias do KINO. |
| Subject: | Computação - Teses Inteligência Artificial Chatbot Agente de Conversação |
| language: | eng |
| metadata.dc.publisher.country: | Brasil |
| Publisher: | Universidade Federal de Minas Gerais |
| Publisher Initials: | UFMG |
| metadata.dc.publisher.department: | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
| metadata.dc.publisher.program: | Programa de Pós-Graduação em Ciência da Computação |
| Rights: | Acesso Aberto |
| URI: | http://hdl.handle.net/1843/30618 |
| Issue Date: | 24-Aug-2018 |
| Appears in Collections: | Dissertações de Mestrado |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| DissertacaoThiagoDAvila.pdf | 3.58 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.