Learning representations for classification problems in reproducing kernel Hilbert spaces

Abstract

O desempenho de um modelo de aprendizado de máquina, independentemente da tarefa, depende da qualidade das representações que o fornecemos. Há uma ampla classe de métodos que utilizam propriedades estatísticas de um conjunto de dados para aprender representações, da Análise de Componentes Principais (PCA) a técnicas de aprendizado profundo. Métodos de kernel são uma família poderosa de modelos que têm a habilidade de mapear os dados para um espaço onde tarefas como classificação linear se tornam mais fáceis de serem resolvidas. Estes métodos têm a habilidade de expressar seu processo de aprendizado apenas em termos de funções de kernel, que são medidas de similaridade entre amostras e podem ser interpretadas como produtos internos neste espaço mapeado, não havendo necessidade do mapeamento explícito. Contudo, estas funções de kernel tipicamente têm um conjunto de parâmetros que devem ser ajustados de acordo com cada tarefa e têm grande influência no mapeamento, e, portanto, na tarefa final. Este trabalho propõe duas funções objetivo com as quais podemos aprender estes parâmetros e atingir bons resultados em problemas de classificação. Conduzimos experimentos com kernels Gaussianos, Laplacianos e sigmoidais. Além disso, uma interpretação de redes neurais dentro do arcabouço de kernels é proposta, mostrando que estas redes podem ser treinadas para aprender representações de acordo com as funções propostas. Com base em resultados empíricos e na análise das funções de kernel usadas, discutimos as propriedades das funções propostas e como usá-las na prática.