Uncertainty quantification in Adversarial Federated Learning

Abstract

Esta tese investiga novas metodologias em Aprendizado Federado (FL), um paradigma que permite múltiplos dispositivos desenvolverem colaborativamente um modelo de aprendizado de máquina compartilhado, mantendo todos os dados de treinamento locais, assim aprimorando a privacidade dos clientes. O FL opera treinando modelos locais em dispositivos individuais, que são então agregados em um servidor central. Apesar de suas vantagens, o FL é vulnerável a ataques de envenenamento de modelo, onde nós maliciosos injetam atualizações maliciosas de modelo, comprometendo a integridade do modelo global. Esta tese, intitulada “Quantificação de Incerteza em Aprendizado Federado Adversarial”, introduz novas abordagens para melhorar a privacidade e a segurança dos modelos de aprendizado de máquina distribuídos contra tais ameaças. Para alcançar esse objetivo, a pesquisa explora três métodos distintos para quantificar a incerteza em modelos de FL. O primeiro método, aproximação de Laplace usando a matriz Hessiana em redes neurais, é aplicado especificamente na detecção de ataques de Negação de Serviço Distribuído (DDoS) em cenários de FL. Este método aproveita as derivadas de segunda ordem da função de perda para aproximar a incerteza nas previsões do modelo, proporcionando uma compreensão refinada da confiança do modelo na presença de ataques adversariais e aprimorando a detecção e mitigação de ataques DDoS. O segundo método introduz uma abordagem ad-hoc usando uma técnica de aprendizado de métrica profunda, denominada “SMELL”. Este método define um espaço de similaridade (S-Space) para representar dados de forma mais eficaz, mapeando pares de elementos do espaço de features original para este novo espaço auxiliar. A similaridade entre pares de dados é quantificada usando marcadores dentro do S-Space, permitindo uma detecção intuitiva e flexível de anomalias e ameaças potenciais em ambientes de FL. O terceiro método estende a abordagem ad-hoc empregando redes neurais bayesianas com inferência variacional. Esta extensão utiliza princípios bayesianos para modelar a incerteza tratando os pesos da rede como distribuições em vez estimativas pontuais, permitindo uma interpretação probabilística das saídas do modelo e uma resiliência aprimorada contra ataques maliciosos. Integrando esses métodos de quantificação de incerteza, a tese visa mitigar os riscos de ataques de envenenamento de modelo, aprimorando assim a robustez, confiabilidade e segurança das aplicações de FL.