Defesa de mestrado do discente Marcos Pontes, dia 16/03, às 10:00.
Defesa de mestrado do discente Marcos Pontes, dia 16/03, às 10:00.
Título: Privacy-Preserving Federated Learning with Homomorphic Encryption Resilient to Gradient Reconstruction Attacks: A Study on Medical Named Entity Recognition.
Banca: Prof. Dr. Rodrigo César Pedrosa Silva - UFOP; Prof. Dr. Pedro Henrique Lopes Silva - UFOP; Prof. Dr. Frederico Gadelha Guimarães - UFMG
Data: 12/03/2026
Horário: 14h
Resumo: O Reconhecimento de Entidades Nomeadas Médicas (MNER) é uma tarefa
crítica para extrair e organizar conhecimento médico a partir de dados não estru-
turados, sendo essencial para o monitoramento de saúde e a tomada de decisões
clínicas. Apesar dos avanços em Deep Learning (DL), em particular com Large
Language Models (LLMs), essas tarefas ainda enfrentam desafios significativos de-
vido à disponibilidade limitada de dados e à dispersão de dados rotulados entre
diferentes instituições, frequentemente protegidas por regulamentações de privaci-
dade. O Aprendizado Federado (FL) oferece uma solução promissora ao permitir
treinamento colaborativo com dados descentralizados. No entanto, o princípio de
"compartilhar atualizações de modelos em vez de dados" não garante, por si só,
a confidencialidade dos dados de treino. O FL tradicional permanece vulnerável
a Feature Inference Attacks (FIA), em que atualizações de modelo são exploradas
para vazar informações confidenciais dos conjuntos de dados locais privados.
Este trabalho investiga uma classe específica de FIAs chamada Gradient Recon-
struction Attack (GRA). Esses ataques exploram as informações contidas nos gra-
dientes para reconstruir os dados usados no treinamento local. Embora pesquisas
anteriores tenham avaliado esses ataques em tarefas de classificação de imagens ou
sentenças, seu impacto sobre tarefas de classificação de tokens, como MNER, per-
manecia inexplorado. Esta tese aborda essa lacuna por meio de uma metodologia
em duas fases.
Na primeira fase, conduzimos uma análise sistemática de vulnerabilidade apli-
cando diferentes GRAs, especificamente DLG, TAG e LAMP, a modelos baseados
em BERT. Os resultados mostram que o FL é de fato vulnerável a esses ataques em
tarefas de classificação de tokens, com Recover Rate atingindo 74.0%, 63.4% e 62.8%
para os conjuntos CONLL, BC4CHEMD e BC2GM, respectivamente, com o ataque
LAMP e modelo BERT_blue. Também observamos que o aumento do tamanho do
batch reduz a qualidade da reconstrução, mas não elimina o risco de exposição de
entidades médicas sensíveis. As reconstruções também sofrem com problemas de
out-of-order e crosstalk, que afetam a interpretabilidade final, mas não impedem a
extração de informações sensíveis.
Para defender essas vulnerabilidades, a segunda fase da tese introduz o FedHE,
um framework de defesa que integra Criptografia Homomórfica (HE) para garan-
tir a agregação segura de gradientes. O protocolo usa HE para agregar com se-
gurança as atualizações dos clientes, permitindo que os participantes criptografem
suas atualizações locais antes do envio ao servidor de coordenação. O servidor pode
então agregar as atualizações criptografadas sem poder decriptá-las, preservando a
confidencialidade dos modelos locais frente a FIAs. Avaliamos os trade-offs entre
tamanho do modelo, acurácia preditiva e sobrecarga computacional em um espectro
de arquiteturas BERT.
A avaliação do FedHE mostra que a aplicação de HE introduz sobrecargas sig-
nificativas de memória e largura de banda, especialmente com modelos maiores,
tornando impraticável o uso de modelos de estado da arte como o BERT_blue. O es-
tudo conclui que modelos compactos como BERT_tiny e BERT_mini são mais viáveis
em termos de uso de recursos e ainda alcançam desempenho competitivo. Embora
o processo de criptografia aumente os custos computacionais, o estudo mostra que
o HE não impacta negativamente o desempenho do modelo.
