Defesa de mestrado do discente Arthur Martins da Costa, dia 11/08, às 09:00.

Defesa de mestrado do discente Arthur Negrão de Faria Martins da Costa, dia 11/08/2026, às 09:00.

Título: Benford-Quant: Um Quantizador Inspirado na Lei de Benford para Large Language Models

Resumo: Large Language Models (LLMs) alcançaram desempenho notável em uma ampla variedade de tarefas, porém sua implantação permanece limitada por requisitos substanciais de memória e processamento computacional. Neste cenário, a quantização emergiu como uma das estratégias mais eficazes para contornar esse gargalo, permitindo representações comprimidas dos pesos do modelo com degradação de acurácia limitada. Esta tese avança nessa linha de pesquisa ao fundamentar o design do grid de quantização em uma propriedade empírica dos pesos de LLM: sua aderência à Lei de Benford (LB). Primeiramente, conduziu-se uma análise sistemática da aderência à LB nos pesos de LLM em múltiplas famílias e escalas de modelos, empregando a métrica de Desvio Absoluto Médio (MAD) para inspeção por camada e o teste de aderência epsilon-Benford para avaliação estatística em nível de modelo. Os resultados revelam um comportamento dicotômico de aderência: camadas nn.Linear conformam-se fortemente à LB, enquanto camadas nn.LayerNorm não o fazem. Com base nessa descoberta, foi proposto Benford-Quant (BenQ): um método de Post Training Quantization (PTQ) não uniforme e data-free cujo grid de quantização segue uma distribuição log-uniforme motivada pela aderência à LB. O BenQ incorpora ainda uma política de quantização seletiva que restringe a quantização às camadas nn.Linear, preservando as camadas de normalização e de embedding em sua precisão original. Experimentos em quatro benchmarks (perplexidade, LAnguage Modeling Broadened to Account for Discourse Aspects (LAMBADA),
Massive Multitask Language Understanding (MMLU) e HellaSwag) e sete famílias de modelos demonstram que o BenQ supera consistentemente a quantização uniforme Round-To-Nearest (RTN) e apresenta desempenho comparável ao baseline de quantização não-uniforme NF4, sem que nenhum dos métodos estabeleça dominância universal: uma constatação que ressalta a natureza dependente de tarefa e arquitetura na seleção ótima do grid de quantização. Em relação a métodos estado-da-arte baseados em otimização, como GPTQ, Activation-aware Weight Quantization (AWQ) e Sinkhorn-Normalized Quantization (SINQ), BenQ incorre em uma modesta lacuna de desempenho. Entretanto, BenQ posiciona-se como um complemento leve e teoricamente fundamentado, e não como um substituto, no paradigma de PTQ. Por fim, uma análise da redução de memória promovida por BenQ foi conduzida, sendo constatadas reduções substanciais. No modelo OPT-6.7B, por exemplo, atingiu-se uma redução de 6.36x em relação aos pesos em FP32. Em modelos menores, entretanto, reduções mais amenas foram observadas (e.g. 1.47x no Gemma3-270M) devido ao fato de que as camadas de embedding, que não são quantizadas, representam grande percentual da memória utilizada pelo modelo.

Banca avaliadora: Prof. Dr. Pedro Henrique Lopes Silva - Orientador - UFOP; Prof. Dr. Eduardo José da Silva Luz - Coorientador - UFOP; Prof. Dr. Racyus Delano Garcia Pacífico - UFOP; Prof. Dr. Ricardo dos Santos Ferreira - UFV

Data: Terça-feira, 11 de agosto de 2026  Horário: 09:00 
Link da videochamada: https://meet.google.com/ujo-gguh-vod