Thiago Duvanel

Além da Detecção: Tornando Sistemas de Detecção de Intrusão mais Compreensíveis

Aluno: Thiago Duvanel Ferreira
Orientador: Prof. Daniel Macêdo Batista

Universidade de São Paulo
Instituto de Matemática e Estatística
Bacharelado em Ciência da Computação

📑 Introdução#

Com o aumento da complexidade e da escala dos sistemas disponíveis em redes de computadores, modelos de aprendizado de máquina vêm sendo cada vez mais utilizados e desenvolvidos para detectar tráfego malicioso e prevenir vários tipos de ataques cibernéticos. Contudo, muitos desses modelos funcionam como “caixas pretas”, sem oferecer informação suficiente sobre como suas decisões são tomadas. Essa falta de transparência compromete a confiança de administradores da rede, que precisam entender e justificar como um tráfego foi classificado como malicioso e as atitudes tomadas. Além disso, a falta de explicações pode levar a difícil manutenção do modelo e dificuldades em identificar e corrigir erros, desincentivando melhoras. Portanto, é fundamental que os modelos adotados para essa tarefa sejam explicáveis, permitindo que especialistas em redes - ainda que não tenham experiência em aprendizado de máquina - possam interpretar e avaliar as decisões de um sistema automatizado.

✍️ Proposta#

Este trabalho propõe um estudo voltado à análise da explicabilidade de modelos de aprendizado de máquina aplicados à detecção de ataques cibernéticos. A ideia é investigar o quão compreensíveis e intuitivos esses modelos são do ponto de vista de um profissional da área de redes. Para isso, serão selecionados e avaliados diferentes modelos e técnicas de explicabilidade, como SHAP (SHapley Additive exPlanations) e outras ferramentas similares, como LIME (Local Interpretable Model-agnostic Explanations) e Anchors, nas quais serão escolhidas duas entre as três para experimentação. Além desses modelos, será feita uma explicação voltada a profissionais com menos ou nenhuma experiência com conceitos da área de aprendizado de máquina.

Até o momento, já foi realizado um levantamento de modelos e conjuntos de dados disponíveis para o treinamento e avaliação dos detectores de ataques. Os próximos passos envolvem a criação de um ambiente controlado de experimentação, a implementação dos modelos selecionados e a aplicação de técnicas de explicabilidade sobre eles. A partir disso, serão conduzidas análises qualitativas e quantitativas para entender o nível de acessibilidade das explicações geradas, buscando medir o quanto elas auxiliam um especialista em redes a compreender as decisões do modelo.

🎯 Objetivos#

  • Analisar a explicabilidade de modelos de aprendizado de máquina aplicados à detecção de ataques cibernéticos.
  • Avaliar diferentes técnicas de explicabilidade, como SHAP, LIME e Anchors e escolher duas entre as três para experimentação.
  • Criar um ambiente controlado de experimentação para treinar e avaliar os modelos.
  • Implementar os modelos selecionados e aplicar técnicas de explicabilidade sobre eles.
  • Conduzir análises qualitativas e quantitativas para entender o nível de acessibilidade das explicações geradas.
  • Medir o quanto as explicações auxiliam um especialista em redes a compreender as decisões do modelo.
  • Entender o impacto do conhecimento em aprendizado de máquina por parte dos profissionais de rede na interpretação das explicações.
  • Propor melhorias nos modelos e técnicas de explicabilidade com base nas análises realizadas.

📚 Referências#