Além da Detecção: Tornando Sistemas de Detecção de Intrusão mais Compreensíveis
Aluno: Thiago Duvanel Ferreira
Orientador: Prof. Daniel Macêdo Batista
Universidade de São Paulo
Instituto de Matemática e Estatística
Bacharelado em Ciência da Computação
📑 Introdução
Com o aumento da complexidade e da escala dos sistemas disponíveis em redes de computadores, modelos de aprendizado de máquina vêm sendo cada vez mais utilizados e desenvolvidos para detectar tráfego malicioso e prevenir vários tipos de ataques cibernéticos. Contudo, muitos desses modelos funcionam como “caixas pretas”, sem oferecer informação suficiente sobre como suas decisões são tomadas. Essa falta de transparência compromete a confiança de administradores da rede, que precisam entender e justificar como um tráfego foi classificado como malicioso e as atitudes tomadas. Além disso, a falta de explicações pode levar a difícil manutenção do modelo e dificuldades em identificar e corrigir erros, desincentivando melhoras. Portanto, é fundamental que os modelos adotados para essa tarefa sejam explicáveis, permitindo que especialistas em redes - ainda que não tenham experiência em aprendizado de máquina - possam interpretar e avaliar as decisões de um sistema automatizado.
✍️ Proposta
Este trabalho propõe um estudo voltado à análise da explicabilidade de modelos de aprendizado de máquina aplicados à detecção de ataques cibernéticos. A ideia é investigar o quão compreensíveis e intuitivos esses modelos são do ponto de vista de um profissional da área de redes. Para isso, serão selecionados e avaliados diferentes modelos e técnicas de explicabilidade, como SHAP (SHapley Additive exPlanations) e outras ferramentas similares, como LIME (Local Interpretable Model-agnostic Explanations) e Anchors, nas quais serão escolhidas duas entre as três para experimentação. Além desses modelos, será feita uma explicação voltada a profissionais com menos ou nenhuma experiência com conceitos da área de aprendizado de máquina.
Até o momento, já foi realizado um levantamento de modelos e conjuntos de dados disponíveis para o treinamento e avaliação dos detectores de ataques. Os próximos passos envolvem a criação de um ambiente controlado de experimentação, a implementação dos modelos selecionados e a aplicação de técnicas de explicabilidade sobre eles. A partir disso, serão conduzidas análises qualitativas e quantitativas para entender o nível de acessibilidade das explicações geradas, buscando medir o quanto elas auxiliam um especialista em redes a compreender as decisões do modelo.
🎯 Objetivos
- Analisar a explicabilidade de modelos de aprendizado de máquina aplicados à detecção de ataques cibernéticos.
- Avaliar diferentes técnicas de explicabilidade, como SHAP, LIME e Anchors e escolher duas entre as três para experimentação.
- Criar um ambiente controlado de experimentação para treinar e avaliar os modelos.
- Implementar os modelos selecionados e aplicar técnicas de explicabilidade sobre eles.
- Conduzir análises qualitativas e quantitativas para entender o nível de acessibilidade das explicações geradas.
- Medir o quanto as explicações auxiliam um especialista em redes a compreender as decisões do modelo.
- Entender o impacto do conhecimento em aprendizado de máquina por parte dos profissionais de rede na interpretação das explicações.
- Propor melhorias nos modelos e técnicas de explicabilidade com base nas análises realizadas.
📚 Referências
- Security Risk and Attacks in AI: A Survey of Security and Privacy
- Explainable Intrusion Detection Systems (X-IDS): A Survey of Current Methods, Challenges, and Opportunities
- Explainable Artificial Intelligence in CyberSecurity: A Survey
- Explainable Intrusion Detection for Cyber Defences in the Internet of Things: Opportunities and Solutions