“Nosso objetivo era criar um sistema de aprendizado de máquina que classifique os bugs como segurança / não segurança e crítico / não crítico, com um nível de precisão o mais próximo possível do especialista em segurança”, explica Christiansen. A Microsoft forneceu bugs ao modelo de aprendizado de máquina que foram rotulados como segurança e não segurança para treiná-lo e garantir que os dados não fossem muito barulhentos. O modelo aprendeu como classificar os bugs de segurança e aplicar rótulos de gravidade como críticos, importantes ou de baixo impacto a cada um.
Especialistas em segurança e cientistas de dados trabalharam juntos na Microsoft para criar o modelo, garantindo que ele pudesse ser monitorado na produção e que uma amostra aleatória de erros fosse revisada manualmente. O modelo também é continuamente treinado com novos dados revisados pelos especialistas em segurança da Microsoft. Esse modelo de aprendizado de máquina significa que a Microsoft agora identifica com precisão os bugs de segurança 99% das vezes e os rotula corretamente 97% das vezes.
É incomum uma empresa do tamanho da Microsoft revelar quantos bugs seus desenvolvedores geram mensalmente, muito menos como os soluciona. A Microsoft agora planeja abrir sua metodologia de código-fonte para o GitHub, permitindo que outras empresas com conjuntos de dados semelhantes implementem um modelo semelhante. Se você estiver interessado em aprender mais sobre as técnicas de aprendizado de máquina da Microsoft, a empresa publicou um artigo acadêmico com todos os detalhes.
