Um grupo de pesquisadores acadêmicos desenvolveu uma técnica para extrair sons de imagens estáticas capturadas por câmeras de smartphones com obturador e estruturas de lentes móveis.
O movimento do hardware da câmera, como as persianas complementares de óxido metálico-semicondutor (CMOS) e as lentes móveis usadas para estabilização ótica de imagem (OIS) e foco automático (AF), criam sons que são modulados em imagens como distorções imperceptíveis.
Esses tipos de câmeras de smartphones, explicam os pesquisadores em um artigo de pesquisa (PDF), crie um “canal lateral óptico-acústico de ponto de vista (POV) para escuta acústica” que não requer linha de visão, nem a presença de um objeto dentro do campo de visão da câmera.
Concentrando-se nas limitações deste canal lateral – que depende de um “caminho mecânico adequado da fonte sonora ao smartphone” para suportar a propagação do som, os investigadores extraem e analisam a informação acústica vazada identificando com alta precisão diferentes falantes, géneros e falas. dígitos.
Os acadêmicos confiaram no aprendizado de máquina para recuperar informações da fala humana transmitida pelos locutores, no contexto de um invasor que possui um aplicativo malicioso em execução no smartphone, mas não tem acesso ao microfone do aparelho.
No entanto, o modelo de ameaça pressupõe que o invasor possa capturar um vídeo com a câmera da vítima e que possa adquirir amostras de fala dos indivíduos-alvo antecipadamente, para usá-las como parte do processo de aprendizagem.
Usando um conjunto de dados de 10.000 amostras de expressões de dígitos-sinal, os pesquisadores realizaram três tarefas de classificação (gênero, identidade e reconhecimento de dígitos) e treinaram seu modelo para cada tarefa. Eles usaram dispositivos Google Pixel, Samsung Galaxy e Apple iPhone para os experimentos.
“Nossa avaliação com 10 smartphones em um conjunto de dados de dígitos falados relata 80,66%, 91,28% e 99,67% de precisão no reconhecimento de 10 dígitos falados, 20 falantes e 2 gêneros, respectivamente”, dizem os acadêmicos.
Câmeras de qualidade inferior, dizem os pesquisadores, limitariam o potencial vazamento de informações associado a esse tipo de ataque. Manter os smartphones longe dos alto-falantes e adicionar materiais de amortecimento de isolamento de vibração entre o telefone e a superfície de transmissão também deve ajudar.
Os fabricantes de smartphones podem mitigar o ataque por meio de frequências mais altas de obturadores, obturadores de código aleatório, molas de suspensão de lentes mais resistentes e mecanismos de travamento de lentes.
“Acreditamos que as altas precisões de classificação obtidas em nossa avaliação e o trabalho relacionado usando sensores de movimento sugerem que este canal lateral óptico-acústico pode suportar aplicações maliciosas mais diversas, incorporando funcionalidade de reconstrução de fala no pipeline de processamento de sinal”, acrescentaram os pesquisadores.