Robô FRIDA alimentado por IA colabora com humanos para criar arte

FRIDA, um braço robótico com um pincel preso a ele, usa inteligência artificial para colaborar com humanos em obras de arte. Peça a FRIDA para pintar um quadro e ela começa a trabalhar colocando o pincel na tela.

“Há uma pintura de uma bailarina sapo que eu acho que ficou muito bem”, disse Peter Schaldenbrand, um Ph.D da Escola de Ciência da Computação. aluno do Robotics Institute trabalhando com FRIDA e explorando IA e criatividade. “É realmente bobo e divertido, e acho que a surpresa do que FRIDA gerou com base na minha contribuição foi muito divertida de ver.”

FRIDA, em homenagem a Frida Kahlo, significa Framework and Robotics Initiative for Developing Arts. O projeto é liderado por Schaldenbrand com os membros do corpo docente do RI, Jean Oh e Jim McCann, e atraiu estudantes e pesquisadores em toda a CMU.

Os usuários podem direcionar FRIDA inserindo uma descrição de texto, enviando outras obras de arte para inspirar seu estilo ou enviando uma fotografia e pedindo que pinte uma representação dela. A equipe também está experimentando outras entradas, incluindo áudio. Eles tocaram “Dancing Queen” do ABBA e pediram a FRIDA para pintá-la.

“FRIDA é um sistema de pintura robótica, mas FRIDA não é uma artista”, disse Schaldenbrand. “FRIDA não está gerando as ideias para se comunicar. FRIDA é um sistema com o qual um artista pode colaborar. O artista pode especificar metas de alto nível para FRIDA e então FRIDA pode executá-las.”

O robô usa modelos de IA semelhantes a ferramentas como ChatGPT e DALL-E 2 da OpenAI, que geram texto ou imagem, respectivamente, em resposta a um prompt. FRIDA simula como pintaria uma imagem com pinceladas e usa aprendizado de máquina para avaliar seu progresso enquanto trabalha.

Os produtos finais de FRIDA são impressionistas e caprichosos. As pinceladas são ousadas. Eles não têm a precisão tão procurada em empreendimentos robóticos. Se FRIDA comete um erro, ela o refaz, incorporando a mancha errante de tinta no resultado final.

“FRIDA é um projeto que explora a interseção da criatividade humana e robótica”, disse McCann. “FRIDA está usando o tipo de modelos de IA que foram desenvolvidos para fazer coisas como legendar imagens e entender o conteúdo da cena e aplicá-lo a esse problema generativo artístico”.

FRIDA usa IA e aprendizado de máquina várias vezes durante seu processo artístico. Primeiro, ele passa uma hora ou mais aprendendo a usar o pincel. Em seguida, ele usa grandes modelos de linguagem de visão treinados em conjuntos de dados massivos que combinam texto e imagens extraídas da Internet, como o pré-treinamento de imagem e linguagem contrastiva (CLIP) da OpenAI, para entender a entrada. Os sistemas de IA usam esses modelos para gerar novos textos ou imagens com base em um prompt.

Outras ferramentas de geração de imagens, como o DALL-E 2 da OpenAI, usam grandes modelos de linguagem de visão para produzir imagens digitais. FRIDA leva isso um passo adiante e usa seu sistema robótico incorporado para produzir pinturas físicas. Um dos maiores desafios técnicos na produção de uma imagem física é reduzir a lacuna entre a simulação e o real, a diferença entre o que FRIDA compõe na simulação e o que pinta na tela. FRIDA usa uma ideia conhecida como real2sim2real. As pinceladas reais do robô são usadas para treinar o simulador para refletir e imitar as capacidades físicas do robô e dos materiais de pintura.

A equipe de FRIDA também procura abordar algumas das limitações dos atuais modelos de linguagem de visão ampla, refinando continuamente os que eles usam. A equipe alimentou os modelos com manchetes de artigos de notícias para dar uma ideia do que estava acontecendo no mundo e os treinou ainda mais com imagens e textos mais representativos de diversas culturas para evitar um viés americano ou ocidental. Este esforço de colaboração multicultural é liderado por Zhixuan Liu e Beverley-Claire Okogwu, alunos de mestrado do primeiro ano do RI, e Youeun Shin e Youngsik Yun, alunos de mestrado visitantes da Dongguk University na Coréia. Seus esforços incluem contribuições de dados de treinamento da China, Japão, Coréia, México, Nigéria, Noruega, Vietnã e outros países.

Depois que o usuário humano de FRIDA especifica um conceito de alto nível da pintura que deseja criar, o robô usa o aprendizado de máquina para criar sua simulação e desenvolver um plano para fazer uma pintura para atingir os objetivos do usuário. FRIDA exibe uma paleta de cores em uma tela de computador para um ser humano misturar e fornecer ao robô. A mistura automática de tintas está sendo desenvolvida atualmente, liderada por Jiaying Wei, aluno de mestrado na Escola de Arquitetura, com Eunsu Kang, docente do Departamento de Aprendizado de Máquina.

Munida de pincel e tinta, FRIDA fará suas primeiras pinceladas. De vez em quando, o robô usa uma câmera suspensa para capturar uma imagem da pintura. A imagem ajuda FRIDA a avaliar seu progresso e refinar seu plano, se necessário. Todo o processo leva horas.

“As pessoas se perguntam se FRIDA vai tirar empregos de artistas, mas o objetivo principal do projeto FRIDA é exatamente o oposto. Queremos realmente promover a criatividade humana por meio de FRIDA”, disse Oh. “Por exemplo, eu pessoalmente queria ser um artista. Agora, posso realmente colaborar com FRIDA para expressar minhas ideias na pintura.”

Mais informações sobre FRIDA estão disponíveis em seu site. A equipe apresentará sua pesquisa mais recente do projeto “FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” na Conferência Internacional IEEE 2023 sobre Robótica e Automação em maio em Londres. FRIDA reside no laboratório do Bot Intelligence Group (BIG) do RI no bairro de Squirrel Hill em Pittsburgh.