A Microsoft lançou o Orca, um novo modelo de linguagem grande que pode sustentar o futuro dos chatbots de IA como o ChatGPT. É bem menor (13 bilhões de parâmetros) do que suas contrapartes populares, mas já superou o ChatGPT da Open AI e até deu ao modelo GPT 4 (supostamente com 1 trilhão de parâmetros) uma corrida pelo seu dinheiro em alguns benchmarks. Falando em dinheiro, custa muito pouco para treinar em comparação com esses grandalhões. Ademais, é de código aberto. Bem, essa é a coisa mais especial sobre isso e acho que deveríamos ter começado com isso.
De qualquer forma, vamos aprender como seu design e funcionamento são importantes para pesquisa e desenvolvimento de IA contemporâneos e futuros.
Como o Orca funciona e como ele é melhor que o GPT
https://www.youtube.com/watch?v=–khbXchTeE
Antes de chegarmos ao Orca, vamos entender o problema que ele está tentando resolver.
Para treinar qualquer modelo de linguagem realmente grande (LLMs), como o GPT 4 da Open AI ou o LaMDA ou o PaLM 2 do Google, são necessários bilhões. São milhões para coletar bons dados, treinar, refinar e reforçar o aprendizado com feedback humano.
Leia também: 4 novos recursos do recém-lançado GPT 4 que tornam o ChatGPT um chatbot multimodal avançado
Nem todas as empresas, muito menos pequenos grupos de pesquisa, têm esse tipo de dinheiro. Ademais, o GPT 4 e similares são muito poderosos e polímatas para seu próprio bem. Os clientes desses LLMs podem não precisar de todo esse conhecimento e habilidades. Então, algo mais barato, mas ao mesmo tempo mais especializado, diga-se de passagem, é o que esses clientes precisam.
O Orca não apenas atende a esses dois requisitos, mas também é mais inteligente em alguns aspectos.
Isso se deve à maneira como ele foi projetado para aprender as coisas.
Ele aprende, ou deveríamos dizer, imita o GPT 4 e modelos LLM semelhantes. Mas ele não apenas compreende o que o GPT 4 faz, mas também como ele faz algo e, por assim dizer, o processo de pensamento por trás de sua ação.
A Microsoft também introduziu um novo método de aprendizagem para Orca:
Orca aprende em um processo de duas etapas. Ele primeiro resolve consultas mais simples do ChatGPT e, em seguida, é feito para usar esse conhecimento experimental para aprender com o GPT 4 para resolver consultas mais complexas.
Leia também: O Google Bard foi atualizado com incríveis habilidades de IA, mas é melhor que o ChatGPT?
Então você vê, ele tenta emular as capacidades de raciocínio de um humano, imitando como os humanos pensam e atuam. Se for tão eficaz quanto é descrito, então temos um modelo LLM ou IA capaz de interromper o futuro da IA.
Vamos ver se o desempenho do Orca corresponde à sua teoria promissora. Esperamos isso com alguma apreensão, é claro.
Com informações de Digit Magazine.