GPT-4 já já está aí

O pessoal da OpenAI publicou resultados de uma pesquisa sobre os avanços do GPT-4. Já já teremos acesso à um modelo totalmente novo, mais esperto e muito mais poderoso.

Se você não esteve desconectado da vida nesses últimos meses, você já deve ter visto ou até mesmo brincado com qualquer tipo de serviço de IA. O que fez esse hype inteiro explodir foi o ChatGPT da OpenAI.

A OpenAI foi fundada em dezembro de 2015 por uma equipe de empresários e pesquisadores, incluindo os empresários Elon Musk e Sam Altman. A missão da empresa é desenvolver inteligência artificial de nível humano que possa ser usada para beneficiar a humanidade.

O GPT-3 é um sistema de linguagem natural baseado em aprendizado profundo que é capaz de gerar texto coerente e legível. O GPT-3 é considerado um dos sistemas mais avançados de inteligência artificial disponíveis, até o GPT-4 ser lançado.

Nesse vídeo, o Sam Altman, CEO da OpenAI é entrevistado pelo pessoal da Greylock. Altman explica que a OpenAI foi fundada por Elon Musk e outros empreendedores de tecnologia, com o objetivo de garantir que a inteligência artificial seja desenvolvida de forma segura e benéfica para a humanidade. Ele enfatiza que o trabalho da OpenAI é focado em pesquisas e descobertas fundamentais, em vez de aplicativos específicos.

Nessa entrevista, o Altman destaca a importância da colaboração entre empresas e governos na criação de inteligência artificial segura e benéfica. Ele conclui dizendo que é necessário um esforço conjunto para garantir que a IA seja desenvolvida para melhorar as vidas das pessoas. É interessante que ele entende que os maiores benefícios virão de serviços que criação uma camada intermediária de soluções, que usarão como base APIs como o GPT, para criar soluções mais focadas e especializadas em um setor industrial, ou em um problema específico.

Hoje, a OpenAI lançou o GPT-4. É o mais recente esforço da OpenAI para escalar ainda mais o aprendizado profundo de máquina. A maior diferença do GPT-4 comparado com a versão anterior, é que agora ele consegue aceitar entradas de imagens e texto.

Capacidades

O pessoal da OpenAI reconstruíram toda a stack de deep learning, junto com a galera da Azure (sim, Microsoft), criando um super computador do zero. O GPT-3.5 que foi lançado semanas atrás, foi treinado um ano atrás como um primeiro teste do sistema. Com isso, eles encontraram alguns bugs e outros pontos importantes para melhorar.

Para tarefas muito simples, tipo bater-papo, você não vai perceber diferença entre o GPT-3.5 e o GPT-4. Mas a OpenAI diz que o GPT-4 é muito mais confiável, criativo e muito mais capaz de lidar com instruções mais detalhadas.

Para avaliar o desempenho dos modelos, eles fazem simulações de alguns testes e exames geralmente feitos por humanos em universidades, colégios ou centros de pesquisa. O resultados dos testes pode ser visto no gráfico abaixo:

Eles também avaliam o GPT-4 comparando com outros modelos de aprendizado de máquina. O GPT-4 supera consideravelmente os modelos de linguagem grandes existentes, juntamente com a maioria dos modelos state-of-the-art (SOTA), que podem incluir técnicas específicas de benchmark ou protocolos de treinamento adicionais. Além disso, o GPT-4 aumentou e muito a acurácia em vários idiomas além do inglês. Não vi na lista o quanto melhorou em português, mas os outros idiomas estão muito parecidos com o inglês.

Mas uma das grandes mudanças, é que o modelo agora consegue interpretar imagens. Antes, você só conseguia colocar texto para que o modelo interagisse, agora, você pode combinar texto e imagem, incluindo documentos com texto, fotografias, diagramas, screenshots, etc.

Contudo, essa feature de imagem ainda não está disponível para o grande público e ainda está sendo desenvolvido com a Be My Eyes, ainda única parceira da OpenAI.

Steerability (direcionabilidade) é uma das principais características do GPT-4, que é como os usuários serão capazes de controlar e direcionar o conteúdo gerado pelo modelo, permitindo que eles personalizem a saída para atender às suas necessidades específicas. Eles dão um exemplo onde definimos o modelo para se comportar como um professor no estilo de Sócrates, onde o modelo nunca dará a resposta diretamente, mas vai tentar induzir o usuário a tentar encontrar a resposta sozinho.

Limitações

Obviamente, as limitações se mantém com o GPT-4. Embora ele tenha ficado bem mais esperto, tendo um score de respostas verídicas e corretas 40% maior que as versões anteriores, ele ainda se mantém como uma fonte de informação não confiável, com alta necessidade de validação.

O modelo pode ter vários vieses ainda. De acordo com um artigo no blog deles, o objetivo é fazer com que os sistemas de IA que construíram tenham comportamentos padrão razoáveis, refletindo uma ampla gama de valores dos usuários, permitindo que esses sistemas sejam personalizados dentro de limites e obtendo feedback do público sobre quais devem ser esses limites.

Outro ponto é que o GPT-4 geralmente não possui conhecimento de eventos que ocorreram após a grande maioria de seus dados (setembro de 2021) e não aprende com sua experiência. Às vezes, pode cometer erros simples de raciocínio que não parecem estar de acordo com a competência em tantos domínios, ou ser excessivamente ingênuo ao aceitar afirmações falsas óbvias de um usuário. E às vezes pode falhar em problemas difíceis da mesma forma que os humanos, como introduzir vulnerabilidades de segurança no código que produz.

Riscos?

E aqui nós entramos num dilema forte, que é o dilema de quase toda empresa que tem uma tecnologia que vai modificar totalmente a forma com vivemos.

Eles tentaram tornar o modelo mais seguro e alinhado. O GPT-4 apresenta riscos semelhantes a modelos anteriores, como a geração de informações imprecisas ou conselhos ruins que podem prejudiciais para os usuários, mas implementando novas superfícies de risco devido a suas capacidades adicionais. Mais de 50 especialistas foram envolvidos em testes adversários para entender a extensão desses riscos e seus feedbacks foram incorporados às melhorias do modelo, incluindo a incorporação de um sinal de recompensa de segurança durante o treinamento. Essas melhorias levaram a uma redução significativa na tendência do modelo de responder a solicitações que os usuários fazendo sobre conteúdo proibido e a um aumento na conformidade com as políticas em relação a solicitações sensíveis, em comparação com o GPT-3.5.

Ou seja, se você pede instruções para fazer uma bomba, por exemplo, ele não vai te dar. E aí a gente entra no dilema de: a OpenAI pode controlar, mesmo que em alguns casos, o que a máquina entrega.

Dependendo também da forma com que o modelo é treinado e aprende sozinho com os inputs dos usuários, isso vai criando vieses. Será que a OpenAI deveria fazer qualquer esforço para mitigar vieses e criar um modelo que seja neutro? Criar um modelo com posição neutra, significa o que? O exemplo clássico e conectado com a nossa polarização política no Brasil, é o exemplo da Poesia Lula e Bolsonaro.

Eu realmente não sei como a OpenAI, a sociedade, governos e outras empresas vão decidir como resolver os dilemas. Eu não acho que a máquina deveria ensinar crianças maneiras eficientes para se suicidar. Mas ao mesmo tempo que eu acho que esse tipo de informação deve-se ser mitigada, fico me perguntando quem fiscalizaria as empresas, na tentativa de garantir que elas estejam dentro de políticas corretas.

Papo para outro momento.

Concluindo

E assim vamos. Como escrevi aqui outro dia, Generative AIs estão criando uma correnteza nova. Ela não é como outras tecnologias como Crypto ou Web3, que são tecnologias que habilitam e ampliam campos de exploração, que não são necessariamente úteis HOJE, mas serão no futuro. Generative AIs são úteis HOJE, e serão incrivelmente ubiquas no futuro. É normal haver movimentos que parecem não fazer sentido ou que a grande maioria das pessoas não vejam valor, AINDA. Mas o que importa é que os resultados serão promissores no futuro, potencializando a todos. Pro bem, ou pro mal.

Leia na íntegra o post da OpenAI sobre o GPT-4.