Chatbots e os Grandes Modelos de Linguagem - Parte 2

Comece a aprender com a Code.org hoje!

Entre em contato conosco nas redes sociais:
• Twitter: https://twitter.com/codeorg
• Facebook: https://www.facebook.com/Code.org
• Instagram: https://instagram.com/codeorg
• TikTok: https://tiktok.com/@code.org
• LinkedIn: https://www.linkedin.com/company/code-org
• Medium: https://medium.com/@codeorg

Ajude a tornar nosso trabalho possível com uma doação em http://code.org/donate!

[INTELIGÊNCIA ARTIFICIAL - CHATBOTS & GRANDES MODELOS DE LINGUAGEM]

O problema no último exemplo

é que a qualquer momento a IA considera

somente uma única letra para escolher o que vem em seguida.

Isso não é contexto suficiente, e então a saída não é útil.

E se pudéssemos treiná-la para considerar

um sequência de letras, tipo frases ou parágrafos,

para dá-la mais contexto para escolher a próxima?

Para isso, não utilizamos uma simples tabela de probabilidades,

usamos uma rede neural.

Uma rede neural é um sistema computacional

levemente inspirado nos neurônios de um cérebro.

Ela é treinada em um conjunto de informações,

e com treinamento suficiente,

pode aprender a receber novas informações

e responder respostas simples.

As respostas sempre incluem probabilidades

porque pode haver inúmeras opções.

Agora, vamos pegar a rede neural e treiná-la

em todas as sequências de letras das peças de Shakespeare

para aprender qual letra é mais provável

de ser a próxima em qualquer momento.

Uma vez que fizemos isso, a rede neural pode pegar qualquer sequência nova

e predizer qual seria uma boa letra para ser a próxima.

Algumas vezes a resposta é óbvia, mas geralmente não é.

Acontece que esta nova abordagem

funciona melhor, muito melhor,

ao olhar uma sequencia longa o suficiente de letras,

a IA consegue aprender padrões complexos,

e utiliza esses padrões para produzir textos inéditos.

Começa do mesmo jeito, com uma letra inicial

e então usa as probabilidades

para escolher a próxima letra e assim por diante.

Só que desta vez as probabilidades são baseadas

no contexto inteiro do que veio antes.

Como pode perceber, isso funciona surpreendentemente bem.

Agora, um sistema como o ChatGPT

usa uma abordagem similar,

mas com três adições muito importantes.

Primeiro, em vez de apenas treinar em Shakespeare,

ela olha para todas as informações

que consegue encontrar na internet,

incluindo todos os artigos da Wikipedia

ou todos os códigos no GitHub.

Segundo, em vez de aprender e predizer letras,

apenas as 26 letras do alfabeto,

ela olha para os tokens,

os quais são palavras inteiras,

partes de palavras, ou até códigos.

E terceira diferença é que um sistema desta complexidade

precisa de vários aperfeiçoamentos humanos

para garantir que produzirá resultados satisfatórios

em diversas situações, enquanto protege contra problemas

como produzir conteúdos altamente enviesados ou até mesmo perigosos.

Mesmo depois deste aperfeiçoamento,

é importante ressaltar que este sistema ainda está usando

somente probabilidades randômicas para escolher as palavras.

Um grande modelo de linguagem pode produzir

resultados inacreditáveis que parecem mágica.

Mas pelo fato de não ser realmente mágica,

ela pode muitas vezes entender as coisas errado.

E quando ela entende errado, as pessoas perguntam:

"Um grande modelo de linguagem realmente possui inteligência?"

Discussões sobre IA frequentemente incitam

debates filosóficos sobre o significado de inteligência.

Alguns argumentam que uma rede neural

que produz palavras utilizando probabilidades

não possui realmente inteligência.

Mas o que não se debate é que grandes modelos de linguagem

produzem resultados incríveis

com aplicabilidade em diversos campos.

Essa tecnologia já está sendo usada para criar

apps e sites, filmes e videogames,

e até mesmo para descobrir novos medicamentos.

A rápida aceleração da IA terá impactos enormes na sociedade,

e é importante para todos nós entendermos essa tecnologia.

O que estou mais ansiosa é para ver

são as coisas incríveis que as pessoas criarão com a IA.

E eu espero que você mergulhe de cabeça

para aprender mais sobre como a IA funciona

e explore o que você pode criar com ela.