ChatGPT pode ter chegado ao limite e agora o futuro da inteligência artificial está nas mãos de algo nada tecnológico

Olá, seja bem-vindo à Estrada do Futuro, onde conversamos semanalmente sobre a intersecção entre investimentos e tecnologia. E o tema desta coluna mais uma vez é inteligência artificial. Mas hoje sob uma abordagem bem menos eufórica do que tem sido a tônica do mercado.

A difusão de inovação segue o que convencionou-se chamar de "curva S". É um gráfico parecido com este abaixo, em que há basicamente três fases bastante nítidas:

1. Um período inicial, onde são feitos investimentos que servem alicerce da tecnologia. 
2. Uma fase de crescimento acelerado.
3. Uma fase terminal, onde a tecnologia se torna madura, penetrada e de baixo crescimento.

O gráfico acima descreve bem, por exemplo, o crescimento da internet, que está em sua fase madura.

Além disso, ele ajuda a desmistificar a lógica ensinada nos MBAs sobre exponencialidade (não, a maior das coisas não são exponenciais).

Agora, obviamente, podemos usá-lo para explicar o crescimento da inteligência artificial. 

Eu sei que o fato do ChatGPT ter surgido há apenas alguns meses faz parecer que estamos apenas no começo de um longo período de inovação e ainda distantes da etapa de crescimento propriamente dito.

Na verdade, é bem possível que a inteligência artificial seja muito mais madura do que você imagina.

E se a inteligência artificial desacelerar rapidamente?

Recentemente, li alguns argumentos defendendo que a explosão de capacidades representada pelo lançamento do ChatGPT e GPT-4 da OpenAI no último ano é simplesmente a parte mais íngreme de uma curva S e que logo veremos um desaceleramento para níveis mais incrementais de progresso.

Como?

Um desses argumentos é este excelente post do blog de Dylan Patel, que escreve apenas sobre semicondutores. Ele argumenta que os custos computacionais da inteligência artificial vão impor um limite rigoroso ao seu progresso, tornando a eletricidade e os requisitos de novos chips proibitivamente caros.

A seguir, eu vou traduzir uma passagem do post, por julgar que ela é muito esclarecedora do seu argumento:

"Os custos para treinar esses modelos que estão redefinindo a civilização têm aumentado a um ritmo incrível. A inteligência artificial moderna tem sido construída escalando contagens de parâmetros, tokens e complexidade geral uma ordem de magnitude a cada ano...

Em relação ao crescimento das contagens de parâmetros, a indústria já está alcançando os limites para hardware atual com modelos densos — um modelo de 1 trilhão de parâmetros custa cerca de US$ 300 milhões para treinar…

Outra escala de ordem de magnitude nos levaria a 10 trilhões de parâmetros. Os custos de treinamento usando tarifas horárias escalarão para cerca de US$ 30 bilhões… Treinar esse modelo levaria mais de dois anos.

Sistemas aceleradores e rede sozinhos excederiam a energia gerada por um reator nuclear. Se o objetivo fosse treinar esse modelo em cerca de 3 meses, o capex [investimento] total do servidor necessário para este sistema seria de centenas de bilhões de dólares com hardware atual.

Isso não é prático."

Em resumo, talvez o GPT-4, o último modelo disponível pela OpenAI, seja por muito tempo o que há de mais moderno e acessível em termos de AI generativa.

Mas há outros problemas.

De onde tirar mais dados?

Uma segunda possível razão para o progresso lento da inteligência artificial no futuro seria que os modelos de linguagem de grande escala (LLMs) poderiam ficar sem bons dados de treinamento.

Sim, um modelo nada mais é que um algoritmo treinado numa base de dados. Esse algoritmo é otimizado para trazer um produto final (como texto, imagem, áudio ou outros formatos) com base num extenso conjunto de dados usados para treiná-los.

Esses dados, porém, precisam ser obtidos em algum lugar.

Os modelos com os quais estamos interagindo neste momento já leram basicamente tudo o que foi escrito — de Shakespeare aos cantos mais sombrios da Wikipedia — e tentam extrair padrões de todo esse conjunto de textos e construir uma fala que soe humana.

Mas uma vez que você leu tudo o que há para ler, eventualmente você atinge um muro em termos de quanto benefício adicional você pode obter simplesmente continuando esse processo.

A solução para esse problema não é nada tecnológica. Ela responde pelo acrônimo RLHF, que é a sigla em inglês para  "treinamento reforçado por feedback humano".

Ou seja, dependemos literalmente do trabalho humano de categorizar novos dados para estendermos o universo de informações que futuros algoritmos de inteligência artificial poderão ser treinados.

Parte do futuro da exponencialidade depende, sobretudo, de nosso trabalho das 09 às 18h.

Como investir em AI neste momento?

Como eu tentei deixar claro acima, nem tudo são flores quando falamos do desenvolvimento de inteligência artificial.

Essa é sim uma tendência que nos acompanhará durante muito tempo. Mas seus fundamentos ainda estão em construção e o equilíbrio de forças na indústria ainda irá mudar sobremaneira nos próximos anos.

Neste momento, há muito mais do que se falar de AI além das ações da Nvidia. 

• Se a revolução AI já começou, está na hora de você aprender a utilizar essa tecnologia a favor da sua carreira ou do seu negócio. O Grupo Empiricus acaba de lançar o primeiro bootcamp de longa duração sobre inteligência artificial no Brasil. Você pode conferir os 4 primeiros encontros desse treinamento de forma totalmente gratuita, basta clicar aqui.