Custo de inferência deve cair, mas IA continuará cara

O mais recente relatório do Gartner tem uma notícia boa e uma ruim para empresas que precisam gerir seus custos com IA. A boa é que o custo com inferência (ou seja, com o uso efetivo de soluções de IA) deve despencar. Até 2030, o instituto estima que o custo da inferência pode cair até 90%, devido a modelos de linguagem até 100 vezes mais poderosos do que os atuais. O movimento será impulsionado por hardware mais avançado, aplicações mais sofisticadas e expansão do uso da IA para dispositivos de borda.

A notícia ruim é que, no fim das contas, essa redução de custo não deve fazer diferença nos balanços das empresas. Isso porque o uso de soluções mais sofisticadas de IA, como aplicações de IA agêntica, deve continuar caro. Essas aplicações necessitam de mais tokens para funcionar, e como a inferência deve virar a famosa “carne de vaca”, o diferencial competitivo pode ficar em soluções mais sofisticas, e portanto caras.

Segundo o Gartner, aplicações mais avançadas podem consumir de cinco a 30 vezes mais tokens por tarefa em comparação com soluções generativas tradicionais. Isso significa que, embora o custo por token caia, o custo total por aplicação pode subir. Diante desse cenário, o instituto recomenda que CIOs equilibrem investimentos entre soluções mais simples e iniciativas de ponta. Apostar apenas em inovação avançada pode inflar custos rapidamente, enquanto ficar restrito a casos básicos limita o potencial de geração de valor, observa o instituto.