A startup chinesa DeepSeek sacudiu o mercado de IA ao fornecer um modelo de IA mais rápido e barato do que concorrentes mais famosos. E no rastro dessa tendência, muitas empresas começaram a estudar como reduzir seus custos com IA
Reportagem do Financial Times mostra que uma das respostas está no recurso conhecido como destilação, que permite obter modelos de IA mais enxutos a partir de soluções robustas.
No processo de destilação, normalmente o modelo mais poderoso é batizado de “professor”, pois passa conhecimento para modelos mais simples, os “alunos”. Modelos mais simples exigem menos processamento e podem ser rodados localmente em computadores e smartphones, em vez de consumirem recursos de servidores na nuvem.
A destilação, aliás, é o ponto central das acusações da OpenAI contra a DeepSeek. A empresa americana acusa a chinesa de ter destilado o ChatGPT para fazer seu modelo, o que é negado pela DeepSeek. Por outro lado, com as devidas autorizações, a Microsoft criou sua família de modelos Phi a partir da destilação do ChatGPT.
Segundo o Financial Times, a Meta é outra big tech que explora a destilação para criar modelos a partir do Llama, seu LLM mais poderoso.