Google lança TPUs 8tx e 8i Max com foco em privacidade e memória, pressionando Nvidia

Segundo o Decrypt, Google revelou dois novos sistemas de computação de inteligência artificial, o TPU 8tx e o TPU 8i Max, como forma de desafiar a Nvidia com chips voltados para privacidade e uso intensivo de memória.

Os novos sistemas integram a oitava geração de Tensor Processing Units (TPUs) da empresa, ampliando o portfólio para quatro configurações destinadas ao treinamento e à execução de modelos de IA, e o Google afirma atender quase 100 clientes de TPU, que vão de laboratórios de IA a universidades.

Ao contrário das unidades de processamento gráfico (GPUs) amplamente usadas pela Nvidia, as TPUs são aceleradores de IA desenvolvidos originalmente para os próprios serviços do Google, mas que vêm sendo oferecidos cada vez mais a empresas externas, inclusive em instalações on-premises.

“Com a computação passando de escala humana para escala de agentes, as empresas estão exigindo aceleradores que consigam raciocinar em janelas de contexto massivas dos modelos de IA”, escreveu Amin Vahdat, vice-presidente sênior de IA e infraestrutura do Google, no anúncio.

O TPU 8tx foi criado para atender a um problema crítico de negócios que adotam IA: a proteção de informações sensíveis enquanto um modelo as utiliza. Embora os dados sejam criptografados em armazenamento e durante a transmissão, o processamento costuma exigir sua descriptografia na memória; o Google afirma que a configuração usa computação confidencial em nível de hardware para isolar os dados dos clientes e os parâmetros proprietários dos modelos mesmo durante a operação.

O sistema combina o silício TPU 8t com processadores AMD EPYC de quinta geração e a rede de baixa latência Boardfly do Google. Segundo a empresa, o TPU 8tx pode reduzir a latência em até metade em comparação ao TPU 8t, sem praticamente comprometer o desempenho devido à proteção adicional.

Em outras palavras, tarefas que exigem privacidade não precisarão sacrificar velocidade ou precisão. As empresas podem ajustar e executar modelos no mesmo sistema, evitando a transferência de informações sensíveis entre clusters, embora a computação confidencial não impeça um agente de IA mal projetado de usar indevidamente os dados a que tem acesso.

O TPU 8i Max foi desenvolvido para contornar outra limitação: a barreira de memória. Ele combina dois chips TPU 8i em um único pacote, dobrando a potência de cálculo, a SRAM on-chip e a taxa de transferência de memória de alta largura de banda em relação ao TPU 8i tradicional, tudo isso mantendo a mesma pegada de rack.

“Nosso quarto sistema, TPU 8i Max, foi construído para um problema diferente: a barreira de memória”, escreveu Vahdat.

O Google também está lançando como código aberto o TPU Sync, um software que movimenta a memória de trabalho de IA entre chips, servidores e armazenamento, e afirma que a solução pode reduzir atrasos de transferência de dados e tempos de resposta iniciais em mais de 90%.

As ações da Nvidia caíram 9,3% e recuaram mais 5% nas negociações de, depois que o CEO Jensen Huang admitiu um caso extraconjugal com uma mulher suspeita de espionagem para a China por parte da inteligência dos EUA. O conselho da Nvidia iniciou uma investigação independente, embora a empresa afirme não ter evidências de comprometimento de segredos corporativos.

O escândalo aumenta as preocupações sobre o crescimento da Nvidia, enquanto concorrentes buscam desafiar seu domínio em chips de IA. Segundo relatos não confirmados, a OpenAI estaria planejando adquirir TPUs do Google para reduzir a dependência da Nvidia, e a expansão da linha de chips do Google pode dar mais poder de negociação aos desenvolvedores de IA, ameaçando a participação de mercado da Nvidia.

O Google compete não apenas em velocidade de chip, mas também em hardware e software especializados. Seu projeto de código aberto TorchTPU permite que desenvolvedores executem modelos PyTorch e Hugging Face nas TPUs sem precisar reescrever suas aplicações.

A empresa não divulgou preços nem datas de disponibilidade para as duas novas configurações.