GPU alugada para LLM: quanto de memória cada etapa pede

Três etapas, três tamanhos de GPU

Rodar um modelo de linguagem dentro da empresa passa por etapas que pedem quantidades de memória muito diferentes. Saber em qual delas o projeto está evita alugar GPU de mais ou de menos.

• Inferência. O modelo pronto responde às perguntas. A memória da GPU precisa caber a memória da LLM e o cache de contexto das conversas abertas.
• Ajuste fino. O modelo aprende com os dados da empresa. O ajuste completo pede várias vezes a memória da inferência; técnicas como LoRA treinam só uma pequena parte dos parâmetros e cabem em bem menos GPU.
• Treinamento. O modelo é treinado do zero ou continua o pré-treinamento com muito texto novo. É a etapa mais pesada, quase sempre dividida entre várias GPUs.

A conta da memória

Na inferência, cada parâmetro do modelo ocupa 2 bytes em 16 bits (FP16 ou BF16), 1 byte em 8 bits e meio byte em 4 bits. Daí sai a memória da LLM, sem contar o cache de contexto:

A esse número se soma o cache de contexto, que cresce com o tamanho de cada conversa e com o número de pessoas usando ao mesmo tempo. Um modelo de 70 bilhões de parâmetros em 16 bits já passa da memória de uma GPU de 80 GB e precisa ser dividido entre duas ou mais.

No ajuste fino completo e no treinamento com o otimizador Adam em precisão mista, a conta de referência é de cerca de 16 bytes por parâmetro para a memória da LLM, os gradientes e os estados do otimizador, antes das ativações. Um modelo de 8 bilhões de parâmetros chega a perto de 128 GB só nisso. Quanto disso cabe em cada GPU depende da estratégia de distribuição: técnicas como ZeRO repartem os estados entre as GPUs, e o paralelismo de dados convencional guarda uma cópia em cada uma.

Inferência em produção

Quando o modelo atende clientes ou funcionários em tempo real, três pontos passam a pesar mais que o preço por hora:

1. Tempo de resposta. Cada pergunta paga a ida e a volta até a GPU. As nossas GPUs ficam no Brasil, perto dos usuários, o que encurta esse caminho em relação a uma GPU em outro continente. O guia Onde fica a GPU traz os números.
2. Capacidade contratada. Na modalidade sob demanda, a GPU pode não estar disponível na hora em que o atendimento precisa. Para produção, a dedicada ou a reservada asseguram a capacidade contratada, conforme as condições do contrato.
3. Servidor de inferência. O software que serve o modelo controla quantas conversas cabem ao mesmo tempo. Entregamos o servidor combinado na proposta configurado e acompanhado pelo time especializado 24/7.

Os dados da empresa no modelo

Rodar um modelo aberto numa GPU contratada mantém os documentos, as conversas e os dados de clientes no ambiente contratado, com a cidade do data center indicada na proposta. As nossas GPUs ficam no Brasil; com as cópias, os registros e o acesso do suporte também no país, e sem outras integrações que enviem dados pessoais para fora, o ajuste fino e as conversas com dados pessoais não envolvem transferência internacional. O guia Por que o local importa para a LGPD explica o tema.

Como costuma começar

Muitas empresas começam com uma GPU sob demanda para testar modelos de tamanhos diferentes com os próprios dados. Quando escolhem o modelo, fazem o ajuste fino num pacote por projeto e passam a inferência para uma GPU dedicada ou reservada. O contrato pode prever essa passagem, e a ferramenta de pedido faz a primeira conta de memória.

Perguntas frequentes