A procura de memória da GPU inclui os dados e os pesos em uso, os resultados intermédios, os espaços de trabalho em tempo de execução e as caches dependentes da carga de trabalho. Meça o uso máximo na precisão, no tamanho de lote e na simultaneidade pretendidos; o tamanho do modelo guardado é apenas um dos dados de entrada.
Escolha a carga de trabalho antes de escolher a GPU
Uma especificação de GPU torna-se útil quando se conhece o software e o trabalho que este irá realizar. A renderização, o processamento de imagens, o treino e a inferência têm padrões diferentes de memória e de computação. Verifique a arquitetura GPU, os controladores e o ambiente de execução suportados pela aplicação antes de comparar capacidades. Uma placa com memória suficiente pode continuar a ser inadequada se o percurso de software ou a funcionalidade necessários não forem suportados.
Descreva o tamanho máximo de entrada, a precisão, o tamanho de lote e o trabalho simultâneo que pretende permitir. Para a inferência, inclua o pedido mais longo suportado e as sessões simultâneas. Para a renderização, inclua a cena representativa e as texturas. Uma pequena demonstração bem-sucedida é prova de que a pilha consegue arrancar; não é prova de que a carga de trabalho completa de produção caiba.
Separe os dados persistentes da memória de trabalho
Os pesos ou os recursos de entrada podem permanecer no dispositivo enquanto os resultados intermédios e os buffers temporários surgem durante a execução. O treino pode exigir adicionalmente gradientes e o estado do otimizador. As cargas de trabalho de inferência podem manter caches cujo tamanho varia com o pedido. A disposição exata depende do modelo, da framework e da implementação. Não aplique um multiplicador universal a todas as tarefas e trate-o como uma garantia de capacidade.
Como exemplo aritmético simples, um modelo hipotético de sete mil milhões de parâmetros representado com dois bytes por parâmetro necessita de cerca de catorze mil milhões de bytes apenas para esses parâmetros. Esse cálculo exclui as alocações em tempo de execução, as ativações, as caches e a sobrecarga do formato. É um exemplo de planeamento de nível inferior, não uma afirmação de que essa carga de trabalho cabe numa determinada configuração de SwissOctet.
| Componente de memória | O que o altera | Como investigar |
|---|---|---|
| Pesos ou recursos de cena | Tamanho do modelo, representação e recursos carregados | Inspecione o formato implementado e a alocação efetivamente carregada |
| Resultados intermédios | Forma da entrada e tamanho de lote | Meça uma operação representativa completa |
| Caches | Comprimento do pedido e simultaneidade | Exercite a carga de trabalho máxima suportada |
| Espaços de trabalho e tempo de execução | Bibliotecas, kernels e estratégia de execução | Observe o uso máximo do dispositivo e da framework |
Meça o uso de pico através da vista correta
As métricas da framework e as métricas ao nível do dispositivo podem descrever coisas diferentes. O PyTorch distingue a memória alocada aos tensores da memória reservada pelo seu alocador de cache e fornece medidas de pico. A sua documentação de visualização de memória explica também que as alocações feitas fora do seu alocador podem não aparecer nessa vista. Compare o relatório da framework com o estado mais amplo do dispositivo em vez de assumir que um único número abrange todas as alocações.
Aqueça a operação real e, em seguida, meça a tarefa completa e a sobreposição realista entre tarefas. Registe as versões de software e as condições exatas de entrada. Um evento de falta de memória pode ocorrer num pico temporário, pelo que uma captura final calma pode não detetar o problema. Mantenha as capturas de diagnóstico privadas quando possam conter detalhes do modelo ou informações sobre as entradas da sua aplicação.
Trate o tamanho do lote e a precisão como escolhas de conceção
Lotes maiores podem alterar tanto a utilização como a procura de memória. As orientações de desempenho da NVIDIA abordam a interação entre a forma da operação, a intensidade aritmética e as capacidades do hardware. O tamanho de lote útil depende do objetivo de latência da carga de trabalho, bem como do débito. Uma política de lotes que maximize o trabalho concluído por segundo pode fazer com que os utilizadores individuais esperem mais do que a aplicação permite.
A precisão reduzida ou a quantização podem reduzir alguns requisitos de memória, mas a compatibilidade e a qualidade do resultado têm de ser testadas. Mantenha um conjunto de dados de avaliação e compare os resultados relevantes após uma alteração de formato. Não altere a representação de um modelo apenas para o fazer caber sem verificar o comportamento de que o projeto depende. A otimização de memória deve preservar o resultado necessário, não apenas evitar um erro de alocação.
Mantenha o resto da máquina no orçamento
A CPU, o RAM anfitrião e o percurso de armazenamento preparam e alimentam o trabalho da GPU. Uma descodificação de entrada lenta ou memória do anfitrião insuficiente podem deixar o acelerador à espera. Os ficheiros de modelo e os conjuntos de dados grandes também precisam de espaço em disco suficiente para a instalação, as conversões temporárias e as atualizações. Avalie o pipeline completo em vez de comprar uma GPU e esperar que todos os passos anteriores se tornem mais rápidos.
Várias GPUs não se comportam automaticamente como um único dispositivo de memória agregada. A aplicação tem de utilizar uma estratégia paralela adequada, e a sobrecarga de comunicação pode ser relevante. Confirme quantos dispositivos são fornecidos, a memória de cada um e a disposição suportada pelo software. Uma lista de nomes de atualização de GPU não é uma descrição verificada da memória disponível para um processo não modificado.
Use um teste de aceitação representativo
Defina um teste com a pilha de software escolhida, a entrada máxima esperada e a simultaneidade permitida. Meça a memória máxima, o tempo de conclusão, os erros e a qualidade do resultado. Mantenha alguma margem para a variação normal em tempo de execução e para a manutenção, com a quantidade justificada por observações. Se a carga de trabalho não couber, decida se deve reduzir a simultaneidade, alterar a implementação ou escolher hardware diferente.
A Tensor GPU apresenta escolhas relacionadas com a GPU no catálogo da SwissOctet. Confirme o dispositivo exato, a VRAM por dispositivo, a compatibilidade dos controladores e a configuração selecionada antes de confiar nela. O site não fornece uma garantia de adequação específica para cada aplicação. Um teste de aceitação documentado liga esses detalhes de hardware ao trabalho que precisa que a máquina realize.
A sua lista de verificação prática.
- Confirme a arquitetura e o ambiente de execução de GPU suportados.
- Orçamente os pesos, os intermédios, as caches e os espaços de trabalho.
- Meça os picos na entrada máxima pretendida e na simultaneidade máxima.
- Compare as vistas de memória da framework e ao nível do dispositivo.
- Valide o resultado após alterações de precisão ou de formato.
- Confirme a VRAM exata por dispositivo antes de encomendar.
Os detalhes que importam.
O tamanho do modelo guardado é igual à procura de VRAM?+
Não. A execução acrescenta resultados intermédios, espaços de trabalho, caches e outras alocações, e os formatos de armazenamento podem diferir das representações em memória.
Acrescentar uma segunda GPU duplica automaticamente a memória utilizável?+
Não. A aplicação precisa de uma estratégia paralela adequada. Os limites por dispositivo e o comportamento das comunicações continuam a ser relevantes.
A precisão reduzida resolve sempre um problema de falta de memória?+
Não. Pode reduzir algumas alocações, mas o suporte, os buffers restantes e a qualidade aceitável do resultado têm de ser testados.
Vá à fonte.
Estas referências sustentam os conceitos técnicos deste guia. Siga a documentação atual antes de alterar um sistema de produção.
- NVIDIA: Introdução ao desempenho da aprendizagem profunda docs.nvidia.com
- PyTorch: Compreender a utilização de memória CUDA docs.pytorch.org
- PyTorch: gestão de memória CUDA docs.pytorch.org
Orientação editorial da SwissOctet. Os exemplos são ilustrativos. As especificações de serviço, as opções disponíveis e as condições contratuais devem ser verificadas separadamente.