Nároky na paměť GPU zahrnují používaná data a váhy, mezivýsledky, pracovní prostory runtime a mezipaměti závislé na pracovní zátěži. Měřte špičkové využití při zamýšlené přesnosti, velikosti dávky a souběžnosti; uložená velikost modelu je jen jedním vstupem.
Zvolte pracovní zátěž dříve, než zvolíte GPU
Specifikace GPU se stane užitečnou, když znáte software a práci, kterou bude vykonávat. Vykreslování, zpracování obrazu, trénování a inference mají různé vzorce paměti a výpočtů. Před srovnáváním kapacity zkontrolujte architekturu GPU, ovladače a runtime podporované aplikací. Karta s dostatkem paměti může být stále nevhodná, pokud požadovaná softwarová cesta nebo funkce není podporována.
Popište maximální velikost vstupu, přesnost, velikost dávky a souběžnou práci, kterou hodláte povolit. U inference zahrňte nejdelší podporovaný požadavek a souběžné relace. U vykreslování zahrňte reprezentativní scénu a textury. Úspěšná drobná ukázka je důkazem, že se stack dokáže spustit; není důkazem, že se do něj vejde plná produkční zátěž.
Oddělte trvalá data od pracovní paměti
Váhy nebo vstupní prostředky mohou zůstat v zařízení, zatímco během provádění vznikají mezivýsledky a dočasné buffery. Trénování může navíc vyžadovat gradienty a stav optimalizátoru. Úlohy inference mohou udržovat mezipaměti, jejichž velikost se mění s požadavkem. Přesné uspořádání závisí na modelu, frameworku a implementaci. Neuplatňujte jeden univerzální násobitel na každou úlohu a nepovažujte jej za záruku kapacity.
Jako jednoduchý aritmetický příklad: hypotetický model se sedmi miliardami parametrů reprezentovaný dvěma bajty na parametr potřebuje jen pro tyto parametry přibližně čtrnáct miliard bajtů. Tento výpočet nezahrnuje alokace runtime, aktivace, mezipaměti a režii formátu. Je to příklad plánování na nižší úrovni, nikoli tvrzení, že se taková zátěž vejde do konkrétní konfigurace SwissOctet.
| Složka paměti | Co ji mění | Jak ji zkoumat |
|---|---|---|
| Váhy nebo prostředky scény | Velikost modelu, reprezentace a načtené prostředky | Prohlédněte nasazený formát a skutečnou načtenou alokaci |
| Mezivýsledky | Tvar vstupu a velikost dávky | Změřte úplnou reprezentativní operaci |
| Mezipaměti | Délka požadavku a souběžnost | Procvičte podporovanou maximální zátěž |
| Pracovní prostory a runtime | Knihovny, jádra a strategie provádění | Sledujte špičkové využití zařízení a frameworku |
Měřte špičkové využití správným pohledem
Metriky frameworku a metriky na úrovni zařízení mohou popisovat různé věci. PyTorch rozlišuje paměť přidělenou tensorům od paměti rezervované svým alokátorem s mezipamětí a poskytuje špičkové hodnoty. Jeho dokumentace k vizualizaci paměti také vysvětluje, že alokace provedené mimo jeho alokátor se v tomto pohledu nemusí objevit. Porovnávejte zprávu frameworku se širším stavem zařízení, místo abyste předpokládali, že jedno číslo pokrývá všechny alokace.
Zahřejte skutečnou operaci a poté měřte celou úlohu a realistické překrývání mezi úlohami. Zaznamenejte verze softwaru a přesné vstupní podmínky. K události nedostatku paměti může dojít v dočasném špičkovém okamžiku, takže klidný konečný snímek může problém přehlédnout. Diagnostické záznamy uchovávejte v soukromí, pokud mohou obsahovat podrobnosti o modelu nebo informace o vstupech vaší aplikace.
Berte velikost dávky a přesnost jako designová rozhodnutí
Větší dávky mohou změnit jak využití, tak nároky na paměť. Pokyny k výkonu NVIDIA pojednávají o interakci mezi tvarem operace, aritmetickou intenzitou a schopnostmi hardwaru. Užitečná velikost dávky závisí na cíli latence pracovní zátěže i na propustnosti. Politika dávek, která maximalizuje dokončenou práci za sekundu, může jednotlivé uživatele nechat čekat déle, než aplikace připouští.
Snížená přesnost nebo kvantizace může snížit některé nároky na paměť, ale kompatibilitu a kvalitu výstupu je třeba testovat. Uchovávejte hodnotící datovou sadu a po změně formátu porovnejte příslušné výsledky. Neměňte reprezentaci modelu jen proto, aby se vešel, bez kontroly chování, na kterém projekt závisí. Optimalizace paměti by měla zachovat požadovaný výsledek, ne jen zabránit chybě alokace.
Zahrňte do rozpočtu i zbytek stroje
CPU, hostitelský RAM a cesta k úložišti připravují a napájejí práci GPU. Pomalé dekódování vstupu nebo nedostatek paměti hostitele mohou nechat akcelerátor čekat. Velké soubory modelů a datové sady také potřebují dostatek místa na disku pro instalaci, dočasné konverze a aktualizace. Vyhodnocujte celý pipeline, místo abyste koupili GPU a očekávali, že všechny předchozí kroky zrychlí.
Více GPU se automaticky nechová jako jedno zařízení se sdruženou pamětí. Aplikace musí použít vhodnou paralelní strategii a režie komunikace může hrát roli. Ověřte, kolik zařízení je poskytováno, jakou má každé paměť a jaké uspořádání software podporuje. Seznam názvů upgradů GPU není ověřeným popisem paměti dostupné jednomu neupravenému procesu.
Použijte reprezentativní akceptační test
Definujte test se zvoleným softwarovým stackem, očekávaným maximálním vstupem a povolenou souběžností. Měřte špičkovou paměť, dobu dokončení, chyby a kvalitu výstupu. Ponechte určitou rezervu pro běžné provozní výkyvy a údržbu, jejíž výši odůvodníte pozorováním. Pokud se zátěž nevejde, rozhodněte se, zda snížit souběžnost, změnit implementaci nebo zvolit jiný hardware.
Tensor GPU představuje volby související s GPU v katalogu SwissOctet. Před spoléháním na ně ověřte přesné zařízení, VRAM na zařízení, kompatibilitu ovladačů a zvolenou konfiguraci. Web neposkytuje záruku vhodnosti pro konkrétní aplikaci. Zdokumentovaný akceptační test spojuje tyto hardwarové podrobnosti s prací, kterou má stroj vykonávat.
Váš praktický kontrolní seznam.
- Ověřte podporovanou architekturu GPU a runtime.
- Naplánujte rozpočet pro váhy, mezivýsledky, mezipaměti a pracovní prostory.
- Měřte špičky při maximálním zamýšleném vstupu a souběžnosti.
- Porovnejte pohledy na paměť z frameworku a na úrovni zařízení.
- Po změnách přesnosti nebo formátu ověřte výstup.
- Před objednávkou ověřte přesnou VRAM na zařízení.
Podrobnosti, na kterých záleží.
Rovná se uložená velikost modelu nárokům na VRAM?+
Ne. Provádění přidává mezivýsledky, pracovní prostory, mezipaměti a další alokace, zatímco úložné formáty se mohou lišit od reprezentací v paměti.
Zdvojnásobí přidání druhého GPU automaticky použitelnou paměť?+
Ne. Aplikace potřebuje vhodnou paralelní strategii. Limity na zařízení a chování komunikace stále hrají roli.
Vyřeší snížená přesnost vždy problém s nedostatkem paměti?+
Ne. Může snížit některé alokace, ale podpora, zbývající buffery a přijatelná kvalita výstupu musí být otestovány.
Jděte ke zdroji.
Tyto zdroje podporují technické koncepty v tomto průvodci. Před změnou produkčního systému se řiďte aktuální dokumentací.
- NVIDIA: Začínáme s výkonem hlubokého učení docs.nvidia.com
- PyTorch: Porozumění využití paměti CUDA docs.pytorch.org
- PyTorch: Správa paměti CUDA docs.pytorch.org
Redakční vedení od SwissOctet. Příklady jsou ilustrativní. Specifikace služeb, dostupné možnosti a smluvní podmínky je nutné ověřit samostatně.