Zapotrzebowanie na pamięć GPU obejmuje używane dane i wagi, wyniki pośrednie, przestrzenie robocze środowiska uruchomieniowego i pamięci podręczne zależne od obciążenia. Zmierz szczytowe użycie przy zamierzonej precyzji, rozmiarze partii i współbieżności; zapisany rozmiar modelu to tylko jedno z danych wejściowych.
Wybierz obciążenie przed wyborem GPU
Specyfikacja GPU staje się użyteczna, gdy znasz oprogramowanie i pracę, którą będzie wykonywać. Renderowanie, przetwarzanie obrazów, trenowanie i wnioskowanie mają różne wzorce pamięci i obliczeń. Sprawdź obsługiwaną architekturę GPU, sterowniki i środowisko uruchomieniowe aplikacji przed porównaniem pojemności. Karta z wystarczającą pamięcią może nadal być nieodpowiednia, jeśli wymagana ścieżka oprogramowania lub funkcja nie jest obsługiwana.
Opisz maksymalny rozmiar danych wejściowych, precyzję, rozmiar partii i jednoczesną pracę, którą zamierzasz dopuścić. W przypadku wnioskowania uwzględnij najdłuższe obsługiwane żądanie i równoczesne sesje. W przypadku renderowania uwzględnij reprezentatywną scenę i tekstury. Udana drobna demonstracja jest dowodem, że stos może się uruchomić; nie jest dowodem, że pełne obciążenie produkcyjne się zmieści.
Oddziel dane trwałe od pamięci roboczej
Wagi lub zasoby wejściowe mogą pozostać na urządzeniu, podczas gdy wyniki pośrednie i bufory tymczasowe pojawiają się podczas wykonywania. Trenowanie może dodatkowo wymagać gradientów i stanu optymalizatora. Obciążenia wnioskowania mogą utrzymywać pamięci podręczne, których rozmiar zmienia się wraz z żądaniem. Dokładny układ zależy od modelu, frameworka i implementacji. Nie stosuj jednego uniwersalnego mnożnika do każdego zadania i nie traktuj go jako gwarancji pojemności.
Jako prosty przykład arytmetyczny, hipotetyczny model z siedmioma miliardami parametrów reprezentowany za pomocą dwóch bajtów na parametr potrzebuje około czternastu miliardów bajtów tylko na te parametry. To obliczenie nie obejmuje alokacji środowiska uruchomieniowego, aktywacji, pamięci podręcznych ani narzutu formatu. Jest to przykład planistyczny niższego poziomu, a nie stwierdzenie, że takie obciążenie zmieści się w konkretnej konfiguracji SwissOctet.
| Składnik pamięci | Co go zmienia | Jak to zbadać |
|---|---|---|
| Wagi lub zasoby sceny | Rozmiar modelu, reprezentacja i załadowane zasoby | Sprawdź wdrożony format i rzeczywistą załadowaną alokację |
| Wyniki pośrednie | Kształt danych wejściowych i rozmiar partii | Zmierz pełną reprezentatywną operację |
| Pamięci podręczne | Długość żądania i współbieżność | Przetestuj obsługiwane maksymalne obciążenie |
| Przestrzenie robocze i środowisko uruchomieniowe | Biblioteki, jądra i strategia wykonywania | Obserwuj szczytowe użycie urządzenia i frameworka |
Zmierz szczytowe użycie przez właściwy widok
Metryki frameworka i metryki na poziomie urządzenia mogą opisywać różne rzeczy. PyTorch rozróżnia pamięć przydzieloną tensorom od pamięci zarezerwowanej przez swój alokator z pamięcią podręczną i udostępnia miary szczytowe. Jego dokumentacja wizualizacji pamięci wyjaśnia również, że alokacje wykonane poza jego alokatorem mogą nie pojawić się w tym widoku. Porównaj raport frameworka z szerszym stanem urządzenia, zamiast zakładać, że jedna liczba obejmuje każdą alokację.
Rozgrzej rzeczywistą operację, a następnie zmierz pełne zadanie i realistyczne nakładanie się zadań. Zapisz wersje oprogramowania i dokładne warunki wejściowe. Zdarzenie braku pamięci może wystąpić w szczytowym momencie, więc spokojny końcowy zrzut może pominąć problem. Przechowuj zrzuty diagnostyczne prywatnie, gdy mogą zawierać szczegóły modelu lub informacje o danych wejściowych aplikacji.
Traktuj rozmiar partii i precyzję jako wybory projektowe
Większe partie mogą zmieniać zarówno wykorzystanie, jak i zapotrzebowanie na pamięć. Wytyczne dotyczące wydajności NVIDIA omawiają interakcję między kształtem operacji, intensywnością arytmetyczną i możliwościami sprzętu. Użyteczny rozmiar partii zależy od docelowego opóźnienia obciążenia, a także przepustowości. Polityka partii maksymalizująca ukończoną pracę na sekundę może sprawić, że poszczególni użytkownicy będą czekać dłużej, niż pozwala aplikacja.
Zmniejszona precyzja lub kwantyzacja może zmniejszyć niektóre wymagania dotyczące pamięci, ale zgodność i jakość wyników wymagają testowania. Zachowaj zestaw danych ewaluacyjnych i porównaj odpowiednie wyniki po zmianie formatu. Nie zmieniaj reprezentacji modelu wyłącznie po to, aby się zmieścił, bez sprawdzenia zachowania, od którego zależy projekt. Optymalizacja pamięci powinna zachować wymagany wynik, a nie tylko unikać błędu alokacji.
Uwzględnij w budżecie resztę maszyny
CPU, host RAM i ścieżka pamięci masowej przygotowują i zasilają pracę GPU. Wolne dekodowanie danych wejściowych lub niewystarczająca pamięć hosta mogą pozostawić akcelerator w oczekiwaniu. Duże pliki modeli i zestawy danych również potrzebują wystarczającej ilości miejsca na dysku na instalację, tymczasowe konwersje i aktualizacje. Oceń cały potok, zamiast kupować GPU i oczekiwać, że każdy poprzedzający krok stanie się szybszy.
Wiele GPU nie zachowuje się automatycznie jak jedno urządzenie z połączoną pamięcią. Aplikacja musi używać odpowiedniej strategii równoległości, a narzut komunikacji może mieć znaczenie. Potwierdź, ile urządzeń jest dostarczanych, pamięć każdego z nich i obsługiwany układ oprogramowania. Lista nazw ulepszeń GPU nie jest zweryfikowanym opisem pamięci dostępnej dla jednego niezmodyfikowanego procesu.
Użyj reprezentatywnego testu akceptacyjnego
Zdefiniuj test z wybranym stosem oprogramowania, oczekiwanym maksymalnym wejściem i dozwoloną współbieżnością. Zmierz szczytowe zużycie pamięci, czas ukończenia, błędy i jakość wyników. Zachowaj pewien zapas na normalne wahania środowiska uruchomieniowego i konserwację, z ilością uzasadnioną obserwacjami. Jeśli obciążenie się nie mieści, zdecyduj, czy zmniejszyć współbieżność, zmienić implementację czy wybrać inny sprzęt.
Tensor GPU przedstawia wybory związane z GPU w katalogu SwissOctet. Potwierdź dokładne urządzenie, VRAM na urządzenie, zgodność sterowników i wybraną konfigurację przed poleganiem na nich. Witryna nie zapewnia gwarancji dopasowania do konkretnej aplikacji. Udokumentowany test akceptacyjny łączy te szczegóły sprzętowe z pracą, którą maszyna ma wykonywać.
Twoja praktyczna lista kontrolna.
- Potwierdź obsługiwaną architekturę GPU i środowisko uruchomieniowe.
- Zaplanuj budżet na wagi, wyniki pośrednie, pamięci podręczne i przestrzenie robocze.
- Zmierz szczyty przy maksymalnym zamierzonym wejściu i współbieżności.
- Porównaj widoki pamięci frameworka i na poziomie urządzenia.
- Zweryfikuj wyniki po zmianach precyzji lub formatu.
- Potwierdź dokładny VRAM na urządzenie przed zamówieniem.
Szczegóły, które mają znaczenie.
Czy zapisany rozmiar modelu równa się zapotrzebowaniu na VRAM?+
Nie. Wykonywanie dodaje wyniki pośrednie, przestrzenie robocze, pamięci podręczne i inne alokacje, a formaty przechowywania mogą różnić się od reprezentacji w pamięci.
Czy dodanie drugiego GPU automatycznie podwoi dostępną pamięć?+
Nie. Aplikacja potrzebuje odpowiedniej strategii równoległości. Limity na urządzenie i zachowanie komunikacji nadal mają znaczenie.
Czy zmniejszona precyzja zawsze rozwiązuje problem braku pamięci?+
Nie. Może zmniejszyć niektóre alokacje, ale obsługa, pozostałe bufory i akceptowalna jakość wyników muszą zostać przetestowane.
Przejdź do źródła.
Te źródła wspierają koncepcje techniczne w tym przewodniku. Przed zmianą systemu produkcyjnego zapoznaj się z aktualną dokumentacją.
- NVIDIA: Pierwsze kroki z wydajnością uczenia głębokiego docs.nvidia.com
- PyTorch: Zrozumienie użycia pamięci CUDA docs.pytorch.org
- PyTorch: Zarządzanie pamięcią CUDA docs.pytorch.org
Wskazówki redakcyjne SwissOctet. Przykłady są ilustracyjne. Specyfikacje usług, dostępne opcje i warunki umowne należy zweryfikować osobno.