Надайте прискореним навантаженням власне фізичне середовище у Швейцарії. Tensor поєднує варіанти NVIDIA Tesla з виділеними ресурсами сервера для сумісних робочих процесів інференсу, рендерингу та обробки GPU.
Виділене обладнання GPU, що поєднує два процесори Xeon E5-2680 v4, зазначену конфігурацію Tesla P4 / T4 GPU, 64 GB пам'яті DDR4 та SSD 1 TB. Мережева специфікація — порт 1 Gbps з необмеженим трафіком.
Конфігурація GPU з портом 10 Gbps для прискорених проєктів, які також переміщують більші набори даних. Зазначене обладнання включає два процесори Xeon E5-2680 v4, графічні процесори Tesla P4 / T4, 64 GB пам'яті DDR4 та SSD 1 TB.
Два процесори Xeon Gold 6134 супроводжують зазначену конфігурацію Tesla P4 / T4 GPU для виділених прискорених обчислень. Цей план включає 64 GB пам'яті DDR4, SSD 1 TB та порт 1 Gbps з необмеженим трафіком.
Порівняйте перелічені специфікації та базові ціни. Остаточна доступність, доставка та застосовний податок підтверджуються у вашій пропозиції. Ілюстрації є концептуальними.
Зрозумійте, що робить цю родину послуг корисною.
Лінійка Tensor зазначена як bare metal. Плануйте свою операційну систему, драйвери та стек застосунків навколо вибраного обладнання, а не універсального віртуального екземпляра.
Конфігуратор розрізняє варіанти NVIDIA Tesla P4 та T4. Порівняйте зазначену пам'ять GPU з моделлю або завданням, яке хочете запускати.
Робочий процес GPU також потребує пам'яті хоста, підготовки даних і сховища. Перегляньте платформу Xeon та виберіть доповнення RAM або диска, де це корисно.
Порівняйте характеристики порту й трафіку в конфігураціях Tensor. Імпорт наборів даних і розповсюдження результатів можуть бути такими ж важливими, як і сам прискорювач.
Запускайте навантаження інференсу, чиї вимоги до фреймворку, точності та пам'яті відповідають вибраному прискорювачу NVIDIA.
Підготуйте робочий процес рендерингу чи візуальної обробки після перевірки сумісності рушія з GPU та драйверами.
Використовуйте застосунок із підтримкою прискорювача для повторюваних завдань із зображеннями, медіа чи числових завдань на даних, які ви маєте право обробляти.
Перш ніж вибирати сервер, перевірте, чи застосунок та його робочі дані вміщуються в пам'ять вибраного прискорювача. Архітектура моделі, точність і розмір пакета впливають на цю вимогу. Більший варіант пам'яті хоста RAM не збільшує автоматично власну пам'ять GPU.
Виберіть операційну систему, яку підтримує ваше програмне забезпечення, потім перевірте вимоги до драйвера NVIDIA та фреймворку. Попередня обробка CPU, читання зі сховища та передавання даних можуть обмежувати робочий процес, навіть коли GPU підходить. Проведіть тестування репрезентативного завдання перед плануванням великого виробничого завдання.
Tensor надає вам швейцарське розташування для стеку застосунків, який ви налаштовуєте. Визначте, хто може отримувати доступ до наборів даних, моделей і результатів, і тримайте чутливі матеріали поза публічними каталогами. Використовуйте ліцензоване програмне забезпечення та авторизовані набори даних; наявність GPU не передбачає жодного зовнішнього AI-сервісу чи заяви про обробку даних.
Розглядайте вибраний прискорювач, драйвер і застосунок як одне рішення щодо сумісності. Робота на основі CUDA, TensorFlow або PyTorch, наукова обробка та рендеринг GPU потребують підтримуваної комбінації програмного забезпечення. Відео робочі процеси також можуть використовувати FFmpeg і апаратне кодування, але підтримувані кодеки та практичну пропускну здатність потрібно перевірити для вибраного P4 або T4. Підтвердьте роботи зі встановлення та доступ оператора перед доставкою.
Доступні вибори залежать від вибраної конфігурації. Дивіться включені вибори та ціни опцій у конфігураторі.
Конкретні відповіді для цієї родини послуг.
Порівняйте варіанти P4 та T4 зі списком підтримки вашого програмного забезпечення та потребами в пам'яті. Вибраний варіант, а не назва сімейства, визначає конфігурацію прискорювача.
Ні. Системна пам'ять RAM та власна пам'ять GPU — це різні ресурси. Перегляньте варіант прискорювача та варіант пам'яті хоста окремо.
Каталог вказує вибори операційної системи та програмного забезпечення. Підтвердьте будь-який потрібний фреймворк, драйвер і роботи зі встановлення як частину вашого плану розгортання.
Перевірте підтримувані застосунком вимоги до прискорювача, драйвера та операційної системи. GPU, зазначений у специфікації сервера, не встановлює сумісності з кожним рушієм.
Порівняйте платформу CPU та мережевий порт, а також вибір GPU. Навантаження з великими передаваннями даних може потребувати іншого балансу, ніж обчислювально інтенсивний локальний пакет.
Опубліковані варіанти Tensor вказують Tesla P4 та T4. Інші прискорювачі чи кілька GPU не входять до вибору каталогу й потребували б окремо перевіреної конфігурації.
Перевірте вибраний GPU, драйвер, набір інструментів і версії фреймворку разом. Встановлення та робоче тестове завдання потребують підтвердження; зазначення прискорювача NVIDIA не робить фреймворк попередньо налаштованим.
Оцініть FFmpeg, підтримку апаратного кодування та кодеки, потрібні для вашого робочого процесу. Підтримка HLS, DASH, WebRTC або RTMP залежить від програмного забезпечення, яке ви розгортаєте, і жодна кількість потоків чи затримка не обіцяється.
План вказує свій порт, необмежений трафік і п'ять IP-адрес. Підтвердьте з оператором root- або адміністраторський доступ, засоби відновлення та базовий захист; додаткові IP та програмні опції є окремими.
Врахуйте ваги, активації, кеші та тимчасові буфери, а потім перевірте пікове навантаження, а не лише файл моделі.
Читати посібникВідокремте інференс моделі від оркестрації, визначте розмір фактичного воркера й обмежте те, що можуть змінювати його інструменти, перш ніж розміщувати AI-робочий процес на сервері.
Читати посібникВиберіть свої ресурси. Зберігайте контроль над своєю ідентичністю.