# Daj swoim pracownikom AI ograniczone miejsce do działania | SwissOctet Insights https://swissoctet.com/pl/insights/give-ai-workers-a-bounded-runtime/ SwissOctet / Spostrzeżenia / Chmura i VPS Chmura i VPS Praktyczne · 4 min czytania Daj swoim pracownikom AI ograniczone miejsce do działania Oddziel wnioskowanie modelu od orkiestracji, dobierz rozmiar rzeczywistego workera i ogranicz to, co mogą zmieniać jego narzędzia, zanim umieścisz przepływ pracy AI na serwerze. Autor: SwissOctet Editorial Zapisz przewodnik Kopiuj link NA TEJ STRONIE 01 Nazwij zadanie przed wyborem maszyny 02 Oddziel model zdalny od modelu lokalnego 03 Zmierz reprezentatywną kolejkę 04 Daj narzędziom mniej uprawnień niż ambicja workera 05 Utrzymuj kontrolę zasobów i odzyskiwanie w sposób jawny 06 Uczyń pierwsze wdrożenie testem akceptacyjnym Twoja praktyczna lista kontrolna Źródła i dalsza lektura Powrót do biblioteki BEZPOŚREDNIA ODPOWIEDŹ Przepływ pracy AI potrzebuje zasobów dla swoich rzeczywistych narzędzi i współbieżności oraz uprawnień, które pozostają egzekwowalne poza modelem. Wnioskowanie zdalne i lokalne prowadzą do różnych decyzji dotyczących CPU, pamięci, pamięci masowej i GPU. 01 Nazwij zadanie przed wyborem maszyny Worker AI łączy model z oprogramowaniem, które odbiera zadania, gromadzi kontekst i wywołuje narzędzia. Zaplanowany klasyfikator dokumentów, wewnętrzny asystent wyszukiwania i przepływ pracy sterowany przeglądarką mają różne potrzeby operacyjne. Zapisz dane wejściowe, oczekiwane dane wyjściowe, systemy, z którymi może się kontaktować, oraz punkt, w którym osoba zatwierdza istotne działanie. Ta niewielka specyfikacja mówi więcej o hoście niż etykieta agent. Zacznij od jednego powtarzalnego zadania i wąskiego konta. Worker, który przygotowuje odpowiedź, potrzebuje mniej uprawnień niż ten, który ją wysyła. Utrzymuj te etapy oddzielnie w aplikacji. Serwer powinien obsługiwać zatwierdzony przepływ pracy bez zamieniania każdej wygenerowanej instrukcji w wykonywalną operację. Ukończenie oznacza zweryfikowany wynik lub jasny stan błędu, a nie pętlę działającą w nieskończoność. 02 Oddziel model zdalny od modelu lokalnego Gdy model działa za zewnętrznym API, VPS hostuje głównie kolejkę, aplikację, narzędzia i stan trwały. Jego zapotrzebowanie na pamięć wynika z tych procesów, w tym wszelkich przeglądarek lub parserów dokumentów. GPU na tej maszynie nie przyspiesza modelu działającego gdzie indziej. Zapisz, która treść przekracza granicę API, i oceń tego dostawcę niezależnie od lokalizacji workera. Wnioskowanie lokalne dodaje do budżetu pamięć masową modelu, pamięć modelu i zgodność środowiska uruchomieniowego. Narzędzia wnioskowania, takie jak Ollama, udostępniają informacje o umieszczeniu CPU lub GPU oraz równoczesnych żądaniach. Przetestuj wybrany model, długość kontekstu i współbieżność razem. Większy kontekst lub więcej jednoczesnych zadań może zwiększyć zapotrzebowanie na pamięć; sam rozmiar pliku modelu jest niepełną metodą szacowania. Sprawdź obsługiwany sprzęt środowiska uruchomieniowego przed wyborem konfiguracji GPU. Wzorzec workera Główne pytanie o zasoby Granica do przeglądu Model zdalny API Pamięć aplikacji i narzędzi Treść wysyłana do dostawcy modelu Model lokalny Model, kontekst i pamięć robocza Zgodność środowiska uruchomieniowego i urządzenia Przepływ pracy przeglądarki Szczytowa liczba procesów przeglądarki i plików tymczasowych Treść internetowa i dozwolone działania 03 Zmierz reprezentatywną kolejkę Przygotuj niewielki zestaw zadań z normalnymi i nietypowo dużymi danymi wejściowymi. Zmierz szczytowe zużycie pamięci, czas przetwarzania, pamięć tymczasową i liczbę wywołań zewnętrznych. Uwzględnij przypadki awarii: niedostępny API, nieprawidłowy dokument i przekroczenie limitu czasu narzędzia. Te pomiary są ćwiczeniem planistycznym dla Twojego oprogramowania, a nie benchmarkiem ani obietnicą wydajności dla planu SwissOctet. Ustaw maksymalną liczbę aktywnych zadań i maksymalny czas wykonania. Kolejkuj pracę, której nie można bezpiecznie rozpocząć, i odrzucaj przeciążenie w przewidywalny sposób. Natychmiastowe ponawianie każdej awarii może zwielokrotnić zarówno obciążenie serwera, jak i wydatki na API. Stosuj ograniczoną politykę ponawiania i identyfikator, który zapobiega dwukrotnemu zastosowaniu tego samego ukończonego działania. Zarezerwuj pojemność dla systemu operacyjnego, monitorowania i konserwacji, gdy zadania są aktywne. 04 Daj narzędziom mniej uprawnień niż ambicja workera Dokumenty i strony internetowe dostarczone modelowi mogą zawierać instrukcje mające na celu przekierowanie go. Traktuj pobraną treść jako dane wejściowe, a nie źródło uprawnień operacyjnych. Wytyczne OWASP dotyczące wstrzykiwania promptów zalecają kilka warstw kontroli, w tym ograniczone narzędzia i kontrole wokół wrażliwych działań. Umieść uprawnienia w implementacji narzędzia i środowisku operacyjnym, gdzie model nie może ich przepisać poprzez odpowiedź. Używaj oddzielnych poświadczeń dla oddzielnych zadań, z dostępem tylko do rekordów lub katalogów, których każde potrzebuje. Preferuj parametry strukturalne zamiast poleceń powłoki generowanych przez model. Waliduj miejsca docelowe plików i cele wychodzące. Wymagaj celowej granicy zatwierdzania dla wysyłania wiadomości, publikowania zmian lub modyfikowania ważnych rekordów. Worker badawczy tylko do odczytu i administrator produkcyjny nigdy nie powinni dziedziczyć tych samych poświadczeń tylko dlatego, że oba działają na jednym hoście. 05 Utrzymuj kontrolę zasobów i odzyskiwanie w sposób jawny Kontenery mogą organizować zależności i granice procesów, ale wymagają celowej konfiguracji. Docker dokumentuje, że kontenery domyślnie nie mają limitów zasobów. Ustaw odpowiednie limity pamięci i CPU, używaj nieuprzywilejowanego procesu, gdy jest to obsługiwane, i montuj tylko wymagane dane. Ogranicz punkty końcowe modeli i interfejsy administracyjne, zamiast wystawiać je po prostu, aby ułatwić wstępne testowanie. Utrwal stan zadania oddzielnie od tymczasowych plików roboczych. Zapisz wystarczające informacje, aby rozpoznać ukończoną pracę po restarcie, bez przechowywania każdego promptu na zawsze. Chroń poświadczenia przed logami i wygenerowanymi artefaktami. Zdefiniuj okres przechowywania danych wejściowych, wyjściowych i diagnostycznych. Test odzyskiwania powinien ponownie uruchomić workera i zweryfikować, że nieukończone zadania wznawiają się bezpiecznie, ukończone zadania pozostają ukończone, a awarie pozostają widoczne dla operatora. 06 Uczyń pierwsze wdrożenie testem akceptacyjnym Uruchom wąski przepływ pracy z syntetycznymi lub zatwierdzonymi danymi przykładowymi przed przyznaniem szerszego dostępu. Sprawdź użyteczne dane wyjściowe, uprawnienia, zachowanie kolejki i odzyskiwanie po awarii zależności. Obserwuj cały proces, w tym procesy potomne przeglądarki i pobieranie danych. Jeśli model jest lokalny, uwzględnij w teście zimny start i zamierzoną liczbę równoczesnych żądań. Użyj Vector lub Pulse jako krótkiej listy specyfikacji dla zwykłych workerów, a Tensor porównaj tylko wtedy, gdy środowisko wnioskowania potrzebuje odpowiednich zasobów GPU. Potwierdź zgodność i dostępność przed rzeczywistym zamówieniem. Rozszerzaj uprawnienia workera dopiero po możliwości przejrzenia jego zachowania. Celem jest usługa z jasnym zakresem operacyjnym, mierzalnym budżetem zasobów i prostym sposobem zatrzymania i odzyskania pracy. ZAMIEŃ TO W DZIAŁANIE Twoja praktyczna lista kontrolna. ✓ Opisz jedno zadanie i jego granicę zatwierdzania. ✓ Oddziel zdalne przetwarzanie API od wnioskowania lokalnego. ✓ Zmierz narzędzia, przeglądarki i szczytową współbieżność. ✓ Zastosuj limity czasu, zasobów i uprawnień. ✓ Testuj restarty bez duplikowania ukończonych działań. Pobierz listę kontrolną CZĘSTE PYTANIA Szczegóły, które mają znaczenie. Czy każdy worker AI potrzebuje GPU? + Nie. Worker wywołujący zdalny model API zwykle potrzebuje zasobów do orkiestracji i narzędzi. Wnioskowanie lokalne ma oddzielne wymagania sprzętowe i środowiskowe. Czy kontener zapewnia bezpieczeństwo autonomicznego przepływu pracy? + Nie. Skonfiguruj jego uprawnienia, punkty montowania, dostęp sieciowy i limity zasobów oraz sprawdzaj istotne działania narzędzi poza modelem. Czy hostowanie workera w Szwajcarii utrzymuje tam każdy prompt? + Nie. Zdalne interfejsy API modeli i inne integracje mogą przetwarzać treść gdzie indziej. Zmapuj te zależności w sposób jawny. GŁÓWNE ŹRÓDŁA Przejdź do źródła. Te źródła wspierają koncepcje techniczne w tym przewodniku. Przed zmianą systemu produkcyjnego zapoznaj się z aktualną dokumentacją. Docker: Ograniczenia zasobów docs.docker.com OWASP: Zapobieganie wstrzykiwaniu promptów LLM cheatsheetseries.owasp.org Ollama: FAQ dotyczące środowiska uruchomieniowego i współbieżności docs.ollama.com Wskazówki redakcyjne SwissOctet. Przykłady są ilustracyjne. Specyfikacje usług, dostępne opcje i warunki umowne należy zweryfikować osobno. POŁĄCZ WIEDZĘ Powiązana infrastruktura. Vector VPS Szwajcaria Pulse NVMe Szwajcaria Tensor GPU Szwajcaria ZACHOWAJ WĄTEK Twoje następne notatki z terenu. Poznaj wszystkie przewodniki NOTATKA Z TERENU / 01 + Chmura i VPS Podstawy Jak wybrać VPS bez zgadywania Zamień pomysł na aplikację w użyteczny budżet zasobów, a następnie porównaj CPU, pamięć, storage i transfer razem. 4 min czytania Przeczytaj przewodnik NOTATKA Z TERENU / 02 + Operacje dnia drugiego Praktyczne Praktyczny model zagrożeń dla hostowanego projektu Zmapuj zasoby i granice zaufania, wybierz kilka realistycznych scenariuszy awarii i przekształć je w mechanizmy kontrolne, które możesz przetestować. 6 min czytania Przeczytaj przewodnik NOTATKA Z TERENU / 03 + Chmura i VPS Praktyczne Dobierz CPU i pamięć VPS do rzeczywistego obciążenia Zbuduj budżet pamięci, sprawdź kontencję i oddziel jeden zajęty wątek od pracy, która może wykorzystać kilka wirtualnych rdzeni. 6 min czytania Przeczytaj przewodnik