Ett AI-arbetsflöde behöver resurser för sina faktiska verktyg och sin samtidighet, samt behörigheter som förblir verkställbara utanför modellen. Fjärrinferens och lokal inferens leder till olika beslut om CPU, minne, lagring och GPU.
Namnge jobbet innan du väljer maskin
En AI-arbetare kombinerar en modell med programvara som tar emot uppgifter, samlar kontext och anropar verktyg. En schemalagd dokumentklassificerare, en intern sökassistent och ett webbläsardrivet arbetsflöde har olika driftbehov. Skriv ner indata, förväntade utdata, vilka system den får kontakta och punkten där en person godkänner en konsekvensåtgärd. Denna lilla specifikation säger mer om värden än etiketten agent.
Börja med ett repeterbart jobb och ett snävt konto. En arbetare som utformar ett svar behöver mindre befogenhet än en som skickar det. Håll dessa steg åtskilda i applikationen. Servern bör stödja det godkända arbetsflödet utan att göra varje genererad instruktion till en körbar åtgärd. Slutförande innebär ett verifierat resultat eller ett tydligt feltillstånd, snarare än en oändligt körande loop.
Separera en fjärrmodell från en lokal modell
När modellen körs bakom en extern API, är VPS huvudsakligen värd för kön, applikationen, verktygen och det beständiga tillståndet. Dess minnesbehov kommer från dessa processer, inklusive eventuella webbläsare eller dokumenttolkare. En GPU på denna maskin accelererar inte en modell som körs någon annanstans. Registrera vilket innehåll som passerar API-gränsen och utvärdera den leverantören oberoende av arbetarens plats.
Lokal inferens lägger till modellagring, modellminne och körtidskompatibilitet i budgeten. Inferensverktyg som Ollama exponerar information om CPU- eller GPU-placering och samtidiga förfrågningar. Testa den valda modellen, kontextlängden och samtidigheten tillsammans. En större kontext eller fler samtidiga jobb kan öka minnesbehovet; enbart en modellfils storlek är en ofullständig dimensioneringsmetod. Kontrollera körtidens stödda hårdvara innan du väljer en GPU-konfiguration.
| Arbetarmönster | Huvudsaklig resursfråga | Gräns att granska |
|---|---|---|
| Fjärrmodell API | Applikations- och verktygsminne | Innehåll som skickas till modellleverantören |
| Lokal modell | Modell, kontext och arbetsminne | Körtids- och enhetskompatibilitet |
| Webbläsararbetsflöde | Toppar för webbläsarprocesser och tillfälliga filer | Webbinnehåll och tillåtna åtgärder |
Mät en representativ kö
Förbered en liten uppsättning uppgifter med normala och ovanligt stora indata. Mät toppminne, bearbetningstid, tillfällig lagring och antalet externa anrop. Inkludera fel fall: en otillgänglig API, ett felformat dokument och en verktygstimeout. Dessa mätningar är en planeringsövning för din programvara, inte ett riktmärke eller prestandalöfte för en SwissOctet-plan.
Ange ett maximalt antal aktiva jobb och en maximal körtid. Köa arbete som inte kan starta säkert och avvisa överbelastning på ett förutsägbart sätt. Att omedelbart försöka igen vid varje fel kan mångdubbla både servertryck och API-utgifter. Använd en begränsad återförsökspolicy och en identifierare som förhindrar att samma slutförda åtgärd tillämpas två gånger. Reservera kapacitet för operativsystemet, övervakning och underhåll medan jobb är aktiva.
Ge verktyg mindre befogenhet än arbetarens ambition
Dokument och webbsidor som tillhandahålls en modell kan innehålla instruktioner avsedda att omdirigera den. Behandla hämtat innehåll som indata, inte som en källa till driftbehörighet. OWASPs vägledning om prompt injection rekommenderar flera kontrollager, inklusive begränsade verktyg och kontroller kring känsliga åtgärder. Lägg behörigheter i verktygets implementering och driftmiljön, där modellen inte kan skriva om dem genom ett svar.
Använd separata autentiseringsuppgifter för separata jobb, med åtkomst endast till de poster eller kataloger som var och en behöver. Föredra strukturerade parametrar framför modellgenererade skalkommandon. Validera filmål och utgående mål. Kräv en avsiktlig godkännandegräns för att skicka meddelanden, publicera ändringar eller ändra viktiga poster. En skrivskyddad forskningsarbetare och en produktionsadministratör bör aldrig ärva samma autentiseringsuppgifter bara för att båda körs på en värd.
Håll resurskontroller och återställning explicita
Containers kan organisera beroenden och processgränser, men de behöver avsiktlig konfiguration. Docker dokumenterar att containers inte har några resursgränser som standard. Ange lämpliga minnes- och CPU-gränser, använd en oprivilegierad process där det stöds och montera endast nödvändiga data. Håll modellslutpunkter och administrationsgränssnitt begränsade i stället för att exponera dem bara för att göra inledande testning bekväm.
Behåll uppgiftstillståndet separat från tillfälliga arbetsfiler. Registrera tillräckligt med information för att känna igen slutfört arbete efter en omstart utan att lagra varje prompt för alltid. Skydda autentiseringsuppgifter från loggar och genererade artefakter. Definiera lagringstid för indata, utdata och diagnostikdata. Ett återställningstest bör starta om arbetaren och verifiera att oavslutade jobb återupptas säkert, slutförda jobb förblir slutförda och fel förblir synliga för operatören.
Gör den första driftsättningen till ett acceptanstest
Kör det snäva arbetsflödet med syntetiska eller godkända exempeldata innan du beviljar bredare åtkomst. Kontrollera användbara utdata, behörigheter, köbeteende och återställning från ett misslyckat beroende. Observera hela processen, inklusive webbläsarbarn och nedladdningar av data. Om modellen är lokal, inkludera en kallstart och det avsedda antalet samtidiga förfrågningar i testet.
Använd Vector eller Pulse som en specifikationskortlista för vanliga arbetare och jämför Tensor endast när inferensens körtid behöver lämpliga GPU-resurser. Bekräfta kompatibilitet och tillgänglighet innan en verklig beställning. Utöka arbetarens behörigheter först efter att dess beteende kan granskas. Målet är en tjänst med ett tydligt driftkuvert, en mätbar resursbudget och ett enkelt sätt att stoppa och återställa arbete.
Din praktiska checklista.
- Beskriv ett jobb och dess godkännandegräns.
- Separera fjärr-API-bearbetning från lokal inferens.
- Mät verktyg, webbläsare och toppbelastning för samtidighet.
- Tillämpa tids-, resurs- och behörighetsgränser.
- Testa omstarter utan att dubblera slutförda åtgärder.
Detaljerna som spelar roll.
Behöver varje AI-arbetare en GPU?+
Nej. En arbetare som anropar en fjärrmodell API behöver vanligtvis resurser för orkestrering och verktyg. Lokal inferens har separata krav på hårdvara och körtid.
Gör en container ett autonomt arbetsflöde säkert?+
Nej. Konfigurera dess behörigheter, monteringar, nätverksåtkomst och resursgränser och kontrollera konsekvensåtgärder för verktyg utanför modellen.
Håller hosting av arbetaren i Schweiz varje prompt där?+
Nej. Fjärrmodell-API:er och andra integrationer kan behandla innehåll någon annanstans. Kartlägg dessa beroenden explicit.
Gå till källan.
Dessa referenser stöder de tekniska begreppen i denna guide. Följ aktuell dokumentation innan du ändrar ett produktionssystem.
- Docker: Resursbegränsningar docs.docker.com
- OWASP: Förebyggande av LLM Prompt Injection cheatsheetseries.owasp.org
- Ollama: FAQ för körtid och samtidighet docs.ollama.com
Redaktionell vägledning av SwissOctet. Exemplen är illustrativa. Tjänstespecifikationer, tillgängliga alternativ och avtalsvillkor måste verifieras separat.