# Giv dine AI-arbejdere et afgrænset sted at køre | SwissOctet Insights https://swissoctet.com/da/insights/give-ai-workers-a-bounded-runtime/ SwissOctet / Indsigter / Cloud & VPS Cloud & VPS Anvendt · 4 min læsning Giv dine AI-arbejdere et afgrænset sted at køre Adskil modelinferens fra orkestrering, dimensionér den faktiske arbejder, og begræns hvad dens værktøjer kan ændre, før du sætter en AI-arbejdsgang på en server. Af SwissOctet Editorial Gem guide Kopiér link PÅ DENNE SIDE 01 Navngiv opgaven, før du vælger en maskine 02 Adskil en fjernmodel fra en lokal model 03 Mål en repræsentativ kø 04 Giv værktøjer mindre myndighed end arbejderens ambition 05 Hold ressourcekontroller og gendannelse eksplicitte 06 Gør den første udrulning til en accepttest Din praktiske tjekliste Kilder og videre læsning Tilbage til biblioteket DET DIREKTE SVAR En AI-arbejdsgang har brug for ressourcer til sine faktiske værktøjer og samtidighed samt tilladelser, der forbliver håndhævelige uden for modellen. Fjerninferens og lokal inferens fører til forskellige beslutninger om CPU, hukommelse, lager og GPU. 01 Navngiv opgaven, før du vælger en maskine En AI-arbejder kombinerer en model med software, der modtager opgaver, indsamler kontekst og kalder værktøjer. En planlagt dokumentklassificering, en intern søgeassistent og en browserstyret arbejdsgang har forskellige driftsbehov. Skriv input, det forventede output, de systemer, den må kontakte, og det punkt, hvor en person godkender en konsekvensrig handling, ned. Denne lille specifikation fortæller dig mere om værten end betegnelsen agent. Start med én gentagelig opgave og en snæver konto. En arbejder, der udarbejder et svar, har brug for mindre myndighed end en, der sender det. Hold disse faser adskilt i applikationen. Serveren bør understøtte den godkendte arbejdsgang uden at gøre hver genereret instruktion til en eksekverbar handling. Fuldførelse betyder et verificeret resultat eller en klar fejltilstand frem for en uendeligt kørende løkke. 02 Adskil en fjernmodel fra en lokal model Når modellen kører bag en ekstern API, hoster VPS primært køen, applikationen, værktøjerne og den vedvarende tilstand. Dens hukommelsesbehov kommer fra disse processer, herunder eventuelle browsere eller dokumentparsere. En GPU på denne maskine accelererer ikke en model, der kører et andet sted. Registrer, hvilket indhold der krydser API-grænsen, og vurder den udbyder uafhængigt af arbejderens placering. Lokal inferens føjer modelopbevaring, modelhukommelse og runtime-kompatibilitet til budgettet. Inferensværktøjer som Ollama eksponerer oplysninger om CPU- eller GPU-placering og samtidige anmodninger. Test den valgte model, kontekstlængde og samtidighed sammen. En større kontekst eller flere samtidige job kan øge hukommelsesbehovet; en modelfils størrelse alene er en ufuldstændig dimensioneringsmetode. Kontroller runtime'ens understøttede hardware, før du vælger en GPU-konfiguration. Arbejdermønster Vigtigste ressource-spørgsmål Grænse, der skal gennemgås Fjernmodel API Applikations- og værktøjshukommelse Indhold sendt til modeludbyderen Lokal model Model, kontekst og arbejdshukommelse Runtime- og enhedskompatibilitet Browserarbejdsgang Spidsbelastning af browserprocesser og midlertidige filer Webindhold og tilladte handlinger 03 Mål en repræsentativ kø Forbered et lille sæt opgaver med normale og usædvanligt store input. Mål spidshukommelse, forløbet behandlingstid, midlertidig lagring og antallet af eksterne kald. Medtag fejltilfælde: en utilgængelig API, et fejlbehæftet dokument og en værktøjstimeout. Disse målinger er en planlægningsøvelse for din software, ikke en benchmark eller et ydelsesløfte for en SwissOctet-plan. Angiv et maksimalt antal aktive job og en maksimal udførelsestid. Sæt arbejde i kø, der ikke kan starte sikkert, og afvis overbelastning på en forudsigelig måde. Gentagen øjeblikkelig genforsøg af hver fejl kan mangedoble både servertrykket og API-forbruget. Brug en afgrænset genforsøgspolitik og en identifikator, der forhindrer, at den samme fuldførte handling anvendes to gange. Reserver kapacitet til operativsystemet, overvågning og vedligeholdelse, mens job er aktive. 04 Giv værktøjer mindre myndighed end arbejderens ambition Dokumenter og websider, der leveres til en model, kan indeholde instruktioner, der har til formål at omdirigere den. Behandl hentet indhold som input, ikke som en kilde til driftsmæssig tilladelse. OWASPs vejledning om prompt injection anbefaler flere kontrolniveauer, herunder begrænsede værktøjer og kontroller omkring følsomme handlinger. Læg tilladelser i værktøjets implementering og driftsmiljøet, hvor modellen ikke kan omskrive dem gennem et svar. Brug separate legitimationsoplysninger til separate job med adgang kun til de poster eller mapper, hver enkelt har brug for. Foretræk strukturerede parametre frem for modelgenererede shell-kommandoer. Validér fildestinationer og udgående mål. Kræv en bevidst godkendelsesgrænse for at sende beskeder, offentliggøre ændringer eller ændre vigtige poster. En skrivebeskyttet research-arbejder og en produktionsadministrator bør aldrig arve de samme legitimationsoplysninger, blot fordi begge kører på én vært. 05 Hold ressourcekontroller og gendannelse eksplicitte Containere kan organisere afhængigheder og procesgrænser, men de kræver bevidst konfiguration. Docker dokumenterer, at containere ikke har ressourcegrænser som standard. Angiv passende grænser for hukommelse og CPU, brug en uprivilegeret proces, hvor det understøttes, og montér kun de nødvendige data. Hold modelendpoints og administrationsgrænseflader begrænsede i stedet for at eksponere dem blot for at gøre indledende test bekvem. Bevar opgavetilstanden separat fra midlertidige arbejdsfiler. Registrer nok information til at genkende fuldført arbejde efter en genstart uden at gemme hver prompt for evigt. Beskyt legitimationsoplysninger mod logfiler og genererede artefakter. Definer opbevaring for input, output og diagnostiske data. En gendannelsestest bør genstarte arbejderen og bekræfte, at uafsluttede job genoptages sikkert, fuldførte job forbliver fuldførte, og fejl forbliver synlige for operatøren. 06 Gør den første udrulning til en accepttest Kør den snævre arbejdsgang med syntetiske eller godkendte eksempeldata, før der gives bredere adgang. Kontroller nyttigt output, tilladelser, køadfærd og gendannelse efter en mislykket afhængighed. Overvåg hele processen, herunder browserbørneprocesser og datadownloads. Hvis modellen er lokal, skal du medtage en kold start og det tilsigtede antal samtidige anmodninger i testen. Brug Vector eller Pulse som specifikationsshortliste til almindelige arbejdere, og sammenlign kun Tensor, når inferens-runtime'en har brug for passende GPU-ressourcer. Bekræft kompatibilitet og tilgængelighed før en rigtig ordre. Udvid først arbejderens tilladelser, når dens adfærd kan gennemgås. Målet er en tjeneste med en klar driftsramme, et målbart ressourcebudget og en ligetil måde at stoppe og gendanne arbejde på. GØR DET TIL HANDLING Din praktiske tjekliste. ✓ Beskriv ét job og dets godkendelsesgrænse. ✓ Adskil fjern API-behandling fra lokal inferens. ✓ Mål værktøjer, browsere og spidsbelastningens samtidighed. ✓ Anvend grænser for tid, ressourcer og tilladelser. ✓ Test genstarter uden at duplikere fuldførte handlinger. Download tjekliste ALMINDELIGE SPØRGSMÅL De detaljer, der betyder noget. Har hver AI-arbejder brug for en GPU? + Nej. En arbejder, der kalder en fjernmodel API, har normalt brug for ressourcer til orkestrering og værktøjer. Lokal inferens har separate hardware- og runtime-krav. Gør en container en autonom arbejdsgang sikker? + Nej. Konfigurer dens tilladelser, monteringer, netværksadgang og ressourcegrænser, og kontroller konsekvensrige værktøjshandlinger uden for modellen. Holder hosting af arbejderen i Schweiz hver prompt der? + Nej. Fjernmodel-API'er og andre integrationer kan behandle indhold andre steder. Kortlæg disse afhængigheder eksplicit. PRIMÆRE REFERENCER Gå til kilden. Disse referencer understøtter de tekniske begreber i denne guide. Følg den aktuelle dokumentation, før du ændrer et produktionssystem. Docker: Ressourcebegrænsninger docs.docker.com OWASP: Forebyggelse af LLM-prompt-injection cheatsheetseries.owasp.org Ollama: FAQ om runtime og samtidighed docs.ollama.com Redaktionel vejledning af SwissOctet. Eksempler er illustrative. Servicespecifikationer, tilgængelige valgmuligheder og kontraktvilkår skal verificeres separat. FORBIND VIDENEN Relateret infrastruktur. Vector VPS Schweiz Pulse NVMe Schweiz Tensor GPU Schweiz BEHOLD TRÅDEN Dine næste feltnoter. Udforsk alle guider FELTNOTE / 01 + Cloud & VPS Fundament Sådan vælger du en VPS uden at gætte Omsæt en applikationsidé til et brugbart ressourcebudget, og sammenlign derefter CPU, hukommelse, storage og overførsel samlet. 4 min læsning Læs guiden FELTNOTE / 02 + Drift på dag to Anvendt En praktisk trusselsmodel for dit hostede projekt Kortlæg aktiver og tillidsgrænser, vælg nogle få realistiske fejlscenarier, og omdan dem til kontroller, du kan teste. 6 min. læsning Læs guiden FELTNOTE / 03 + Cloud & VPS Anvendt Dimensionér VPS CPU og hukommelse ud fra en reel arbejdsbelastning Opbyg et hukommelsesbudget, undersøg konkurrence, og adskil en travl tråd fra arbejde, der kan bruge flere virtuelle kerner. 6 min. læsning Læs guiden