En AI-arbejdsgang har brug for ressourcer til sine faktiske værktøjer og samtidighed samt tilladelser, der forbliver håndhævelige uden for modellen. Fjerninferens og lokal inferens fører til forskellige beslutninger om CPU, hukommelse, lager og GPU.
Navngiv opgaven, før du vælger en maskine
En AI-arbejder kombinerer en model med software, der modtager opgaver, indsamler kontekst og kalder værktøjer. En planlagt dokumentklassificering, en intern søgeassistent og en browserstyret arbejdsgang har forskellige driftsbehov. Skriv input, det forventede output, de systemer, den må kontakte, og det punkt, hvor en person godkender en konsekvensrig handling, ned. Denne lille specifikation fortæller dig mere om værten end betegnelsen agent.
Start med én gentagelig opgave og en snæver konto. En arbejder, der udarbejder et svar, har brug for mindre myndighed end en, der sender det. Hold disse faser adskilt i applikationen. Serveren bør understøtte den godkendte arbejdsgang uden at gøre hver genereret instruktion til en eksekverbar handling. Fuldførelse betyder et verificeret resultat eller en klar fejltilstand frem for en uendeligt kørende løkke.
Adskil en fjernmodel fra en lokal model
Når modellen kører bag en ekstern API, hoster VPS primært køen, applikationen, værktøjerne og den vedvarende tilstand. Dens hukommelsesbehov kommer fra disse processer, herunder eventuelle browsere eller dokumentparsere. En GPU på denne maskine accelererer ikke en model, der kører et andet sted. Registrer, hvilket indhold der krydser API-grænsen, og vurder den udbyder uafhængigt af arbejderens placering.
Lokal inferens føjer modelopbevaring, modelhukommelse og runtime-kompatibilitet til budgettet. Inferensværktøjer som Ollama eksponerer oplysninger om CPU- eller GPU-placering og samtidige anmodninger. Test den valgte model, kontekstlængde og samtidighed sammen. En større kontekst eller flere samtidige job kan øge hukommelsesbehovet; en modelfils størrelse alene er en ufuldstændig dimensioneringsmetode. Kontroller runtime'ens understøttede hardware, før du vælger en GPU-konfiguration.
| Arbejdermønster | Vigtigste ressource-spørgsmål | Grænse, der skal gennemgås |
|---|---|---|
| Fjernmodel API | Applikations- og værktøjshukommelse | Indhold sendt til modeludbyderen |
| Lokal model | Model, kontekst og arbejdshukommelse | Runtime- og enhedskompatibilitet |
| Browserarbejdsgang | Spidsbelastning af browserprocesser og midlertidige filer | Webindhold og tilladte handlinger |
Mål en repræsentativ kø
Forbered et lille sæt opgaver med normale og usædvanligt store input. Mål spidshukommelse, forløbet behandlingstid, midlertidig lagring og antallet af eksterne kald. Medtag fejltilfælde: en utilgængelig API, et fejlbehæftet dokument og en værktøjstimeout. Disse målinger er en planlægningsøvelse for din software, ikke en benchmark eller et ydelsesløfte for en SwissOctet-plan.
Angiv et maksimalt antal aktive job og en maksimal udførelsestid. Sæt arbejde i kø, der ikke kan starte sikkert, og afvis overbelastning på en forudsigelig måde. Gentagen øjeblikkelig genforsøg af hver fejl kan mangedoble både servertrykket og API-forbruget. Brug en afgrænset genforsøgspolitik og en identifikator, der forhindrer, at den samme fuldførte handling anvendes to gange. Reserver kapacitet til operativsystemet, overvågning og vedligeholdelse, mens job er aktive.
Giv værktøjer mindre myndighed end arbejderens ambition
Dokumenter og websider, der leveres til en model, kan indeholde instruktioner, der har til formål at omdirigere den. Behandl hentet indhold som input, ikke som en kilde til driftsmæssig tilladelse. OWASPs vejledning om prompt injection anbefaler flere kontrolniveauer, herunder begrænsede værktøjer og kontroller omkring følsomme handlinger. Læg tilladelser i værktøjets implementering og driftsmiljøet, hvor modellen ikke kan omskrive dem gennem et svar.
Brug separate legitimationsoplysninger til separate job med adgang kun til de poster eller mapper, hver enkelt har brug for. Foretræk strukturerede parametre frem for modelgenererede shell-kommandoer. Validér fildestinationer og udgående mål. Kræv en bevidst godkendelsesgrænse for at sende beskeder, offentliggøre ændringer eller ændre vigtige poster. En skrivebeskyttet research-arbejder og en produktionsadministrator bør aldrig arve de samme legitimationsoplysninger, blot fordi begge kører på én vært.
Hold ressourcekontroller og gendannelse eksplicitte
Containere kan organisere afhængigheder og procesgrænser, men de kræver bevidst konfiguration. Docker dokumenterer, at containere ikke har ressourcegrænser som standard. Angiv passende grænser for hukommelse og CPU, brug en uprivilegeret proces, hvor det understøttes, og montér kun de nødvendige data. Hold modelendpoints og administrationsgrænseflader begrænsede i stedet for at eksponere dem blot for at gøre indledende test bekvem.
Bevar opgavetilstanden separat fra midlertidige arbejdsfiler. Registrer nok information til at genkende fuldført arbejde efter en genstart uden at gemme hver prompt for evigt. Beskyt legitimationsoplysninger mod logfiler og genererede artefakter. Definer opbevaring for input, output og diagnostiske data. En gendannelsestest bør genstarte arbejderen og bekræfte, at uafsluttede job genoptages sikkert, fuldførte job forbliver fuldførte, og fejl forbliver synlige for operatøren.
Gør den første udrulning til en accepttest
Kør den snævre arbejdsgang med syntetiske eller godkendte eksempeldata, før der gives bredere adgang. Kontroller nyttigt output, tilladelser, køadfærd og gendannelse efter en mislykket afhængighed. Overvåg hele processen, herunder browserbørneprocesser og datadownloads. Hvis modellen er lokal, skal du medtage en kold start og det tilsigtede antal samtidige anmodninger i testen.
Brug Vector eller Pulse som specifikationsshortliste til almindelige arbejdere, og sammenlign kun Tensor, når inferens-runtime'en har brug for passende GPU-ressourcer. Bekræft kompatibilitet og tilgængelighed før en rigtig ordre. Udvid først arbejderens tilladelser, når dens adfærd kan gennemgås. Målet er en tjeneste med en klar driftsramme, et målbart ressourcebudget og en ligetil måde at stoppe og gendanne arbejde på.
Din praktiske tjekliste.
- Beskriv ét job og dets godkendelsesgrænse.
- Adskil fjern API-behandling fra lokal inferens.
- Mål værktøjer, browsere og spidsbelastningens samtidighed.
- Anvend grænser for tid, ressourcer og tilladelser.
- Test genstarter uden at duplikere fuldførte handlinger.
De detaljer, der betyder noget.
Har hver AI-arbejder brug for en GPU?+
Nej. En arbejder, der kalder en fjernmodel API, har normalt brug for ressourcer til orkestrering og værktøjer. Lokal inferens har separate hardware- og runtime-krav.
Gør en container en autonom arbejdsgang sikker?+
Nej. Konfigurer dens tilladelser, monteringer, netværksadgang og ressourcegrænser, og kontroller konsekvensrige værktøjshandlinger uden for modellen.
Holder hosting af arbejderen i Schweiz hver prompt der?+
Nej. Fjernmodel-API'er og andre integrationer kan behandle indhold andre steder. Kortlæg disse afhængigheder eksplicit.
Gå til kilden.
Disse referencer understøtter de tekniske begreber i denne guide. Følg den aktuelle dokumentation, før du ændrer et produktionssystem.
- Docker: Ressourcebegrænsninger docs.docker.com
- OWASP: Forebyggelse af LLM-prompt-injection cheatsheetseries.owasp.org
- Ollama: FAQ om runtime og samtidighed docs.ollama.com
Redaktionel vejledning af SwissOctet. Eksempler er illustrative. Servicespecifikationer, tilgængelige valgmuligheder og kontraktvilkår skal verificeres separat.