Egy AI-munkafolyamatnak erőforrásokra van szüksége a tényleges eszközeihez és párhuzamosságához, valamint a modellen kívül is érvényesíthető jogosultságokra. A távoli következtetés és a helyi következtetés eltérő CPU, memória-, tárolási és GPU döntésekhez vezet.
Nevezze meg a feladatot, mielőtt gépet választ
Egy AI-munkavégző egy modellt kombinál olyan szoftverrel, amely feladatokat fogad, kontextust gyűjt és eszközöket hív. Az ütemezett dokumentumosztályozó, a belső keresési asszisztens és a böngészővezérelt munkafolyamat eltérő üzemeltetési igényekkel rendelkezik. Írja le a bemenetet, a várt kimenetet, azokat a rendszereket, amelyekkel kapcsolatba léphet, és azt a pontot, ahol egy személy jóváhagy egy következményes műveletet. Ez a rövid specifikáció többet mond a hosztról, mint az agent címke.
Kezdje egy ismételhető feladattal és egy szűk hatókörű fiókkal. Egy választ megfogalmazó munkavégzőnek kevesebb jogosultságra van szüksége, mint egy elküldőnek. Tartsa ezeket a szakaszokat külön az alkalmazásban. A szervernek támogatnia kell a jóváhagyott munkafolyamatot anélkül, hogy minden generált utasítást végrehajtható műveletté alakítana. A befejezés egy ellenőrzött eredményt vagy egy egyértelmű hibaállapotot jelent, nem pedig egy végtelenül futó ciklust.
Válassza el a távoli modellt a helyi modelltől
Amikor a modell egy külső API mögött fut, a VPS elsősorban a sort, az alkalmazást, az eszközöket és az állandó állapotot hosztolja. A memóriaigénye ezekből a folyamatokból származik, beleértve az esetleges böngészőket vagy dokumentumfeldolgozókat. Egy GPU ezen a gépen nem gyorsítja fel a máshol futó modellt. Jegyezze fel, mely tartalom lépi át a API határt, és értékelje azt a szolgáltatót a munkavégző helyétől függetlenül.
A helyi következtetés modelltárolást, modellmemóriát és futásidejű kompatibilitást ad a költségvetéshez. Az olyan következtetési eszközök, mint az Ollama, információt nyújtanak a CPU vagy GPU elhelyezésről és az egyidejű kérésekről. Tesztelje együtt a kiválasztott modellt, a kontextushosszt és a párhuzamosságot. A nagyobb kontextus vagy több egyidejű feladat növelheti a memóriaigényt; a modellfájl mérete önmagában nem teljes méretezési módszer. A GPU konfiguráció kiválasztása előtt ellenőrizze a futásidejű környezet támogatott hardverét.
| Munkavégző minta | Fő erőforráskérdés | Áttekintendő határ |
|---|---|---|
| Távoli modell API | Alkalmazás- és eszközmemória | A modellszolgáltatónak küldött tartalom |
| Helyi modell | Modell-, kontextus- és munkamemória | Futásidejű és eszközkompatibilitás |
| Böngészős munkafolyamat | Csúcs böngészőfolyamatok és ideiglenes fájlok | Webes tartalom és engedélyezett műveletek |
Mérjen meg egy reprezentatív sort
Készítsen elő egy kis feladatkészletet normál és szokatlanul nagy bemenetekkel. Mérje a csúcsmemóriát, az eltelt feldolgozási időt, az ideiglenes tárolást és a külső hívások számát. Vegye bele a hibaeseteket: egy elérhetetlen API, egy hibás formátumú dokumentum és egy eszközidőtúllépés. Ezek a mérések a szoftverére vonatkozó tervezési gyakorlatot jelentenek, nem pedig egy SwissOctet tervre vonatkozó benchmarkot vagy teljesítményígéreteket.
Állítson be maximális számú aktív feladatot és maximális végrehajtási időt. Sorolja be azokat a munkákat, amelyek nem indíthatók biztonságosan, és utasítsa el a túlterhelést kiszámítható módon. Minden hiba azonnali újrapróbálása megsokszorozhatja a szerver terhelését és a API költést is. Használjon korlátozott újrapróbálkozási szabályzatot és egy azonosítót, amely megakadályozza ugyanazon befejezett művelet kétszeri alkalmazását. Tartson fenn kapacitást az operációs rendszer, a monitorozás és a karbantartás számára, miközben a feladatok aktívak.
Adjon az eszközöknek kevesebb jogosultságot, mint a munkavégző ambíciója
A modellnek átadott dokumentumok és weboldalak olyan utasításokat tartalmazhatnak, amelyek a modell átirányítására irányulnak. Kezelje a lekért tartalmat bemenetként, nem pedig üzemeltetési jogosultság forrásaként. Az OWASP prompt injekcióra vonatkozó útmutatása több szabályozási réteget javasol, beleértve a korlátozott eszközöket és az érzékeny műveletek körüli ellenőrzéseket. Helyezze a jogosultságokat az eszköz implementációjába és az üzemeltetési környezetbe, ahol a modell nem tudja azokat egy válaszon keresztül átírni.
Használjon külön hitelesítő adatokat a különböző feladatokhoz, csak azokhoz a rekordokhoz vagy könyvtárakhoz hozzáférve, amelyekre mindegyiknek szüksége van. Részesítse előnyben a strukturált paramétereket a modell által generált shell-parancsokkal szemben. Ellenőrizze a fájlcélokat és a kimenő célpontokat. Követeljen meg egy szándékos jóváhagyási határt az üzenetek küldéséhez, a változások közzétételéhez vagy a fontos rekordok módosításához. Egy csak olvasható kutató munkavégző és egy éles rendszergazda soha ne örökölje ugyanazokat a hitelesítő adatokat csak azért, mert mindkettő egy hoszton fut.
Tartsa explicit módon az erőforrás-szabályozást és a helyreállítást
A konténerek rendszerezhetik a függőségeket és a folyamathatárokat, de szándékos konfigurációt igényelnek. A Docker dokumentálja, hogy a konténereknek alapértelmezés szerint nincsenek erőforráskorlátai. Állítson be megfelelő memória- és CPU korlátokat, használjon nem privilegizált folyamatot, ahol támogatott, és csak a szükséges adatokat csatolja be. Tartsa korlátozottan a modellvégpontokat és az adminisztrációs felületeket, ahelyett hogy egyszerűen közzétenné azokat a kezdeti tesztelés kényelme érdekében.
Tárolja a feladat állapotát az ideiglenes munkafájloktól elkülönítve. Jegyezzen fel elegendő információt a befejezett munka újraindítás utáni felismeréséhez anélkül, hogy minden promptot örökre megőrizne. Védje a hitelesítő adatokat a naplóktól és a generált artefaktumoktól. Határozza meg a bemenetek, kimenetek és diagnosztikai adatok megőrzését. A helyreállítási tesztnek újra kell indítania a munkavégzőt, és ellenőriznie kell, hogy a befejezetlen feladatok biztonságosan folytatódnak, a befejezett feladatok befejezettek maradnak, és a hibák láthatók maradnak az üzemeltető számára.
Tegye az első telepítést elfogadási tesztté
Futtassa a szűk munkafolyamatot szintetikus vagy jóváhagyott mintadatokkal, mielőtt szélesebb hozzáférést adna. Ellenőrizze a hasznos kimenetet, a jogosultságokat, a sor viselkedését és a helyreállítást egy meghibásodott függőségből. Figyelje meg a teljes folyamatot, beleértve a böngésző gyermekfolyamatait és az adatletöltéseket. Ha a modell helyi, vegye bele a tesztbe a hideg indítást és a tervezett egyidejű kérések számát.
Használja a Vectort vagy a Pulse-t specifikációs szűkítőlistaként a hétköznapi munkavégzőkhöz, és csak akkor hasonlítsa össze a Tensort, ha a következtetési futásidejű környezet megfelelő GPU erőforrásokat igényel. Valódi megrendelés előtt erősítse meg a kompatibilitást és az elérhetőséget. Csak akkor bővítse a munkavégző jogosultságait, ha a viselkedése áttekinthető. A cél egy szolgáltatás egyértelmű üzemeltetési kerettel, mérhető erőforrás-költségvetéssel és a munka leállításának és helyreállításának egyszerű módjával.
Az Ön gyakorlati ellenőrzőlistája.
- Írjon le egy feladatot és annak jóváhagyási határát.
- Válassza el a távoli API feldolgozást a helyi következtetéstől.
- Mérje az eszközöket, a böngészőket és a csúcs párhuzamosságot.
- Alkalmazzon idő-, erőforrás- és jogosultsági korlátokat.
- Tesztelje az újraindításokat a befejezett műveletek megkettőzése nélkül.
A fontos részletek.
Minden AI-munkavégzőnek szüksége van GPU-ra?+
Nem. Egy távoli modellt hívó munkavégző API általában erőforrásokat igényel az orchestrációhoz és az eszközökhöz. A helyi következtetésnek külön hardver- és futásidejű követelményei vannak.
Biztonságossá tesz egy konténer egy autonóm munkafolyamatot?+
Nem. Konfigurálja a jogosultságait, csatolásait, hálózati hozzáférését és erőforráskorlátait, és ellenőrizze a következményes eszközműveleteket a modellen kívül.
Ha a munkavégzőt Svájcban hosztolja, minden prompt ott marad?+
Nem. A távoli modell API-k és más integrációk máshol dolgozhatják fel a tartalmat. Térképezze fel ezeket a függőségeket explicit módon.
Menjen a forráshoz.
Ezek a hivatkozások támogatják az útmutató műszaki fogalmait. Kövesse az aktuális dokumentációt, mielőtt éles rendszert módosítana.
- Docker: Erőforráskorlátok docs.docker.com
- OWASP: LLM Prompt Injection Prevention cheatsheetseries.owasp.org
- Ollama: Runtime and concurrency FAQ docs.ollama.com
Szerkesztői útmutatás: SwissOctet. A példák tájékoztató jellegűek. A szolgáltatási specifikációkat, az elérhető opciókat és a szerződéses feltételeket külön kell ellenőrizni.