# Adjon az AI-munkásainak egy körülhatárolt helyet a futtatáshoz | SwissOctet Insights https://swissoctet.com/hu/insights/give-ai-workers-a-bounded-runtime/ SwissOctet / Betekintések / Felhő és VPS Felhő és VPS Alkalmazott · 4 perc olvasás Adjon az AI-munkavégzőinek egy korlátozott helyet a futáshoz Válassza el a modell következtetését az orchestrációtól, méretezze a tényleges munkavégzőt, és korlátozza, mit változtathatnak az eszközei, mielőtt egy AI-munkafolyamatot szerverre helyezne. Szerző: SwissOctet Editorial Útmutató mentése Hivatkozás másolása EZEN AZ OLDALON 01 Nevezze meg a feladatot, mielőtt gépet választ 02 Válassza el a távoli modellt a helyi modelltől 03 Mérjen meg egy reprezentatív sort 04 Adjon az eszközöknek kevesebb jogosultságot, mint a munkavégző ambíciója 05 Tartsa explicit módon az erőforrás-szabályozást és a helyreállítást 06 Tegye az első telepítést elfogadási tesztté Az Ön gyakorlati ellenőrzőlistája Források és további olvasmányok Vissza a könyvtárhoz A KÖZVETLEN VÁLASZ Egy AI-munkafolyamatnak erőforrásokra van szüksége a tényleges eszközeihez és párhuzamosságához, valamint a modellen kívül is érvényesíthető jogosultságokra. A távoli következtetés és a helyi következtetés eltérő CPU, memória-, tárolási és GPU döntésekhez vezet. 01 Nevezze meg a feladatot, mielőtt gépet választ Egy AI-munkavégző egy modellt kombinál olyan szoftverrel, amely feladatokat fogad, kontextust gyűjt és eszközöket hív. Az ütemezett dokumentumosztályozó, a belső keresési asszisztens és a böngészővezérelt munkafolyamat eltérő üzemeltetési igényekkel rendelkezik. Írja le a bemenetet, a várt kimenetet, azokat a rendszereket, amelyekkel kapcsolatba léphet, és azt a pontot, ahol egy személy jóváhagy egy következményes műveletet. Ez a rövid specifikáció többet mond a hosztról, mint az agent címke. Kezdje egy ismételhető feladattal és egy szűk hatókörű fiókkal. Egy választ megfogalmazó munkavégzőnek kevesebb jogosultságra van szüksége, mint egy elküldőnek. Tartsa ezeket a szakaszokat külön az alkalmazásban. A szervernek támogatnia kell a jóváhagyott munkafolyamatot anélkül, hogy minden generált utasítást végrehajtható műveletté alakítana. A befejezés egy ellenőrzött eredményt vagy egy egyértelmű hibaállapotot jelent, nem pedig egy végtelenül futó ciklust. 02 Válassza el a távoli modellt a helyi modelltől Amikor a modell egy külső API mögött fut, a VPS elsősorban a sort, az alkalmazást, az eszközöket és az állandó állapotot hosztolja. A memóriaigénye ezekből a folyamatokból származik, beleértve az esetleges böngészőket vagy dokumentumfeldolgozókat. Egy GPU ezen a gépen nem gyorsítja fel a máshol futó modellt. Jegyezze fel, mely tartalom lépi át a API határt, és értékelje azt a szolgáltatót a munkavégző helyétől függetlenül. A helyi következtetés modelltárolást, modellmemóriát és futásidejű kompatibilitást ad a költségvetéshez. Az olyan következtetési eszközök, mint az Ollama, információt nyújtanak a CPU vagy GPU elhelyezésről és az egyidejű kérésekről. Tesztelje együtt a kiválasztott modellt, a kontextushosszt és a párhuzamosságot. A nagyobb kontextus vagy több egyidejű feladat növelheti a memóriaigényt; a modellfájl mérete önmagában nem teljes méretezési módszer. A GPU konfiguráció kiválasztása előtt ellenőrizze a futásidejű környezet támogatott hardverét. Munkavégző minta Fő erőforráskérdés Áttekintendő határ Távoli modell API Alkalmazás- és eszközmemória A modellszolgáltatónak küldött tartalom Helyi modell Modell-, kontextus- és munkamemória Futásidejű és eszközkompatibilitás Böngészős munkafolyamat Csúcs böngészőfolyamatok és ideiglenes fájlok Webes tartalom és engedélyezett műveletek 03 Mérjen meg egy reprezentatív sort Készítsen elő egy kis feladatkészletet normál és szokatlanul nagy bemenetekkel. Mérje a csúcsmemóriát, az eltelt feldolgozási időt, az ideiglenes tárolást és a külső hívások számát. Vegye bele a hibaeseteket: egy elérhetetlen API, egy hibás formátumú dokumentum és egy eszközidőtúllépés. Ezek a mérések a szoftverére vonatkozó tervezési gyakorlatot jelentenek, nem pedig egy SwissOctet tervre vonatkozó benchmarkot vagy teljesítményígéreteket. Állítson be maximális számú aktív feladatot és maximális végrehajtási időt. Sorolja be azokat a munkákat, amelyek nem indíthatók biztonságosan, és utasítsa el a túlterhelést kiszámítható módon. Minden hiba azonnali újrapróbálása megsokszorozhatja a szerver terhelését és a API költést is. Használjon korlátozott újrapróbálkozási szabályzatot és egy azonosítót, amely megakadályozza ugyanazon befejezett művelet kétszeri alkalmazását. Tartson fenn kapacitást az operációs rendszer, a monitorozás és a karbantartás számára, miközben a feladatok aktívak. 04 Adjon az eszközöknek kevesebb jogosultságot, mint a munkavégző ambíciója A modellnek átadott dokumentumok és weboldalak olyan utasításokat tartalmazhatnak, amelyek a modell átirányítására irányulnak. Kezelje a lekért tartalmat bemenetként, nem pedig üzemeltetési jogosultság forrásaként. Az OWASP prompt injekcióra vonatkozó útmutatása több szabályozási réteget javasol, beleértve a korlátozott eszközöket és az érzékeny műveletek körüli ellenőrzéseket. Helyezze a jogosultságokat az eszköz implementációjába és az üzemeltetési környezetbe, ahol a modell nem tudja azokat egy válaszon keresztül átírni. Használjon külön hitelesítő adatokat a különböző feladatokhoz, csak azokhoz a rekordokhoz vagy könyvtárakhoz hozzáférve, amelyekre mindegyiknek szüksége van. Részesítse előnyben a strukturált paramétereket a modell által generált shell-parancsokkal szemben. Ellenőrizze a fájlcélokat és a kimenő célpontokat. Követeljen meg egy szándékos jóváhagyási határt az üzenetek küldéséhez, a változások közzétételéhez vagy a fontos rekordok módosításához. Egy csak olvasható kutató munkavégző és egy éles rendszergazda soha ne örökölje ugyanazokat a hitelesítő adatokat csak azért, mert mindkettő egy hoszton fut. 05 Tartsa explicit módon az erőforrás-szabályozást és a helyreállítást A konténerek rendszerezhetik a függőségeket és a folyamathatárokat, de szándékos konfigurációt igényelnek. A Docker dokumentálja, hogy a konténereknek alapértelmezés szerint nincsenek erőforráskorlátai. Állítson be megfelelő memória- és CPU korlátokat, használjon nem privilegizált folyamatot, ahol támogatott, és csak a szükséges adatokat csatolja be. Tartsa korlátozottan a modellvégpontokat és az adminisztrációs felületeket, ahelyett hogy egyszerűen közzétenné azokat a kezdeti tesztelés kényelme érdekében. Tárolja a feladat állapotát az ideiglenes munkafájloktól elkülönítve. Jegyezzen fel elegendő információt a befejezett munka újraindítás utáni felismeréséhez anélkül, hogy minden promptot örökre megőrizne. Védje a hitelesítő adatokat a naplóktól és a generált artefaktumoktól. Határozza meg a bemenetek, kimenetek és diagnosztikai adatok megőrzését. A helyreállítási tesztnek újra kell indítania a munkavégzőt, és ellenőriznie kell, hogy a befejezetlen feladatok biztonságosan folytatódnak, a befejezett feladatok befejezettek maradnak, és a hibák láthatók maradnak az üzemeltető számára. 06 Tegye az első telepítést elfogadási tesztté Futtassa a szűk munkafolyamatot szintetikus vagy jóváhagyott mintadatokkal, mielőtt szélesebb hozzáférést adna. Ellenőrizze a hasznos kimenetet, a jogosultságokat, a sor viselkedését és a helyreállítást egy meghibásodott függőségből. Figyelje meg a teljes folyamatot, beleértve a böngésző gyermekfolyamatait és az adatletöltéseket. Ha a modell helyi, vegye bele a tesztbe a hideg indítást és a tervezett egyidejű kérések számát. Használja a Vectort vagy a Pulse-t specifikációs szűkítőlistaként a hétköznapi munkavégzőkhöz, és csak akkor hasonlítsa össze a Tensort, ha a következtetési futásidejű környezet megfelelő GPU erőforrásokat igényel. Valódi megrendelés előtt erősítse meg a kompatibilitást és az elérhetőséget. Csak akkor bővítse a munkavégző jogosultságait, ha a viselkedése áttekinthető. A cél egy szolgáltatás egyértelmű üzemeltetési kerettel, mérhető erőforrás-költségvetéssel és a munka leállításának és helyreállításának egyszerű módjával. FORDÍTSA CSELEKVÉSRE Az Ön gyakorlati ellenőrzőlistája. ✓ Írjon le egy feladatot és annak jóváhagyási határát. ✓ Válassza el a távoli API feldolgozást a helyi következtetéstől. ✓ Mérje az eszközöket, a böngészőket és a csúcs párhuzamosságot. ✓ Alkalmazzon idő-, erőforrás- és jogosultsági korlátokat. ✓ Tesztelje az újraindításokat a befejezett műveletek megkettőzése nélkül. Ellenőrzőlista letöltése GYAKORI KÉRDÉSEK A fontos részletek. Minden AI-munkavégzőnek szüksége van GPU-ra? + Nem. Egy távoli modellt hívó munkavégző API általában erőforrásokat igényel az orchestrációhoz és az eszközökhöz. A helyi következtetésnek külön hardver- és futásidejű követelményei vannak. Biztonságossá tesz egy konténer egy autonóm munkafolyamatot? + Nem. Konfigurálja a jogosultságait, csatolásait, hálózati hozzáférését és erőforráskorlátait, és ellenőrizze a következményes eszközműveleteket a modellen kívül. Ha a munkavégzőt Svájcban hosztolja, minden prompt ott marad? + Nem. A távoli modell API-k és más integrációk máshol dolgozhatják fel a tartalmat. Térképezze fel ezeket a függőségeket explicit módon. ELSŐDLEGES HIVATKOZÁSOK Menjen a forráshoz. Ezek a hivatkozások támogatják az útmutató műszaki fogalmait. Kövesse az aktuális dokumentációt, mielőtt éles rendszert módosítana. Docker: Erőforráskorlátok docs.docker.com OWASP: LLM Prompt Injection Prevention cheatsheetseries.owasp.org Ollama: Runtime and concurrency FAQ docs.ollama.com Szerkesztői útmutatás: SwissOctet. A példák tájékoztató jellegűek. A szolgáltatási specifikációkat, az elérhető opciókat és a szerződéses feltételeket külön kell ellenőrizni. KAPCSOLJA ÖSSZE A TUDÁST Kapcsolódó infrastruktúra. Vector VPS Svájc Pulse NVMe Svájc Tensor GPU Svájc TARTSA A FONALAT Az Ön következő terepjegyzetei. Fedezze fel az összes útmutatót TEREPJEGYZET / 01 + Felhő és VPS Alapok Hogyan válasszunk VPS-t találgatás nélkül Alakítsa az alkalmazásötletet hasznos erőforrás-költségvetéssé, majd hasonlítsa össze a CPU, a memóriát, a tárhelyet és az átvitelt együtt. 4 perc olvasás Olvassa el az útmutatót TEREPJEGYZET / 02 + Másodnapi üzemeltetés Alkalmazott Gyakorlati fenyegetésmodell a hosztolt projekthez Térképezze fel az eszközöket és a bizalmi határokat, válasszon ki néhány valósághű hibaforgatókönyvet, és alakítsa azokat tesztelhető kontrollokká. 6 perc olvasás Olvassa el az útmutatót TEREPJEGYZET / 03 + Felhő és VPS Alkalmazott A VPS CPU és a memória méretezése valós terhelésből Készítsen memóriaköltségvetést, vizsgálja meg a versengést, és különítse el az egyetlen forgalmas szálat az olyan munkától, amely több virtuális magot használhat. 6 perc olvasás Olvassa el az útmutatót