# Dejte svým AI pracovníkům ohraničené místo pro běh | SwissOctet Insights https://swissoctet.com/cs/insights/give-ai-workers-a-bounded-runtime/ SwissOctet / Přehledy / Cloud a VPS Cloud a VPS Aplikované · 4 min čtení Dejte svým AI pracovníkům ohraničené místo pro běh Oddělte inferenci modelu od orchestrace, dimenzujte skutečného pracovníka a omezte, co mohou jeho nástroje měnit, než umístíte AI pracovní postup na server. Od SwissOctet Editorial Uložit průvodce Kopírovat odkaz NA TÉTO STRÁNCE 01 Pojmenujte úlohu dříve, než zvolíte stroj 02 Oddělte vzdálený model od lokálního modelu 03 Změřte reprezentativní frontu 04 Dejte nástrojům menší pravomoc, než je ambice pracovníka 05 Udržujte řízení zdrojů a obnovu explicitní 06 Udělejte z prvního nasazení akceptační test Váš praktický kontrolní seznam Zdroje a další čtení Zpět do knihovny PŘÍMÁ ODPOVĚĎ AI pracovní postup potřebuje zdroje pro své skutečné nástroje a souběžnost a oprávnění, která zůstávají vymahatelná mimo model. Vzdálená inference a lokální inference vedou k různým rozhodnutím o CPU, paměti, úložišti a GPU. 01 Pojmenujte úlohu dříve, než zvolíte stroj AI pracovník kombinuje model se softwarem, který přijímá úlohy, shromažďuje kontext a volá nástroje. Plánovaný klasifikátor dokumentů, interní vyhledávací asistent a pracovní postup řízený prohlížečem mají různé provozní potřeby. Zapište vstup, očekávaný výstup, systémy, se kterými může komunikovat, a bod, kde člověk schvaluje následkovou akci. Tato malá specifikace vám o hostiteli řekne více než označení agent. Začněte jednou opakovatelnou úlohou a úzkým účtem. Pracovník, který koncept odpovědi připravuje, potřebuje menší pravomoc než ten, který ji odesílá. Udržujte tyto fáze v aplikaci oddělené. Server by měl podporovat schválený pracovní postup, aniž by se každá vygenerovaná instrukce změnila na spustitelnou operaci. Dokončení znamená ověřený výsledek nebo jasný stav selhání, nikoli nekonečně běžící smyčku. 02 Oddělte vzdálený model od lokálního modelu Když model běží za externím API, VPS hostuje především frontu, aplikaci, nástroje a trvalý stav. Jeho nároky na paměť pocházejí z těchto procesů, včetně případných prohlížečů nebo parserů dokumentů. GPU na tomto stroji nezrychlí model běžící jinde. Zaznamenejte, který obsah překračuje hranici API, a vyhodnoťte tohoto poskytovatele nezávisle na umístění pracovníka. Lokální inference přidává do rozpočtu úložiště modelu, paměť modelu a kompatibilitu runtime. Nástroje pro inferenci, jako je Ollama, zveřejňují informace o umístění CPU nebo GPU a o souběžných požadavcích. Testujte zvolený model, délku kontextu a souběžnost společně. Větší kontext nebo více současných úloh může zvýšit nároky na paměť; samotná velikost souboru modelu je neúplná metoda dimenzování. Před volbou konfigurace GPU zkontrolujte hardware podporovaný runtime. Vzor pracovníka Hlavní otázka zdrojů Hranice ke kontrole Vzdálený model API Paměť aplikace a nástrojů Obsah odesílaný poskytovateli modelu Lokální model Model, kontext a pracovní paměť Kompatibilita runtime a zařízení Pracovní postup v prohlížeči Špičkový počet procesů prohlížeče a dočasné soubory Webový obsah a povolené akce 03 Změřte reprezentativní frontu Připravte malou sadu úloh s běžnými a neobvykle velkými vstupy. Měřte špičkovou paměť, dobu zpracování, dočasné úložiště a počet externích volání. Zahrňte případy selhání: nedostupný API, poškozený dokument a časový limit nástroje. Tato měření jsou plánovacím cvičením pro váš software, nikoli benchmarkem ani slibem výkonu pro plán SwissOctet. Nastavte maximální počet aktivních úloh a maximální dobu provádění. Práci, kterou nelze bezpečně spustit, zařaďte do fronty a přetížení odmítejte předvídatelným způsobem. Okamžité opakování každého selhání může znásobit tlak na server i výdaje za API. Použijte omezenou politiku opakování a identifikátor, který zabrání dvojímu provedení stejné dokončené akce. Během aktivních úloh rezervujte kapacitu pro operační systém, monitorování a údržbu. 04 Dejte nástrojům menší pravomoc, než je ambice pracovníka Dokumenty a webové stránky poskytnuté modelu mohou obsahovat instrukce, jejichž cílem je model přesměrovat. S načteným obsahem zacházejte jako se vstupem, nikoli jako se zdrojem provozních oprávnění. Pokyny OWASP k prompt injection doporučují několik vrstev kontroly, včetně omezených nástrojů a kontrol kolem citlivých akcí. Oprávnění umístěte do implementace nástrojů a provozního prostředí, kde je model nemůže přepsat prostřednictvím odpovědi. Používejte oddělené přihlašovací údaje pro oddělené úlohy, s přístupem pouze k záznamům nebo adresářům, které každá z nich potřebuje. Upřednostněte strukturované parametry před shellovými příkazy generovanými modelem. Ověřujte cíle souborů a odchozí cíle. Vyžadujte záměrnou schvalovací hranici pro odesílání zpráv, zveřejňování změn nebo úpravy důležitých záznamů. Výzkumný pracovník pouze pro čtení a produkční administrátor by nikdy neměli zdědit stejné přihlašovací údaje jen proto, že oba běží na jednom hostiteli. 05 Udržujte řízení zdrojů a obnovu explicitní Kontejnery mohou uspořádat závislosti a hranice procesů, ale vyžadují záměrnou konfiguraci. Docker dokumentuje, že kontejnery ve výchozím nastavení nemají omezení zdrojů. Nastavte vhodné limity paměti a CPU, kde je to podporováno použijte neprivilegovaný proces a připojte pouze potřebná data. Koncové body modelů a administrační rozhraní udržujte omezené, místo abyste je vystavovali jen proto, aby bylo úvodní testování pohodlné. Ukládejte stav úlohy odděleně od dočasných pracovních souborů. Zaznamenejte dostatek informací k rozpoznání dokončené práce po restartu, aniž byste navždy uchovávali každý prompt. Chraňte přihlašovací údaje před protokoly a generovanými artefakty. Definujte dobu uchování vstupů, výstupů a diagnostických dat. Test obnovy by měl restartovat pracovníka a ověřit, že nedokončené úlohy bezpečně pokračují, dokončené úlohy zůstávají dokončené a selhání zůstávají viditelná pro operátora. 06 Udělejte z prvního nasazení akceptační test Před udělením širšího přístupu spusťte úzký pracovní postup se syntetickými nebo schválenými vzorovými daty. Zkontrolujte užitečný výstup, oprávnění, chování fronty a obnovu po selhání závislosti. Sledujte celý proces, včetně podřízených procesů prohlížeče a stahování dat. Pokud je model lokální, zahrňte do testu studený start a zamýšlený počet souběžných požadavků. Použijte Vector nebo Pulse jako užší specifikaci pro běžné pracovníky a Tensor srovnávejte pouze tehdy, když runtime pro inferenci potřebuje vhodné prostředky GPU. Před skutečnou objednávkou ověřte kompatibilitu a dostupnost. Oprávnění pracovníka rozšiřujte až poté, co lze jeho chování zkontrolovat. Cílem je služba s jasným provozním rozsahem, měřitelným rozpočtem zdrojů a přímočarým způsobem zastavení a obnovy práce. PŘEVEĎTE TO V AKCI Váš praktický kontrolní seznam. ✓ Popište jednu úlohu a její schvalovací hranici. ✓ Oddělte vzdálené zpracování API od lokální inference. ✓ Změřte nástroje, prohlížeče a špičkovou souběžnost. ✓ Uplatněte limity času, zdrojů a oprávnění. ✓ Testujte restarty bez duplikování dokončených akcí. Stáhnout kontrolní seznam ČASTÉ OTÁZKY Podrobnosti, na kterých záleží. Potřebuje každý AI pracovník GPU? + Ne. Pracovník volající vzdálený model API obvykle potřebuje zdroje pro orchestraci a nástroje. Lokální inference má samostatné požadavky na hardware a runtime. Zajistí kontejner bezpečnost autonomního pracovního postupu? + Ne. Nakonfigurujte jeho oprávnění, připojení, přístup k síti a limity zdrojů a následkové akce nástrojů kontrolujte mimo model. Zůstává při hostování pracovníka ve Švýcarsku každý prompt tam? + Ne. Vzdálená API modelů a další integrace mohou obsahovat zpracovávat jinde. Tyto závislosti explicitně zmapujte. PRIMÁRNÍ ZDROJE Jděte ke zdroji. Tyto zdroje podporují technické koncepty v tomto průvodci. Před změnou produkčního systému se řiďte aktuální dokumentací. Docker: Omezení zdrojů docs.docker.com OWASP: Prevence prompt injection u LLM cheatsheetseries.owasp.org Ollama: Časté dotazy k runtime a souběžnosti docs.ollama.com Redakční vedení od SwissOctet. Příklady jsou ilustrativní. Specifikace služeb, dostupné možnosti a smluvní podmínky je nutné ověřit samostatně. PROPOJTE ZNALOSTI Související infrastruktura. Vector VPS Švýcarsko Pulse NVMe Švýcarsko Tensor GPU Švýcarsko UDRŽTE NIT Vaše další terénní poznámky. Prozkoumat všechny průvodce TERÉNNÍ POZNÁMKA / 01 + Cloud a VPS Základ Jak vybrat VPS bez hádání Proměňte nápad na aplikaci v užitečný rozpočet prostředků a porovnejte společně CPU, paměť, úložiště a přenos. 4 min čtení Přečtěte si průvodce TERÉNNÍ POZNÁMKA / 02 + Provoz druhého dne Aplikované Praktický model hrozeb pro váš hostovaný projekt Zmapujte aktiva a hranice důvěry, zvolte několik realistických scénářů selhání a přeměňte je na opatření, která můžete testovat. 6 min čtení Přečtěte si průvodce TERÉNNÍ POZNÁMKA / 03 + Cloud a VPS Aplikované Dimenzujte CPU a paměť VPS podle skutečné zátěže Sestavte paměťový rozpočet, prozkoumejte soupeření a oddělte jedno vytížené vlákno od práce, která může využít několik virtuálních jader. 6 min čtení Přečtěte si průvodce