# Anna tekoälytyöntekijöillesi rajattu paikka toimia | SwissOctet Insights https://swissoctet.com/fi/insights/give-ai-workers-a-bounded-runtime/ SwissOctet / Näkemykset / Pilvi & VPS Pilvi & VPS Sovellettu · 4 min luku Anna tekoälytyöntekijöillesi rajattu paikka toimia Erota mallin päättely orkestroinnista, mitoita todellinen työntekijä ja rajoita sitä, mitä sen työkalut voivat muuttaa, ennen kuin asetat tekoälytyönkulun palvelimelle. Kirjoittaja SwissOctet Editorial Tallenna opas Kopioi linkki TÄLLÄ SIVULLA 01 Nimeä työ ennen koneen valintaa 02 Erota etämalli paikallisesta mallista 03 Mittaa edustava jono 04 Anna työkaluille vähemmän valtaa kuin työntekijän kunnianhimo 05 Pidä resurssien hallinta ja palautus selkeinä 06 Tee ensimmäisestä käyttöönotosta hyväksymistesti Käytännön tarkistuslistasi Lähteet ja lisälukemisto Takaisin kirjastoon SUORA VASTAUS Tekoälytyönkulku tarvitsee resursseja todellisille työkaluilleen ja samanaikaisuudelleen sekä käyttöoikeuksia, jotka pysyvät täytäntöönpanokelpoisina mallin ulkopuolella. Etäpäättely ja paikallinen päättely johtavat erilaisiin CPU-, muisti-, tallennus- ja GPU-ratkaisuihin. 01 Nimeä työ ennen koneen valintaa Tekoälytyöntekijä yhdistää mallin ohjelmistoon, joka vastaanottaa tehtäviä, kerää kontekstia ja kutsuu työkaluja. Ajoitetulla asiakirjaluokittelijalla, sisäisellä hakusovelluksella ja selainpohjaisella työnkululla on erilaiset käyttötarpeet. Kirjoita muistiin syöte, odotettu tulos, järjestelmät, joihin se voi ottaa yhteyttä, ja kohta, jossa ihminen hyväksyy merkittävän toimen. Tämä pieni määrittely kertoo isännästä enemmän kuin nimike agentti. Aloita yhdestä toistettavasta työstä ja kapeasta tilistä. Vastausta luonnosteleva työntekijä tarvitsee vähemmän valtaa kuin sen lähettävä. Pidä nämä vaiheet erillään sovelluksessa. Palvelimen tulisi tukea hyväksyttyä työnkulkua muuttamatta jokaista luotua ohjetta suoritettavaksi toimenpiteeksi. Valmistuminen tarkoittaa vahvistettua tulosta tai selkeää virhetilaa, ei loputtomasti pyörivää silmukkaa. 02 Erota etämalli paikallisesta mallista Kun malli toimii ulkoisen API:n takana, VPS isännöi pääasiassa jonoa, sovellusta, työkaluja ja pysyvää tilaa. Sen muistintarve tulee näistä prosesseista, mukaan lukien mahdolliset selaimet tai asiakirjajäsentimet. GPU tällä koneella ei nopeuta muualla toimivaa mallia. Kirjaa, mikä sisältö ylittää API-rajan, ja arvioi kyseinen tarjoaja erikseen työntekijän sijainnista. Paikallinen päättely lisää budjettiin mallin tallennustilan, mallin muistin ja ajonaikaisen yhteensopivuuden. Päättelytyökalut, kuten Ollama, tarjoavat tietoa CPU- tai GPU-sijoittelusta ja samanaikaisista pyynnöistä. Testaa valittu malli, kontekstin pituus ja samanaikaisuus yhdessä. Suurempi konteksti tai useammat samanaikaiset työt voivat nostaa muistintarvetta; pelkkä mallitiedoston koko on puutteellinen mitoitusmenetelmä. Tarkista ajonaikaisen ympäristön tuettu laitteisto ennen GPU-kokoonpanon valintaa. Työntekijämalli Keskeinen resurssikysymys Tarkistettava raja Etämalli API Sovelluksen ja työkalujen muisti Mallin tarjoajalle lähetettävä sisältö Paikallinen malli Malli, konteksti ja työmuisti Ajonaikaisen ympäristön ja laitteen yhteensopivuus Selaintyönkulku Selainprosessien ja väliaikaistiedostojen huippumäärä Verkkosisältö ja sallitut toimet 03 Mittaa edustava jono Valmistele pieni joukko tehtäviä, joissa on tavanomaisia ja poikkeuksellisen suuria syötteitä. Mittaa huippumuisti, kulunut käsittelyaika, väliaikaistallennus ja ulkoisten kutsujen määrä. Sisällytä virhetapaukset: tavoittamaton API, virheellinen asiakirja ja työkalun aikakatkaisu. Nämä mittaukset ovat ohjelmistosi suunnitteluharjoitus, eivät vertailuarvo tai suorituslupaus SwissOctet-suunnitelmalle. Aseta aktiivisten töiden enimmäismäärä ja enimmäissuoritusaika. Jonoita työt, joita ei voi aloittaa turvallisesti, ja hylkää ylikuormitus ennustettavalla tavalla. Jokaisen virheen välitön uudelleenyritys voi moninkertaistaa sekä palvelimen kuormituksen että API-kulutuksen. Käytä rajattua uudelleenyrityskäytäntöä ja tunnistetta, joka estää saman valmiin toimen soveltamisen kahdesti. Varaa kapasiteettia käyttöjärjestelmälle, valvonnalle ja ylläpidolle töiden ollessa aktiivisia. 04 Anna työkaluille vähemmän valtaa kuin työntekijän kunnianhimo Mallille annetut asiakirjat ja verkkosivut voivat sisältää ohjeita, jotka on tarkoitettu ohjaamaan sitä. Käsittele haettua sisältöä syötteenä, ei käyttöoikeuksien lähteenä. OWASP:n ohjeet kehoteinjektioista suosittelevat useita hallintakerroksia, mukaan lukien rajoitetut työkalut ja tarkistukset arkaluonteisten toimien ympärillä. Aseta käyttöoikeudet työkalun toteutukseen ja käyttöympäristöön, joissa malli ei voi kirjoittaa niitä uudelleen vastauksen kautta. Käytä erillisiä tunnistetietoja eri töille, ja anna pääsy vain niihin tietueisiin tai hakemistoihin, joita kukin tarvitsee. Suosi jäsenneltyjä parametreja mallin luomien komentotulkkikomentojen sijaan. Validoi tiedostokohteet ja lähtevät kohteet. Vaadi harkittu hyväksymisraja viestien lähettämiselle, muutosten julkaisemiselle tai tärkeiden tietueiden muuttamiselle. Vain luku -tutkimustyöntekijän ja tuotannon ylläpitäjän ei pitäisi koskaan periä samoja tunnistetietoja pelkästään siksi, että molemmat toimivat yhdellä isännällä. 05 Pidä resurssien hallinta ja palautus selkeinä Kontit voivat järjestää riippuvuuksia ja prosessirajoja, mutta ne vaativat harkittua kokoonpanoa. Docker dokumentoi, että konteilla ei ole resurssirajoituksia oletuksena. Aseta asianmukaiset muisti- ja CPU-rajoitukset, käytä etuoikeudetonta prosessia, jos tuettu, ja liitä vain tarvittavat tiedot. Pidä mallin päätepisteet ja hallintaliittymät rajoitettuina sen sijaan, että altistaisit ne pelkästään alkuvaiheen testauksen helpottamiseksi. Säilytä tehtävän tila erillään väliaikaisista työtiedostoista. Kirjaa riittävät tiedot valmiin työn tunnistamiseksi uudelleenkäynnistyksen jälkeen tallentamatta jokaista kehotetta ikuisesti. Suojaa tunnistetiedot lokeilta ja luoduilta artefakteilta. Määrittele syötteiden, tulosteiden ja diagnostiikkatietojen säilytys. Palautustestin tulisi käynnistää työntekijä uudelleen ja varmistaa, että keskeneräiset työt jatkuvat turvallisesti, valmiit työt pysyvät valmiina ja virheet pysyvät operaattorin nähtävillä. 06 Tee ensimmäisestä käyttöönotosta hyväksymistesti Suorita kapea työnkulku synteettisillä tai hyväksytyillä näytetiedoilla ennen laajemman käyttöoikeuden myöntämistä. Tarkista hyödyllinen tulos, käyttöoikeudet, jonon käyttäytyminen ja palautuminen epäonnistuneesta riippuvuudesta. Tarkkaile koko prosessia, mukaan lukien selaimen aliprosessit ja tietojen lataukset. Jos malli on paikallinen, sisällytä testiin kylmäkäynnistys ja aiottu samanaikaisten pyyntöjen määrä. Käytä Vectoria tai Pulsea määrittelyjen ehdokaslistana tavallisille työntekijöille ja vertaa Tensoria vain, kun päättely-ympäristö tarvitsee sopivia GPU-resursseja. Vahvista yhteensopivuus ja saatavuus ennen varsinaista tilausta. Laajenna työntekijän käyttöoikeuksia vasta, kun sen käyttäytyminen voidaan tarkistaa. Tavoitteena on palvelu, jolla on selkeä käyttöalue, mitattava resurssibudjetti ja suoraviivainen tapa pysäyttää ja palauttaa työ. MUUNNA SE TOIMINNAKSI Käytännön tarkistuslistasi. ✓ Kuvaile yksi työ ja sen hyväksymisraja. ✓ Erota etä-API-käsittely paikallisesta päättelystä. ✓ Mittaa työkalut, selaimet ja huippusamanaikaisuus. ✓ Aseta aika-, resurssi- ja käyttöoikeusrajoitukset. ✓ Testaa uudelleenkäynnistykset kopioimatta valmiita toimia. Lataa tarkistuslista YLEISET KYSYMYKSET Olennaiset yksityiskohdat. Tarvitseeko jokainen tekoälytyöntekijä GPU:n? + Ei. Etämallin API:a kutsuva työntekijä tarvitsee yleensä resursseja orkestrointiin ja työkaluihin. Paikallisella päättelyllä on erilliset laitteisto- ja ajonaikaisvaatimukset. Teksekö kontti autonomisesta työnkulusta turvallisen? + Ei. Määritä sen käyttöoikeudet, liitokset, verkkoyhteys ja resurssirajoitukset sekä tarkista merkittävät työkalutoimet mallin ulkopuolella. Pitääkö työntekijän isännöinti Sveitsissä jokaisen kehotteen siellä? + Ei. Etämallien rajapinnat ja muut integraatiot voivat käsitellä sisältöä muualla. Kartoita nämä riippuvuudet selkeästi. ENSISIJAISET LÄHTEET Mene lähteelle. Nämä lähteet tukevat tämän oppaan teknisiä käsitteitä. Noudata ajantasaisia dokumentaatioita ennen tuotantojärjestelmän muuttamista. Docker: Resurssirajoitukset docs.docker.com OWASP: LLM-kehoteinjektion estäminen cheatsheetseries.owasp.org Ollama: Ajonaikaisen ympäristön ja samanaikaisuuden UKK docs.ollama.com Toimituksellinen ohjaus: SwissOctet. Esimerkit ovat havainnollistavia. Palvelumääritykset, saatavilla olevat vaihtoehdot ja sopimusehdot on tarkistettava erikseen. YHDISTÄ TIETO Aiheeseen liittyvä infrastruktuuri. Vector VPS Sveitsi Pulse NVMe Sveitsi Tensor GPU Sveitsi PIDÄ LANGANPÄÄ Seuraavat kenttämuistiinpanosi. Tutustu kaikkiin oppaisiin KENTTÄMUISTIINPANO / 01 + Pilvi & VPS Perusta Näin valitset VPS arvailematta Muunna sovellusidea hyödylliseksi resurssibudjetiksi ja vertaa sitten CPU, muistia, tallennustilaa ja siirtoa yhdessä. 4 min luku Lue opas KENTTÄMUISTIINPANO / 02 + Toisen päivän toiminnot Sovellettu Käytännön uhkamalli isännöidylle projektillesi Kartoita omaisuus ja luottamusrajat, valitse muutama realistinen vikaskenaario ja muunna ne kontrolleiksi, joita voit testata. 6 min lukuaika Lue opas KENTTÄMUISTIINPANO / 03 + Pilvi & VPS Sovellettu Mitoita VPS:n CPU ja muisti todellisen työkuorman mukaan Rakenna muistibudjetti, tutki kilpailua ja erota yksi kiireinen säie työstä, joka voi käyttää useita virtuaaliytimiä. 6 min lukuaika Lue opas