# Beri pekerja AI Anda tempat terbatas untuk berjalan | SwissOctet Insights https://swissoctet.com/id/insights/give-ai-workers-a-bounded-runtime/ SwissOctet / Wawasan / Cloud & VPS Cloud & VPS Terapan · 4 menit baca Beri pekerja AI Anda tempat terbatas untuk berjalan Pisahkan inferensi model dari orkestrasi, ukur ukuran pekerja yang sebenarnya, dan batasi apa yang dapat diubah oleh alatnya sebelum menempatkan alur kerja AI di server. Oleh SwissOctet Editorial Simpan panduan Salin tautan DI HALAMAN INI 01 Beri nama pekerjaan sebelum memilih mesin 02 Pisahkan model jarak jauh dari model lokal 03 Ukur antrean yang representatif 04 Beri alat lebih sedikit wewenang daripada ambisi pekerja 05 Pertahankan kontrol sumber daya dan pemulihan secara eksplisit 06 Jadikan penerapan pertama sebagai uji penerimaan Daftar periksa praktis Anda Sumber & bacaan lanjutan Kembali ke pustaka JAWABAN LANGSUNG Alur kerja AI memerlukan sumber daya untuk alat dan konkurensi yang sebenarnya, serta izin yang tetap dapat ditegakkan di luar model. Inferensi jarak jauh dan inferensi lokal menghasilkan keputusan CPU, memori, penyimpanan, dan GPU yang berbeda. 01 Beri nama pekerjaan sebelum memilih mesin Pekerja AI menggabungkan model dengan perangkat lunak yang menerima tugas, mengumpulkan konteks, dan memanggil alat. Pengklasifikasi dokumen terjadwal, asisten pencarian internal, dan alur kerja berbasis browser memiliki kebutuhan operasional yang berbeda. Tuliskan input, output yang diharapkan, sistem yang mungkin dihubungi, dan titik di mana seseorang menyetujui tindakan berkonsekuensi. Spesifikasi kecil ini memberi tahu Anda lebih banyak tentang host daripada label agen. Mulailah dengan satu pekerjaan yang dapat diulang dan akun yang sempit. Pekerja yang menyusun draf respons memerlukan lebih sedikit wewenang daripada yang mengirimkannya. Pisahkan tahap-tahap tersebut dalam aplikasi. Server harus mendukung alur kerja yang disetujui tanpa mengubah setiap instruksi yang dihasilkan menjadi operasi yang dapat dieksekusi. Penyelesaian berarti hasil yang terverifikasi atau status kegagalan yang jelas, bukan loop yang berjalan tanpa batas. 02 Pisahkan model jarak jauh dari model lokal Saat model berjalan di belakang API eksternal, VPS terutama menghosting antrean, aplikasi, alat, dan status persisten. Kebutuhan memorinya berasal dari proses tersebut, termasuk browser atau pengurai dokumen apa pun. GPU di mesin ini tidak mempercepat model yang berjalan di tempat lain. Catat konten mana yang melintasi batas API dan evaluasi penyedia tersebut secara independen dari lokasi pekerja. Inferensi lokal menambahkan penyimpanan model, memori model, dan kompatibilitas runtime ke anggaran. Alat inferensi seperti Ollama mengungkapkan informasi tentang penempatan CPU atau GPU dan permintaan bersamaan. Uji model yang dipilih, panjang konteks, dan konkurensi secara bersamaan. Konteks yang lebih besar atau lebih banyak pekerjaan simultan dapat meningkatkan kebutuhan memori; ukuran file model saja adalah metode penentuan ukuran yang tidak lengkap. Periksa perangkat keras yang didukung runtime sebelum memilih konfigurasi GPU. Pola pekerja Pertanyaan sumber daya utama Batas yang harus ditinjau Model jarak jauh API Memori aplikasi dan alat Konten yang dikirim ke penyedia model Model lokal Model, konteks, dan memori kerja Kompatibilitas runtime dan perangkat Alur kerja browser Proses browser puncak dan file sementara Konten web dan tindakan yang diizinkan 03 Ukur antrean yang representatif Siapkan serangkaian kecil tugas dengan input normal dan yang luar biasa besar. Ukur memori puncak, waktu pemrosesan yang berlalu, penyimpanan sementara, dan jumlah panggilan eksternal. Sertakan kasus kegagalan: API yang tidak tersedia, dokumen yang cacat, dan timeout alat. Pengukuran ini adalah latihan perencanaan untuk perangkat lunak Anda, bukan tolok ukur atau janji kinerja untuk rencana SwissOctet. Tetapkan jumlah maksimum pekerjaan aktif dan waktu eksekusi maksimum. Antrekan pekerjaan yang tidak dapat dimulai dengan aman dan tolak kelebihan beban dengan cara yang dapat diprediksi. Mencoba ulang setiap kegagalan segera dapat melipatgandakan tekanan server dan pengeluaran API. Gunakan kebijakan percobaan ulang yang terbatas dan pengenal yang mencegah tindakan selesai yang sama diterapkan dua kali. Sisihkan kapasitas untuk sistem operasi, pemantauan, dan pemeliharaan saat pekerjaan aktif. 04 Beri alat lebih sedikit wewenang daripada ambisi pekerja Dokumen dan halaman web yang diberikan ke model dapat berisi instruksi yang dimaksudkan untuk mengarahkannya. Perlakukan konten yang diambil sebagai input, bukan sebagai sumber izin operasional. Panduan OWASP tentang prompt injection merekomendasikan beberapa lapisan kontrol, termasuk alat yang dibatasi dan pemeriksaan di sekitar tindakan sensitif. Tempatkan izin dalam implementasi alat dan lingkungan operasi, di mana model tidak dapat menulis ulang melalui respons. Gunakan kredensial terpisah untuk pekerjaan yang berbeda, dengan akses hanya ke catatan atau direktori yang masing-masing butuhkan. Utamakan parameter terstruktur daripada perintah shell yang dihasilkan model. Validasi tujuan file dan target keluar. Wajibkan batas persetujuan yang disengaja untuk mengirim pesan, menerbitkan perubahan, atau memodifikasi catatan penting. Pekerja riset hanya-baca dan administrator produksi tidak boleh mewarisi kredensial yang sama hanya karena keduanya berjalan di satu host. 05 Pertahankan kontrol sumber daya dan pemulihan secara eksplisit Kontainer dapat mengatur dependensi dan batas proses, tetapi memerlukan konfigurasi yang disengaja. Docker mendokumentasikan bahwa kontainer tidak memiliki batas sumber daya secara default. Tetapkan batas memori dan CPU yang sesuai, gunakan proses tanpa hak istimewa jika didukung, dan pasang hanya data yang diperlukan. Batasi endpoint model dan antarmuka administrasi alih-alih mengeksposnya hanya untuk membuat pengujian awal nyaman. Pertahankan status tugas secara terpisah dari file kerja sementara. Catat informasi yang cukup untuk mengenali pekerjaan yang selesai setelah restart tanpa menyimpan setiap prompt selamanya. Lindungi kredensial dari log dan artefak yang dihasilkan. Tentukan retensi untuk input, output, dan data diagnostik. Uji pemulihan harus me-restart pekerja dan memverifikasi bahwa pekerjaan yang belum selesai dilanjutkan dengan aman, pekerjaan yang selesai tetap selesai, dan kegagalan tetap terlihat oleh operator. 06 Jadikan penerapan pertama sebagai uji penerimaan Jalankan alur kerja yang sempit dengan data sintetis atau sampel yang disetujui sebelum memberikan akses yang lebih luas. Periksa output yang berguna, izin, perilaku antrean, dan pemulihan dari dependensi yang gagal. Amati seluruh proses, termasuk proses browser anak dan unduhan data. Jika model bersifat lokal, sertakan cold start dan jumlah permintaan bersamaan yang dimaksud dalam pengujian. Gunakan Vector atau Pulse sebagai daftar pendek spesifikasi untuk pekerja biasa, dan bandingkan Tensor hanya ketika runtime inferensi memerlukan sumber daya GPU yang sesuai. Konfirmasikan kompatibilitas dan ketersediaan sebelum pesanan sebenarnya. Perluas izin pekerja hanya setelah perilakunya dapat ditinjau. Tujuannya adalah layanan dengan cakupan operasi yang jelas, anggaran sumber daya yang terukur, dan cara langsung untuk menghentikan dan memulihkan pekerjaan. UBAH MENJADI TINDAKAN Daftar periksa praktis Anda. ✓ Jelaskan satu pekerjaan dan batas persetujuannya. ✓ Pisahkan pemrosesan API jarak jauh dari inferensi lokal. ✓ Ukur alat, browser, dan konkurensi puncak. ✓ Terapkan batas waktu, sumber daya, dan izin. ✓ Uji restart tanpa menduplikasi tindakan yang sudah selesai. Unduh daftar periksa PERTANYAAN UMUM Detail yang penting. Apakah setiap pekerja AI memerlukan GPU? + Tidak. Pekerja yang memanggil API model jarak jauh biasanya memerlukan sumber daya untuk orkestrasi dan alat. Inferensi lokal memiliki persyaratan perangkat keras dan runtime yang terpisah. Apakah kontainer membuat alur kerja otonom menjadi aman? + Tidak. Konfigurasikan izin, mount, akses jaringan, dan batas sumber dayanya, dan periksa tindakan alat yang berkonsekuensi di luar model. Apakah menghosting pekerja di Swiss membuat setiap prompt tetap di sana? + Tidak. API model jarak jauh dan integrasi lain dapat memproses konten di tempat lain. Petakan dependensi tersebut secara eksplisit. REFERENSI UTAMA Kunjungi sumbernya. Referensi ini mendukung konsep teknis dalam panduan ini. Ikuti dokumentasi terkini sebelum mengubah sistem produksi. Docker: Batasan sumber daya docs.docker.com OWASP: Pencegahan LLM Prompt Injection cheatsheetseries.owasp.org Ollama: FAQ runtime dan konkurensi docs.ollama.com Panduan editorial oleh SwissOctet. Contoh bersifat ilustratif. Spesifikasi layanan, opsi yang tersedia, dan ketentuan kontraktual harus diverifikasi secara terpisah. HUBUNGKAN PENGETAHUAN Infrastruktur terkait. Vector VPS Swiss Pulse NVMe Swiss Tensor GPU Swiss JAGA BENANGNYA Catatan lapangan Anda berikutnya. Jelajahi semua panduan CATATAN LAPANGAN / 01 + Cloud & VPS Fondasi Cara memilih VPS tanpa menebak-nebak Ubah ide aplikasi menjadi anggaran sumber daya yang berguna, lalu bandingkan CPU, memori, penyimpanan, dan transfer secara bersamaan. 4 menit baca Baca panduannya CATATAN LAPANGAN / 02 + Operasi hari kedua Terapan Model ancaman praktis untuk proyek terkelola Anda Petakan aset dan batas kepercayaan, pilih beberapa skenario kegagalan yang realistis, dan ubah menjadi kontrol yang dapat Anda uji. 6 menit baca Baca panduannya CATATAN LAPANGAN / 03 + Cloud & VPS Terapan Tentukan kapasitas CPU dan memori VPS berdasarkan beban kerja nyata Susun anggaran memori, periksa kontensi, dan pisahkan satu thread sibuk dari pekerjaan yang dapat menggunakan beberapa inti virtual. 6 menit baca Baca panduannya