Alur kerja AI memerlukan sumber daya untuk alat dan konkurensi yang sebenarnya, serta izin yang tetap dapat ditegakkan di luar model. Inferensi jarak jauh dan inferensi lokal menghasilkan keputusan CPU, memori, penyimpanan, dan GPU yang berbeda.
Beri nama pekerjaan sebelum memilih mesin
Pekerja AI menggabungkan model dengan perangkat lunak yang menerima tugas, mengumpulkan konteks, dan memanggil alat. Pengklasifikasi dokumen terjadwal, asisten pencarian internal, dan alur kerja berbasis browser memiliki kebutuhan operasional yang berbeda. Tuliskan input, output yang diharapkan, sistem yang mungkin dihubungi, dan titik di mana seseorang menyetujui tindakan berkonsekuensi. Spesifikasi kecil ini memberi tahu Anda lebih banyak tentang host daripada label agen.
Mulailah dengan satu pekerjaan yang dapat diulang dan akun yang sempit. Pekerja yang menyusun draf respons memerlukan lebih sedikit wewenang daripada yang mengirimkannya. Pisahkan tahap-tahap tersebut dalam aplikasi. Server harus mendukung alur kerja yang disetujui tanpa mengubah setiap instruksi yang dihasilkan menjadi operasi yang dapat dieksekusi. Penyelesaian berarti hasil yang terverifikasi atau status kegagalan yang jelas, bukan loop yang berjalan tanpa batas.
Pisahkan model jarak jauh dari model lokal
Saat model berjalan di belakang API eksternal, VPS terutama menghosting antrean, aplikasi, alat, dan status persisten. Kebutuhan memorinya berasal dari proses tersebut, termasuk browser atau pengurai dokumen apa pun. GPU di mesin ini tidak mempercepat model yang berjalan di tempat lain. Catat konten mana yang melintasi batas API dan evaluasi penyedia tersebut secara independen dari lokasi pekerja.
Inferensi lokal menambahkan penyimpanan model, memori model, dan kompatibilitas runtime ke anggaran. Alat inferensi seperti Ollama mengungkapkan informasi tentang penempatan CPU atau GPU dan permintaan bersamaan. Uji model yang dipilih, panjang konteks, dan konkurensi secara bersamaan. Konteks yang lebih besar atau lebih banyak pekerjaan simultan dapat meningkatkan kebutuhan memori; ukuran file model saja adalah metode penentuan ukuran yang tidak lengkap. Periksa perangkat keras yang didukung runtime sebelum memilih konfigurasi GPU.
| Pola pekerja | Pertanyaan sumber daya utama | Batas yang harus ditinjau |
|---|---|---|
| Model jarak jauh API | Memori aplikasi dan alat | Konten yang dikirim ke penyedia model |
| Model lokal | Model, konteks, dan memori kerja | Kompatibilitas runtime dan perangkat |
| Alur kerja browser | Proses browser puncak dan file sementara | Konten web dan tindakan yang diizinkan |
Ukur antrean yang representatif
Siapkan serangkaian kecil tugas dengan input normal dan yang luar biasa besar. Ukur memori puncak, waktu pemrosesan yang berlalu, penyimpanan sementara, dan jumlah panggilan eksternal. Sertakan kasus kegagalan: API yang tidak tersedia, dokumen yang cacat, dan timeout alat. Pengukuran ini adalah latihan perencanaan untuk perangkat lunak Anda, bukan tolok ukur atau janji kinerja untuk rencana SwissOctet.
Tetapkan jumlah maksimum pekerjaan aktif dan waktu eksekusi maksimum. Antrekan pekerjaan yang tidak dapat dimulai dengan aman dan tolak kelebihan beban dengan cara yang dapat diprediksi. Mencoba ulang setiap kegagalan segera dapat melipatgandakan tekanan server dan pengeluaran API. Gunakan kebijakan percobaan ulang yang terbatas dan pengenal yang mencegah tindakan selesai yang sama diterapkan dua kali. Sisihkan kapasitas untuk sistem operasi, pemantauan, dan pemeliharaan saat pekerjaan aktif.
Beri alat lebih sedikit wewenang daripada ambisi pekerja
Dokumen dan halaman web yang diberikan ke model dapat berisi instruksi yang dimaksudkan untuk mengarahkannya. Perlakukan konten yang diambil sebagai input, bukan sebagai sumber izin operasional. Panduan OWASP tentang prompt injection merekomendasikan beberapa lapisan kontrol, termasuk alat yang dibatasi dan pemeriksaan di sekitar tindakan sensitif. Tempatkan izin dalam implementasi alat dan lingkungan operasi, di mana model tidak dapat menulis ulang melalui respons.
Gunakan kredensial terpisah untuk pekerjaan yang berbeda, dengan akses hanya ke catatan atau direktori yang masing-masing butuhkan. Utamakan parameter terstruktur daripada perintah shell yang dihasilkan model. Validasi tujuan file dan target keluar. Wajibkan batas persetujuan yang disengaja untuk mengirim pesan, menerbitkan perubahan, atau memodifikasi catatan penting. Pekerja riset hanya-baca dan administrator produksi tidak boleh mewarisi kredensial yang sama hanya karena keduanya berjalan di satu host.
Pertahankan kontrol sumber daya dan pemulihan secara eksplisit
Kontainer dapat mengatur dependensi dan batas proses, tetapi memerlukan konfigurasi yang disengaja. Docker mendokumentasikan bahwa kontainer tidak memiliki batas sumber daya secara default. Tetapkan batas memori dan CPU yang sesuai, gunakan proses tanpa hak istimewa jika didukung, dan pasang hanya data yang diperlukan. Batasi endpoint model dan antarmuka administrasi alih-alih mengeksposnya hanya untuk membuat pengujian awal nyaman.
Pertahankan status tugas secara terpisah dari file kerja sementara. Catat informasi yang cukup untuk mengenali pekerjaan yang selesai setelah restart tanpa menyimpan setiap prompt selamanya. Lindungi kredensial dari log dan artefak yang dihasilkan. Tentukan retensi untuk input, output, dan data diagnostik. Uji pemulihan harus me-restart pekerja dan memverifikasi bahwa pekerjaan yang belum selesai dilanjutkan dengan aman, pekerjaan yang selesai tetap selesai, dan kegagalan tetap terlihat oleh operator.
Jadikan penerapan pertama sebagai uji penerimaan
Jalankan alur kerja yang sempit dengan data sintetis atau sampel yang disetujui sebelum memberikan akses yang lebih luas. Periksa output yang berguna, izin, perilaku antrean, dan pemulihan dari dependensi yang gagal. Amati seluruh proses, termasuk proses browser anak dan unduhan data. Jika model bersifat lokal, sertakan cold start dan jumlah permintaan bersamaan yang dimaksud dalam pengujian.
Gunakan Vector atau Pulse sebagai daftar pendek spesifikasi untuk pekerja biasa, dan bandingkan Tensor hanya ketika runtime inferensi memerlukan sumber daya GPU yang sesuai. Konfirmasikan kompatibilitas dan ketersediaan sebelum pesanan sebenarnya. Perluas izin pekerja hanya setelah perilakunya dapat ditinjau. Tujuannya adalah layanan dengan cakupan operasi yang jelas, anggaran sumber daya yang terukur, dan cara langsung untuk menghentikan dan memulihkan pekerjaan.
Daftar periksa praktis Anda.
- Jelaskan satu pekerjaan dan batas persetujuannya.
- Pisahkan pemrosesan API jarak jauh dari inferensi lokal.
- Ukur alat, browser, dan konkurensi puncak.
- Terapkan batas waktu, sumber daya, dan izin.
- Uji restart tanpa menduplikasi tindakan yang sudah selesai.
Detail yang penting.
Apakah setiap pekerja AI memerlukan GPU?+
Tidak. Pekerja yang memanggil API model jarak jauh biasanya memerlukan sumber daya untuk orkestrasi dan alat. Inferensi lokal memiliki persyaratan perangkat keras dan runtime yang terpisah.
Apakah kontainer membuat alur kerja otonom menjadi aman?+
Tidak. Konfigurasikan izin, mount, akses jaringan, dan batas sumber dayanya, dan periksa tindakan alat yang berkonsekuensi di luar model.
Apakah menghosting pekerja di Swiss membuat setiap prompt tetap di sana?+
Tidak. API model jarak jauh dan integrasi lain dapat memproses konten di tempat lain. Petakan dependensi tersebut secara eksplisit.
Kunjungi sumbernya.
Referensi ini mendukung konsep teknis dalam panduan ini. Ikuti dokumentasi terkini sebelum mengubah sistem produksi.
- Docker: Batasan sumber daya docs.docker.com
- OWASP: Pencegahan LLM Prompt Injection cheatsheetseries.owasp.org
- Ollama: FAQ runtime dan konkurensi docs.ollama.com
Panduan editorial oleh SwissOctet. Contoh bersifat ilustratif. Spesifikasi layanan, opsi yang tersedia, dan ketentuan kontraktual harus diverifikasi secara terpisah.