Bir AI iş akışı, gerçek araçları ve eşzamanlılığı için kaynaklara ve modelin dışında da uygulanabilir kalan izinlere ihtiyaç duyar. Uzak çıkarım ve yerel çıkarım farklı CPU, bellek, depolama ve GPU kararlarına yol açar.
Makine seçmeden önce işi adlandırın
Bir AI çalışanı, bir modeli görevleri alan, bağlam toplayan ve araçları çağıran yazılımla birleştirir. Zamanlanmış bir belge sınıflandırıcısı, dahili bir arama asistanı ve tarayıcı tabanlı bir iş akışı farklı çalışma ihtiyaçlarına sahiptir. Girdiyi, beklenen çıktıyı, iletişim kurabileceği sistemleri ve bir kişinin sonuç doğuran bir eylemi onayladığı noktayı yazın. Bu küçük şartname, size ana makine hakkında agent etiketinden daha fazlasını anlatır.
Tekrarlanabilir tek bir iş ve dar bir hesapla başlayın. Bir yanıt taslağı hazırlayan çalışan, onu gönderenden daha az yetkiye ihtiyaç duyar. Bu aşamaları uygulamada ayrı tutun. Sunucu, onaylanan iş akışını desteklemeli, ancak üretilen her talimatı yürütülebilir bir işleme dönüştürmemelidir. Tamamlama, süresiz çalışan bir döngü yerine doğrulanmış bir sonuç veya net bir hata durumu anlamına gelir.
Uzak bir modeli yerel bir modelden ayırın
Model harici bir API arkasında çalıştığında, VPS esas olarak kuyruğu, uygulamayı, araçları ve kalıcı durumu barındırır. Bellek talebi, tarayıcılar veya belge ayrıştırıcıları dahil olmak üzere bu süreçlerden gelir. Bu makinedeki bir GPU, başka bir yerde çalışan bir modeli hızlandırmaz. Hangi içeriğin API sınırını geçtiğini kaydedin ve bu sağlayıcıyı çalışanın konumundan bağımsız olarak değerlendirin.
Yerel çıkarım, bütçeye model depolama, model belleği ve çalışma zamanı uyumluluğu ekler. Ollama gibi çıkarım araçları, CPU veya GPU yerleşimi ve eşzamanlı istekler hakkında bilgi sunar. Seçilen modeli, bağlam uzunluğunu ve eşzamanlılığı birlikte test edin. Daha büyük bir bağlam veya daha fazla eşzamanlı iş bellek talebini artırabilir; tek başına model dosyası boyutu eksik bir boyutlandırma yöntemidir. Bir GPU yapılandırması seçmeden önce çalışma zamanının desteklediği donanımı kontrol edin.
| Çalışan deseni | Ana kaynak sorusu | İncelenecek sınır |
|---|---|---|
| Uzak model API | Uygulama ve araç belleği | Model sağlayıcısına gönderilen içerik |
| Yerel model | Model, bağlam ve çalışma belleği | Çalışma zamanı ve cihaz uyumluluğu |
| Tarayıcı iş akışı | En yoğun tarayıcı süreçleri ve geçici dosyalar | Web içeriği ve izin verilen eylemler |
Temsili bir kuyruğu ölçün
Normal ve olağandışı büyük girdiler içeren küçük bir görev kümesi hazırlayın. En yoğun bellek kullanımını, geçen işlem süresini, geçici depolamayı ve harici çağrı sayısını ölçün. Hata durumlarını da ekleyin: kullanılamayan bir API, hatalı biçimlendirilmiş bir belge ve bir araç zaman aşımı. Bu ölçümler yazılımınız için bir planlama alıştırmasıdır; bir SwissOctet planı için kıyaslama veya performans vaadi değildir.
Etkin işler için bir üst sınır ve bir üst yürütme süresi belirleyin. Güvenli şekilde başlatılamayan işleri kuyruğa alın ve aşırı yükü öngörülebilir şekilde reddedin. Her hatayı hemen yeniden denemek, hem sunucu baskısını hem de API harcamasını çoğaltabilir. Sınırlı bir yeniden deneme politikası ve aynı tamamlanmış eylemin iki kez uygulanmasını önleyen bir tanımlayıcı kullanın. İşler etkinken işletim sistemi, izleme ve bakım için kapasite ayırın.
Araçlara çalışanın hırsından daha az yetki verin
Bir modele verilen belgeler ve web sayfaları, onu yönlendirmeye yönelik talimatlar içerebilir. Alınan içeriği girdi olarak değerlendirin, işletim izni kaynağı olarak değil. OWASP'ın prompt injection konusundaki rehberi, kısıtlı araçlar ve hassas eylemler etrafındaki kontroller dahil olmak üzere birkaç kontrol katmanı önerir. İzinleri, modelin bir yanıt aracılığıyla yeniden yazamayacağı araç uygulamasına ve işletim ortamına koyun.
Ayrı işler için ayrı kimlik bilgileri kullanın; her birinin ihtiyaç duyduğu kayıtlara veya dizinlere yalnızca erişim verin. Model tarafından oluşturulan kabuk komutları yerine yapılandırılmış parametreleri tercih edin. Dosya hedeflerini ve giden hedefleri doğrulayın. Mesaj gönderme, değişiklik yayınlama veya önemli kayıtları değiştirme için kasıtlı bir onay sınırı gerektirin. Salt okunur bir araştırma çalışanı ile bir üretim yöneticisi, yalnızca ikisi de tek bir ana makinede çalışıyor diye aynı kimlik bilgilerini miras almamalıdır.
Kaynak kontrollerini ve kurtarmayı açık tutun
Kapsayıcılar bağımlılıkları ve süreç sınırlarını düzenleyebilir, ancak kasıtlı yapılandırma gerektirirler. Docker, kapsayıcıların varsayılan olarak kaynak sınırı olmadığını belgeler. Uygun bellek ve CPU sınırlarını ayarlayın, desteklenen yerlerde ayrıcalıksız bir süreç kullanın ve yalnızca gerekli verileri bağlayın. Model uç noktalarını ve yönetim arayüzlerini, yalnızca ilk testi kolaylaştırmak için açığa çıkarmak yerine kısıtlı tutun.
Görev durumunu geçici çalışma dosyalarından ayrı olarak kalıcı hale getirin. Her prompt'u sonsuza kadar saklamadan, yeniden başlatmadan sonra tamamlanan işi tanımak için yeterli bilgi kaydedin. Kimlik bilgilerini günlüklerden ve oluşturulan çıktılardan koruyun. Girdiler, çıktılar ve tanılama verileri için saklama süresini tanımlayın. Bir kurtarma testi, çalışanı yeniden başlatmalı ve tamamlanmamış işlerin güvenli şekilde devam ettiğini, tamamlanan işlerin tamamlanmış kaldığını ve hataların operatöre görünür kaldığını doğrulamalıdır.
İlk dağıtımı bir kabul testi yapın
Daha geniş erişim vermeden önce dar iş akışını sentetik veya onaylanmış örnek verilerle çalıştırın. Yararlı çıktıyı, izinleri, kuyruk davranışını ve başarısız bir bağımlılıktan kurtarmayı kontrol edin. Tarayıcı alt süreçleri ve veri indirmeleri dahil olmak üzere tüm süreci gözlemleyin. Model yerelse, teste bir soğuk başlatma ve amaçlanan eşzamanlı istek sayısını dahil edin.
Sıradan çalışanlar için Vector veya Pulse'u bir şartname kısa listesi olarak kullanın ve Tensor'ü yalnızca çıkarım çalışma zamanı uygun GPU kaynaklarına ihtiyaç duyduğunda karşılaştırın. Gerçek bir siparişten önce uyumluluğu ve kullanılabilirliği teyit edin. Çalışanın izinlerini yalnızca davranışı incelenebildikten sonra genişletin. Amaç, net bir işletim zarfı, ölçülebilir bir kaynak bütçesi ve işi durdurup kurtarmanın basit bir yolu olan bir hizmettir.
Pratik kontrol listeniz.
- Bir işi ve onay sınırını tanımlayın.
- Uzak API işlemeyi yerel çıkarımdan ayırın.
- Araçları, tarayıcıları ve en yoğun eşzamanlılığı ölçün.
- Zaman, kaynak ve izin sınırlarını uygulayın.
- Tamamlanan eylemleri yinelemeden yeniden başlatmaları test edin.
Önemli olan ayrıntılar.
Her AI çalışanı bir GPU'a ihtiyaç duyar mı?+
Hayır. Uzak bir model API'ı çağıran bir çalışan genellikle orkestrasyon ve araçlar için kaynaklara ihtiyaç duyar. Yerel çıkarımın ayrı donanım ve çalışma zamanı gereksinimleri vardır.
Bir kapsayıcı otonom bir iş akışını güvenli yapar mı?+
Hayır. İzinlerini, bağlamalarını, ağ erişimini ve kaynak sınırlarını yapılandırın ve sonuç doğuran araç eylemlerini modelin dışında kontrol edin.
Çalışanı İsviçre'de barındırmak her prompt'u orada mı tutar?+
Hayır. Uzak model API'leri ve diğer entegrasyonlar içeriği başka yerlerde işleyebilir. Bu bağımlılıkları açıkça haritalandırın.
Kaynağa gidin.
Bu kaynaklar, bu kılavuzdaki teknik kavramları destekler. Bir üretim sistemini değiştirmeden önce güncel belgeleri izleyin.
- Docker: Kaynak kısıtlamaları docs.docker.com
- OWASP: LLM Prompt Injection Önleme cheatsheetseries.owasp.org
- Ollama: Çalışma zamanı ve eşzamanlılık SSS docs.ollama.com
SwissOctet tarafından editoryal rehberlik. Örnekler açıklayıcıdır. Hizmet spesifikasyonları, mevcut seçenekler ve sözleşme koşulları ayrıca doğrulanmalıdır.