Một quy trình AI cần tài nguyên cho các công cụ và mức đồng thời thực tế của nó, cùng quyền vẫn có thể thực thi bên ngoài mô hình. Suy luận từ xa và suy luận cục bộ dẫn đến các quyết định khác nhau về CPU, bộ nhớ, lưu trữ và GPU.
Đặt tên công việc trước khi chọn máy
Một worker AI kết hợp một mô hình với phần mềm nhận nhiệm vụ, thu thập ngữ cảnh và gọi công cụ. Một bộ phân loại tài liệu theo lịch, một trợ lý tìm kiếm nội bộ và một quy trình điều khiển bằng trình duyệt có nhu cầu vận hành khác nhau. Viết ra đầu vào, đầu ra mong đợi, các hệ thống nó có thể liên hệ và điểm mà một người phê duyệt hành động quan trọng. Đặc tả nhỏ này cho bạn biết nhiều hơn về máy chủ so với nhãn agent.
Bắt đầu với một công việc có thể lặp lại và một tài khoản hẹp. Một worker soạn thảo phản hồi cần ít quyền hơn một worker gửi nó. Giữ các giai đoạn đó tách biệt trong ứng dụng. Máy chủ phải hỗ trợ quy trình đã được phê duyệt mà không biến mọi hướng dẫn được tạo thành thao tác có thể thực thi. Hoàn tất nghĩa là một kết quả đã được xác minh hoặc một trạng thái thất bại rõ ràng, chứ không phải một vòng lặp chạy vô hạn.
Tách mô hình từ xa khỏi mô hình cục bộ
Khi mô hình chạy sau một API bên ngoài, VPS chủ yếu lưu trữ hàng đợi, ứng dụng, công cụ và trạng thái lâu dài. Nhu cầu bộ nhớ của nó đến từ các tiến trình đó, bao gồm mọi trình duyệt hoặc bộ phân tích tài liệu. Một GPU trên máy này không tăng tốc mô hình chạy ở nơi khác. Ghi lại nội dung nào vượt qua ranh giới API và đánh giá nhà cung cấp đó độc lập với vị trí của worker.
Suy luận cục bộ bổ sung lưu trữ mô hình, bộ nhớ mô hình và khả năng tương thích thời gian chạy vào ngân sách. Các công cụ suy luận như Ollama cung cấp thông tin về vị trí CPU hoặc GPU và các yêu cầu đồng thời. Kiểm thử mô hình đã chọn, độ dài ngữ cảnh và mức đồng thời cùng nhau. Ngữ cảnh lớn hơn hoặc nhiều công việc đồng thời hơn có thể làm tăng nhu cầu bộ nhớ; chỉ kích thước tệp mô hình là phương pháp định cỡ chưa đầy đủ. Kiểm tra phần cứng được thời gian chạy hỗ trợ trước khi chọn cấu hình GPU.
| Mẫu worker | Câu hỏi tài nguyên chính | Ranh giới cần xem xét |
|---|---|---|
| Mô hình từ xa API | Bộ nhớ ứng dụng và công cụ | Nội dung được gửi đến nhà cung cấp mô hình |
| Mô hình cục bộ | Mô hình, ngữ cảnh và bộ nhớ làm việc | Khả năng tương thích thời gian chạy và thiết bị |
| Quy trình trình duyệt | Tiến trình trình duyệt đỉnh và tệp tạm thời | Nội dung web và hành động được phép |
Đo một hàng đợi đại diện
Chuẩn bị một tập nhiệm vụ nhỏ với đầu vào bình thường và lớn bất thường. Đo bộ nhớ đỉnh, thời gian xử lý, lưu trữ tạm thời và số lượng cuộc gọi bên ngoài. Bao gồm các trường hợp thất bại: API không khả dụng, tài liệu sai định dạng và công cụ hết thời gian chờ. Các phép đo này là bài tập lập kế hoạch cho phần mềm của bạn, không phải điểm chuẩn hay cam kết hiệu năng cho một kế hoạch SwissOctet.
Đặt số lượng công việc đang hoạt động tối đa và thời gian thực thi tối đa. Xếp hàng công việc không thể bắt đầu an toàn và từ chối quá tải theo cách có thể dự đoán. Thử lại mọi thất bại ngay lập tức có thể nhân lên cả áp lực máy chủ và chi phí API. Dùng chính sách thử lại có giới hạn và một mã định danh ngăn cùng một hành động đã hoàn tất được áp dụng hai lần. Dành dung lượng cho hệ điều hành, giám sát và bảo trì trong khi công việc đang hoạt động.
Trao cho công cụ ít quyền hơn tham vọng của worker
Tài liệu và trang web được cung cấp cho mô hình có thể chứa hướng dẫn nhằm chuyển hướng nó. Hãy coi nội dung truy xuất được là đầu vào, không phải nguồn quyền vận hành. Hướng dẫn của OWASP về prompt injection khuyến nghị nhiều lớp kiểm soát, bao gồm công cụ bị hạn chế và kiểm tra xung quanh các hành động nhạy cảm. Đặt quyền trong phần triển khai công cụ và môi trường vận hành, nơi mô hình không thể viết lại chúng thông qua phản hồi.
Dùng thông tin xác thực riêng cho từng công việc, chỉ có quyền truy cập vào các bản ghi hoặc thư mục mà mỗi công việc cần. Ưu tiên tham số có cấu trúc hơn lệnh shell do mô hình tạo. Xác thực đích tệp và mục tiêu gửi ra. Yêu cầu một ranh giới phê duyệt có chủ đích để gửi tin nhắn, xuất bản thay đổi hoặc sửa đổi bản ghi quan trọng. Một worker nghiên cứu chỉ đọc và một quản trị viên sản xuất không bao giờ nên kế thừa cùng thông tin xác thực chỉ vì cả hai chạy trên một máy chủ.
Giữ kiểm soát tài nguyên và phục hồi rõ ràng
Container có thể tổ chức phụ thuộc và ranh giới tiến trình, nhưng chúng cần cấu hình có chủ đích. Docker ghi rõ rằng container không có giới hạn tài nguyên theo mặc định. Đặt giới hạn bộ nhớ và CPU phù hợp, dùng tiến trình không đặc quyền khi được hỗ trợ và chỉ gắn dữ liệu cần thiết. Giữ điểm cuối mô hình và giao diện quản trị bị hạn chế thay vì phơi bày chúng chỉ để việc kiểm thử ban đầu thuận tiện.
Lưu trạng thái nhiệm vụ tách biệt khỏi tệp làm việc tạm thời. Ghi đủ thông tin để nhận ra công việc đã hoàn tất sau khi khởi động lại mà không lưu mọi prompt mãi mãi. Bảo vệ thông tin xác thực khỏi nhật ký và tạo phẩm được tạo. Xác định thời gian lưu trữ cho đầu vào, đầu ra và dữ liệu chẩn đoán. Một bài kiểm thử phục hồi nên khởi động lại worker và xác minh rằng công việc chưa hoàn tất tiếp tục an toàn, công việc đã hoàn tất vẫn hoàn tất và thất bại vẫn hiển thị với người vận hành.
Biến lần triển khai đầu tiên thành bài kiểm thử nghiệm thu
Chạy quy trình hẹp với dữ liệu tổng hợp hoặc mẫu đã được phê duyệt trước khi cấp quyền truy cập rộng hơn. Kiểm tra đầu ra hữu ích, quyền, hành vi hàng đợi và phục hồi từ một phụ thuộc bị lỗi. Quan sát toàn bộ quá trình, bao gồm các tiến trình trình duyệt con và tải dữ liệu. Nếu mô hình là cục bộ, hãy đưa khởi động nguội và số lượng yêu cầu đồng thời dự định vào bài kiểm thử.
Dùng Vector hoặc Pulse làm danh sách rút gọn đặc tả cho worker thông thường, và chỉ so sánh Tensor khi thời gian chạy suy luận cần tài nguyên GPU phù hợp. Xác nhận khả năng tương thích và tính sẵn có trước khi đặt hàng thực tế. Chỉ mở rộng quyền của worker sau khi hành vi của nó có thể được xem xét. Mục tiêu là một dịch vụ có phạm vi vận hành rõ ràng, ngân sách tài nguyên có thể đo lường và cách dừng và phục hồi công việc đơn giản.
Danh sách kiểm tra thực tế của bạn.
- Mô tả một công việc và ranh giới phê duyệt của nó.
- Tách xử lý API từ xa khỏi suy luận cục bộ.
- Đo công cụ, trình duyệt và mức đồng thời đỉnh.
- Áp dụng giới hạn thời gian, tài nguyên và quyền.
- Kiểm thử khởi động lại mà không nhân bản hành động đã hoàn tất.
Những chi tiết quan trọng.
Mọi worker AI có cần GPU không?+
Không. Một worker gọi API mô hình từ xa thường cần tài nguyên cho điều phối và công cụ. Suy luận cục bộ có yêu cầu phần cứng và thời gian chạy riêng.
Container có làm cho quy trình tự động an toàn không?+
Không. Cấu hình quyền, gắn kết, quyền truy cập mạng và giới hạn tài nguyên của nó, và kiểm tra các hành động công cụ quan trọng bên ngoài mô hình.
Lưu trữ worker ở Thụy Sĩ có giữ mọi prompt ở đó không?+
Không. API mô hình từ xa và các tích hợp khác có thể xử lý nội dung ở nơi khác. Hãy lập bản đồ các phụ thuộc đó một cách rõ ràng.
Đến nguồn.
Các tài liệu tham khảo này hỗ trợ các khái niệm kỹ thuật trong hướng dẫn này. Hãy theo dõi tài liệu hiện hành trước khi thay đổi hệ thống sản xuất.
- Docker: Các ràng buộc tài nguyên docs.docker.com
- OWASP: Ngăn chặn LLM Prompt Injection cheatsheetseries.owasp.org
- Ollama: Câu hỏi thường gặp về thời gian chạy và đồng thời docs.ollama.com
Hướng dẫn biên tập bởi SwissOctet. Các ví dụ chỉ mang tính minh họa. Thông số dịch vụ, tùy chọn có sẵn và điều kiện hợp đồng phải được xác minh riêng.