# 为你的 AI 工作进程提供一个有边界的运行场所 | SwissOctet Insights https://swissoctet.com/zh/insights/give-ai-workers-a-bounded-runtime/ SwissOctet / 洞察 / 云与 VPS 云与 VPS 应用 · 4 分钟阅读 为你的 AI 工作进程提供一个有边界的运行场所 将模型推理与编排分离，为实际工作进程确定规模，并限制其工具可以更改的内容，然后再将 AI 工作流放到服务器上。 作者 SwissOctet 编辑部 保存指南 复制链接 本页内容 01 在选择机器之前明确作业 02 将远程模型与本地模型分开 03 测量具有代表性的队列 04 赋予工具的权限应低于工作进程的野心 05 明确资源控制和恢复机制 06 让首次部署成为验收测试 您的实用清单 来源与延伸阅读 返回资料库 直接答案 AI 工作流需要为其实际工具和并发提供资源，并需要可在模型之外强制执行的权限。远程推理和本地推理会导致不同的 CPU、内存、存储和 GPU 决策。 01 在选择机器之前明确作业 AI 工作进程将模型与接收任务、收集上下文并调用工具的软件结合在一起。定时文档分类器、内部搜索助手和浏览器驱动的工作流有不同的运行需求。写下输入、预期输出、它可能联系的系统，以及由人批准重大操作的位置。这份简短的规格说明比“代理”这个标签更能说明主机需求。 从一个可重复的作业和一个权限狭窄的账户开始。起草回复的工作进程所需的权限少于发送回复的工作进程。在应用程序中将这些阶段分开。服务器应支持已批准的工作流，而不是把每条生成的指令都变成可执行操作。完成意味着得到验证的结果或明确的失败状态，而不是无限运行的循环。 02 将远程模型与本地模型分开 当模型在外部 API 后面运行时，VPS 主要托管队列、应用程序、工具和持久状态。其内存需求来自这些进程，包括任何浏览器或文档解析器。此机器上的 GPU 不会加速在其他地方运行的模型。记录哪些内容跨越 API 边界，并独立于工作进程的位置评估该提供商。 本地推理会在预算中增加模型存储、模型内存和运行时兼容性。Ollama 等推理工具会公开有关 CPU 或 GPU 放置和并发请求的信息。一起测试所选模型、上下文长度和并发。更大的上下文或更多同时作业可能会提高内存需求；仅凭模型文件大小是不完整的规模估算方法。在选择 GPU 配置之前，检查运行时支持的硬件。 工作进程模式 主要资源问题 需审查的边界 远程模型 API 应用程序和工具内存 发送给模型提供商的内容 本地模型 模型、上下文和工作内存 运行时和设备兼容性 浏览器工作流 峰值浏览器进程和临时文件 Web 内容和允许的操作 03 测量具有代表性的队列 准备一小组任务，包含正常输入和异常大的输入。测量峰值内存、处理耗时、临时存储和外部调用次数。包括失败情况：API 不可用、文档格式错误和工具超时。这些测量是针对你的软件的规划练习，不是对 SwissOctet 方案的基准测试或性能承诺。 设置最大活动作业数和最大执行时间。将无法安全启动的工作排队，并以可预测的方式拒绝过载。立即重试每次失败可能会成倍增加服务器压力和 API 支出。使用有界重试策略和可防止同一已完成操作被应用两次的标识符。在作业活动期间为操作系统、监控和维护保留容量。 04 赋予工具的权限应低于工作进程的野心 提供给模型的文档和网页可能包含旨在重定向它的指令。将检索到的内容视为输入，而不是操作权限的来源。OWASP 关于提示注入的指南建议采用多层控制，包括限制工具以及对敏感操作进行检查。将权限放在工具实现和操作环境中，模型无法通过响应重写这些权限。 为不同作业使用不同凭据，仅访问各自需要的记录或目录。优先使用结构化参数，而不是模型生成的 shell 命令。验证文件目标位置和出站目标。对发送消息、发布更改或修改重要记录设置明确的审批边界。只读研究工作进程和生产管理员不应仅仅因为都运行在一台主机上就继承相同的凭据。 05 明确资源控制和恢复机制 容器可以组织依赖关系和进程边界，但需要经过深思熟虑的配置。Docker 文档指出，容器默认没有资源限制。设置适当的内存和 CPU 限制，在支持的情况下使用非特权进程，并仅挂载所需数据。限制模型端点和管理接口，而不是仅仅为了让初始测试方便就将其暴露。 将任务状态与临时工作文件分开持久化。记录足够的信息，以便在重启后识别已完成的工作，而无需永久存储每个提示。保护凭据不进入日志和生成的产物。定义输入、输出和诊断数据的保留期。恢复测试应重启工作进程，并验证未完成的作业安全恢复、已完成的作业保持完成，且失败对操作员仍然可见。 06 让首次部署成为验收测试 在授予更广泛访问权限之前，使用合成数据或已批准的样本数据运行狭窄的工作流。检查有用的输出、权限、队列行为以及从依赖失败中恢复的能力。观察整个过程，包括浏览器子进程和数据下载。如果模型是本地模型，请在测试中包括冷启动和预期数量的并发请求。 使用 Vector 或 Pulse 作为普通工作进程的规格候选，并仅在推理运行时需要合适的 GPU 资源时比较 Tensor。在实际下单前确认兼容性和可用性。只有在工作进程的行为可以被审查之后，才扩大其权限。目标是提供一项具有明确运行范围、可衡量资源预算以及简单停止和恢复工作方式的服务。 将其转化为行动 您的实用清单。 ✓ 描述一个作业及其审批边界。 ✓ 将远程 API 处理与本地推理分开。 ✓ 测量工具、浏览器和峰值并发。 ✓ 应用时间、资源和权限限制。 ✓ 测试重启而不会重复已完成的操作。 下载清单 常见问题 重要细节。 每个 AI 工作进程都需要 GPU 吗？ + 不需要。调用远程模型 API 的工作进程通常需要用于编排和工具的资源。本地推理有单独的硬件和运行时要求。 容器能让自主工作流安全吗？ + 不能。配置其权限、挂载、网络访问和资源限制，并在模型之外检查重大工具操作。 将工作进程托管在瑞士会让每个提示都留在那里吗？ + 不会。远程模型 API 和其他集成可能会在其他地方处理内容。明确映射这些依赖关系。 主要参考资料 前往来源。 这些参考资料支持本指南中的技术概念。在更改生产系统之前，请遵循当前文档。 Docker：资源约束 docs.docker.com OWASP：LLM 提示注入防护 cheatsheetseries.owasp.org Ollama：运行时和并发常见问题 docs.ollama.com 由 SwissOctet 提供编辑指导。示例仅作说明。服务规格、可用选项和合同条件必须单独核实。 连接知识 相关基础设施。 Vector VPS 瑞士 Pulse NVMe 瑞士 Tensor GPU 瑞士 保持联系 您的下一份现场笔记。 探索所有指南 现场笔记 / 01 + 云与 VPS 基础 如何不靠猜测选择 VPS 将应用想法转化为有用的资源预算，然后综合比较 CPU、内存、存储和传输。 4 分钟阅读 阅读指南 现场笔记 / 02 + 第二天运营 应用 托管项目的实用威胁模型 映射资产和信任边界，选择几个现实的故障场景，并将其转化为可测试的控制措施。 6 分钟阅读 阅读指南 现场笔记 / 03 + 云与 VPS 应用 根据真实工作负载确定 VPS CPU 和内存的大小 建立内存预算，检查争用情况，并将一个繁忙线程与可以使用多个虚拟核心的工作分开。 6 分钟阅读 阅读指南