# มอบพื้นที่ที่มีขอบเขตให้ผู้ปฏิบัติงาน AI ของคุณรัน | SwissOctet Insights

https://swissoctet.com/th/insights/give-ai-workers-a-bounded-runtime/

SwissOctet / ข้อมูลเชิงลึก / คลาวด์และ VPS คลาวด์และ VPS ประยุกต์ · อ่าน 4 นาที

มอบพื้นที่ที่มีขอบเขตให้ผู้ปฏิบัติงาน AI ของคุณรัน

แยกการอนุมานโมเดลออกจากการประสานงาน กำหนดขนาดผู้ปฏิบัติงานจริง และจำกัดสิ่งที่เครื่องมือของมันเปลี่ยนแปลงได้ก่อนนำเวิร์กโฟลว์ AI ขึ้นเซิร์ฟเวอร์

โดย SwissOctet Editorial บันทึกคู่มือ คัดลอกลิงก์

ในหน้านี้ 01 ตั้งชื่องานก่อนเลือกเครื่อง 02 แยกโมเดลระยะไกลออกจากโมเดลภายในเครื่อง 03 วัดคิวที่เป็นตัวแทน 04 ให้เครื่องมือมีอำนาจน้อยกว่าความทะเยอทะยานของผู้ปฏิบัติงาน 05 ทำให้การควบคุมทรัพยากรและการกู้คืนชัดเจน 06 ทำให้การปรับใช้ครั้งแรกเป็นการทดสอบการยอมรับ รายการตรวจสอบปฏิบัติของคุณ แหล่งอ้างอิงและอ่านเพิ่มเติม กลับไปยังคลัง คำตอบตรงประเด็น เวิร์กโฟลว์ AI ต้องการทรัพยากรสำหรับเครื่องมือและภาวะพร้อมกันจริง และสิทธิ์ที่ยังบังคับใช้ได้นอกโมเดล การอนุมานระยะไกลและการอนุมานภายในเครื่องนำไปสู่การตัดสินใจด้าน CPU หน่วยความจำ พื้นที่จัดเก็บ และ GPU ที่แตกต่างกัน

01 ตั้งชื่องานก่อนเลือกเครื่อง

ผู้ปฏิบัติงาน AI รวมโมเดลเข้ากับซอฟต์แวร์ที่รับงาน รวบรวมบริบท และเรียกใช้เครื่องมือ ตัวจำแนกเอกสารตามกำหนดเวลา ผู้ช่วยค้นหาภายใน และเวิร์กโฟลว์ที่ขับเคลื่อนด้วยเบราว์เซอร์มีความต้องการในการทำงานที่ต่างกัน เขียนอินพุต เอาต์พุตที่คาดหวัง ระบบที่อาจติดต่อ และจุดที่บุคคลอนุมัติการดำเนินการที่มีนัยสำคัญ ข้อกำหนดเล็กๆ นี้บอกคุณเกี่ยวกับโฮสต์ได้มากกว่าป้ายชื่อ agent

เริ่มจากงานเดียวที่ทำซ้ำได้และบัญชีที่จำกัดขอบเขต ผู้ปฏิบัติงานที่ร่างคำตอบต้องการอำนาจน้อยกว่าผู้ที่ส่งคำตอบ แยกขั้นตอนเหล่านั้นในแอปพลิเคชัน เซิร์ฟเวอร์ควรรองรับเวิร์กโฟลว์ที่อนุมัติโดยไม่เปลี่ยนทุกคำสั่งที่สร้างขึ้นให้เป็นการดำเนินการที่รันได้ การเสร็จสิ้นหมายถึงผลลัพธ์ที่ตรวจสอบแล้วหรือสถานะล้มเหลวที่ชัดเจน ไม่ใช่ลูปที่ทำงานไม่สิ้นสุด

02 แยกโมเดลระยะไกลออกจากโมเดลภายในเครื่อง

เมื่อโมเดลทำงานอยู่หลัง API ภายนอก VPS จะโฮสต์คิว แอปพลิเคชัน เครื่องมือ และสถานะถาวรเป็นหลัก ความต้องการหน่วยความจำมาจากกระบวนการเหล่านั้น รวมถึงเบราว์เซอร์หรือตัวแยกวิเคราะห์เอกสารใดๆ GPU บนเครื่องนี้ไม่ได้เร่งโมเดลที่ทำงานอยู่ที่อื่น บันทึกว่าเนื้อหาใดข้ามขอบเขต API และประเมินผู้ให้บริการนั้นแยกจากตำแหน่งของผู้ปฏิบัติงาน

การอนุมานภายในเครื่องเพิ่มพื้นที่จัดเก็บโมเดล หน่วยความจำโมเดล และความเข้ากันได้ของรันไทม์เข้าในงบประมาณ เครื่องมืออนุมานเช่น Ollama เปิดเผยข้อมูลเกี่ยวกับการจัดวาง CPU หรือ GPU และคำขอพร้อมกัน ทดสอบโมเดลที่เลือก ความยาวบริบท และภาวะพร้อมกันร่วมกัน บริบทที่ใหญ่ขึ้นหรืองานพร้อมกันมากขึ้นสามารถเพิ่มความต้องการหน่วยความจำ ขนาดไฟล์โมเดลเพียงอย่างเดียวเป็นวิธีกำหนดขนาดที่ไม่สมบูรณ์ ตรวจสอบฮาร์ดแวร์ที่รันไทม์รองรับก่อนเลือกการกำหนดค่า GPU

รูปแบบผู้ปฏิบัติงาน คำถามหลักด้านทรัพยากร ขอบเขตที่ต้องทบทวน

โมเดลระยะไกล API หน่วยความจำของแอปพลิเคชันและเครื่องมือ เนื้อหาที่ส่งไปยังผู้ให้บริการโมเดล

โมเดลภายในเครื่อง โมเดล บริบท และหน่วยความจำทำงาน ความเข้ากันได้ของรันไทม์และอุปกรณ์

เวิร์กโฟลว์เบราว์เซอร์ กระบวนการเบราว์เซอร์สูงสุดและไฟล์ชั่วคราว เนื้อหาเว็บและการดำเนินการที่อนุญาต

03 วัดคิวที่เป็นตัวแทน

เตรียมชุดงานเล็กๆ ที่มีอินพุตปกติและใหญ่ผิดปกติ วัดหน่วยความจำสูงสุด เวลาประมวลผลที่ผ่านไป พื้นที่จัดเก็บชั่วคราว และจำนวนการเรียกภายนอก รวมกรณีล้มเหลว: API ที่ไม่พร้อมใช้งาน เอกสารที่ผิดรูปแบบ และเครื่องมือหมดเวลา การวัดเหล่านี้เป็นการฝึกวางแผนสำหรับซอฟต์แวร์ของคุณ ไม่ใช่การวัดประสิทธิภาพหรือคำสัญญาด้านประสิทธิภาพสำหรับแผน SwissOctet

กำหนดจำนวนงานที่ทำงานอยู่สูงสุดและเวลาดำเนินการสูงสุด จัดคิวงานที่ไม่สามารถเริ่มได้อย่างปลอดภัยและปฏิเสธการโอเวอร์โหลดอย่างคาดเดาได้ การลองใหม่ทุกความล้มเหลวทันทีสามารถเพิ่มทั้งแรงกดดันบนเซิร์ฟเวอร์และค่าใช้จ่าย API ใช้ นโยบายลองใหม่ที่มีขอบเขตและตัวระบุที่ป้องกันการดำเนินการที่เสร็จแล้วเดียวกันถูกนำไปใช้ซ้ำ สงวนความจุไว้สำหรับระบบปฏิบัติการ การตรวจสอบ และการบำรุงรักษาขณะมีงานทำงานอยู่

04 ให้เครื่องมือมีอำนาจน้อยกว่าความทะเยอทะยานของผู้ปฏิบัติงาน

เอกสารและหน้าเว็บที่ป้อนให้โมเดลอาจมีคำสั่งที่มุ่งเปลี่ยนทิศทางมัน ให้ถือเนื้อหาที่ดึงมาเป็นอินพุต ไม่ใช่แหล่งที่มาของสิทธิ์ในการดำเนินการ คำแนะนำของ OWASP เกี่ยวกับ prompt injection แนะนำการควบคุมหลายชั้น รวมถึงเครื่องมือที่จำกัดและการตรวจสอบรอบการดำเนินการที่ละเอียดอ่อน ใส่สิทธิ์ในการใช้งานเครื่องมือและสภาพแวดล้อมปฏิบัติการ ซึ่งโมเดลไม่สามารถเขียนใหม่ผ่านคำตอบได้

ใช้ข้อมูลรับรองแยกสำหรับงานแยก โดยเข้าถึงเฉพาะเรกคอร์ดหรือไดเรกทอรีที่แต่ละงานต้องการ เลือกใช้พารามิเตอร์แบบมีโครงสร้างแทนคำสั่งเชลล์ที่สร้างโดยโมเดล ตรวจสอบปลายทางไฟล์และเป้าหมายขาออก กำหนดขอบเขตการอนุมัติโดยเจตนาสำหรับการส่งข้อความ การเผยแพร่การเปลี่ยนแปลง หรือการแก้ไขเรกคอร์ดสำคัญ ผู้ปฏิบัติงานวิจัยแบบอ่านอย่างเดียวและผู้ดูแลระบบโปรดักชันไม่ควรใช้ข้อมูลรับรองเดียวกันเพียงเพราะทั้งคู่รันบนโฮสต์เดียว

05 ทำให้การควบคุมทรัพยากรและการกู้คืนชัดเจน

คอนเทนเนอร์สามารถจัดระเบียบความสัมพันธ์เชิงพึ่งพาและขอบเขตกระบวนการได้ แต่ต้องมีการกำหนดค่าอย่างตั้งใจ Docker ระบุว่าคอนเทนเนอร์ไม่มีขีดจำกัดทรัพยากรโดยค่าเริ่มต้น กำหนดขีดจำกัดหน่วยความจำและ CPU ที่เหมาะสม ใช้กระบวนการที่ไม่มีสิทธิ์พิเศษเมื่อรองรับ และเมานต์เฉพาะข้อมูลที่จำเป็น จำกัดปลายทางโมเดลและอินเทอร์เฟซการดูแลระบบ แทนที่จะเปิดเผยเพียงเพื่อให้การทดสอบครั้งแรกสะดวก

เก็บสถานะงานถาวรแยกจากไฟล์ทำงานชั่วคราว บันทึกข้อมูลเพียงพอที่จะรับรู้งานที่เสร็จแล้วหลังรีสตาร์ทโดยไม่เก็บทุก prompt ตลอดไป ปกป้องข้อมูลรับรองจากบันทึกและอาร์ติแฟกต์ที่สร้างขึ้น กำหนดการเก็บรักษาสำหรับอินพุต เอาต์พุต และข้อมูลวินิจฉัย การทดสอบการกู้คืนควรรีสตาร์ทผู้ปฏิบัติงานและยืนยันว่างานที่ยังไม่เสร็จกลับมาทำต่ออย่างปลอดภัย งานที่เสร็จแล้วยังคงเสร็จ และความล้มเหลวยังคงมองเห็นได้สำหรับผู้ปฏิบัติการ

06 ทำให้การปรับใช้ครั้งแรกเป็นการทดสอบการยอมรับ

รันเวิร์กโฟลว์ที่จำกัดขอบเขตด้วยข้อมูลตัวอย่างสังเคราะห์หรือที่อนุมัติก่อนให้สิทธิ์ที่กว้างขึ้น ตรวจสอบเอาต์พุตที่มีประโยชน์ สิทธิ์ พฤติกรรมคิว และการกู้คืนจากความสัมพันธ์เชิงพึ่งพาที่ล้มเหลว สังเกตกระบวนการทั้งหมด รวมถึงโปรเซสลูกของเบราว์เซอร์และการดาวน์โหลดข้อมูล หากโมเดลอยู่ภายในเครื่อง ให้รวมการเริ่มต้นแบบเย็นและจำนวนคำขอพร้อมกันที่ต้องการในการทดสอบ

ใช้ Vector หรือ Pulse เป็นรายการตัวเลือกข้อกำหนดสำหรับผู้ปฏิบัติงานทั่วไป และเปรียบเทียบ Tensor เฉพาะเมื่อรันไทม์การอนุมานต้องการทรัพยากร GPU ที่เหมาะสม ยืนยันความเข้ากันได้และความพร้อมใช้งานก่อนสั่งซื้อจริง ขยายสิทธิ์ของผู้ปฏิบัติงานเฉพาะหลังจากตรวจสอบพฤติกรรมได้แล้ว เป้าหมายคือบริการที่มีขอบเขตการทำงานชัดเจน งบประมาณทรัพยากรที่วัดได้ และวิธีหยุดและกู้คืนงานที่ตรงไปตรงมา

เปลี่ยนเป็น行動 รายการตรวจสอบปฏิบัติของคุณ

✓ อธิบายงานหนึ่งงานและขอบเขตการอนุมัติ

✓ แยกการประมวลผล API ระยะไกลออกจากการอนุมานภายในเครื่อง

✓ วัดเครื่องมือ เบราว์เซอร์ และภาวะพร้อมกันสูงสุด

✓ ใช้ขีดจำกัดด้านเวลา ทรัพยากร และสิทธิ์

✓ ทดสอบการรีสตาร์ทโดยไม่ทำการดำเนินการที่เสร็จแล้วซ้ำ

ดาวน์โหลดรายการตรวจสอบ

คำถามที่พบบ่อย รายละเอียดที่สำคัญ

ผู้ปฏิบัติงาน AI ทุกตัวต้องการ GPU หรือไม่ +

ไม่ ผู้ปฏิบัติงานที่เรียก API โมเดลระยะไกลมักต้องการทรัพยากรสำหรับการประสานงานและเครื่องมือ การอนุมานภายในเครื่องมีข้อกำหนดฮาร์ดแวร์และรันไทม์แยกต่างหาก

คอนเทนเนอร์ทำให้เวิร์กโฟลว์อัตโนมัติปลอดภัยหรือไม่ +

ไม่ กำหนดค่าสิทธิ์ การเมานต์ การเข้าถึงเครือข่าย และขีดจำกัดทรัพยากร และตรวจสอบการดำเนินการของเครื่องมือที่มีนัยสำคัญนอกโมเดล

การโฮสต์ผู้ปฏิบัติงานในสวิตเซอร์แลนด์เก็บทุก prompt ไว้ที่นั่นหรือไม่ +

ไม่ API ของโมเดลระยะไกลและอินทิเกรชันอื่นอาจประมวลผลเนื้อหาที่อื่น จัดทำแผนความสัมพันธ์เชิงพึ่งพาเหล่านั้นอย่างชัดเจน

แหล่งอ้างอิงหลัก ไปที่ต้นทาง

แหล่งอ้างอิงเหล่านี้สนับสนุนแนวคิดทางเทคนิคในคู่มือนี้ ปฏิบัติตามเอกสารปัจจุบันก่อนเปลี่ยนระบบโปรดักชัน

Docker: ข้อจำกัดทรัพยากร docs.docker.com

OWASP: การป้องกัน LLM Prompt Injection cheatsheetseries.owasp.org

Ollama: คำถามที่พบบ่อยเกี่ยวกับรันไทม์และภาวะพร้อมกัน docs.ollama.com

คำแนะนำด้านบรรณาธิการโดย SwissOctet ตัวอย่างมีไว้เพื่อประกอบ ข้อมูลจำเพาะของบริการ ตัวเลือกที่มี และเงื่อนไขตามสัญญาต้องได้รับการตรวจสอบแยกต่างหาก

เชื่อมโยงความรู้ โครงสร้างพื้นฐานที่เกี่ยวข้อง

Vector VPS สวิตเซอร์แลนด์ Pulse NVMe สวิตเซอร์แลนด์ Tensor GPU สวิตเซอร์แลนด์

รักษาสายไว้ บันทึกภาคสนามถัดไปของคุณ

สำรวจทุกคู่มือ

บันทึกภาคสนาม / 01

+

คลาวด์และ VPS พื้นฐาน

วิธีเลือก VPS โดยไม่เดา

เปลี่ยนไอเดียแอปพลิเคชันเป็นงบประมาณทรัพยากรที่มีประโยชน์ แล้วเปรียบเทียบ CPU, หน่วยความจำ, พื้นที่จัดเก็บ และการรับส่งข้อมูลร่วมกัน

อ่าน 4 นาที อ่านคู่มือ

บันทึกภาคสนาม / 02

+

การดำเนินงานวันที่สอง ประยุกต์

แบบจำลองภัยคุกคามเชิงปฏิบัติสำหรับโครงการโฮสติ้งของคุณ

จัดทำแผนผังทรัพย์สินและขอบเขตความเชื่อถือ เลือกสถานการณ์ความล้มเหลวที่สมจริงไม่กี่กรณี แล้วเปลี่ยนให้เป็นมาตรการควบคุมที่คุณทดสอบได้

อ่าน 6 นาที อ่านคู่มือ

บันทึกภาคสนาม / 03

+

คลาวด์และ VPS ประยุกต์

กำหนดขนาด VPS CPU และหน่วยความจำจากภาระงานจริง

สร้างงบประมาณหน่วยความจำ ตรวจสอบการแย่งชิงทรัพยากร และแยกเธรดที่繁忙หนึ่งตัวออกจากงานที่ใช้คอร์เสมือนหลายตัวได้

อ่าน 6 นาที อ่านคู่มือ