เวิร์กโฟลว์ AI ต้องการทรัพยากรสำหรับเครื่องมือและภาวะพร้อมกันจริง และสิทธิ์ที่ยังบังคับใช้ได้นอกโมเดล การอนุมานระยะไกลและการอนุมานภายในเครื่องนำไปสู่การตัดสินใจด้าน CPU หน่วยความจำ พื้นที่จัดเก็บ และ GPU ที่แตกต่างกัน
ตั้งชื่องานก่อนเลือกเครื่อง
ผู้ปฏิบัติงาน AI รวมโมเดลเข้ากับซอฟต์แวร์ที่รับงาน รวบรวมบริบท และเรียกใช้เครื่องมือ ตัวจำแนกเอกสารตามกำหนดเวลา ผู้ช่วยค้นหาภายใน และเวิร์กโฟลว์ที่ขับเคลื่อนด้วยเบราว์เซอร์มีความต้องการในการทำงานที่ต่างกัน เขียนอินพุต เอาต์พุตที่คาดหวัง ระบบที่อาจติดต่อ และจุดที่บุคคลอนุมัติการดำเนินการที่มีนัยสำคัญ ข้อกำหนดเล็กๆ นี้บอกคุณเกี่ยวกับโฮสต์ได้มากกว่าป้ายชื่อ agent
เริ่มจากงานเดียวที่ทำซ้ำได้และบัญชีที่จำกัดขอบเขต ผู้ปฏิบัติงานที่ร่างคำตอบต้องการอำนาจน้อยกว่าผู้ที่ส่งคำตอบ แยกขั้นตอนเหล่านั้นในแอปพลิเคชัน เซิร์ฟเวอร์ควรรองรับเวิร์กโฟลว์ที่อนุมัติโดยไม่เปลี่ยนทุกคำสั่งที่สร้างขึ้นให้เป็นการดำเนินการที่รันได้ การเสร็จสิ้นหมายถึงผลลัพธ์ที่ตรวจสอบแล้วหรือสถานะล้มเหลวที่ชัดเจน ไม่ใช่ลูปที่ทำงานไม่สิ้นสุด
แยกโมเดลระยะไกลออกจากโมเดลภายในเครื่อง
เมื่อโมเดลทำงานอยู่หลัง API ภายนอก VPS จะโฮสต์คิว แอปพลิเคชัน เครื่องมือ และสถานะถาวรเป็นหลัก ความต้องการหน่วยความจำมาจากกระบวนการเหล่านั้น รวมถึงเบราว์เซอร์หรือตัวแยกวิเคราะห์เอกสารใดๆ GPU บนเครื่องนี้ไม่ได้เร่งโมเดลที่ทำงานอยู่ที่อื่น บันทึกว่าเนื้อหาใดข้ามขอบเขต API และประเมินผู้ให้บริการนั้นแยกจากตำแหน่งของผู้ปฏิบัติงาน
การอนุมานภายในเครื่องเพิ่มพื้นที่จัดเก็บโมเดล หน่วยความจำโมเดล และความเข้ากันได้ของรันไทม์เข้าในงบประมาณ เครื่องมืออนุมานเช่น Ollama เปิดเผยข้อมูลเกี่ยวกับการจัดวาง CPU หรือ GPU และคำขอพร้อมกัน ทดสอบโมเดลที่เลือก ความยาวบริบท และภาวะพร้อมกันร่วมกัน บริบทที่ใหญ่ขึ้นหรืองานพร้อมกันมากขึ้นสามารถเพิ่มความต้องการหน่วยความจำ ขนาดไฟล์โมเดลเพียงอย่างเดียวเป็นวิธีกำหนดขนาดที่ไม่สมบูรณ์ ตรวจสอบฮาร์ดแวร์ที่รันไทม์รองรับก่อนเลือกการกำหนดค่า GPU
| รูปแบบผู้ปฏิบัติงาน | คำถามหลักด้านทรัพยากร | ขอบเขตที่ต้องทบทวน |
|---|---|---|
| โมเดลระยะไกล API | หน่วยความจำของแอปพลิเคชันและเครื่องมือ | เนื้อหาที่ส่งไปยังผู้ให้บริการโมเดล |
| โมเดลภายในเครื่อง | โมเดล บริบท และหน่วยความจำทำงาน | ความเข้ากันได้ของรันไทม์และอุปกรณ์ |
| เวิร์กโฟลว์เบราว์เซอร์ | กระบวนการเบราว์เซอร์สูงสุดและไฟล์ชั่วคราว | เนื้อหาเว็บและการดำเนินการที่อนุญาต |
วัดคิวที่เป็นตัวแทน
เตรียมชุดงานเล็กๆ ที่มีอินพุตปกติและใหญ่ผิดปกติ วัดหน่วยความจำสูงสุด เวลาประมวลผลที่ผ่านไป พื้นที่จัดเก็บชั่วคราว และจำนวนการเรียกภายนอก รวมกรณีล้มเหลว: API ที่ไม่พร้อมใช้งาน เอกสารที่ผิดรูปแบบ และเครื่องมือหมดเวลา การวัดเหล่านี้เป็นการฝึกวางแผนสำหรับซอฟต์แวร์ของคุณ ไม่ใช่การวัดประสิทธิภาพหรือคำสัญญาด้านประสิทธิภาพสำหรับแผน SwissOctet
กำหนดจำนวนงานที่ทำงานอยู่สูงสุดและเวลาดำเนินการสูงสุด จัดคิวงานที่ไม่สามารถเริ่มได้อย่างปลอดภัยและปฏิเสธการโอเวอร์โหลดอย่างคาดเดาได้ การลองใหม่ทุกความล้มเหลวทันทีสามารถเพิ่มทั้งแรงกดดันบนเซิร์ฟเวอร์และค่าใช้จ่าย API ใช้ นโยบายลองใหม่ที่มีขอบเขตและตัวระบุที่ป้องกันการดำเนินการที่เสร็จแล้วเดียวกันถูกนำไปใช้ซ้ำ สงวนความจุไว้สำหรับระบบปฏิบัติการ การตรวจสอบ และการบำรุงรักษาขณะมีงานทำงานอยู่
ให้เครื่องมือมีอำนาจน้อยกว่าความทะเยอทะยานของผู้ปฏิบัติงาน
เอกสารและหน้าเว็บที่ป้อนให้โมเดลอาจมีคำสั่งที่มุ่งเปลี่ยนทิศทางมัน ให้ถือเนื้อหาที่ดึงมาเป็นอินพุต ไม่ใช่แหล่งที่มาของสิทธิ์ในการดำเนินการ คำแนะนำของ OWASP เกี่ยวกับ prompt injection แนะนำการควบคุมหลายชั้น รวมถึงเครื่องมือที่จำกัดและการตรวจสอบรอบการดำเนินการที่ละเอียดอ่อน ใส่สิทธิ์ในการใช้งานเครื่องมือและสภาพแวดล้อมปฏิบัติการ ซึ่งโมเดลไม่สามารถเขียนใหม่ผ่านคำตอบได้
ใช้ข้อมูลรับรองแยกสำหรับงานแยก โดยเข้าถึงเฉพาะเรกคอร์ดหรือไดเรกทอรีที่แต่ละงานต้องการ เลือกใช้พารามิเตอร์แบบมีโครงสร้างแทนคำสั่งเชลล์ที่สร้างโดยโมเดล ตรวจสอบปลายทางไฟล์และเป้าหมายขาออก กำหนดขอบเขตการอนุมัติโดยเจตนาสำหรับการส่งข้อความ การเผยแพร่การเปลี่ยนแปลง หรือการแก้ไขเรกคอร์ดสำคัญ ผู้ปฏิบัติงานวิจัยแบบอ่านอย่างเดียวและผู้ดูแลระบบโปรดักชันไม่ควรใช้ข้อมูลรับรองเดียวกันเพียงเพราะทั้งคู่รันบนโฮสต์เดียว
ทำให้การควบคุมทรัพยากรและการกู้คืนชัดเจน
คอนเทนเนอร์สามารถจัดระเบียบความสัมพันธ์เชิงพึ่งพาและขอบเขตกระบวนการได้ แต่ต้องมีการกำหนดค่าอย่างตั้งใจ Docker ระบุว่าคอนเทนเนอร์ไม่มีขีดจำกัดทรัพยากรโดยค่าเริ่มต้น กำหนดขีดจำกัดหน่วยความจำและ CPU ที่เหมาะสม ใช้กระบวนการที่ไม่มีสิทธิ์พิเศษเมื่อรองรับ และเมานต์เฉพาะข้อมูลที่จำเป็น จำกัดปลายทางโมเดลและอินเทอร์เฟซการดูแลระบบ แทนที่จะเปิดเผยเพียงเพื่อให้การทดสอบครั้งแรกสะดวก
เก็บสถานะงานถาวรแยกจากไฟล์ทำงานชั่วคราว บันทึกข้อมูลเพียงพอที่จะรับรู้งานที่เสร็จแล้วหลังรีสตาร์ทโดยไม่เก็บทุก prompt ตลอดไป ปกป้องข้อมูลรับรองจากบันทึกและอาร์ติแฟกต์ที่สร้างขึ้น กำหนดการเก็บรักษาสำหรับอินพุต เอาต์พุต และข้อมูลวินิจฉัย การทดสอบการกู้คืนควรรีสตาร์ทผู้ปฏิบัติงานและยืนยันว่างานที่ยังไม่เสร็จกลับมาทำต่ออย่างปลอดภัย งานที่เสร็จแล้วยังคงเสร็จ และความล้มเหลวยังคงมองเห็นได้สำหรับผู้ปฏิบัติการ
ทำให้การปรับใช้ครั้งแรกเป็นการทดสอบการยอมรับ
รันเวิร์กโฟลว์ที่จำกัดขอบเขตด้วยข้อมูลตัวอย่างสังเคราะห์หรือที่อนุมัติก่อนให้สิทธิ์ที่กว้างขึ้น ตรวจสอบเอาต์พุตที่มีประโยชน์ สิทธิ์ พฤติกรรมคิว และการกู้คืนจากความสัมพันธ์เชิงพึ่งพาที่ล้มเหลว สังเกตกระบวนการทั้งหมด รวมถึงโปรเซสลูกของเบราว์เซอร์และการดาวน์โหลดข้อมูล หากโมเดลอยู่ภายในเครื่อง ให้รวมการเริ่มต้นแบบเย็นและจำนวนคำขอพร้อมกันที่ต้องการในการทดสอบ
ใช้ Vector หรือ Pulse เป็นรายการตัวเลือกข้อกำหนดสำหรับผู้ปฏิบัติงานทั่วไป และเปรียบเทียบ Tensor เฉพาะเมื่อรันไทม์การอนุมานต้องการทรัพยากร GPU ที่เหมาะสม ยืนยันความเข้ากันได้และความพร้อมใช้งานก่อนสั่งซื้อจริง ขยายสิทธิ์ของผู้ปฏิบัติงานเฉพาะหลังจากตรวจสอบพฤติกรรมได้แล้ว เป้าหมายคือบริการที่มีขอบเขตการทำงานชัดเจน งบประมาณทรัพยากรที่วัดได้ และวิธีหยุดและกู้คืนงานที่ตรงไปตรงมา
รายการตรวจสอบปฏิบัติของคุณ
- อธิบายงานหนึ่งงานและขอบเขตการอนุมัติ
- แยกการประมวลผล API ระยะไกลออกจากการอนุมานภายในเครื่อง
- วัดเครื่องมือ เบราว์เซอร์ และภาวะพร้อมกันสูงสุด
- ใช้ขีดจำกัดด้านเวลา ทรัพยากร และสิทธิ์
- ทดสอบการรีสตาร์ทโดยไม่ทำการดำเนินการที่เสร็จแล้วซ้ำ
รายละเอียดที่สำคัญ
ผู้ปฏิบัติงาน AI ทุกตัวต้องการ GPU หรือไม่+
ไม่ ผู้ปฏิบัติงานที่เรียก API โมเดลระยะไกลมักต้องการทรัพยากรสำหรับการประสานงานและเครื่องมือ การอนุมานภายในเครื่องมีข้อกำหนดฮาร์ดแวร์และรันไทม์แยกต่างหาก
คอนเทนเนอร์ทำให้เวิร์กโฟลว์อัตโนมัติปลอดภัยหรือไม่+
ไม่ กำหนดค่าสิทธิ์ การเมานต์ การเข้าถึงเครือข่าย และขีดจำกัดทรัพยากร และตรวจสอบการดำเนินการของเครื่องมือที่มีนัยสำคัญนอกโมเดล
การโฮสต์ผู้ปฏิบัติงานในสวิตเซอร์แลนด์เก็บทุก prompt ไว้ที่นั่นหรือไม่+
ไม่ API ของโมเดลระยะไกลและอินทิเกรชันอื่นอาจประมวลผลเนื้อหาที่อื่น จัดทำแผนความสัมพันธ์เชิงพึ่งพาเหล่านั้นอย่างชัดเจน
ไปที่ต้นทาง
แหล่งอ้างอิงเหล่านี้สนับสนุนแนวคิดทางเทคนิคในคู่มือนี้ ปฏิบัติตามเอกสารปัจจุบันก่อนเปลี่ยนระบบโปรดักชัน
- Docker: ข้อจำกัดทรัพยากร docs.docker.com
- OWASP: การป้องกัน LLM Prompt Injection cheatsheetseries.owasp.org
- Ollama: คำถามที่พบบ่อยเกี่ยวกับรันไทม์และภาวะพร้อมกัน docs.ollama.com
คำแนะนำด้านบรรณาธิการโดย SwissOctet ตัวอย่างมีไว้เพื่อประกอบ ข้อมูลจำเพาะของบริการ ตัวเลือกที่มี และเงื่อนไขตามสัญญาต้องได้รับการตรวจสอบแยกต่างหาก