একটি AI ওয়ার্কফ্লোর তার প্রকৃত টুল ও কনকারেন্সির জন্য রিসোর্স দরকার, এবং এমন অনুমতি যা মডেলের বাইরে বলবৎযোগ্য থাকে। রিমোট ইনফারেন্স ও লোকাল ইনফারেন্স ভিন্ন CPU, মেমরি, স্টোরেজ ও GPU সিদ্ধান্তের দিকে নিয়ে যায়।
মেশিন বাছাই করার আগে কাজের নাম দিন
একটি AI ওয়ার্কার একটি মডেলকে এমন সফটওয়্যারের সঙ্গে মিলিত করে যা কাজ গ্রহণ করে, প্রসঙ্গ সংগ্রহ করে এবং টুল কল করে। একটি নির্ধারিত ডকুমেন্ট ক্লাসিফায়ার, একটি অভ্যন্তরীণ সার্চ অ্যাসিস্ট্যান্ট এবং একটি ব্রাউজার-চালিত ওয়ার্কফ্লোর পরিচালনার চাহিদা ভিন্ন। ইনপুট, প্রত্যাশিত আউটপুট, যে সিস্টেমগুলোর সঙ্গে এটি যোগাযোগ করতে পারে এবং যে বিন্দুতে একজন ব্যক্তি ফলাফলপ্রসূত কোনো কাজ অনুমোদন করেন তা লিখে রাখুন। এই ছোট স্পেসিফিকেশন হোস্ট সম্পর্কে আপনাকে 'এজেন্ট' লেবেলের চেয়ে বেশি বলে দেয়।
একটি পুনরাবৃত্তিযোগ্য কাজ এবং একটি সংকীর্ণ অ্যাকাউন্ট দিয়ে শুরু করুন। যে ওয়ার্কার একটি উত্তর খসড়া করে তার যে ওয়ার্কার তা পাঠায় তার চেয়ে কম ক্ষমতা দরকার। অ্যাপ্লিকেশনে সেই ধাপগুলো আলাদা রাখুন। সার্ভারের উচিত অনুমোদিত ওয়ার্কফ্লো সমর্থন করা, প্রতিটি উৎপন্ন নির্দেশকে কার্যকরযোগ্য অপারেশনে পরিণত না করে। সমাপ্তি মানে একটি যাচাইকৃত ফলাফল বা একটি স্পষ্ট ব্যর্থ অবস্থা, অনির্দিষ্টকাল চলতে থাকা লুপ নয়।
রিমোট মডেলকে লোকাল মডেল থেকে আলাদা করুন
যখন মডেল একটি বাহ্যিক API-এর পিছনে চলে, তখন VPS মূলত কিউ, অ্যাপ্লিকেশন, টুল ও স্থায়ী অবস্থা হোস্ট করে। এর মেমরি চাহিদা সেই প্রক্রিয়াগুলো থেকে আসে, যার মধ্যে যেকোনো ব্রাউজার বা ডকুমেন্ট পার্সারও রয়েছে। এই মেশিনে একটি GPU অন্যত্র চলা মডেলকে ত্বরান্বিত করে না। কোন কনটেন্ট API সীমানা অতিক্রম করে তা রেকর্ড করুন এবং ওয়ার্কারের অবস্থান থেকে স্বাধীনভাবে সেই প্রদানকারীকে মূল্যায়ন করুন।
লোকাল ইনফারেন্স বাজেটে মডেল স্টোরেজ, মডেল মেমরি ও রানটাইম সামঞ্জস্য যোগ করে। Ollama-র মতো ইনফারেন্স টুল CPU বা GPU স্থাপন এবং সমকালীন অনুরোধ সম্পর্কে তথ্য দেয়। নির্বাচিত মডেল, প্রসঙ্গ দৈর্ঘ্য ও কনকারেন্সি একসঙ্গে পরীক্ষা করুন। বড় প্রসঙ্গ বা বেশি সমকালীন কাজ মেমরি চাহিদা বাড়াতে পারে; শুধু মডেল ফাইলের আকার একটি অসম্পূর্ণ সাইজিং পদ্ধতি। একটি GPU কনফিগারেশন বাছাই করার আগে রানটাইমের সমর্থিত হার্ডওয়্যার যাচাই করুন।
| ওয়ার্কার প্যাটার্ন | প্রধান রিসোর্স প্রশ্ন | পর্যালোচনার সীমানা |
|---|---|---|
| রিমোট মডেল API | অ্যাপ্লিকেশন ও টুল মেমরি | মডেল প্রদানকারীর কাছে পাঠানো কনটেন্ট |
| লোকাল মডেল | মডেল, প্রসঙ্গ ও কার্যকরী মেমরি | রানটাইম ও ডিভাইস সামঞ্জস্য |
| ব্রাউজার ওয়ার্কফ্লো | শীর্ষ ব্রাউজার প্রক্রিয়া ও অস্থায়ী ফাইল | ওয়েব কনটেন্ট ও অনুমোদিত কাজ |
একটি প্রতিনিধিত্বমূলক কিউ পরিমাপ করুন
স্বাভাবিক এবং অস্বাভাবিকভাবে বড় ইনপুটসহ অল্প কিছু কাজ প্রস্তুত করুন। শীর্ষ মেমরি, অতিবাহিত প্রক্রিয়াকরণ সময়, অস্থায়ী স্টোরেজ এবং বাহ্যিক কলের সংখ্যা পরিমাপ করুন। ব্যর্থতার ঘটনাগুলোও অন্তর্ভুক্ত করুন: একটি অনুপলব্ধ API, একটি ত্রুটিপূর্ণ ডকুমেন্ট এবং একটি টুল টাইমআউট। এই পরিমাপগুলো আপনার সফটওয়্যারের জন্য একটি পরিকল্পনা অনুশীলন, কোনো SwissOctet পরিকল্পনার জন্য বেঞ্চমার্ক বা পারফরম্যান্স প্রতিশ্রুতি নয়।
সক্রিয় কাজের সর্বোচ্চ সংখ্যা এবং সর্বোচ্চ নির্বাহ সময় নির্ধারণ করুন। যে কাজ নিরাপদে শুরু করা যায় না তা কিউ করুন এবং পূর্বানুমেয়ভাবে অতিরিক্ত চাপ প্রত্যাখ্যান করুন। প্রতিটি ব্যর্থতা সঙ্গে সঙ্গে পুনরায় চেষ্টা করলে সার্ভারের চাপ এবং API খরচ দুটোই বহুগুণ বাড়তে পারে। একটি সীমাবদ্ধ পুনঃচেষ্টা নীতি এবং একটি শনাক্তকারী ব্যবহার করুন যা একই সম্পন্ন কাজ দুবার প্রয়োগ হওয়া রোধ করে। কাজ সক্রিয় থাকার সময় অপারেটিং সিস্টেম, মনিটরিং ও রক্ষণাবেক্ষণের জন্য ক্ষমতা সংরক্ষিত রাখুন।
টুলগুলোকে ওয়ার্কারের উচ্চাকাঙ্ক্ষার চেয়ে কম ক্ষমতা দিন
একটি মডেলকে দেওয়া ডকুমেন্ট ও ওয়েব পেজে এমন নির্দেশ থাকতে পারে যা তাকে অন্যদিকে চালিত করার উদ্দেশ্যে তৈরি। পুনরুদ্ধার করা কনটেন্টকে ইনপুট হিসেবে গণ্য করুন, পরিচালনার অনুমতির উৎস হিসেবে নয়। প্রম্পট ইনজেকশন নিয়ে OWASP-এর নির্দেশনা নিয়ন্ত্রণের কয়েকটি স্তরের সুপারিশ করে, যার মধ্যে সীমাবদ্ধ টুল এবং সংবেদনশীল কাজের চারপাশে যাচাই রয়েছে। অনুমতিগুলো টুল বাস্তবায়ন এবং পরিচালনা পরিবেশে রাখুন, যেখানে মডেল একটি উত্তরের মাধ্যমে সেগুলো পুনর্লিখন করতে পারে না।
আলাদা কাজের জন্য আলাদা ক্রেডেনশিয়াল ব্যবহার করুন, যার অ্যাক্সেস শুধু প্রতিটির প্রয়োজনীয় রেকর্ড বা ডিরেক্টরিতে। মডেল-উৎপন্ন শেল কমান্ডের চেয়ে কাঠামোবদ্ধ প্যারামিটার পছন্দ করুন। ফাইল গন্তব্য ও বহির্গামী লক্ষ্য যাচাই করুন। বার্তা পাঠানো, পরিবর্তন প্রকাশ করা বা গুরুত্বপূর্ণ রেকর্ড পরিবর্তনের জন্য একটি সচেতন অনুমোদন সীমানা প্রয়োজন করুন। একটি রিড-অনলি গবেষণা ওয়ার্কার এবং একটি প্রোডাকশন অ্যাডমিনিস্ট্রেটর কেবল একই হোস্টে চলার কারণে কখনো একই ক্রেডেনশিয়াল উত্তরাধিকার করবে না।
রিসোর্স নিয়ন্ত্রণ ও পুনরুদ্ধার স্পষ্ট রাখুন
কনটেইনার নির্ভরতা ও প্রক্রিয়া সীমানা সংগঠিত করতে পারে, কিন্তু সেগুলোর জন্য সচেতন কনফিগারেশন দরকার। Docker নথিভুক্ত করে যে কনটেইনারের ডিফল্টভাবে কোনো রিসোর্স সীমা থাকে না। উপযুক্ত মেমরি ও CPU সীমা নির্ধারণ করুন, যেখানে সমর্থিত সেখানে একটি অ-বিশেষাধিকার প্রক্রিয়া ব্যবহার করুন এবং শুধু প্রয়োজনীয় ডেটা মাউন্ট করুন। প্রাথমিক পরীক্ষা সুবিধাজনক করতে মডেল এন্ডপয়েন্ট ও প্রশাসনিক ইন্টারফেস কেবল উন্মুক্ত না করে সীমাবদ্ধ রাখুন।
কাজের অবস্থা অস্থায়ী কার্যকরী ফাইল থেকে আলাদাভাবে সংরক্ষণ করুন। প্রতিটি প্রম্পট চিরকাল সংরক্ষণ না করে পুনরায় চালুর পর সম্পন্ন কাজ শনাক্ত করার মতো যথেষ্ট তথ্য রেকর্ড করুন। লগ ও উৎপন্ন আর্টিফ্যাক্ট থেকে ক্রেডেনশিয়াল সুরক্ষিত রাখুন। ইনপুট, আউটপুট ও ডায়াগনস্টিক ডেটার জন্য সংরক্ষণকাল নির্ধারণ করুন। একটি পুনরুদ্ধার পরীক্ষায় ওয়ার্কার পুনরায় চালু করা উচিত এবং যাচাই করা উচিত যে অসমাপ্ত কাজ নিরাপদে পুনরায় শুরু হয়, সম্পন্ন কাজ সম্পন্নই থাকে এবং ব্যর্থতাগুলো অপারেটরের কাছে দৃশ্যমান থাকে।
প্রথম ডিপ্লয়মেন্টকে একটি গ্রহণযোগ্যতা পরীক্ষা বানান
বিস্তৃত অ্যাক্সেস দেওয়ার আগে সিন্থেটিক বা অনুমোদিত নমুনা ডেটা দিয়ে সংকীর্ণ ওয়ার্কফ্লো চালান। কার্যকর আউটপুট, অনুমতি, কিউ আচরণ এবং ব্যর্থ নির্ভরতা থেকে পুনরুদ্ধার যাচাই করুন। ব্রাউজার চাইল্ড ও ডেটা ডাউনলোডসহ পুরো প্রক্রিয়া পর্যবেক্ষণ করুন। মডেল লোকাল হলে পরীক্ষায় একটি কোল্ড স্টার্ট এবং উদ্দিষ্ট সংখ্যক সমকালীন অনুরোধ অন্তর্ভুক্ত করুন।
সাধারণ ওয়ার্কারদের জন্য Vector বা Pulse-কে স্পেসিফিকেশন শর্টলিস্ট হিসেবে ব্যবহার করুন, এবং কেবল যখন ইনফারেন্স রানটাইমের উপযুক্ত GPU রিসোর্স দরকার তখন Tensor-এর সঙ্গে তুলনা করুন। প্রকৃত অর্ডারের আগে সামঞ্জস্য ও প্রাপ্যতা নিশ্চিত করুন। ওয়ার্কারের আচরণ পর্যালোচনা করা সম্ভব হওয়ার পরেই তার অনুমতি বাড়ান। লক্ষ্য হলো একটি স্পষ্ট পরিচালনা পরিসীমা, পরিমাপযোগ্য রিসোর্স বাজেট এবং কাজ থামানো ও পুনরুদ্ধারের সরল উপায়সহ একটি সেবা।
আপনার ব্যবহারিক চেকলিস্ট।
- একটি কাজ এবং তার অনুমোদন সীমানা বর্ণনা করুন।
- রিমোট API প্রক্রিয়াকরণকে লোকাল ইনফারেন্স থেকে আলাদা করুন।
- টুল, ব্রাউজার ও শীর্ষ কনকারেন্সি পরিমাপ করুন।
- সময়, রিসোর্স ও অনুমতির সীমা প্রয়োগ করুন।
- সম্পন্ন কাজ নকল না করে পুনরায় চালু পরীক্ষা করুন।
যে বিবরণগুলো গুরুত্বপূর্ণ।
প্রতিটি AI ওয়ার্কারের কি একটি GPU দরকার?+
না। একটি রিমোট মডেল API কল করা ওয়ার্কারের সাধারণত অর্কেস্ট্রেশন ও টুলের জন্য রিসোর্স দরকার। লোকাল ইনফারেন্সের আলাদা হার্ডওয়্যার ও রানটাইম প্রয়োজন।
একটি কনটেইনার কি একটি স্বায়ত্তশাসিত ওয়ার্কফ্লোকে নিরাপদ করে?+
না। এর অনুমতি, মাউন্ট, নেটওয়ার্ক অ্যাক্সেস ও রিসোর্স সীমা কনফিগার করুন, এবং মডেলের বাইরে ফলাফলপ্রসূত টুল কাজ যাচাই করুন।
ওয়ার্কার সুইজারল্যান্ডে হোস্ট করলে কি প্রতিটি প্রম্পট সেখানেই থাকে?+
না। রিমোট মডেল API এবং অন্যান্য ইন্টিগ্রেশন অন্যত্র কনটেন্ট প্রক্রিয়া করতে পারে। সেই নির্ভরতাগুলো স্পষ্টভাবে ম্যাপ করুন।
সূত্রে যান।
এই রেফারেন্সগুলি এই গাইডের প্রযুক্তিগত ধারণাগুলি সমর্থন করে। একটি উৎপাদন সিস্টেম পরিবর্তন করার আগে বর্তমান ডকুমেন্টেশন অনুসরণ করুন।
- Docker: রিসোর্স সীমাবদ্ধতা docs.docker.com
- OWASP: LLM প্রম্পট ইনজেকশন প্রতিরোধ cheatsheetseries.owasp.org
- Ollama: রানটাইম ও কনকারেন্সি FAQ docs.ollama.com
SwissOctet দ্বারা সম্পাদকীয় নির্দেশনা। উদাহরণগুলি উদাহরণমূলক। সেবা স্পেসিফিকেশন, উপলব্ধ অপশন এবং চুক্তিভিত্তিক শর্তগুলি আলাদাভাবে যাচাই করতে হবে।