Ollama এবং LLM Studio ব্যবহারকারীদের জন্য রয়েছে সম্পূর্ন অল্টারনেটিভ সফটওয়্যার যার সাইজ মাত্র 100 MB

আপনারা যারা পিসিতে অফলাইন মডেল চালান তারা জানেন যে এই অফলাইন মডেল চালু করার জন্য যে ইঞ্জিন ওলামা কিংবা এলএম স্টুডিও গুলো ব্যবহার করা হয় সেগুলো নিজেরাই ৩-৪ GB পর্যন্ত র‍্যাম খেয়ে বসে থাকে।

আবার এগুলোর ডাউনলোড সাইজ তো সোজা জিবির ঘরে চলে যায় তবে আজকের যা শেয়ার করতে যাচ্ছি তা একদম লাইট ওয়েট র‍্যাম কম খরচ করে।

তবে সব থেকে বড় ক্ষমতা কি দরকার হয় অফলাইন মডেল চালানোর জন্য গ্রাফিক্স কার্ড যার জন্য গুনতে হয় লক্ষ লক্ষ টাকা , আমি কি ভুল বললাম?

কিন্তু কেমন হবে যদি গ্রাফিক্স কার্ড ছাড়াই আপনি বড় বড় মডেল গুলোকে আপনার পিসি থেকে ব্যবহার করতে পারবেন।

এক মিনিট ওয়েট হয়তো বলতে চাচ্ছেন পিসিতে তো এমনিতেই অফলাইন মডেল চালানো যায় তাই না?

কিন্তু এখানেই প্রশ্ন আপনি ৮ জিবি র‍্যামের পিসিতে সর্বোচ্চ কত বিলিয়ন প্যারামিটার এর মডেল চালাতে পারবেন হয়তো উত্তর ১-৪ কিংবা ৬ বিলিয়ন প্যারামিটার ধরে নিলাম ।

কিন্তু এই জায়গার যদি আপনার পিসিতে ২০ বিলিয়ন প্যারামিটারের GPT-OSS-20B মডেল টা চালু করতে বলি তাহলে কি হবে ১০০% আপনার সিস্টেম ক্রাশ করবে তাই না ?

এখন সেই জায়গায় যদি আপনি ৮ জিবি তে ১০০ বিলিয়ন প্যারামিটার এর মডেল থেকেও রেসপন্স পান তখন কেমন হবে?

জানি অনেকেই সহমত পোষন করতে পারবেন না তাদের জন্য বলে দিচ্ছি আপনি ক্রাশ করা ছাড়া চালাতে পারবেন আরো বড় হলেও ক্রাশ করবেনা তবে রেসপন্স অনেক ধীর গতির হবে তবে ১০০% চলবে মডেল।

আর যদি আপনার গ্রাফিক্স কার্ড ছাড়াই Ram অনেক বেশী থাকে তাহলে তো আপনি বস মানুষ চালানোর জন্য।

তাহলে চলুন অনেক গুনাগুন আলোচনা করা হয়েছে এবার আসা যাক তুফানের গতিতে কন্ট্রোল প্যানেল এবং সিস্টেম।

এই হলো সফটওয়্যারের ইন্টারফেস যা কিনা আপনি ওপেন করলে মাত্র চালু হবে এবং আপনার ডিভাইস কনফিগারেশন চেক করার টাস্ক সম্পূর্ন করে ফেলবে।

এবার আসি ইউনিভার্সাল ট্রিপল গেটওয়ের কাজ নিয়ে বলি আপনি যে অফলাইন মডেল চালাবেন সেই মডেল টাকে URL ENDPOINT ব্যবহার করে ওপেন এ আই এপি আই সিস্টেম কিংবা Anthropic অথবা Ollama যে কোন সিস্টেমেই কাজ করতে পারবেন।

তো আপনার কাজ হবে যদি এক্সটারনাল কিছু চালাতে চান তাহলে Endpoint গুলো কপি করুন এপি আই কী কপি করুন সাথে মডেল নেম ব্যস অন্য যেটাতে ইচ্ছা ব্যবহার করতে পারবেন।

এছাড়াও আপনার র‍্যাম কম চিন্তা নেই একদম আপনি চাইলে আপনার বাসায় থাকা সব গুলো ডিভাইসের Ram Combine করে অফলাইন মডেল এর রেসপন্স আরো বাড়াতে পারবেন জাস্ট দেখুন পিন কোডের নিচে লিংক দেওয়া আছে কপি করে যে ডিভাইসকে এড করতে চাই সে ডিভাইসের ব্রাউজারে জাস্ট লিংক কপি পেস্ট করলেই এড হয়ে যাবে বাড়তি ক্ষমতা।

আপনারা আশা করি Huggingface সম্পর্কে জানেন যেখানে এই মডেল এর ভান্ডার পেয়ে যাবেন ব্যবহার করার জন্য আপনার ইচ্ছা মত মডেল এর লিংক এনে এখানে দিলে ডাউনলোড অপশন এসে পড়বে ডাউনলোড করে নিলেই হবে।

ডাউনলোড শেষ হয়ে গেলে আবার ব্যবহার ও করতে পারবেন এবং আপনার কাছে যদি আগের ডাউনলোড করা থাকে তবে আপনি সেটা ইমপোর্ট করে চালাতে পারবেন কোন সমস্যা নেই।

আপনার চালানো বা ডাউনলো করা মডেল গুলো এভাবে পেয়ে যাবেন যেটা দরকার সেটা চালু করে নিবেন তাহলেই আপনার জন্য চাট বক্স চলে আসবে।

মডেল গুলো প্রথমত লোড হবে তাই কিছু সময় অপেক্ষা করতে হতে পারে তবে চিন্তার কিছু নাই আপনি ছোট মডেল ব্যবহার করলে দ্রুত লোড হয়ে যাবে।

সবশেষে মডেল লোড হলে আপনি ইন্টারনেট ছাড়া সারাদিন এআই কে প্রশ্ন করার জন্য রেডি করে ফেলেছেন কিন্তু মনে রাখবেন চাট অনলি অপশন ব্যবহার করবেন টুলস অপশন ব্যবহার করতে অনেক ভালো কনফিগ হতে হবে যা কিনা ডেভেলপমেন্ট সেক্টরের জন্য।

আশা করি আপনাদের কোন সমস্যা হবে না যদি হয় তাহলে অবশ্যই কমেন্ট করে আপনার মূল্যবান মতামত জানাতে পারেন।

যাদের ভিডিও টিউটোরিয়াল দরকার তারা নিচে থেকে দেখে নিতে পারেন