কীভাবে স্থানীয়ভাবে লামা 2 ডাউনলোড এবং ইনস্টল করবেন

আপনার মত পাঠকরা MUO সমর্থন করতে সাহায্য করে। আপনি যখন আমাদের সাইটে লিঙ্ক ব্যবহার করে একটি ক্রয় করেন, আমরা একটি অনুমোদিত কমিশন উপার্জন করতে পারি। আরও পড়ুন

মেটা 2023 সালের গ্রীষ্মে Llama 2 প্রকাশ করেছে৷ Llama-এর নতুন সংস্করণটি আসল Llama মডেলের তুলনায় 40% বেশি টোকেন সহ সূক্ষ্ম-সুরক্ষিত, এটির প্রসঙ্গ দৈর্ঘ্য দ্বিগুণ করে এবং উপলব্ধ অন্যান্য ওপেন-সোর্স মডেলগুলিকে উল্লেখযোগ্যভাবে ছাড়িয়ে যায়৷ Llama 2 অ্যাক্সেস করার দ্রুততম এবং সহজ উপায় হল একটি অনলাইন প্ল্যাটফর্মের মাধ্যমে API এর মাধ্যমে। যাইহোক, আপনি যদি সেরা অভিজ্ঞতা চান, তাহলে আপনার কম্পিউটারে সরাসরি Llama 2 ইনস্টল এবং লোড করা সর্বোত্তম।

এটি মাথায় রেখে, আমরা আপনার কম্পিউটারে স্থানীয়ভাবে একটি কোয়ান্টাইজড Llama 2 LLM লোড করতে টেক্সট-জেনারেশন-ওয়েবইউআই ব্যবহার করার জন্য একটি ধাপে ধাপে নির্দেশিকা তৈরি করেছি।

কেন স্থানীয়ভাবে লামা 2 ইনস্টল করবেন

লোকেরা সরাসরি Llama 2 চালানোর জন্য বেছে নেওয়ার অনেক কারণ রয়েছে। কেউ এটি গোপনীয়তার উদ্বেগের জন্য, কেউ কাস্টমাইজেশনের জন্য এবং অন্যরা অফলাইন ক্ষমতার জন্য করে। আপনি যদি আপনার প্রকল্পগুলির জন্য গবেষণা, ফাইন-টিউনিং বা Llama 2 সংহত করছেন, তাহলে API এর মাধ্যমে Llama 2 অ্যাক্সেস করা আপনার পক্ষে নাও হতে পারে। আপনার পিসিতে স্থানীয়ভাবে এলএলএম চালানোর মূল বিষয় হল নির্ভরতা কমানো তৃতীয় পক্ষের এআই টুলস এবং কোম্পানি এবং অন্যান্য সংস্থার সম্ভাব্য সংবেদনশীল ডেটা ফাঁস হওয়ার বিষয়ে উদ্বিগ্ন না হয়ে যে কোনও সময়, যে কোনও জায়গায় AI ব্যবহার করুন৷

এক্সেলের দুটি কলামে কীভাবে যোগদান করবেন

এটি বলে, আসুন স্থানীয়ভাবে লামা 2 ইনস্টল করার জন্য ধাপে ধাপে নির্দেশিকা দিয়ে শুরু করি।

ধাপ 1: ভিজ্যুয়াল স্টুডিও 2019 বিল্ড টুল ইনস্টল করুন

জিনিসগুলিকে সহজ করার জন্য, আমরা টেক্সট-জেনারেশন-ওয়েবইউআই (GUI এর সাথে Llama 2 লোড করতে ব্যবহৃত প্রোগ্রাম) এর জন্য একটি এক-ক্লিক ইনস্টলার ব্যবহার করব। যাইহোক, এই ইনস্টলারটি কাজ করার জন্য, আপনাকে ভিজ্যুয়াল স্টুডিও 2019 বিল্ড টুল ডাউনলোড করতে হবে এবং প্রয়োজনীয় সংস্থানগুলি ইনস্টল করতে হবে।

ডাউনলোড করুন: ভিজ্যুয়াল স্টুডিও 2019 (বিনামূল্যে)

এগিয়ে যান এবং সফ্টওয়্যারটির সম্প্রদায় সংস্করণ ডাউনলোড করুন৷
এখন ভিজ্যুয়াল স্টুডিও 2019 ইনস্টল করুন, তারপর সফ্টওয়্যারটি খুলুন। একবার খোলা হলে, বাক্সে টিক দিন C++ সহ ডেস্কটপ উন্নয়ন এবং ইনস্টল চাপুন।

এখন যেহেতু আপনার কাছে C++ ইনস্টল করা ডেস্কটপ ডেভেলপমেন্ট আছে, এখন টেক্সট-জেনারেশন-ওয়েবইউআই ওয়ান-ক্লিক ইনস্টলার ডাউনলোড করার সময়।

ধাপ 2: টেক্সট-জেনারেশন-ওয়েবইউআই ইনস্টল করুন

টেক্সট-জেনারেশন-ওয়েবইউআই ওয়ান-ক্লিক ইন্সটলার হল একটি স্ক্রিপ্ট যা স্বয়ংক্রিয়ভাবে প্রয়োজনীয় ফোল্ডার তৈরি করে এবং কনডা এনভায়রনমেন্ট সেট আপ করে এবং একটি এআই মডেল চালানোর জন্য প্রয়োজনীয় সমস্ত প্রয়োজনীয়তা পূরণ করে।

স্ক্রিপ্ট ইনস্টল করতে, ক্লিক করে এক-ক্লিক ইনস্টলার ডাউনলোড করুন কোড > জিপ ডাউনলোড করুন।

ডাউনলোড করুন: টেক্সট-জেনারেশন-ওয়েবইউআই ইনস্টলার (বিনামূল্যে)

একবার ডাউনলোড হয়ে গেলে, আপনার পছন্দের অবস্থানে জিপ ফাইলটি এক্সট্র্যাক্ট করুন, তারপর এক্সট্রাক্ট করা ফোল্ডারটি খুলুন।
ফোল্ডারের মধ্যে, নীচে স্ক্রোল করুন এবং আপনার অপারেটিং সিস্টেমের জন্য উপযুক্ত স্টার্ট প্রোগ্রামটি সন্ধান করুন। উপযুক্ত স্ক্রিপ্টে ডাবল ক্লিক করে প্রোগ্রামগুলি চালান।
- আপনি যদি উইন্ডোজে থাকেন তবে নির্বাচন করুন start_windows ব্যাচ ফাইল
- MacOS এর জন্য, নির্বাচন করুন start_macos শেল স্ক্রিপ
- লিনাক্সের জন্য, start_linux শেল স্ক্রিপ্ট।
আপনার অ্যান্টি-ভাইরাস একটি সতর্কতা তৈরি করতে পারে; এই জরিমানা. প্রম্পট শুধুমাত্র একটি অ্যান্টিভাইরাস মিথ্যা ইতিবাচক একটি ব্যাচ ফাইল বা স্ক্রিপ্ট চালানোর জন্য। ক্লিক করুন যাই হোক চালান .
একটি টার্মিনাল খুলবে এবং সেটআপ শুরু করবে। প্রথম দিকে, সেটআপটি বিরতি দেবে এবং আপনাকে জিজ্ঞাসা করবে আপনি কোন GPU ব্যবহার করছেন৷ আপনার কম্পিউটারে ইনস্টল করা উপযুক্ত ধরনের GPU নির্বাচন করুন এবং এন্টার টিপুন। যাদের ডেডিকেটেড গ্রাফিক্স কার্ড নেই তাদের জন্য নির্বাচন করুন কোনটিই নয় (আমি CPU মোডে মডেল চালাতে চাই) . মনে রাখবেন যে একটি ডেডিকেটেড GPU এর সাথে মডেল চালানোর তুলনায় CPU মোডে চালানো অনেক ধীর।
সেটআপ সম্পূর্ণ হলে, আপনি এখন স্থানীয়ভাবে টেক্সট-জেনারেশন-ওয়েবইউআই চালু করতে পারেন। আপনি আপনার পছন্দের ওয়েব ব্রাউজার খুলে URL-এ প্রদত্ত আইপি ঠিকানাটি প্রবেশ করে তা করতে পারেন।
WebUI এখন ব্যবহারের জন্য প্রস্তুত।

যাইহোক, প্রোগ্রাম শুধুমাত্র একটি মডেল লোডার. মডেল লোডার চালু করার জন্য Llama 2 ডাউনলোড করা যাক।

ধাপ 3: লামা 2 মডেলটি ডাউনলোড করুন

আপনার Llama 2 এর কোন পুনরাবৃত্তি প্রয়োজন তা সিদ্ধান্ত নেওয়ার সময় বেশ কয়েকটি বিষয় বিবেচনা করতে হবে। এর মধ্যে রয়েছে পরামিতি, পরিমাপকরণ, হার্ডওয়্যার অপ্টিমাইজেশান, আকার এবং ব্যবহার। এই সমস্ত তথ্য মডেলের নামে চিহ্নিত করা হবে।

পরামিতি: মডেল প্রশিক্ষণের জন্য ব্যবহৃত পরামিতি সংখ্যা. বৃহত্তর পরামিতিগুলি আরও সক্ষম মডেল তৈরি করে কিন্তু কার্যক্ষমতার খরচে।
ব্যবহার: হয় স্ট্যান্ডার্ড বা চ্যাট হতে পারে। একটি চ্যাট মডেল ChatGPT-এর মতো চ্যাটবট হিসাবে ব্যবহার করার জন্য অপ্টিমাইজ করা হয়, যখন স্ট্যান্ডার্ডটি ডিফল্ট মডেল।
হার্ডওয়্যার অপ্টিমাইজেশান: কোন হার্ডওয়্যার মডেলটি সবচেয়ে ভালো চালায় তা উল্লেখ করে। GPTQ মানে মডেলটি একটি ডেডিকেটেড GPU-তে চালানোর জন্য অপ্টিমাইজ করা হয়েছে, যখন GGML একটি CPU-তে চালানোর জন্য অপ্টিমাইজ করা হয়েছে।
পরিমাপকরণ: একটি মডেলে ওজন এবং সক্রিয়করণের নির্ভুলতা বোঝায়। অনুমান করার জন্য, q4 এর নির্ভুলতা সর্বোত্তম।
আকার: নির্দিষ্ট মডেলের আকার বোঝায়।

মনে রাখবেন কিছু মডেল ভিন্নভাবে সাজানো হতে পারে এবং একই ধরনের তথ্য প্রদর্শিত নাও হতে পারে। যাইহোক, এই ধরনের নামকরণের রীতি মোটামুটি সাধারণ আলিঙ্গনমুখ মডেল লাইব্রেরি, তাই এটি এখনও বোঝার মূল্য।

হোম বাটন ছাড়া স্ক্রিনশট কিভাবে

এই উদাহরণে, মডেলটিকে একটি ডেডিকেটেড সিপিইউ ব্যবহার করে চ্যাট ইনফারেন্সিংয়ের জন্য অপ্টিমাইজ করা 13 বিলিয়ন প্যারামিটারে প্রশিক্ষিত একটি মাঝারি আকারের লামা 2 মডেল হিসাবে চিহ্নিত করা যেতে পারে।

যারা একটি ডেডিকেটেড GPU তে চলছে তাদের জন্য একটি নির্বাচন করুন জিপিটিকিউ মডেল, একটি CPU ব্যবহার করার সময়, নির্বাচন করুন জিজিএমএল . আপনি যদি মডেলের সাথে চ্যাট করতে চান যেমনটি আপনি ChatGPT এর সাথে চান, বেছে নিন চ্যাট , কিন্তু আপনি যদি মডেলটির সম্পূর্ণ ক্ষমতা সহ পরীক্ষা করতে চান তবে ব্যবহার করুন মান মডেল. পরামিতিগুলির জন্য, জেনে রাখুন যে বড় মডেলগুলি ব্যবহার করলে কর্মক্ষমতার ব্যয়ে আরও ভাল ফলাফল পাওয়া যাবে। আমি ব্যক্তিগতভাবে আপনাকে একটি 7B মডেল দিয়ে শুরু করার সুপারিশ করব। কোয়ান্টাইজেশনের জন্য, q4 ব্যবহার করুন, কারণ এটি শুধুমাত্র অনুমান করার জন্য।

ডাউনলোড করুন: জিজিএমএল (বিনামূল্যে)

ডাউনলোড করুন: জিপিটিকিউ (বিনামূল্যে)

এখন যেহেতু আপনি জানেন যে আপনার Llama 2 এর কি পুনরাবৃত্তি দরকার, এগিয়ে যান এবং আপনি যে মডেলটি চান তা ডাউনলোড করুন৷

উইন্ডোজ 10 ডেস্কটপে ঘুমের শর্টকাট

আমার ক্ষেত্রে, যেহেতু আমি এটি একটি আল্ট্রাবুকে চালাচ্ছি, তাই আমি চ্যাটের জন্য একটি জিজিএমএল মডেল ব্যবহার করব, call-2-7b-chat-ggmlv3.q4_K_S.bin.

ডাউনলোড শেষ হওয়ার পরে, মডেলটি রাখুন পাঠ্য-প্রজন্ম-ওয়েবুই-প্রধান > মডেল .

এখন আপনার মডেলটি ডাউনলোড করা হয়েছে এবং মডেল ফোল্ডারে রাখা হয়েছে, এখন মডেল লোডার কনফিগার করার সময়।

ধাপ 4: টেক্সট-জেনারেশন-ওয়েবইউআই কনফিগার করুন

এখন, কনফিগারেশন পর্ব শুরু করা যাক।

আবার, টেক্সট-জেনারেশন-ওয়েবইউআই চালু করে খুলুন শুরু করুন_(আপনার ওএস) ফাইল (উপরের পূর্ববর্তী পদক্ষেপগুলি দেখুন)।
GUI এর উপরে অবস্থিত ট্যাবে ক্লিক করুন মডেল. মডেল ড্রপডাউন মেনুতে রিফ্রেশ বোতামে ক্লিক করুন এবং আপনার মডেল নির্বাচন করুন।
এবার ড্রপডাউন মেনুতে ক্লিক করুন মডেল লোডার এবং নির্বাচন করুন অটোজিপিটিকিউ যারা একটি GTPQ মডেল ব্যবহার করে এবং ctransformers যারা একটি GGML মডেল ব্যবহার করে তাদের জন্য। অবশেষে, ক্লিক করুন বোঝা আপনার মডেল লোড করতে.
মডেলটি ব্যবহার করতে, চ্যাট ট্যাবটি খুলুন এবং মডেলটি পরীক্ষা করা শুরু করুন৷

অভিনন্দন, আপনি সফলভাবে আপনার স্থানীয় কম্পিউটারে Llama2 লোড করেছেন!

অন্যান্য LLM পরীক্ষা করে দেখুন

এখন যেহেতু আপনি জানেন কিভাবে সরাসরি আপনার কম্পিউটারে টেক্সট-জেনারেশন-ওয়েবইউআই ব্যবহার করে Llama 2 চালাতে হয়, আপনি Llama ছাড়াও অন্যান্য LLM চালাতে সক্ষম হবেন। শুধু মডেলগুলির নামকরণের নিয়মগুলি মনে রাখবেন এবং শুধুমাত্র মডেলগুলির পরিমাপযুক্ত সংস্করণগুলি (সাধারণত q4 নির্ভুলতা) নিয়মিত পিসিতে লোড করা যেতে পারে। HuggingFace-এ অনেক কোয়ান্টাইজড এলএলএম পাওয়া যায়। আপনি যদি অন্যান্য মডেল অন্বেষণ করতে চান, HuggingFace এর মডেল লাইব্রেরিতে TheBloke অনুসন্ধান করুন এবং আপনার উপলব্ধ অনেক মডেল পাওয়া উচিত।