آموزش قدم به قدم راه‌اندازی GitHub Copilot Chat روی سرور شخصی با LLM رایگان

قدم 1: پیشنیازها

برای راه‌اندازی Copilot Chat به موارد زیر نیاز داری:

• Git و Node.js (نصب با دستور sudo apt install git nodejs npm)

• NET 8.0 SDK

• Docker و Docker Compose (برای اجرا کردن مدل)

• GPU یا CPU نسبتاً قوی

 

قدم 2: کلون کردن مخزن Copilot Chat

git clone https://github.com/microsoft/chat-copilot.git
cd chat-copilot

 

قدم 3: انتخاب یک LLM رایگان (Mistral یا Phi-3)

ما از Ollama استفاده می‌کنیم برای اجرای مدل:

curl -fsSL https://ollama.com/install.sh | sh
ollama run mistral

عملکرد این دستور:

1. curl -fsSL https://ollama.com/install.sh

   • این قسمت با استفاده از ابزار curl فایل اسکریپتی به نام install.sh را از آدرس https://ollama.com/install.sh دانلود می‌کند.

   • گزینه‌ها:

     • -f: اگر خطایی رخ دهد، خروجی خطا را نشان ندهد (fail silently).

     • -s: حالت silent (بی‌صدا)، یعنی هیچ خروجی غیر ضروری نشان ندهد.

     • -S: در صورت خطا، پیام خطا نشان داده شود.

     • -L: در صورت وجود ریدایرکت (انتقال به آدرس دیگر)، دنبال کند.

2. | sh

   • خروجی دانلود شده (که اسکریپت شل است) را مستقیم به شل (sh) می‌دهد تا اجرا شود.

معنی و عملکرد دستور ollama run mistral:

• ollama این یک ابزار خط فرمان (CLI) مربوط به پلتفرم Ollama است که برای مدیریت و اجرای مدل‌های هوش مصنوعی محلی (Local AI Models) استفاده می‌شود.

• run یعنی اجرای یک مدل هوش مصنوعی که از قبل روی سیستم یا در دسترس ollama هست.

• mistral نام مدل هوش مصنوعی است که قصد داری اجرا کنی. مدل‌های Mistral، مدل‌های زبان بزرگ (Large Language Models) هستند که اخیراً محبوب شده‌اند و Ollama یکی از روش‌های اجراشون رو فراهم می‌کنه.

پس این دستور:

• مدل Mistral را با استفاده از پلتفرم ollama اجرا می‌کند.

• معمولاً بعد از اجرای این دستور، محیط تعاملی یا API برای پرسش و پاسخ با این مدل روی سیستم محلی یا سرورت فراهم می‌شود.

بعد از اجرا آدرس API مدل می‌شه: http://localhost:11434

قدم 4: تنظیم Chat Copilot برای استفاده از Ollama

فایل .env را در ریشه chat-copilot ایجاد کن:

AZURE_OPENAI_ENDPOINT=http://localhost:11434
AZURE_OPENAI_API_KEY=dummy-key

Ollama نیاز به key نداره فقط دروغین (dummy) بذار.

نکته مهم:

• AZURE_OPENAI_ENDPOINT مسیر لوکالیه که Ollama مدل رو روی اون اجرا می‌کنه (معمولاً پورت 11434).

• AZURE_OPENAI_API_KEY در اینجا نیاز واقعی به کلید نیست چون Ollama نیازی به احراز هویت نداره، اما چون خود Chat Copilot انتظار داره یه کلید وجود داشته باشه، ما یه مقدار دلخواه مثل dummy-key می‌ذاریم.

چرا اینکار جواب می‌ده؟
چون Chat Copilot طوری طراحی شده که انگار با Azure OpenAI کار می‌کنه، اما با تنظیم آدرس و کلید جعلی، ما اون رو گول می‌زنیم تا با Ollama صحبت کنه.

قدم 5: راه‌اندازی سرور Chat Copilot

npm install
npm run dev

حالا در مرورگر بر روی http://localhost:3000 می‌تونی افزونه را تست کنی.

پایان:

حالا یک Copilot Chat داری که روی سرور خودت اجرا می‌شه و به یک LLM رایگان وصله!