نصب Hermes Agent با مدل محلی (لوکال) Gemma 4 - تجربه واقعی و قدم‌به‌قدم

در این مقاله تجربه واقعی خودم از نصب Hermes Agent را توضیح می‌دهم؛ جایی که آن را به یک مدل محلی Gemma 4 از طریق Ollama وصل کردم و در ادامه قابلیت‌هایی مثل جستجوی وب، Telegram Bot و مدیریت Tool Calling را فعال کردم.

مقدمه و نکات امنیتی مهم

قبل از هر چیزی باید یک نکته مهم را روشن کنیم:

هدف Hermes Agent این است که یک AI Agent کاملاً لوکال داشته باشید که با مدل‌های محلی کار می‌کند و داده‌های شما را از سیستم خارج نمی‌کند.

⚠️ هشدار امنیتی (خیلی مهم)

  • بهتر است این سیستم را روی کامپیوتر اصلی خودتان اجرا نکنید

  • اگر Agent هک شود یا اشتباه پیکربندی شود:

    • ممکن است به فایل‌های شخصی دسترسی پیدا کند

    • ممکن است اطلاعات حساس مثل رمزها را بخواند

    • حتی ممکن است به ابزارهای سیستم دسترسی بگیرد

👉 پیشنهاد من: یک سیستم جداگانه یا VM استفاده کنید

سیستم

من از vast گرفتم با گرافیک

RTX 5060 Ti

که تونستم این مدل هارو پیاده بکنم

میتونید از لینک مقابل، سیستم خودتون رو انتخاب کنید. توجه کنید که با توجه به پارامتر های مختلف (حتی زمان در طول روز) قیمت ها متفاوت خواهند بود پس سعی کنید متناسب با نیاز خودتون انتخاب کنید. همچنین چون پیش نیاز این آموزش داکر هست، باید از قالب ها (تمپلیت های) مربوط به VM استفاده کنید مثل Ubuntu 22.04 VM


https://cloud.vast.ai/?ref_id=441593

نصب پیش نیاز ها:

نصب داکر :

برای نصب داکر میتونید به آموزش اصلی داکر مراجعه کنید:

نصب داکر در اوبونتو

نصب firecrawl:

برای اینکه ایجنت شما بتونه جستجو، استخراج داده و کارهای مشابه در اینترنت انجام بده شما نیاز به یک API دارین که راحت ترین و بدون هزینه ترین راه ، راه اندازی این سیستم به صورت لوکال (محلی) در همون سیستمتون هست. برای اطلاعات بیشتر میتونید به لینک گیت هاب پروژه سر بزنید.

توجه : قبل از نصب firecrawl توجه داشته باشین که داکر حتما نصب باشه.

برای نصب کافیه دستورات زیر رو کپی پیست کنید :

    cd ~
    git clone https://github.com/firecrawl/firecrawl.git
    cd firecrawl

    cat > .env << 'EOF'
    PORT=3002
    HOST=0.0.0.0
    USE_DB_AUTHENTICATION=false
    BULL_AUTH_KEY=CHANGEME
    EOF

    sed -i '' 's|# image: ghcr.io/firecrawl/firecrawl|image: ghcr.io/firecrawl/firecrawl|' docker-compose.yaml
    sed -i '' 's|  build: apps/api|  # build: apps/api|' docker-compose.yaml
    sed -i '' 's|# image: ghcr.io/firecrawl/playwright-service:latest|image: ghcr.io/firecrawl/playwright-service:latest|' docker-compose.yaml
    sed -i '' 's|    build: apps/playwright-service-ts|    # build: apps/playwright-service-ts|' docker-compose.yaml

    docker compose up -d

البته توجه داشته باشید که میتونید دستورات رو از چت جی پی تی یا سایر AI بخواید براتون شخصی سازی کنند.

اجرا:


docker run -p 3002:3002 firecrawl/firecrawl

مرحله 1: انتخاب مدل محلی (Ollama + Gemma 4)

نصب Ollama

ابزار مدیریت مدل‌های محلی (به صورت لوکال) است. برای نصب کافیه :

Ubuntu


curl -fsSL https://ollama.com/install.sh | sh

macOS


brew install ollama

Windows


irm https://ollama.com/install.ps1 | iex

دانلود از:

https://ollama.com/download


دانلود مدل Gemma 4

نسخه خیلی ساده و سبک : (E2B):


ollama pull gemma4:e2b

نسخه سبک (E4B)


ollama pull gemma4:e4b

نسخه سنگین (12B)


ollama pull gemma4:12b

تجربه واقعی من

  • نسخه E2B (قدیمی‌تر) در تست web search ضعیف عمل کرد

  • نسخه E4B (~9.6GB) بهترین تعادل بین سرعت و دقت را داشت

  • نسخه 12B کیفیت عالی دارد ولی RAM زیادی مصرف می‌کند


مرحله 2: نصب Hermes Agent (روش رسمی)

در اولین قدم، وارد GitHub پروژه Hermes Agent می‌شویم و دستور نصب را اجرا می‌کنیم:


curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

این اسکریپت:

  • تمام وابستگی‌ها را دانلود می‌کند

  • محیط اولیه را می‌سازد

  • ابزارهای لازم را نصب می‌کند

⏱ این مرحله معمولاً 2 تا 5 دقیقه طول می‌کشد

در هنگام نصب، از شما یک Provider خواسته می‌شود:

👉 باید گزینه زیر را انتخاب کنید:


Custom Endpoint (Free Local AI)

مرحله ۳: اتصال Hermes به Ollama

وقتی Hermes از شما API URL می‌خواهد:


http://localhost:11434/v1

یا در بعضی نسخه‌ها:


http://localhost:11434

مرحله ۴: تنظیمات مهم Hermes Agent

Tool Calling Iterations

می‌توانید تعداد تعامل‌های ابزار را تنظیم کنید:


max_tool_iterations = 60

Context Compression

این گزینه باعث می‌شود:

  • حافظه چت طولانی خراب نشود

  • مدل در گفتگوهای طولانی دچار فراموشی نشود


Reset Session (خیلی مهم)

اگر فعال نکنید:

  • RAM پر می‌شود

  • سرعت کاهش پیدا می‌کند

👉 پیشنهاد:

  • Reset روزانه

  • یا inactivity timeout


مرحله ۵: اتصال ابزارها (Tools Integration)

1. اتصال Telegram Bot

برای ساخت ربات:

  1. به BotFather@ در Telegram بروید

  2. دستور:

    
    /newbot
    
  3. Token را دریافت کنید

سپس در Hermes وارد کنید:


TELEGRAM_BOT_TOKEN=xxxxx

TELEGRAM_USER_ID=your_id

برای دریافت یوزر آیدی هم میتونید به بات @userinfobot پیغام بدید

👉 این کار باعث می‌شود فقط خودتان بتوانید به Agent پیام بدهید

تنظیم Hermes:


web_provider = firecrawl

endpoint = http://localhost:3002

مرحله ۶: اجرای Agent

بعد از تنظیمات:


hermes start

تست اولیه

تست فایل:

این فایل report.txt را خلاصه کن

تست وب:

آخرین اخبار AI را جستجو کن

تست کد:

یک API در Flask بنویس

تجربه واقعی اجرا

  • بارگذاری مدل: 10 تا 20 ثانیه

  • پس از load شدن: پاسخ‌ها پایدار و سریع

Telegram Test

بعد از اتصال:

  • پیام می‌فرستید:

  • پنج خبر اخیر در مورد هوش مصنوعی رو به صورت خلاصه برای من بفرست

  • پاسخ مستقیماً روی موبایل دریافت می‌شود

مدیریت Agent

حذف کامل


hermes uninstall

سپس انتخاب:

  • Keep data

  • Full wipe


مقایسه مدل‌ها

مدلRAMسرعتکیفیتپیشنهاد
E2Bکمسریعمتوسط⭐⭐⭐
E4Bمتوسطسریعخوب⭐⭐⭐⭐
12Bبالامتوسطعالی⭐⭐⭐⭐⭐

مشکلات رایج:

Ollama GPU کار نمی‌کند

  • نصب نبودن CUDA

  • درایور قدیمی

Out of Memory

  • استفاده از 12B روی سیستم ضعیف

  • راه‌حل: E4B

کندی اجرا

  • مدل روی CPU اجرا می‌شود

  • راه‌حل: فعال‌سازی GPU

اتصال Hermes به Ollama fail

  • اشتباه بودن URL

  • مشکل port


نتیجه‌گیری

ترکیب:

  • Hermes Agent

  • Ollama

  • Gemma 4

  • Firecrawl

  • Telegram Bot

یک AI Agent کاملاً شخصی و لوکال می‌سازد که:

  • بدون cloud کار می‌کند

  • قابل توسعه است

  • امن‌تر از APIهای خارجی است

تجربه شخصی من

بعد از این setup:

برای بسیاری از کارهای روزمره دیگر نیازی به ChatGPT API ندارم