Self-Hosting Ja Н: Локальный офлайн-ChatGPT в Docker [Гайд 2024]

Установите Ja Н — полную альтернативу ChatGPT, работающую 100% офлайн на вашем компьютере. Пошаговый гайд по развертыванию в Docker для homelab и конфиденциальной работы с моделями.

Не указано

Установка Docker

Установите Docker для управления зависимостями и изоляции среды. Инструкции даны для Ubuntu/Debian (стандарт для self-hosting).

sudo apt-get update
sudo apt-get install ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
sudo usermod -aG docker $USER
newgrp docker

Установка Ollama

Ollama служит 'движком' для нейросети, скачивает веса моделей и запускает их как локальный HTTP-сервер.

curl -fsSL https://ollama.com/install.sh | sh
curl http://localhost:11434

Загрузка модели

Скачайте модель. Рекомендуется Llama 3 (8B) для баланса качества и скорости. Для слабых систем используйте phi3 или gemma2.

ollama pull llama3
ollama list

Запуск веб-интерфейса

Запустите Open WebUI через Docker. Интерфейс будет доступен на порту 3000.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Начальная настройка и использование

Откройте браузер по адресу http://localhost:3000, создайте аккаунт (локальный) и выберите модель llama3:latest в выпадающем списке.

http://localhost:3000

Использование API (опционально)

Для разработчиков: Ollama эмулирует API OpenAI. Пример запроса на Python.

import requests
import json

url = "http://localhost:11434/api/chat"
data = {
    "model": "llama3",
    "messages": [
        {"role": "user", "content": "Расскажи анекдот про кота"}
    ],
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()['message']['content'])

Управление и обновление

Команды для остановки сервисов и обновления веб-интерфейса.

# Остановка сервисов
docker stop open-webui
sudo systemctl stop ollama

# Обновление WebUI
docker stop open-webui && docker rm open-webui
# Затем повторите команду из шага 4