Своя LLM на VPS через Ollama без видеокарты

Сколько памяти нужно для LLM в Ollama?

Память - главное ограничение для LLM на сервере без видеокарты: модель целиком загружается в оперативную память, и если её не хватает, модель не запустится. README Ollama даёт ориентиры: 8 ГБ памяти для моделей 7B, 16 ГБ для 13B и 32 ГБ для 33B. Ollama по умолчанию скачивает квантованные модели (4 бита на вес), поэтому модель 7B занимает на диске около 4-5 ГБ. Длинный контекст добавляет расход памяти сверх этого.

Насколько медленно LLM работает без видеокарты?

На процессоре генерация заметно медленнее, чем на видеокарте, и тем медленнее, чем больше модель: модель 3B отвечает быстрее модели 13B на том же сервере. Скорость зависит от процессора, частоты, памяти и самой модели, поэтому мерьте её на своём сервере (шаг 3), а не верьте чужим цифрам. LLM на CPU оправдана, когда:

• нужен чат-бот или ассистент для небольшой команды, где ответ за несколько секунд допустим;
• нужно суммаризировать, классифицировать или размечать небольшие объёмы текста в фоне - например, заявки или отзывы;
• данные нельзя отправлять во внешний API, и модель должна работать на своём сервере;
• нужен стенд для экспериментов с промптами и моделями без оплаты за каждый токен.

Шаг 1. Установите Ollama

Сначала проверьте, сколько у сервера памяти, ядер и свободного места на диске - модели занимают гигабайты. Затем установите Ollama официальным скриптом: он скачивает программу, создаёт пользователя ollama и службу systemd, которая стартует при загрузке сервера.

free -h
nproc
df -h /

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
sudo systemctl status ollama

Скрипт выполняется с правами root, поэтому при желании сначала скачайте его и прочитайте. При установке скриптом модели хранятся в /usr/share/ollama/.ollama/models.

Шаг 2. Скачайте и запустите модель

Команда ollama run <модель> скачивает модель из библиотеки на ollama.com и открывает чат в терминале; выход - /bye. Начните с небольшой модели, например llama3.2:3b: она быстро скачивается и показывает, на что способен сервер.

ollama run llama3.2:3b
ollama list
ollama ps

ollama list показывает скачанные модели, ollama ps - загруженные в память. После 5 минут простоя Ollama выгружает модель из памяти, поэтому первый ответ после паузы приходит дольше: модель загружается заново. Ненужные модели удаляет ollama rm <модель>.

Шаг 3. Замерьте скорость генерации

Флаг --verbose после каждого ответа печатает статистику. Главная строка - eval rate: сколько токенов в секунду модель генерирует на вашем сервере. prompt eval rate - скорость чтения запроса, load duration - время загрузки модели в память.

ollama run llama3.2:3b --verbose

Задайте несколько типичных для вашей задачи вопросов и сравните eval rate у моделей разного размера - так вы выберете самую крупную модель, которая отвечает достаточно быстро. Как оценить процессор и диск сервера в целом - в статье о тестировании VPS.

Шаг 4. Обращайтесь к модели через API

Служба Ollama поднимает HTTP API на 127.0.0.1:11434 - к нему обращаются скрипты и боты на том же сервере. С "stream": false ответ приходит одним JSON целиком, а не по токенам:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Объясни, что такое VPS, в двух предложениях",
  "stream": false
}'

Текст ответа лежит в поле response. Так же к Ollama подключают Telegram-бота на VPS или своё приложение: запросы идут по локальному адресу и не покидают сервер.

Шаг 5. Доступ снаружи: SSH-туннель вместо открытого порта

У API Ollama нет авторизации: любой, кто достучится до порта 11434, сможет пользоваться моделью и нагружать ваш сервер. Поэтому не меняйте адрес на 0.0.0.0 и не открывайте 11434 в UFW. Для доступа со своего компьютера пробросьте порт через SSH:

# на своём компьютере, не на сервере
ssh -N -L 11434:localhost:11434 user@IP_СЕРВЕРА
# пока туннель открыт, API доступен локально
curl http://localhost:11434/api/tags

Шаг 6. Веб-интерфейс Open WebUI

Open WebUI - веб-интерфейс в стиле ChatGPT для моделей Ollama: история чатов, выбор модели, несколько пользователей. Он запускается в Docker (как поставить - в статье об установке Docker). Вариант с сетью хоста видит Ollama на 127.0.0.1 и открывает интерфейс на порту 8080:

docker run -d --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

При включённом UFW порт 8080 закрыт снаружи - откройте интерфейс через SSH-туннель (ssh -N -L 8080:localhost:8080 user@IP_СЕРВЕРА, затем http://localhost:8080 в браузере). Сразу создайте учётную запись: первая зарегистрированная становится администратором.

Какой VPS Tihost взять под Ollama?

В тарифах Tihost видеокарт нет - модели работают на процессорах AMD Ryzen 9. Для моделей 7B подойдёт Advanced с 8-12 ГБ памяти, для 13B и 33B - Power с 16-32 ГБ. Ryzen 9 9950X на польской площадке поддерживает AVX-512 и память DDR5, которые ускоряют вычисления нейросетей на CPU, - подробнее в сравнении Ryzen 9 5950X и 9950X.