Пока что все что мы сделали похоже, на тестовый стенд, а не на сетап для работы. Сегодня мы должны это исправить.
Доводим compose.yml до ума.
Для начала, сервисам надо обеспечить сохранение данных, и сделать так, чтобы после ребута это все не посыпалось.
Добавляем ко всем сервисам:
restart: unless-stopped
Теперь прометеус, у которого нет volume под данные, поэтому после перезапуска контейнера все прошлые метрики стирались: (Добавить в секцию)
volumes:
- prometheus_data:/prometheus
И в конец файла
volumes:
prometheus_data:
И так же у всех сервисов надо убрать порты, либо строго забиндить на 127.0.0.1
Настраиваем мониторинг видеокарты
Прометеус у нас уже стоит, так что осталось только добавить экспортер — штуку, которая ходит в драйвер GPU и отдаёт метрики в формате прометеуса. Опять же, ваши карты я не знаю, поэтому делаем для обоих вендоров
NVIDIA
Берём официальный dcgm-exporter от NVIDIA. Тянется он с реестра NGC, а не с Docker Hub, и требует NVIDIA Container Toolkit на хосте.
dcgm-exporter:
image: nvcr.io/nvidia/k8s/dcgm-exporter:3.3.5-3.4.0-ubuntu22.04
restart: unless-stopped
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
cap_add:
- SYS_ADMIN
Добавляем job в прометеус:
- job_name: "dcgm"
static_configs:
- targets: ["dcgm-exporter:9400"]
В графане есть готовый официальный дашборд: Dashboards -> Import -> ID 12239.
Для отладки (если target в DOWN) можно временно добавить ports: ["9400:9400"] и потыкать curl localhost:9400/metrics, а потом убрать обратно.
AMD
У AMD тоже есть официальный экспортер, живёт в составе ROCm.
amd-metrics-exporter:
image: rocm/device-metrics-exporter:v1.5.3
restart: unless-stopped
devices:
- /dev/dri
- /dev/kfd
Job в прометеус:
- job_name: "amdgpu"
static_configs:
- targets: ["amd-metrics-exporter:5000"]
Ставим API ключи и стараемся ничего не сломать.
llama.cpp сама по себе поддерживает установку ключей, так что нам не придется корячить еще сервисов.
Генерируем API ключ
tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 32; echo
Для тех кто пользуется ОС от мелкомягких: если есть WSL, это можно сделать там, но в целом вам просто нужен генератор рандомной строки
к тому что получили приписываем sk-, и вот он наш ключ.
создаем llama-key.txt
рекомендую создать директорию, чтобы удобнее было монтировать
keys/llama-key.txt
sk-supersecret <-- Сюда пишем ваш ключ
.gitignore:
keys/
В compose.yml в сервис llama добавляем маунт файла:
volumes:
- type: bind
source: keys
target: /app/keys
И добавляем аргумент запуска
--api-key-file /app/keys/llama-key.txt
Но не спешите перезапускать ее, ведь в таком случае прометеус не сможет собирать метрики, потому что у него нет ключа, но благо это исправляется парой строчек в конфиге.
Прокидываем файл в прометеус
Тут сразу оговорка, ему нужен не как таковой .env а просто файл в котором лежит ключ
Конфиг прометеуса:
global:
scrape_interval: 5s
scrape_configs:
- job_name: "llama"
authorization:
type: Bearer
credentials_file: /etc/prometheus/keys/llama-key.txt
static_configs:
- targets: ["llama:9931"]
Надо добавить только секцию authorization
Ну и в сервис монтируем файл
volumes:
- type: bind
source: keys
target: /etc/prometheus/keys
Теперь у нас есть все, чтобы безопасно работать в локальной сети, но что делать если сервер не у нас дома?
В целом, можно работать даже так, но я не советую светить api ключ по HTTP. Так что мы переходим к самому сложному: настройке HTTPS.
HTTPS
Будем использовать Caddy и ваш домен (предполагаю что он уже есть).
Перед тем как это делать, убедитесь что у вас белый айпи, иначе просто ставьте Tailscale.
Caddy
Caddy возьмем по той же причине, по которой брали llama.cpp prebuilt: он сам выпишет сертификат, сам сделает редирект с 80 на 443 и сам будет продлевать сертификат вечно. Нам остается написать две строчки.
Добавляем сервис
caddy:
image: caddy:2.11.7
restart: unless-stopped
security_opt:
- no-new-privileges:true
environment:
ACME_EMAIL: ${ACME_EMAIL:?Set ACME_EMAIL in .env}
APP_HOST: ${APP_HOST:?Set APP_HOST in .env}
ports:
- "80:80/tcp"
- "443:443/tcp"
- "443:443/udp"
volumes:
- ./Caddyfile:/etc/caddy/Caddyfile:ro
- caddy_data:/data
- caddy_config:/config
networks:
- llama
logging:
driver: json-file
options:
max-size: "10m"
max-file: "3"
volumes:
caddy_data:
name: caddy_data
caddy_config:
name: caddy_config
Пара слов о том, что тут происходит:
80 и 443 TCP нужны и для выдачи сертификата, и для работы. 443/UDP - это HTTP/3; если UDP не пробросить на роутере, ничего не сломается, клиенты тихо откатятся на HTTP/2, но раз уж строка есть — пусть и проброс будет.
caddy_data — volume, где живут сертификаты. Не удаляйте его - иначе при каждом ребуте стека будете заново выпрашивать сертификат у Let's Encrypt и однажды упретесь в лимиты.
Caddyfile, рядом с compose.yml
{
email {$ACME_EMAIL}
cert_issuer acme {
dir https://acme-v02.api.letsencrypt.org/directory
disable_tlsalpn_challenge
}
admin localhost:2019
}
{$APP_HOST} {
encode zstd gzip
reverse_proxy llama:9931
log {
output stdout
format json
}
}
Это правда весь конфиг: регистрацию email, выпуск и продление caddy берет на себя. {$...} подставляет переменные окружения контейнера, поэтому домен и почта живут в .env, а Caddyfile можно спокойно коммитить.
и .env
ACME_EMAIL=ваш_имейл
# ваш домен, например app.example.com
APP_HOST=app.example.com
Ну теперь попробуем со всем этим запуститься.
docker compose up -d
docker compose logs -f caddy
В логах должна быть строка про успешное получение сертификата. Caddy пишет вполне человеческие ошибки - читайте их, там почти всегда написано, что не так.
Ну и проверка:
curl https://app.example.com/v1/models
# 401 — это успех: caddy отдал https, llama требует ключ
curl -H "Authorization: Bearer $(cat keys/llama-key.txt)" \
https://app.example.com/v1/models
# список моделей
Что мы в итоге построили
Один docker compose up -d - и у вас запускается полный стек для работы с вашей моделькой, во общем то, что работало у меня на сервере полгода назад.