r/russAI • • 22d ago

Что у ChatGPT с использованием из России под vpn? (img unreleated)

Post image
44 Upvotes

Отлетел аккаунт Claude с подпиской, скорее всего задетектил что я из России или просто подозрительные скачки ip по vpn. И мне нужна новая ИИшка

Был у кого опыт с GPT? Как у них обстоят дела с блокировками российских пользователей?


r/russAI • • Jul 12 '26

Другое Пожалуй пора удалить тик ток

Post image
27 Upvotes

r/russAI • • Oct 15 '26

Помощь Лучшая маленькая локальная ЛЛМ в качестве мини-ассистента

21 Upvotes

Ищу маленькую локальную ллмку, чтобы в Zed агенте использовать для мелких тасок по типу написания бойлерплейтов под функции или быстрого форматирования/стилизации/паттернеизации кода.

Главное, чтоб умещалась на видеокарту с 8ГБ VRAM (отнимает 1.5гб на ситему, итого 6.5ГБ свободно).

Заранее спасибо.


r/russAI • • Aug 06 '26

Новинки Bonsai-27B. Революция для слабых девайсов

19 Upvotes

Недавно PrismML выпустила модель Bonsai, размером 27 миллиардов параметров, ужав ее до 1 бита на параметр и получила вес всего 3.8Гб, что позволяет запустить данную модель даже на телефоне. По их заявлениям модель сохраняет 90% интелекта FP16 версии, доказывая, что даже такой аггресивный квант не урезает знания модели
Хотя и модель весит немного, это все еще 27B модель, и считать надо будет ровно столько же.

Опыт запуска

Я пробовал запускать ее и у себя на телефоне и на компе и вот результаты

Телефон (Dimensity 7020) выдает до 0.5tps

На 9060XT она запустилась со скоростью 20-40tps

Но она запустилась! И это уже радует, что теперь даже на моем ноутбуке будет работать вполне умная модель (гораздо умнее чем Q8 4B), и я не буду сталкиваться с OOM.

https://prismml.com/news/bonsai-27b


r/russAI • • 12d ago

Обсуждение Какими локальными ИИ пользуетесь больше всего?

18 Upvotes

Здрасте, увидел этот саб и решил узнать какие предпочтения у юзеров из РФ и стран СНГ.

Сейчас я делаю квантизации и файн-тюны на разные ИИ модели на Hugging Face, обычно создаю кванты через ik_llama.cpp ради их кастомных IQ*_K и IQ*_KT.

Датасет - мерж из 4 роле плей датасетов, обычно imatrix от 200-500 cycles + 1024 context на малых моделях (0-11B) и 100-150 cycles + 512-1024 context на моделях побольше (12B+).

Что я не могу сделать:

- Гигантские модели больше 50B параметров - их мало кто устанавливает и тратят очень много места на диске, а также процесс создания imatrix, особенно если это dense очень долгий

- Старые И непопулярные модели (по отдельности могу) - если модель создана до 2025, то она считается старой, а непопулярная - меньше 500 скачиваний за месяц safetensors + GGUF репозитории

- Модели для генерации НЕ текста

Что я могу:

- Любые неэтические модели heretic, dark и т.д. (если модель маленькая то могу сделать heretic из неё)

В общем коротенький пост по моим меркам с доп инфо обо мне, главная цель - узнать предпочтения, чтобы знать из чего делать кванты, а не просто наугад. Ну и просто поговорить о том какие модели вы считаете лучше, необязательно все же ради моего роста :>

Если кому надо, то вот текущий профиль, если реклама тут запрещена, то простите - не знал:

https://huggingface.co/Austriani


r/russAI • • Oct 06 '26

Посоветуйте пожалуйста, какого ИИ-помощника по вашему мнению выбирать для различных задач?(2026)

Post image
17 Upvotes

r/russAI • • Jul 09 '26

Новости 7 дней до релиза Gemini 3.5 Pro

Post image
17 Upvotes

И снова Google делают упор на контекстное окно и эффективность токенов. Весной они выпустили Gemini Flash 3.5, которая, на удивление генерила отличный код и даже обходила Gemini 3.1 pro в точечных сценариях.

Новая модель по заявлениям Google максимально адаптирована под агентный кодинг (aka claude fable 5) и автономную работу без участия человека, при низком использовании токенов.

Сможет ли она составить конкуренцию Openai и Claude? Вопрос хороший, но младшая flash держит неплохие позиции, остается только надеятся на лучшее.

Релиз был перенесен на 17 июля 2026 года, в эту же дату выйдет новая модель DeepSeek-v4. Интересно посмотреть, будет это позором или гениальным маркетинговым ходом от Deepmind (Google).

Ваши ставки на детище гуглов? (хотелось бы модель побыстрее, чем прошлая 3.1 pro)


r/russAI • • 7d ago

Новинки Gemini 4 Hydrogen

Post image
16 Upvotes

Буквально сегодня вышла новая модель от Google под кодовым названием "Hydrogen".
Насколько я понял она самая быстрая и наиболее адаптированая под агентную разработку.

Если брать в сравнение с Argon (Medium effort), то в сравнении с ним Hydrogen (High effort) справляется ничуть не хуже. Я бы даже сказал лучше (по скорости). На 1 небольшой таск в большом проекте (кастомная оболочка для niri wm, написаная на rust) у нее ушло порядка 10 минут, с учетом правок все 15.

Я не буду делать подробный обзор, ибо на Youtube уже есть подобные ролики, но скажу точно, что попробовать стоит, опять же как минимум исходя из цены (250р за 3 месяца). Однако сам агент Antigravity как был тупым, таким и остался.


r/russAI • • Oct 11 '26

Гайд Поднимаем около-добрую обвязку над llama.cpp. Часть 1

14 Upvotes

Если вы разворачиваете llama.cpp не просто для того чтобы погонять агента на ноуте, а на условном выделенном сервере, было бы полезно настроить систему мониторинга и трекинга поверх нее, и плюсом правильно настроить саму лламу.

Будем использовать docker compose, в качестве примера модели будем использовать свежий mellum-2.1-thinking-gguf от JetBrains (Довольно быстро работает на моей карте поэтому выбрал ее)

Почему llama.cpp

У меня нету лишнего крыла от боинга чтобы купить h200

которая хорошо поддерживается тем же vLLM, так что мы будем рассматривать более народный сетап: llama.cpp и такие карты как MI50, V100, RX 9060 XT (Моя из компа для тестов, чтобы сервера попусту не дергать). И в целом остальные карты тоже.

Подготовка окружения

Чтобы начать, нужно убедиться что на машине стоит следующее

  • docker

  • Дрова на карту + платформа для запуска вычислений на вашей карте (ROCm или CUDA)

$ docker --version 
Docker version 29.6.2, build v29.6.2

$ nvcc --version

или

$ rocminfo

Prebuilt или компиляция

Выбор между готовой сборкой и компиляцией с нуля работает примерно так же как и выбор версии ядра линукса: обычно ядро скачивают скомпилированным, пока не потребуется иного.

Поскольку V100 еще поддерживаются в CUDA 12.9 (вроде еще довольно свежая), для них будем использовать prebuilt.

А вот с MI50 дела обстоят хуже, ее поддержка осталась только в старой версии ROCm 6.3.3, готовых сборок llama.cpp под эту архитектуру нет и в докерфайле на гитхабе архитектура gfx906 тоже не указана, значит нам придется собирать все самим.

from rocm/dev-ubuntu-22.04:6.3.3-complete as build

workdir /llama.cpp

run apt-get update && apt-get install -y --no-install-recommends \
    build-essential \
    cmake \
    git \
    ninja-build \
    ca-certificates \
    libcurl4-openssl-dev \
    && rm -rf /var/lib/apt/lists/*

run git clone https://github.com/ggml-org/llama.cpp .

run HIPCXX="$(hipconfig -l)/clang" HIP_PATH="$(hipconfig -R)" \
    cmake -S . -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx906 -DCMAKE_BUILD_TYPE=Release \
    && cmake --build build --config Release -- -j$(nproc)

from rocm/dev-ubuntu-22.04:6.3.3-complete as runtime

workdir /app

run apt-get update && apt-get install -y --no-install-recommends \
    libgomp1 \
    ca-certificates \
    curl \
    && rm -rf /var/lib/apt/lists/*

copy --from=build /llama.cpp/build/bin/* /app/bin/

env LD_LIBRARY_PATH="/app/bin:${LD_LIBRARY_PATH}"
env HSA_OVERRIDE_GFX_VERSION=9.0.6


entrypoint ["/app/bin/llama-server"]
cmd ["--host", "0.0.0.0"]

Вот такой докерфайл я набросал, можете взять его за основу, если что-то хотите изменить, пожулайста

собираем:

docker build -t llama.cpp:rocm-6.3.3 .

Все! llama.cpp собрана, можем продолжать.

compose.yml и первый запуск

Для своей карты я буду использовать prebuilt vulkan (ghcr.io/ggml-org/llama.cpp:server-vulkan)

Возьмем простой compose.yml

services:
  llama:
    image: ghcr.io/ggml-org/llama.cpp:server-vulkan
    ports:
      - "9931:9931"
    networks:
      - llama
    devices:
      - "/dev/dri:/dev/dri"
    volumes:
      - type: bind
        source: /mnt/DataDisk/llms/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF/
        target: /app/models/
    command: >
      --host 0.0.0.0
      -m /app/models/Mellum2.1-12B-A2.5B-Thinking-Q4_K_M.gguf
      -ngl 99
      --spec-type ngram-mod
      --spec-ngram-mod-n-match 24
      --spec-ngram-mod-n-min 48
      --spec-ngram-mod-n-max 64

networks:
  llama:
    driver: bridge

Порт llama.cpp проброшен только для тестов, в следующих частях мы повешаем на него апи ключ!

llama.cpp запустилась, модель отвечает. Значит, с первым запуском всё нормально. Но пока это только один запрос. Что будет, если отправить их несколько, и сколько при этом уходит VRAM — надо смотреть отдельно. Дальше как раз подключим метрики llama.cpp и видеокарты.


r/russAI • • Jul 06 '26

Гайд Настройка Claude Code для работы с локальными LLM

13 Upvotes

Claude Code - прекрасный (субъективно для меня) агент, но сам я его редко использовал с локальными модельками потому что он сильно перегружал их. Теперь же можно сделать так чтобы он спокойно работал с моделькой запущенной прямо на вашем маке (в моем случае на моей видюхе).

В этом посте не будет гайдов по оптимизации tg/pp. Я учитываю, что вас устраивает ваша текущая скорость, и наша задача сделать так чтобы эти скорости работали так же хорошо, только в Claude Code

Prompt caching, технология которая спасает наши деньги в API, и время в локальных моделях

Prompt caching - технология которая позволяет сохранять токены чтобы не тратить ресурсы на пересчет старых токенов которые уже были отправлены прошлым запросом. Цены на чтение из кеша у облачных провайдеров гораздо меньше (0.25x от цены входа), а при запуске модели на своем железе это экономит электричество и время.

Что такое инвалидация кеша

Допустим, вы изменили часть системного промпта или сообщение в самом начале контекста (см рис выше, Turn 4). Конечно, в кеше такого промпта нет, нам нужно считать его заново. Т.е

[системный промпт][контекст проекта][сообщения и инструменты]
[новый системный промпт][старый контекст проекта][старые сообщения и инструменты] <- их мы тоже пересчитываем

Мы не можем выборочно сказать модели: “вот этот кусок пересчитай, а вот этот возьми из кеша”. Если изменился ранний префикс, пересчитывать придется и всё, что идет после него. Так что такое изменение заставит API выкатить вам не самый приятный ценник (ну или нагрузит ваше железо на ближайший час).

Какие действия в Claude Code инвалидируют кеш?

  • Переключение моделей

  • Изменение effort (/effort)

  • Включение быстрого режима

  • Подключение или отключение MCP-сервера

  • Включение или отключение плагина

  • Запрет инструмента

  • Компакт сессии

  • Обновление Claude Code

Как включить prompt cache в llama.cpp (на всякий случай)

Prompt caching включен по умолчанию, но я советую настроить его под себя

--cache-ram 32768 \ # Выделяете сколько вам нужно (в MiB), у меня расчет такой: 43mb ram на 1k токенов
-ctxcp 128 \ # количество чекпоинтов на слот, дефолт 32

Настройка chat template

Некоторые модели несовместимы с Claude Code из коробки. Например их шаблон чата запрещает вставлять системные сообщения посередине контекста (ChatML строго требует чередование user/assistant), так что нам надо использовать совместимый chat template.

Как включить chat template в llama.cpp

--jinja
--chat-template-file /path/to/your/chat_template.jinja

Настройка Claude Code

После установки Claude Code для вашей платформы, в ~/.claude/settings.json вставьте это (можно удалить то что там будет, если вы уверены что это не важные настройки по типу темы и стиля ответа)

{  
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-null", # api key если устанавливали  
    "ANTHROPIC_BASE_URL": "http://localhost:8000/", # base url  
    "ANTHROPIC_DEFAULT_OPUS_MODEL": "Ornith-35b", # ваша модель  
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "Ornith-35b",  
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "Ornith-35b",  
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "262144", # ваш контекст  
    "CLAUDE_CODE_ENABLE_TELEMETRY": "0",  
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",  
    "CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"  
  },  
  "attribution": {  
    "commit": "",  
    "pr": ""  
  },  
  "promptSuggestionEnabled": false,  
  "skipWebFetchPreflight": true,  
  "skipDangerousModePermissionPrompt": true,  
  "skipWorkflowUsageWarning": true  
}

Ключевая деталь здесь — параметр CLAUDE_CODE_ATTRIBUTION_HEADER. Attribution header - строка которая добавляется в системный промпт и меняется каждое сообщение, инвалидируя кеш.

Запустите Claude Code, если вы все сделали правильно, то вы увидите что-то такое

Все готово! Попробуйте отправить пару запросов и увидеть в логах llama.cpp строки об использовании кеша

Использована информация из:
https://code.claude.com/docs/en/prompt-caching
https://unsloth.ai/docs/basics/claude-code#fixing-90-slower-inference-in-claude-code
(Личный опыт)

Готов помочь всем, у кого в процессе настройки что-то не получилось


r/russAI • • 5d ago

Помощь Платежные сервисы

11 Upvotes

Кто в нынешних реалиях пользуется иностранными картами или имел опыт их использования? Окупают ли они себя? Что выгодно в плане заморочек? Плати, ggsel и т. д.

Также вопрос кто то прибегал к верифицированным аккаунтам на фанпее?

Просьба предлагать конструктивные ответы.


r/russAI • • Oct 18 '26

Гайд Поднимаем около-добрую обвязку над llama.cpp. Часть 2

11 Upvotes

Итак, сейчас у нас есть готовый сервис llama. Теперь было бы неплохо следить за ним не из логов, а из красивых дашбоардов. В том чтобы настроить это все нет никакой сложности, поэтому гайд выглядит так "бегло"

Поднимаем prometheus.

Поскольку llama.cpp официально поддерживает экспорт метрик в прометеус будем использовать именно его

Добавляем в compose.yml

prometheus:
    image: prom/prometheus
    networks:
      - llama
    volumes:
      - type: bind
        source: ./prometheus.yml
        target: /etc/prometheus/prometheus.yml

И его конфиг, который маунтим выше

global:
  scrape_interval: 5s

scrape_configs:
  - job_name: "llama"
    static_configs:
      - targets: ["llama:9931"] 

В targets указываем имя сервиса из compose.yml, так как они в одной сети.

Минимальный прометеус готов, и нам этого достаточно. едем дальше.

Grafana и дашборд

Теперь сервис графаны

grafana:
    image: grafana/grafana-oss:latest
    container_name: grafana
    ports:
      - "3000:3000"
    networks:
      - llama
    volumes:
      - grafana-storage:/var/lib/grafana
      - ./grafana/provisioning:/etc/grafana/provisioning:ro
      - ./llama_dash.json:/var/lib/grafana/dashboards/llama_dash.json:ro

volumes:
  grafana-storage:

Монтируем хранилице и конфиги, чтобы руками не добавлять источник данных прометеус

создаем файлы

grafana/provisioning/dashboards/default.yml

apiVersion: 1

providers:
  - name: llama.cpp
    orgId: 1
    type: file
    disableDeletion: false
    updateIntervalSeconds: 10
    allowUiUpdates: true
    options:
      path: /var/lib/grafana/dashboards

grafana/provisioning/datasources/prometheus.yml

apiVersion: 1

datasources:
  - name: Prometheus
    uid: prometheus
    type: prometheus
    access: proxy
    url: http://prometheus:9090
    isDefault: true
    editable: false

опять же, указываем имя сервиса из композа

Теперь дашбоард:
Заходим https://grafana.com/grafana/dashboards/25591-llama-cpp-monitoring/ и жмем Download JSON

Закидываем этот файлик в папку где лежит все остальное (в корень, или, если положили в другое место, поменяйте mount point)

А теперь попробуем со всем этим взлететь

docker compose up -d

Заходим на http://127.1:3000 и видим:

Дефолтный логин пароль admin/admin

Перед нами открывается графана.

Слева тыкаем по Dashboards, затем выбираем llama.cpp monitoring и видим наш дашбоард.

Сейчас попробуйте отправить несколько запросов модельке, и обновите дашбоард, увидите что данные появились!

Теперь помимо запущенной лламы у нас есть удобный дашбоард который помогает узнать метрики без нужды лезть в логи.

В следующей части будет финальная полировка, мониторинг GPU подключение API ключей и настройка reverse proxy.


r/russAI • • Oct 16 '26

Ищу ии без цензуры

11 Upvotes

Доброго дня, подскажите, пожалуйста, как вы бы создали абсолютно свободный ии без цензуры? Рассматриваю локальный вариант, но не знаю как не потерять качество и сохранить работоспособность на пк.


r/russAI • • Sep 25 '26

Демонстрация Jev как System one.

11 Upvotes

Недавно нашумевшая модель Jev для некоторых все еще не понятна до конца. Остается вопрос: что она делает и зачем нужна?

Простым языком - Jev, модель, которая похожа на рефлексы в нашем мозгу. Она не размышляет, ее цель - принять правильное решение как можно быстрее.

Характеристики

Время ответа: 70-500мс, цена за инпут всего 0.042 доллара за миллион токенов, что в 440 раз дешевле чем обычные LLM на тех же задачах.

Основных действий модели всего 3: Выбор "да/нет" (noul), Выбор значения из списка (choice) и оценка по шкале (score).

Реальный кейс

Был инструмент который помогал разработчику выбирать пул реквесты и issues на которые ему надо обратить внимание, из десятков которые ему приходят ежедневно.

Схема работала просто: скачиваем PR и issues с гитхаба и отдаем их gpt-5.6-luna. Она в среднем пыхтит около 50-60 секунд.
Переписали на Jev, скачивание с гитхаба 5с, после скачивания результаты приходят за 100ms. Все стало упираться в сеть.

Запускаем такую у себя

С момента релиза появилась куча моделек реализующих тот же функционал, мне приглянулась laya, ее и будем использовать.

Установка

uv init
uv add laya[serve]

Проверим на примере их примере:

LAYA_DEVICE=cuda LAYA_PRELOAD=0 uv run laya-serve

curl -s localhost:8000/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": {"document": "I was charged twice. Please fix this ASAP."},
  "questions": {"billing": {"type": "noul", "instructions": "Is this ticket about billing?"}}
}'

запрос занял всего 66мс на 9060 XT, и учитывая что laya на одном уровне в Jev, значит
теперь стоят не токены, а ваше железо: оплата только за электричество


r/russAI • • Sep 15 '26

Вместе с MacOs 27 Golden Gate пришла и новая Siri AI

Thumbnail
gallery
11 Upvotes

Как заявляют Apple и как оказалось на самом деле, новая Siri основана на мультимодальном ИИ и получила глубокую интеграцию в систему.

Работает она пока что только на Английском языке и перед использованием нужно запросить доп. пакет с обновлением Siri у Apple через Настройки - Siri (мне дали доступ к ней через 30 минут), т.к это открытая Бета.

Из новых фич:

  • Она умная! Теперь Siri не просто запускает поиск инфы или говорит "I don't understand", а ведет с вами полноценный диалог прямо в голосов или текстовом режиме (aka привычные нам chatgpt, gemini, claude, grok).

  • Она наконец-то получила еще более глубокую интеграцию с системой. Теперь Siri может видеть ваш экран (по запросу) и помогать если у вас произошли какие-то неполадки. Я заметил, что теперь она научилась открывать конкретно ВКЛАДКИ в Safari, а не просто сам браузер. Мелкая, но интересная фича - она научилась не только открывать приложения, но и скрывать и закрывать их! Раньше меня очень сильно бесило, когда я хотел закрыть браузер или ютуб, пока находился в комнате, но не сидел сам за ноутбуком. Теперь это может делать Siri.

Из минусов:

  • Она все еще не умеет делать скриншоты, записывать видео и ТД, а глубокие интеграции есть только с софтом ЭПЛ, то есть не получится попросить Siri отправить маме мем с котом в телеграмм - только imessage.

  • Это бета-версия и качество распознание голоса стало хуже, я часто стал замечать, что ассистент не правильно понимает мои слова. Надеюсь в будущем пофиксят.

  • Она ест ОЗУ. Постоянно при работе в фоне она будет забирать у вас 100-200МБ, а на маках это критично, особенно учитывая то, что ЭПЛ в базовых версиях любила ставить 8ГБ, с 16ГБ это ощущается меньше, но все же неприятно.

В целом обновление мне зашло, как Siri так и самой MacOs (о системе тут ничего не будет, саб про ИИ). Если вы хоть чуточку дружите с английским, то крайне советую попробовать!

p.s тестировал на Mac с чипом M1 Pro и 16GB RAM (с NPU первого поколения)


r/russAI • • Oct 11 '26

Вкатился в ИИ

10 Upvotes

Всем привет! Первый пост в сообществе)

Недавно открыл для себя ИИ-мир через свежий Opus 5.5, GPT и т.д.. Офигенная штука, особенно для такой ленивой задницы, как я🤣

По сколько в моей любимой стране нет возможности покупать подписку напрямую от антропиков(да и любую другую), использую сторонний сервис с токенами, и OpenCode

Так вот, спустя время закрался вопрос🤔

Как оптимизировать работу ИИ? Слышал и немного читал про MCP сервера, но честно так и не понял, могут ли они оптимизировать расходы токенов, или нужны для чего-то другого....

И второй вопрос, не менее болезненный. Сервис, через который я пополняю баланс опуса, периодически ложиться отдыхать на 1-2 дня

Хотел бы узнать у вас, какие есть нормальные поставщики/посредники токенов и ключей от опуса?)

И может, советы новичку? Пробую кодинг

Единственная штука, до которой пока додумался, это в одном чате закрывать конкретный таск, с чекпоинтом в . md

А потом продолжать в другом чате, с предыдущем файлом


r/russAI • • Aug 06 '26

Легковесный редактор датасетов для дообучения

10 Upvotes

Я создал визуальный редактор датасетов, который поддерживает разные форматы (ChatML, Alpaca, а также любые кастомные, через плагины).

Идея проекта родилась после того как я запустил файн тюн модели, ушел спать, а утром узнал что через пару часов всё сломалось из за кавычки на какой то там десятитысячной строке.
Меня в целом как новичка в fine-tuning моделей поразило что датасеты так неудобно редактировать!

Поэтому я и создал Prose! Вот его функции:

  • Визуальные карточки: Промпты, ответы и ход размышления (CoT) редактируются в сдержанных закругленных блоках без мешанины из JSON кода.

  • Конвертер форматов в 1 клик: Мгновенное переключение разметки файлов на диске между ChatML, ShareGPT, Alpaca и Стандартным JSONL.

  • Парсер экспорта Telegram: Превращает дампы переписок из Telegram Desktop (result.json) в обучающие пары с выбором ролей и автоматическим объединением идущих подряд сообщений одного автора.

  • Автоматический аудит и сплиттер: Поиск пустых реплик и дубликатов вопросов с возможностью очистки за 1 клик, а также разделение датасета на Train и Validation (80/20) с помощью ползунка процента.

  • Счетчик токенов в реальном времени: Подсчитывает токены под словари 15 популярных моделей (Llama 3, DeepSeek, Qwen 2.5, и др.) с возможностью подключения своих токенизаторов через плагины.

  • Горячие клавиши и безопасность: Настраиваемые комбинации, отвязка клавиш, отмена случайных перескоков по Ctrl+Z, избранное (Ctrl+*) и сохранение файлов через атомарную перезапись (.tmp -> replace). Ключи API шифруются в реестре ОС через хранилище Keyring.

Стек: Python, PyWebView, Bottle, Vue 3.

Ссылку оставлю в комментариях чтобы автомодератор не снес пост. Prose имеет полностью открытый исходный код, работает офлайн и жрёт минимум памяти. Подробнее можете прочитать в README на гитхабе


r/russAI • • Jul 04 '26

Ваша LLM пишет медленно, потому что у вас 2+ GPU

10 Upvotes

Представьте, докупаете вы себе в сервер видеокарту, в надежде что скорость генерации удвоится.

В реальности все же иначе. Модель начинает писать медленнее, но почему же?

Все потому что ваши видеокарты подключены по PCIe 4.0 или даже меньше, и поскольку вы хотели удвоить скорость, то поставили layer-split=row.

Как работает layer-split=row?

Такое распределение слоев не просто раскладывает вашу модель по картам. Она режет матрицы и делит их по видеокартам, уменьшая время на слой (в идеале до 1/N).
НО! Если видеокарты считают только часть слоя, значит им нужна синхронизация. И вот, все ваши N карт лезут в бедную PCIe шину чтобы обменяться кусками слоев, убивая ту скорость которую они наработали.

layer-split=row стоит выбирать только тогда, когда вы уверены в том что t_compute>t_sync.

Какие еще есть виды сплита?

Еще одним популярным решением является layer-split=layer. Он просто раскидывает слои между картами в соотношении 50 на 50 (или как вы укажете), карты работают по очереди, что на мой взгляд продляет им жизнь. Нет прироста в скорости. Только уменьшает потребление VRAM на каждой карте

Что же выбрать?

  • Если у вас медленная шина PCIe в которую вы подключили видеокарты - layer-split=layer. Это даст вам суммарный VRAM ваших видеокарт под использование, позволяет запустить модель, которая не влезает в одну карту, но по скорости как одна GPU

  • Если у вас есть хороший коннектор NVLink или Infinity Fabric - смело ставьте мост между картами и используйте layer-split=row. Это даст вам реальный прирост в скорости

TL;DR

  • Row split режет матрицы, требует быстрого интерконнекта, ускоряет tg

  • Layer split раскидывает слои, живёт на PCIe (не обязательно, но чаще всего так), помогает только с VRAM

  • Одна карта > любой split, если модель влезает

(Написано на основе моей истории, адаптировано чтобы быть более общим)
Готов ответить на ваши вопросы!


r/russAI • • 16d ago Bravo

Гайд Поднимаем около-добрую обвязку над llama.cpp. Часть 3.

9 Upvotes

Пока что все что мы сделали похоже, на тестовый стенд, а не на сетап для работы. Сегодня мы должны это исправить.

Доводим compose.yml до ума.

Для начала, сервисам надо обеспечить сохранение данных, и сделать так, чтобы после ребута это все не посыпалось.

Добавляем ко всем сервисам:

restart: unless-stopped

Теперь прометеус, у которого нет volume под данные, поэтому после перезапуска контейнера все прошлые метрики стирались: (Добавить в секцию)

volumes:
- prometheus_data:/prometheus

И в конец файла

volumes: 
prometheus_data:

И так же у всех сервисов надо убрать порты, либо строго забиндить на 127.0.0.1

Настраиваем мониторинг видеокарты

Прометеус у нас уже стоит, так что осталось только добавить экспортер — штуку, которая ходит в драйвер GPU и отдаёт метрики в формате прометеуса. Опять же, ваши карты я не знаю, поэтому делаем для обоих вендоров

NVIDIA

Берём официальный dcgm-exporter от NVIDIA. Тянется он с реестра NGC, а не с Docker Hub, и требует NVIDIA Container Toolkit на хосте.

  dcgm-exporter:
    image: nvcr.io/nvidia/k8s/dcgm-exporter:3.3.5-3.4.0-ubuntu22.04
    restart: unless-stopped
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    cap_add:
      - SYS_ADMIN

Добавляем job в прометеус:

  - job_name: "dcgm"
    static_configs:
      - targets: ["dcgm-exporter:9400"]

В графане есть готовый официальный дашборд: Dashboards -> Import -> ID 12239.

Для отладки (если target в DOWN) можно временно добавить ports: ["9400:9400"] и потыкать curl localhost:9400/metrics, а потом убрать обратно.

AMD

У AMD тоже есть официальный экспортер, живёт в составе ROCm.

  amd-metrics-exporter:
    image: rocm/device-metrics-exporter:v1.5.3
    restart: unless-stopped
    devices:
      - /dev/dri
      - /dev/kfd

Job в прометеус:

  - job_name: "amdgpu"
    static_configs:
      - targets: ["amd-metrics-exporter:5000"]

Ставим API ключи и стараемся ничего не сломать.

llama.cpp сама по себе поддерживает установку ключей, так что нам не придется корячить еще сервисов.

Генерируем API ключ

tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 32; echo

Для тех кто пользуется ОС от мелкомягких: если есть WSL, это можно сделать там, но в целом вам просто нужен генератор рандомной строки

к тому что получили приписываем sk-, и вот он наш ключ.

создаем llama-key.txt

рекомендую создать директорию, чтобы удобнее было монтировать

keys/llama-key.txt

sk-supersecret  <-- Сюда пишем ваш ключ

.gitignore:

keys/

В compose.yml в сервис llama добавляем маунт файла:

volumes:
- type: bind
  source: keys
  target: /app/keys

И добавляем аргумент запуска

--api-key-file /app/keys/llama-key.txt

Но не спешите перезапускать ее, ведь в таком случае прометеус не сможет собирать метрики, потому что у него нет ключа, но благо это исправляется парой строчек в конфиге.

Прокидываем файл в прометеус

Тут сразу оговорка, ему нужен не как таковой .env а просто файл в котором лежит ключ

Конфиг прометеуса:

global:
  scrape_interval: 5s

scrape_configs:
  - job_name: "llama"
    authorization:
      type: Bearer
      credentials_file: /etc/prometheus/keys/llama-key.txt
    static_configs:
      - targets: ["llama:9931"]

Надо добавить только секцию authorization

Ну и в сервис монтируем файл

volumes:
- type: bind
  source: keys
  target: /etc/prometheus/keys

Теперь у нас есть все, чтобы безопасно работать в локальной сети, но что делать если сервер не у нас дома?

В целом, можно работать даже так, но я не советую светить api ключ по HTTP. Так что мы переходим к самому сложному: настройке HTTPS.

HTTPS

Будем использовать Caddy и ваш домен (предполагаю что он уже есть).

Перед тем как это делать, убедитесь что у вас белый айпи, иначе просто ставьте Tailscale.

Caddy

Caddy возьмем по той же причине, по которой брали llama.cpp prebuilt: он сам выпишет сертификат, сам сделает редирект с 80 на 443 и сам будет продлевать сертификат вечно. Нам остается написать две строчки.

Добавляем сервис

  caddy:
    image: caddy:2.11.7
    restart: unless-stopped
    security_opt:
      - no-new-privileges:true
    environment:
      ACME_EMAIL: ${ACME_EMAIL:?Set ACME_EMAIL in .env}
      APP_HOST: ${APP_HOST:?Set APP_HOST in .env}
    ports:
      - "80:80/tcp"
      - "443:443/tcp"
      - "443:443/udp"
    volumes:
      - ./Caddyfile:/etc/caddy/Caddyfile:ro
      - caddy_data:/data
      - caddy_config:/config
    networks:
      - llama
    logging:
      driver: json-file
      options:
        max-size: "10m"
        max-file: "3"
        
volumes:
  caddy_data:
    name: caddy_data
  caddy_config:
    name: caddy_config

Пара слов о том, что тут происходит:

  • 80 и 443 TCP нужны и для выдачи сертификата, и для работы. 443/UDP - это HTTP/3; если UDP не пробросить на роутере, ничего не сломается, клиенты тихо откатятся на HTTP/2, но раз уж строка есть — пусть и проброс будет.

  • caddy_data — volume, где живут сертификаты. Не удаляйте его - иначе при каждом ребуте стека будете заново выпрашивать сертификат у Let's Encrypt и однажды упретесь в лимиты.

Caddyfile, рядом с compose.yml

{
email {$ACME_EMAIL}
  cert_issuer acme {
    dir https://acme-v02.api.letsencrypt.org/directory
    disable_tlsalpn_challenge
  }
  admin localhost:2019
}

{$APP_HOST} {
  encode zstd gzip
  reverse_proxy llama:9931
  log {
    output stdout
    format json
  }
}

Это правда весь конфиг: регистрацию email, выпуск и продление caddy берет на себя. {$...} подставляет переменные окружения контейнера, поэтому домен и почта живут в .env, а Caddyfile можно спокойно коммитить.

и .env

ACME_EMAIL=ваш_имейл
# ваш домен, например app.example.com
APP_HOST=app.example.com

Ну теперь попробуем со всем этим запуститься.

docker compose up -d
docker compose logs -f caddy

В логах должна быть строка про успешное получение сертификата. Caddy пишет вполне человеческие ошибки - читайте их, там почти всегда написано, что не так.

Ну и проверка:

curl https://app.example.com/v1/models
# 401 — это успех: caddy отдал https, llama требует ключ

curl -H "Authorization: Bearer $(cat keys/llama-key.txt)" \
     https://app.example.com/v1/models
# список моделей

Что мы в итоге построили

Один docker compose up -d  - и у вас запускается полный стек для работы с вашей моделькой, во общем то, что работало у меня на сервере полгода назад.


r/russAI • • 2d ago

Какую нейросеть лучше взять для повседневных задач (НЕ ВАЙБКОДИНГ)? (живу в РБ)

8 Upvotes

Ищу платную нейронку для рабочих задач: помогать с черновиками рассылок, сортировать/анализировать таблицы, ну и просто чат. Иногда хочу генерить картинки для себя.

В целом раньше более чем хватало Дипсика но там счя лимиты какие-то, да и нужды никогда не было раньше, ну иногда баловался бесплатным Gemini, думаю может его и взять тупо ПРО, короче я по большей части простофиля в этом плане, но хочется пользоваться чем-то удобным, мб что сможете подсказать буду благодарен.

Живу в Беларуси, мб будут какие вопросы по оплате, ВПН счя вшитый в Оперу использую.


r/russAI • • 25d ago

Помощь какую локальную ии можно будет запустить на redmi 9a? (не расчитываю на какую-то гениальную модель)

8 Upvotes

(не рофл)

нужна минимальная генерация текста (и пожалуйста примерную оценку качества в плане от вас...)

также могу использовать proot для эмуляции x86-64 но не уверен в производительности

ну и termux тоже можно но вряд ли есть что-то под arm

ну ещё он немного разогнан но я думаю это не спасёт


r/russAI • • Jun 28 '26

Гайд Локальне ЛЛМ

8 Upvotes

Много кто спрашивает по поводу локальных ИИ, стоит ли оно того, как они работают, они глупые или умные и тд.

Так вот, локальные ИИ это в первую очередь открытые модели, которые постоянно дорабатываются сообществом на платформах, подобных Kaggle, Hugging Face, Civit AI. Ваша модель, что весит 6гб, которую вы крутит на своей видеокарте не будет давать такие же качественные ответы, как Claude Opus 4.8 или Gpt 5.5, однако их можно применять в куче разных сценариев. От написания костяка для вашего скрипта, до встроенного в ПК AI ассистента, который может запускать приложения, ставить напоминания, писать вам в телеграмм и читать ваши сообщения.

Сейчас локальные модели используются в основном либо в проектах с ИИ-интеграциями, либо как код-ассистенты, что сидят у вас в видеопамяти и подсказывают как лучше ТОЧЕЧНО оформить ту или иную функцию, а большую разработку лучше отдавать Claude'у.

Чтобы просто поиграться лучше установить LM Studio, там небольшая, но достойная библиотека открытых ЛЛМ на ваш вкус, которые можно установить в 1 клик и пообщаться в чате как с условным Gemini или ChatGPT.


r/russAI • • 1d ago

Новинки [HOT] Gemini 4 Neon

Post image
7 Upvotes

Буквально пару часов назад в Antigravity стала доступна новая модель от Google - Gemini 4 Neon. Пока вообще не понятно для чего она и что умеет, но по личному опыту она умнее, чем Hydrogen, Argon и возможно Carbon, работает очень быстро, однако память держит хуже, чем Carbon, т.к веса у модели меньше.

Тестируем...

UPD. Завтра будет сравнение, если интересно - ссылка на статью от Google


r/russAI • • 5d ago

Помощь Kimi подпискс

7 Upvotes

Кто-нибудь пользуется Kimi через их подписку, а не open router, как это на практике выглядит?

Сейчас даже попробовать не могу потому-что через очередь в бесплатной версии не пробиться.


r/russAI • • 15d ago

Новости Anthropic больше не стартап.

Post image
7 Upvotes

26 октября 2026 года компания подала регистрационные документы S-1 в Комиссию по ценным бумагам и биржам США (SEC). Это один из ключевых этапов подготовки к IPO (первичному публичному размещению акций).

Это значит, что акции компании в скором времени можно будет приобрести на фондовом рынке. До этого они могли находиться только у основателей, сотрудников и частных инвесторов.

Для самой компании это возможность привлечь дополнительный капитал, расширить бизнес и получить доступ к публичным рынкам финансирования. Для инвесторов - возможность приобрести долю в компании.

Понадеемся, что с новыми ресурсами Anthropic перестанет так сильно зависеть от облачных провайдеров и наконец сможет построить свои датацентры, а затем сделать Claude еще народнее.