LinuxForum.Fans
Тема

Настройка Debian 13. Нейросети (Опционально)

Автор: survordie 1 сообщений 341 просмотров
#440279

Предыдущая часть находится тут.

В этой части будет рассмотрена установка и запуск обученных моделей (LLM).

  • установка Ollama

    Ollama — это программная платформа с открытым исходным кодом для запуска больших языковых моделей (LLM) локально на вашем компьютере или сервере. В последнее время разработчики инструментов (таких как VS Code/IDEA) тем или иным образом урезали функционал автодополнений. Однако появление моделей в свободном доступе привело к созданию AI-агентов, которые путём использования ресурсов компьютера (видеокарты) позволяют получить даже более мощные инструменты чем были доступны ранее.

    Установка и обновление осуществляются одной командой:
    text
    curl -fL https://ollama.com/install.sh | sh

    Удаление:

    text
    curl -fL https://raw.githubusercontent.com/ollama/ollama/main/scripts/uninstall.sh | sh

    Проверка статуса службы ollama:

    text
    sudo systemctl status ollama

    Проверка установленной версии ollama:

    text
    ollama --version

    Установка языковой модели для автодополнения в средах разработки. Т.к. модель не предполагает объяснений и редактирования кода, то она должна быть достаточно лёгкой, чтобы не расходовать ресурсы компьютера. На данный момент для русского языка лучше всего подходит модель qwen2.5-coder:1.5b. Её и установим:

    text
    ollama pull qwen2.5-coder:1.5b

    Модель для эмбеддинга - ИИ видит весь проект

    text
    ollama pull nomic-embed-text:latest

    Модель для чата/редактирования кода (в основном если нужна приватность, т.к. модели в интернете гораздо мощнее) для видеокарты объёмом 8Гб vRAM:

    text
    ollama pull qwen2.5-coder:7b

    Запускаем интерактивный режим для проверки

    text
    ollama run qwen2.5-coder:7b

    Общение с ИИ происходит точно так же, как и в обычном чате через браузер.
    Для того, чтобы выйти из этого режима, достаточно ввести:

    text
    /bye

    Просмотр всех скачанных моделей

    text
    ollama list

    Проверка запущенных процессов:

    text
    ollama ps

    Удаление конкретной версии модели:

    text
    ollama rm deepseek-coder-v2:16b

  • Strata - запуск облачных моделей на обычном компьютере

    Вот и наступили времена, когда облачные модели, которые требовали дикого количества видеопамяти, теперь можно запускать на обычных игровых ПК.
    MoE модель состоит из множества специализированных подсетей-экспертов, и для обработки каждого токена активируется лишь небольшая их часть. Веса модели при этом хранятся в обычной ОЗУ ПК.
    Strata - это приложение, позволяющее скачивать и запускать отдельные MoE модели на локальном ПК.
    Скачивание Strata:
    bash
    curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh | sh

    Для инициализации движка видеокарты нужно запустить команду:

    bash
    strata launch

    Будет запущен псевдографический интерфейс, в котором будет предложено настроить движок и скачать модели.
    Если модель видеокарты не определилась, то можно самому скомпилировать движок из исходников, однако это нетривиальная задача, которая требует установленного ROCm для AMD или CUDA для NVIDIA, поэтому я её рассматривать тут не буду.

    В конечном итоге после скачивания и настройки движка, можно запустить скачанную модель и подключить её, например, для разработки локального проекта.
    В видео ниже показан пример работы модели qwen3.8-flash-next-iq3_xxs на системе:
    ОС: Debian 13
    Процессор: AMD Ryzen 7 5700X
    Видеокарта: Radeon RX 6600 (8 Гб видеопамяти)
    ОЗУ: 128Гб (по факту занято 8 Гб VRAM + 50 Гб RAM)

Войдите или зарегистрируйтесь, чтобы ответить.