Предыдущая часть находится тут.
В этой части будет рассмотрена установка и запуск обученных моделей (LLM).
установка Ollama
Ollama — это программная платформа с открытым исходным кодом для запуска больших языковых моделей (LLM) локально на вашем компьютере или сервере. В последнее время разработчики инструментов (таких как VS Code/IDEA) тем или иным образом урезали функционал автодополнений. Однако появление моделей в свободном доступе привело к созданию AI-агентов, которые путём использования ресурсов компьютера (видеокарты) позволяют получить даже более мощные инструменты чем были доступны ранее.
Установка и обновление осуществляются одной командой:textcurl -fL https://ollama.com/install.sh | shУдаление:
textcurl -fL https://raw.githubusercontent.com/ollama/ollama/main/scripts/uninstall.sh | shПроверка статуса службы ollama:
textsudo systemctl status ollamaПроверка установленной версии ollama:
textollama --versionУстановка языковой модели для автодополнения в средах разработки. Т.к. модель не предполагает объяснений и редактирования кода, то она должна быть достаточно лёгкой, чтобы не расходовать ресурсы компьютера. На данный момент для русского языка лучше всего подходит модель qwen2.5-coder:1.5b. Её и установим:
textollama pull qwen2.5-coder:1.5bМодель для эмбеддинга - ИИ видит весь проект
textollama pull nomic-embed-text:latestМодель для чата/редактирования кода (в основном если нужна приватность, т.к. модели в интернете гораздо мощнее) для видеокарты объёмом 8Гб vRAM:
textollama pull qwen2.5-coder:7bЗапускаем интерактивный режим для проверки
textollama run qwen2.5-coder:7bОбщение с ИИ происходит точно так же, как и в обычном чате через браузер.
Для того, чтобы выйти из этого режима, достаточно ввести:text/byeПросмотр всех скачанных моделей
textollama listПроверка запущенных процессов:
textollama psУдаление конкретной версии модели:
textollama rm deepseek-coder-v2:16bStrata - запуск облачных моделей на обычном компьютере
Вот и наступили времена, когда облачные модели, которые требовали дикого количества видеопамяти, теперь можно запускать на обычных игровых ПК.
MoE модель состоит из множества специализированных подсетей-экспертов, и для обработки каждого токена активируется лишь небольшая их часть. Веса модели при этом хранятся в обычной ОЗУ ПК.
Strata - это приложение, позволяющее скачивать и запускать отдельные MoE модели на локальном ПК.
Скачивание Strata:bashcurl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh | shДля инициализации движка видеокарты нужно запустить команду:
bashstrata launchБудет запущен псевдографический интерфейс, в котором будет предложено настроить движок и скачать модели.
Если модель видеокарты не определилась, то можно самому скомпилировать движок из исходников, однако это нетривиальная задача, которая требует установленного ROCm для AMD или CUDA для NVIDIA, поэтому я её рассматривать тут не буду.
В конечном итоге после скачивания и настройки движка, можно запустить скачанную модель и подключить её, например, для разработки локального проекта.
В видео ниже показан пример работы модели qwen3.8-flash-next-iq3_xxs на системе:
ОС: Debian 13
Процессор: AMD Ryzen 7 5700X
Видеокарта: Radeon RX 6600 (8 Гб видеопамяти)
ОЗУ: 128Гб (по факту занято 8 Гб VRAM + 50 Гб RAM)