Локальная модель и Ollama: выбор модели и ограничения
Эта страница отвечает на один вопрос: можно ли вообще запустить агента локально на вашей машине и какой моделью. Пошаговые команды установки, подключение к VS Code и Kilo и диагностика по симптомам собраны в справочнике подключения — здесь они не повторяются.
Что можно ожидать от 14 ГБ RAM и Ryzen с 8 потоками
По числу потоков и объёму оперативной памяти нельзя точно предсказать скорость: неизвестны конкретный CPU, видеокарта и её VRAM, тип памяти, доступная память после запуска VS Code и ОС, а также длина контекста. Ниже предполагается 14 ГБ системной RAM и преимущественно CPU-инференс, то есть вычисления на процессоре, без видеокарты. Если у вас есть дискретная GPU, сообщите модель и VRAM — выбор может измениться.
Для такого компьютера локальная модель годится для экспериментов с короткими агентными задачами, структурированными ответами и отдельными изменениями. Это не эквивалент Claude/Kilo cloud и не комфортный запуск рекомендованных Kilo больших coding-agent моделей.
Модели для первого сравнения
| Модель | Роль в курсе | С чего начать |
|---|---|---|
qwen3:8b |
общий локальный чат и вызовы инструментов | контекст 8K, одиночный запрос |
qwen2.5-coder:7b |
Python-генерация, объяснение и правки кода | проверить tool calling конкретной версией |
Официальная страница семейства Qwen3 описывает поддержку агентных сценариев. Команды и актуальные теги — в справочнике подключения и на страницах моделей Qwen3 и Qwen2.5-Coder; точный тег и доступность могут меняться.
Rule
Не начинайте с qwen3-coder:30b, devstral:24b или моделей с похожими требованиями: документация Kilo называет их текущими рекомендациями для локального coding agent и указывает ориентир GPU VRAM 24 ГБ+ либо Mac с 32 ГБ unified memory. Это не соответствует конфигурации 14 ГБ системной памяти. Не путайте оперативную память компьютера с VRAM видеокарты.
У qwen3:8b и qwen2.5-coder:7b квантование, размер контекста и реальный расход памяти влияют на помещаемость модели. Оставьте память ОС, VS Code и другим приложениям; если Windows начинает активно использовать файл подкачки, модель тормозит или не загружается, уменьшите модель/контекст или завершите другие задачи. Конкретную скорость обещать без замера на вашем Ryzen нельзя.
Контекст для вашего объёма RAM
Для первого теста в Kilo начните с 8 192 токена (8K); если устойчиво хватает памяти — 16 384 (16K). Это практический компромисс, а не «идеальный контекст». Kilo указывает, что для обсуждаемых ими крупных моделей желательно не менее 32K, однако 32K на 14 ГБ системной RAM может привести к нехватке ресурсов: длинный контекст требует дополнительной памяти, а не только места для весов модели.
Для агента со сканированием репозитория сужайте контекст явным списком файлов и коротким запросом, вместо того чтобы сразу увеличивать его до 32K. Не запускайте несколько локальных генераций параллельно на CPU, пока не измерили, что компьютер справляется.
Как фиксировать результаты локального прогона
Локальный эксперимент теряет смысл, если его нельзя повторить. Фиксируйте: модель и тег, квантование, num_ctx, wall-clock, число вызовов, память и ручные исправления. Если провайдер не отдаёт token usage, не придумывайте оценку токенов.