Когда говорят об open-source LLM, обычно имеют в виду, что веса модели (обученные параметры нейронной сети) доступны для скачивания. Это позволяет запустить модель на собственном сервере, в облачном инстансе или даже на мощном ноутбуке (для малых моделей). Важно понимать уровни «открытости»:

• Открытые веса (open weights). Можно скачать и использовать модель, но код обучения может быть закрытым. Большинство моделей в нашем обзоре попадают в эту категорию
• Полностью открытый исходный код. Доступны и веса, и код обучения, и данные. Это редкость, но некоторые проекты стремятся к полной прозрачности
• Лицензионные ограничения. Даже у «открытых» моделей бывают ограничения. Например, Llama 3.1 разрешает коммерческое использование, но требует принять условия лицензии Meta. Для бизнеса важно изучить лицензию каждой модели перед продакшен-использованием

Для бизнеса открытость модели даёт три ключевых преимущества. Первое - контроль над данными: запросы не передаются третьим сторонам. Второе - предсказуемая стоимость: нет платы за токены, только за инфраструктуру. Третье - независимость: вы не зависите от ценовой политики, доступности или решений провайдера.

Llama (Large Language Model Meta AI) - линейка языковых моделей, разработанных Meta. С каждой версией качество моделей значительно росло, и Llama 3.1 стала одной из самых влиятельных открытых моделей за всю историю.

Доступные размеры:

• Llama 3.1 8B - 8 миллиардов параметров. Самая компактная версия, работает на одной видеокарте с 16 ГБ видеопамяти. Подходит для задач классификации, извлечения сущностей, простых вопросно-ответных систем. Скорость генерации - десятки токенов в секунду даже на потребительском GPU
• Llama 3.1 70B - 70 миллиардов параметров. Основная «рабочая лошадка» для бизнес-задач. Требует 2-4 GPU (NVIDIA A100 40GB или эквивалент). Качество генерации значительно выше модели 8B, особенно на сложных задачах: многошаговое рассуждение, генерация длинных текстов, работа с инструкциями
• Llama 3.1 405B - 405 миллиардов параметров. Самая мощная открытая модель Meta. Требует кластер из 8+ GPU с 80 ГБ видеопамяти каждая. Качество приближается к лучшим коммерческим моделям, но требования к оборудованию делают её доступной только для крупных компаний

Сильные стороны Llama 3.1:

• Контекстное окно 128K токенов. Модель может обработать до 128 000 токенов (примерно 200 страниц текста) за один запрос. Это критично для RAG-систем, где в промпт подставляется множество фрагментов документов
• Поддержка инструментов (tool use). Llama 3.1 обучена вызывать внешние функции (API, базы данных, калькуляторы), что делает её пригодной для построения AI-агентов
• Широкая экосистема. Llama - самая популярная открытая модель. Тысячи fine-tuned версий на Hugging Face, поддержка во всех основных фреймворках (vLLM, TGI, Ollama), множество учебных материалов и примеров
• Мультиязычность. Поддержка 8 языков, включая русский (хотя качество на русском уступает английскому)

Ограничения:

• Качество на русском языке заметно ниже, чем на английском. Для русскоязычных проектов может потребоваться fine-tuning или выбор другой модели
• Лицензия Llama Community License требует принятия условий Meta и имеет ограничения для сервисов с более чем 700 миллионами MAU (monthly active users)
• Модель 70B требует значительных вычислительных ресурсов для инференса с приемлемой скоростью

Mistral AI - французская компания, основанная бывшими исследователями из Meta и DeepMind. Mistral стала известна благодаря моделям, которые при меньшем размере показывают качество, сопоставимое с более крупными конкурентами.

Ключевые модели:

• Mistral 7B - первая модель компании, которая при размере всего 7 миллиардов параметров превзошла Llama 2 13B на большинстве бенчмарков. Работает на одной видеокарте с 16 ГБ видеопамяти. Отличный выбор для простых задач с ограниченными ресурсами
• Mixtral 8x7B - модель с архитектурой Mixture of Experts (MoE). Содержит 8 «экспертов» по 7 миллиардов параметров каждый, но при обработке каждого токена активируются только 2 эксперта. Это даёт качество, сопоставимое с моделями на 50-70B параметров, при скорости инференса как у модели на 12-14B
• Mixtral 8x22B - более крупная версия MoE-архитектуры. Общий размер 176B параметров, но активных при каждом вызове - около 39B. Высокое качество при относительно умеренных требованиях к GPU
• Mistral Large - топовая модель компании, конкурирующая с лучшими коммерческими моделями. Доступна как через API, так и для локального развертывания

Архитектура Mixture of Experts (MoE) - почему это важно. В стандартной модели (dense model) при обработке каждого токена задействуются все параметры. В MoE-модели есть набор специализированных подсетей («экспертов»), и для каждого токена выбираются только самые подходящие. Результат: качество большой модели при скорости и стоимости маленькой. Для бизнеса это означает возможность получить высокое качество генерации на менее дорогом оборудовании.

Сильные стороны Mistral / Mixtral:

• Эффективность. MoE-архитектура позволяет получать высокое качество при меньших вычислительных затратах. Mixtral 8x7B работает на сервере с 2 GPU (NVIDIA A100 40GB), но показывает результаты на уровне моделей, требующих 4-8 GPU
• Сильное рассуждение. Модели Mistral хорошо справляются с задачами, требующими логического мышления: анализ документов, генерация структурированных ответов, следование сложным инструкциям
• Качественное следование инструкциям. Instruct-версии моделей точно выполняют задачи, описанные в системном промпте: формат ответа, стиль, ограничения
• Лицензия Apache 2.0 (для базовых моделей). Полная свобода коммерческого использования без ограничений

Ограничения:

• Контекстное окно 32K токенов у базовых моделей (меньше, чем у Llama 3.1). Для RAG-систем с большим количеством контекста это может быть ограничением
• MoE-модели потребляют больше оперативной памяти GPU, чем dense-модели аналогичного «активного» размера, поскольку все эксперты должны быть загружены
• Русский язык поддерживается, но не является приоритетным направлением развития

Qwen (Tongyi Qianwen) - серия моделей от Alibaba Cloud. Qwen 2.5 - это обновлённая линейка, которая установила новые стандарты качества для открытых моделей, особенно в мультиязычных задачах.

Линейка размеров: Qwen 2.5 доступна в исключительно широком диапазоне: 0.5B, 1.5B, 3B, 7B, 14B, 32B и 72B параметров. Это позволяет подобрать модель точно под ваши ресурсы и задачи - от встроенного устройства до GPU-кластера.

Почему Qwen 2.5 особенно интересна для российских компаний:

• Превосходная мультиязычность. Qwen обучена на данных более чем на 29 языках. В отличие от многих западных моделей, где русский язык - побочный продукт, Qwen целенаправленно оптимизировалась для работы с кириллическими текстами. Качество генерации на русском заметно выше, чем у Llama аналогичного размера
• Контекстное окно до 128K токенов. Версии 7B и выше поддерживают обработку длинных документов, что критично для RAG
• Сильная работа с кодом. Qwen 2.5 Coder - специализированная версия для работы с программным кодом, одна из лучших среди открытых моделей в этой категории
• Математика и рассуждения. Qwen 2.5 Math - специализированная версия для математических задач. Основная модель также показывает отличные результаты на задачах, требующих логического мышления

Сильные стороны Qwen 2.5:

• Лучшее качество на русском языке среди открытых моделей. По нашим тестам, Qwen 2.5 72B генерирует наиболее естественный русский текст с наименьшим количеством ошибок и калек с английского
• Гибкость размеров. Семь вариантов от 0.5B до 72B - модель на каждый бюджет и задачу. Qwen 2.5 7B - отличный вариант для запуска на одном GPU при хорошем качестве
• Apache 2.0 лицензия. Полная свобода коммерческого использования
• Поддержка structured output. Модель хорошо генерирует JSON, XML и другие структурированные форматы, что важно для интеграции с бизнес-системами

Ограничения:

• Экосистема fine-tuned версий на Hugging Face меньше, чем у Llama. Хотя сообщество растёт, для специфических задач может быть сложнее найти готовую дообученную версию
• Документация и сообщество в основном англоязычные и китайскоязычные. Русскоязычных ресурсов пока немного
• Некоторые тесты показывают, что Qwen менее стабильна на задачах с очень длинным контекстом (100K+ токенов) по сравнению с Llama 3.1

DeepSeek - компания, которая в 2024-2025 годах произвела настоящий фурор в мире открытых моделей. DeepSeek V3 и DeepSeek R1 установили новые стандарты качества при исключительно эффективном использовании ресурсов.

DeepSeek V3 - основная модель для генерации текста. Использует MoE-архитектуру: 671 миллиард параметров, из которых при каждом вызове активны 37 миллиардов. Результат - качество на уровне моделей с 400B+ параметров при значительно меньших затратах на инференс.

DeepSeek R1 - модель, специализированная на рассуждениях (reasoning). R1 использует технику «цепочки мыслей» (chain-of-thought): перед выдачей финального ответа модель «рассуждает» в явном виде, разбирая задачу по шагам. Это даёт выдающиеся результаты на задачах, требующих логического мышления: математика, анализ документов, написание кода, сложные бизнес-вопросы.

Сильные стороны DeepSeek:

• Качество рассуждений. DeepSeek R1 показывает результаты, сопоставимые или превосходящие лучшие коммерческие модели на математических и логических бенчмарках. Для бизнеса это означает более точный анализ документов, лучшую работу с числовыми данными и более обоснованные ответы
• Экстремальная эффективность. MoE-архитектура DeepSeek V3 позволяет запускать модель на серверах, которые потребовались бы для модели в 5-10 раз меньшего размера. Стоимость инференса - одна из самых низких в отрасли
• Дистилляция в малые модели. DeepSeek предлагает «дистиллированные» версии R1 на основе Qwen и Llama (1.5B, 7B, 8B, 14B, 32B, 70B), которые наследуют способности к рассуждениям при значительно меньшем размере. DeepSeek-R1-Distill-Qwen-32B может работать на одном GPU и при этом показывать впечатляющие результаты
• Открытые веса. Как V3, так и R1 доступны для скачивания и локального развертывания

Ограничения:

• Полная модель DeepSeek V3 (671B параметров) требует кластер из 8x GPU с 80 ГБ видеопамяти минимум. Для большинства компаний реалистичный вариант - дистиллированные версии
• Лицензия DeepSeek Model License допускает коммерческое использование, но содержит определённые ограничения - изучите перед продакшен-развертыванием
• Модель R1 генерирует «размышления» перед ответом, что увеличивает объём генерируемого текста и время ответа. Для задач, где скорость критична, V3 может быть лучшим выбором

Один из главных вопросов при выборе модели - «какое оборудование потребуется». Размер модели измеряется в количестве параметров, и каждый параметр в формате float16 (стандарт для инференса) занимает 2 байта. Приведём практические требования:

Модели до 8B параметров (Llama 3.1 8B, Qwen 2.5 7B, Mistral 7B):

• Размер весов в float16: около 16 ГБ
• Минимальный GPU: 1x NVIDIA RTX 4090 (24 ГБ) или T4 (16 ГБ с квантизацией)
• Скорость: 30-80 токенов в секунду на одном GPU
• Стоимость аренды: от 15 000 рублей в месяц за GPU-инстанс
• Подходит для: классификация, извлечение сущностей, простые QA, суммаризация коротких текстов

Модели 14B-32B (Qwen 2.5 14B/32B, DeepSeek-R1-Distill-32B):

• Размер весов: 28-64 ГБ
• Минимальный GPU: 1-2x NVIDIA A100 40GB или 1x A100 80GB
• Скорость: 15-40 токенов в секунду
• Стоимость аренды: от 80 000 рублей в месяц
• Подходит для: RAG с контекстом средней длины, генерация качественных ответов, анализ документов

Модели 70B (Llama 3.1 70B, Qwen 2.5 72B):

• Размер весов: около 140 ГБ
• Минимальный GPU: 2x NVIDIA A100 80GB или 4x A100 40GB
• Скорость: 10-25 токенов в секунду
• Стоимость аренды: от 250 000 рублей в месяц
• Подходит для: сложные задачи рассуждения, длинная генерация, высококачественные ответы для клиентских сервисов

Модели 400B+ (Llama 3.1 405B, DeepSeek V3):

• Размер весов: 800+ ГБ (float16)
• Минимальный GPU: 8x NVIDIA A100 80GB или H100
• Стоимость: миллионы рублей на инфраструктуру
• Подходит для: корпоративные инсталляции с максимальными требованиями к качеству

Квантизация - это техника сжатия модели, при которой точность числовых представлений параметров снижается (например, с float16 до int8 или int4). Это уменьшает размер модели и ускоряет инференс, но может немного снизить качество генерации.

Основные форматы квантизации:

• GGUF - формат, разработанный сообществом llama.cpp. Поддерживает разные уровни квантизации: Q8_0 (8 бит, минимальная потеря), Q5_K_M (5 бит, хороший баланс), Q4_K_M (4 бита, заметная экономия), Q3_K_M (3 бита, значительная потеря качества). GGUF-модели можно запускать через Ollama, llama.cpp и другие инструменты, в том числе на CPU (медленно, но работает)
• AWQ (Activation-aware Weight Quantization) - более продвинутый метод, который учитывает важность каждого параметра. AWQ в 4-битном формате часто показывает качество, сопоставимое с 8-битной наивной квантизацией. Поддерживается в vLLM и TGI
• GPTQ - ещё один формат 4-битной квантизации, популярный для GPU-инференса. Хорошо поддерживается в экосистеме Hugging Face

Практический эффект квантизации на примере Llama 3.1 70B:

• float16 (без квантизации): 140 ГБ, требует 2x A100 80GB, максимальное качество
• int8 (8-бит): 70 ГБ, работает на 1x A100 80GB, потеря качества 1-2%
• int4 (AWQ/GPTQ, 4-бит): 35 ГБ, работает на 1x A100 40GB, потеря качества 3-5%
• GGUF Q4_K_M: 40 ГБ, работает на CPU+GPU гибрид, потеря качества 4-6%

Для многих бизнес-задач потеря 3-5% качества при двукратном снижении стоимости инфраструктуры - оправданный компромисс. Мы рекомендуем начинать с квантизированной версии, оценить качество на ваших реальных задачах и переходить на полную версию, только если разница критична.

Для российских компаний качество работы модели с русским языком - один из ключевых критериев. Мы протестировали все рассматриваемые модели на типичных бизнес-задачах на русском языке и делимся наблюдениями.

Qwen 2.5 72B показывает лучшее качество русского языка среди рассмотренных моделей. Текст читается естественно, минимум калек с английского, корректные падежные формы и согласования. Особенно хорошо справляется с генерацией ответов для клиентских сервисов - тон и стиль соответствуют ожиданиям русскоязычного пользователя.

DeepSeek V3 / R1 - второе место по качеству русского языка. Генерация грамотная, но иногда встречаются стилистические несоответствия (слишком «формальный» или «академический» тон в ситуациях, требующих разговорного стиля). DeepSeek R1 при этом выдаёт наиболее обоснованные ответы на сложные вопросы благодаря chain-of-thought.

Llama 3.1 70B - хорошее качество, но заметны «англицизмы» в построении фраз. Модель иногда использует конструкции, типичные для английского языка: «Это есть важно» вместо «Это важно». Для RAG-сценариев, где модель пересказывает найденные русскоязычные документы, качество вполне приемлемое.

Mistral / Mixtral - качество на русском уступает Qwen и DeepSeek. Модели иногда путают кириллические и латинские символы, допускают грамматические ошибки в сложных предложениях. Для задач, где русский язык первичен (клиентские чат-боты, генерация контента), рекомендуем Qwen или DeepSeek.

YandexGPT (облачная модель, не open-source, но важна для контекста) - естественный русский язык, модель изначально обучена с приоритетом на русский. Для задач, где качество русского языка абсолютно критично и нет требований к on-premise, YandexGPT остаётся сильным вариантом.

Развертывание открытой модели на собственном сервере стало значительно проще благодаря развитию экосистемы инструментов. Рассмотрим основные варианты.

vLLM - высокопроизводительный фреймворк для инференса LLM. Оптимизирован для максимальной пропускной способности (throughput) при обслуживании множества параллельных запросов. Поддерживает PagedAttention (эффективное управление памятью), continuous batching (динамическая группировка запросов) и tensor parallelism (распределение модели по нескольким GPU). Идеален для продакшен-развертывания с высокой нагрузкой. Предоставляет API, совместимый с форматом запросов, что упрощает миграцию.

Ollama - простейший способ запустить LLM локально. Одна команда: ollama run llama3.1. Ollama скачает модель, настроит квантизацию и запустит локальный API-сервер. Поддерживает десятки моделей, включая все рассмотренные в этой статье. Идеален для прототипирования, тестирования и разработки. Для продакшена с высокой нагрузкой лучше использовать vLLM.

Text Generation Inference (TGI) - фреймворк от Hugging Face для инференса языковых моделей. Поддерживает flash attention, квантизацию, tensor parallelism. Хорошая интеграция с экосистемой Hugging Face. Подходит для продакшена, особенно если команда уже использует Hugging Face для работы с моделями.

llama.cpp - проект для запуска моделей на CPU и GPU с минимальными зависимостями. Поддерживает GGUF-формат с различными уровнями квантизации. Позволяет запускать модели на обычных компьютерах без GPU (медленно, но работает). Полезен для тестирования и edge-сценариев.

Для продакшен-развертывания мы в Промолитике рекомендуем vLLM: он обеспечивает максимальную пропускную способность, стабильно работает под нагрузкой и поддерживает все основные модели и форматы квантизации.

На основе нашего опыта развертывания AI-решений для бизнеса мы выработали рекомендации по выбору модели в зависимости от задачи и ресурсов.

Для AI-консультанта на сайте (русский язык, RAG):

• Лучший выбор: Qwen 2.5 72B или Qwen 2.5 32B (квантизированная). Лучший русский язык, хорошая работа с контекстом RAG
• Альтернатива: DeepSeek V3 (через API - дёшево и качественно) или Llama 3.1 70B (широкая экосистема)
• Бюджетный вариант: Qwen 2.5 7B (на одном GPU) - достаточно для простых сценариев

Для анализа документов и рассуждений:

• Лучший выбор: DeepSeek R1 или дистиллированная версия (DeepSeek-R1-Distill-Qwen-32B). Chain-of-thought рассуждения дают наиболее обоснованные ответы
• Альтернатива: Llama 3.1 70B - отличные результаты на аналитических задачах

Для классификации и извлечения данных:

• Лучший выбор: Qwen 2.5 7B или Mistral 7B. Небольшие модели справляются с задачами классификации не хуже больших, а скорость и стоимость значительно лучше
• Для максимальной экономии: Qwen 2.5 3B или 1.5B - работают даже на CPU, достаточны для простой классификации

Для генерации контента на русском:

• Лучший выбор: Qwen 2.5 72B - самый естественный русский текст среди открытых моделей
• Облачная альтернатива: YandexGPT Pro - нативный русский язык, оплата в рублях

Для максимального качества без ограничения бюджета:

• DeepSeek V3 (MoE, эффективный инференс) или Llama 3.1 405B (максимальное качество dense-модели)

Открытые модели можно дообучить (fine-tune) на ваших специфических данных. Это может значительно повысить качество для конкретной предметной области. Однако fine-tuning - не всегда оправдан.

Когда fine-tuning имеет смысл:

• Модель должна выдерживать строгий корпоративный стиль общения (тон, терминология, шаблоны ответов)
• Задача узкоспециализированная (медицинская терминология, юридические формулировки, отраслевой жаргон)
• Нужно максимальное качество на небольшой модели: дообучение Qwen 7B на ваших данных может дать результаты, сопоставимые с базовой 32B моделью

Когда fine-tuning не нужен:

• Для большинства RAG-задач. RAG подставляет контекст в промпт, и модель работает с вашими данными без дообучения
• Если качество базовой модели достаточное. Начните без fine-tuning, измерьте качество, и дообучайте, только если результаты неудовлетворительны
• Если у вас менее 500-1000 качественных примеров для обучения. Fine-tuning на малом датасете может ухудшить модель

Открытые языковые модели в 2025-2026 годах достигли уровня, при котором они составляют реальную альтернативу коммерческим API для большинства бизнес-задач. Llama 3.1 предлагает широчайшую экосистему и надёжный выбор. Mistral / Mixtral - эффективность благодаря MoE-архитектуре. Qwen 2.5 - лучший русский язык и мультиязычность. DeepSeek V3 / R1 - прорыв в качестве рассуждений при доступной цене.

Выбор модели зависит от конкретной задачи, доступных ресурсов и приоритета: качество русского языка, скорость рассуждений, бюджет на инфраструктуру. Квантизация позволяет запускать модели на менее мощном оборудовании с приемлемой потерей качества. Инструменты развертывания (vLLM, Ollama, TGI) делают процесс запуска доступным без глубокой экспертизы в ML.

В Промолитике мы помогаем клиентам выбрать оптимальную модель, настроить инфраструктуру и развернуть AI-решение - от выбора модели до продакшен-развертывания. Если вы рассматриваете внедрение open-source LLM - свяжитесь с нами для бесплатной консультации.