Представьте, что вы хотите объяснить компьютеру, что слова «квартира» и «жильё» означают почти одно и то же. В традиционном поиске по ключевым словам это невозможно: система видит две абсолютно разные строки символов. Для неё «квартира» и «жильё» так же далеки друг от друга, как «квартира» и «бетономешалка».

Эмбеддинги решают эту задачу. Специальная нейронная сеть - модель эмбеддингов - преобразует текст в вектор: упорядоченный список из сотен или тысяч чисел. Каждое число в этом списке описывает определённый аспект смысла. Важно, что слова и фразы с близким значением получают близкие векторы, а далёкие по смыслу - далёкие векторы.

Это как координаты на карте. Города, расположенные рядом на карте, имеют близкие координаты. Точно так же слова и тексты, близкие по смыслу, расположены рядом в «пространстве эмбеддингов».

Одно из самых известных свойств эмбеддингов - способность отражать аналогии через арифметику векторов. Классический пример, ставший визитной карточкой этой технологии:

«Король» - «Мужчина» + «Женщина» = «Королева»

Это означает, что модель «поняла» отношение между полом и титулом, хотя никто явно её этому не учил. Она выучила эти связи, анализируя миллиарды текстов.

Рассмотрим примеры из области недвижимости и бизнеса:

• «Квартира» и «Апартаменты» - получают близкие векторы, потому что используются в похожих контекстах
• «Аренда однокомнатной квартиры» и «Снять однушку» - система понимает, что это один и тот же запрос, несмотря на разные формулировки
• «Конверсия из рекламы» и «Сколько заявок принёс трафик» - семантически эквивалентны, хотя не содержат общих ключевых слов
• «Москва» и «Россия» - расположены ближе друг к другу, чем «Москва» и «Рио-де-Жанейро», отражая географическую и культурную связь

Именно эта способность улавливать глубинные связи делает эмбеддинги основой современного семантического поиска.

Когда говорят, что модель создаёт эмбеддинг размерностью 2048, это значит, что каждый текст превращается в список из 2048 чисел. Каждое число можно представить как отдельную «ось» в многомерном пространстве. Чем больше осей, тем больше нюансов смысла модель способна передать.

Проведём аналогию. Если описать квартиру двумя параметрами - площадь и цена - получится точка на плоскости. Но реальная квартира имеет десятки характеристик: этаж, район, состояние ремонта, удалённость от метро, вид из окна. Чем больше параметров, тем точнее описание.

То же самое с эмбеддингами текста:

• 768 измерений - базовый уровень, достаточный для простых задач классификации и поиска. Многие открытые модели работают в этом диапазоне
• 1024 измерения - средний уровень, хороший баланс между качеством и скоростью для большинства бизнес-задач
• 2048 измерений - высокий уровень детализации. Модель Voyage AI voyage-4-large работает именно с этой размерностью, что позволяет различать тонкие смысловые оттенки даже в сложных профессиональных текстах

Увеличение размерности даёт прирост качества, но требует больше памяти для хранения и вычислительных ресурсов для сравнения. Поэтому выбор модели - всегда компромисс между точностью и стоимостью инфраструктуры.

Эмбеддинги различаются по тому, какой объём текста они кодируют:

• Эмбеддинги слов (word embeddings) - каждое слово получает свой вектор. Это первое поколение технологии, которое научило компьютеры «понимать» синонимы. Ограничение: одно слово = один вектор, без учёта контекста. Слово «ключ» в «ключ от квартиры» и «ключ к успеху» получает одинаковый вектор
• Контекстные эмбеддинги (sentence embeddings) - вектор создаётся для целого предложения или абзаца с учётом контекста каждого слова. Теперь «ключ от квартиры» и «ключ к успеху» получают разные векторы, потому что модель видит окружающие слова. Это самый распространённый тип для поисковых задач
• Эмбеддинги документов (document embeddings) - вектор описывает смысл целого документа: статьи, письма, договора. Модель «сжимает» весь текст в один набор чисел, сохраняя ключевые темы и тональность

Для разных задач подходят разные уровни. Поиск по базе знаний обычно работает на уровне предложений и абзацев: документ разбивается на фрагменты (chunks), каждый фрагмент получает свой эмбеддинг, и при поиске система находит наиболее релевантные фрагменты.

Качество эмбеддингов напрямую зависит от модели, которая их создаёт. Рынок активно развивается, и сегодня доступны десятки моделей с разными характеристиками.

Voyage AI voyage-4-large - одна из лучших моделей на момент написания статьи. Создаёт векторы размерностью 2048, демонстрирует высочайшую точность на бенчмарках MTEB (Massive Text Embedding Benchmark). Отлично справляется с многоязычными текстами, включая русский. Мы в Промолитике используем именно эту модель для проектов, где критически важно качество семантического поиска.

Другие заметные модели:

• E5-large-v2 и E5-mistral - открытые модели с хорошим качеством, подходят для самостоятельного развёртывания
• Multilingual-e5-large - специализированная мультиязычная модель, эффективна для проектов на нескольких языках
• BGE (BAAI General Embedding) - серия моделей от Пекинской академии ИИ, сильная на азиатских языках
• Модели YandexGPT Embeddings - специализированы для русского языка, интегрированы в экосистему Яндекса

Выбор модели определяется задачей: для внутреннего поиска по документам на русском языке может подойти YandexGPT Embeddings, а для мультиязычного проекта с высокими требованиями к качеству - Voyage AI.

Когда у нас есть два вектора (два набора чисел), нужен способ определить, насколько они похожи. Самый распространённый метод - косинусная близость (cosine similarity).

Представьте два луча, выходящих из одной точки. Если лучи направлены в одну сторону, угол между ними равен нулю - тексты идентичны по смыслу. Если лучи перпендикулярны - тексты не связаны. Если направлены в противоположные стороны - тексты противоположны по смыслу.

Математически результат - число от -1 до 1:

• 1.0 - полное совпадение смысла (например, «купить квартиру в Москве» и «приобрести жильё в столице»)
• 0.85-0.95 - очень высокая семантическая близость, тексты говорят об одном и том же, но разными словами
• 0.5-0.7 - умеренная близость, тексты затрагивают связанные темы
• Около 0 - темы не связаны
• Отрицательные значения - противоположные по смыслу утверждения

Красота этого подхода в том, что он не зависит от длины текста. Короткий запрос «как оптимизировать рекламу» может получить высокий балл близости с длинным абзацем, подробно описывающим методы оптимизации рекламных кампаний, потому что их смысловые направления совпадают.

Классический поиск по ключевым словам (keyword search) работает просто: пользователь вводит запрос, система ищет документы, содержащие эти слова. Такой подход был стандартом десятилетиями, но у него есть фундаментальные ограничения.

Проблема синонимов. Клиент пишет в поддержку: «Не могу зайти в личный кабинет». База знаний содержит статью «Восстановление доступа к аккаунту». Ключевые слова не совпадают - статья не найдена, хотя она отвечает на вопрос. С эмбеддингами оба текста окажутся рядом в семантическом пространстве.

Проблема контекста. Запрос «как повысить конверсию» может относиться к конверсии сайта, конверсии email-рассылки или конверсии валюты. Ключевые слова не различают контекст. Эмбеддинги учитывают окружающие слова и понимают, что в контексте маркетинговой статьи речь идёт именно о конверсии на сайте.

Проблема намерения (intent). Два запроса: «CRM-система» и «Хочу перестать терять заявки клиентов». Второй запрос не содержит слова «CRM», но его намерение - найти инструмент для управления клиентами. Семантический поиск на основе эмбеддингов способен связать намерение с решением.

Бизнес-пример. Застройщик ведёт базу объектов недвижимости. Покупатель вводит: «Тихий район рядом с парком для семьи с детьми». Поиск по ключевым словам выдаст все объекты, где в описании упоминается «парк» или «тихий», включая нерелевантные. Семантический поиск на эмбеддингах поймёт, что покупатель ищет комфортное жильё в спокойном районе с инфраструктурой для детей, и выдаст подходящие объекты, даже если в описании написано «зелёный двор» или «рядом школы и детские площадки».

Рассмотрим, как выглядит весь процесс на практике - от момента, когда данные попадают в систему, до выдачи результата пользователю.

Этап 1: Индексация. Все документы (статьи базы знаний, описания объектов, письма, тикеты) разбиваются на фрагменты оптимального размера - обычно от 200 до 1000 символов. Каждый фрагмент пропускается через модель эмбеддингов (например, Voyage AI voyage-4-large) и превращается в вектор из 2048 чисел. Все векторы сохраняются в специализированную векторную базу данных.

Этап 2: Хранение. Для хранения и быстрого поиска по миллионам векторов используются специализированные решения. Среди популярных: pgvector - расширение для PostgreSQL, которое позволяет хранить эмбеддинги рядом с остальными данными; Turbopuffer - облачная векторная база с высокой скоростью поиска; Qdrant, Pinecone и другие.

Этап 3: Поиск. Пользователь вводит запрос. Система создаёт эмбеддинг запроса той же моделью. Затем сравнивает вектор запроса со всеми векторами в базе, используя косинусную близость. Результаты ранжируются по степени семантической близости.

Этап 4: Выдача. Система возвращает топ-N фрагментов, наиболее близких по смыслу к запросу. Эти фрагменты могут отображаться как результаты поиска, а могут передаваться в языковую модель (ИИ-ассистент), которая формирует развёрнутый ответ на основе найденных данных. Второй подход называется RAG (Retrieval-Augmented Generation) - генерация ответа с привлечением релевантной информации.

Современные модели умеют создавать эмбеддинги не только для текста, но и для изображений, аудио и даже видео. Ключевая идея мультимодальных эмбеддингов в том, что данные разных типов проецируются в одно общее пространство.

Что это означает на практике:

• Поиск изображений по текстовому описанию - загрузите в систему тысячи фотографий квартир, и пользователи смогут искать по запросу «светлая кухня с панорамным окном», даже если ни одно фото не содержит текстового описания
• Кросс-модальные рекомендации - система может рекомендовать статью на основе просмотренного видео или найти похожее изображение по описанию товара
• Классификация и модерация - определение содержимого изображений без предварительной ручной разметки

Для бизнеса это открывает новые возможности. Интернет-магазин может позволить клиентам загрузить фото понравившегося предмета и найти похожие товары в каталоге. Агентство недвижимости может реализовать поиск объектов по фотографии интерьера мечты.

Эмбеддинги - не абстрактная технология. Мы применяем их в конкретных бизнес-задачах наших клиентов.

Семантический поиск по базе объектов недвижимости. Для агентства недвижимости мы построили систему, в которой покупатель описывает своими словами, что ищет: «Двухкомнатная квартира рядом с метро, не первый этаж, до 12 миллионов». Система анализирует запрос, создаёт эмбеддинг, находит наиболее подходящие объекты по семантической близости и дополнительно фильтрует по числовым параметрам (цена, этаж). Результат - покупатель получает релевантные варианты за секунды, даже если формулировки в описаниях объектов отличаются от его запроса.

Интеллектуальный поиск по архивам электронной почты. Представьте компанию с десятилетним архивом переписки - сотни тысяч писем. Нужно найти все обсуждения конкретного проекта, условия по старому контракту или договорённости с поставщиком. Ключевые слова здесь бесполезны: люди описывают одни и те же вещи разными словами, используют жаргон и сокращения. Мы построили RAG-пайплайн: каждое письмо проходит через парсинг, очистку от мусора (подписи, цитирование, шаблоны), реструктуризацию с помощью языковой модели, создание эмбеддингов через Voyage AI и загрузку в векторную базу Turbopuffer. Теперь сотрудники задают вопросы на естественном языке и получают точные ответы с цитатами из конкретных писем.

Классификация обращений в поддержку. Для компании, получающей сотни тикетов ежедневно, мы используем эмбеддинги для автоматической маршрутизации: каждое обращение превращается в вектор и сравнивается с эталонными примерами категорий (техническая проблема, вопрос по оплате, запрос на возврат). Система направляет тикет нужному специалисту с точностью более 90%, сокращая время ответа и повышая удовлетворённость клиентов.

Эмбеддинги - одна из тех базовых технологий, значение которых будет только расти. Вот ключевые направления развития, за которыми мы следим:

• Персонализированные эмбеддинги - модели, которые учитывают не только смысл текста, но и контекст конкретного бизнеса. Для медицинской компании слово «протокол» означает одно, для IT-компании - совсем другое. Доработка (fine-tuning) моделей эмбеддингов под отраслевую специфику уже даёт заметный прирост качества
• Более компактные модели - исследователи работают над моделями, которые создают качественные эмбеддинги при меньшей размерности, снижая требования к инфраструктуре и стоимость хранения
• Глубокая мультимодальность - объединение текста, изображений, аудио, таблиц и графиков в одном семантическом пространстве. Это позволит задать вопрос «покажи отчёты, где выручка росла три квартала подряд» и получить ответ, основанный на анализе текста и графиков одновременно
• Real-time эмбеддинги для потоковых данных - создание эмбеддингов для чатов, тикетов и событий в реальном времени, что позволит мгновенно классифицировать и маршрутизировать любые обращения
• Гибридный поиск - комбинация семантического поиска на эмбеддингах с традиционным полнотекстовым для максимального качества. Когда пользователь ищет конкретный номер договора - ключевые слова работают лучше. Когда описывает проблему своими словами - семантический поиск незаменим

Эмбеддинги - это фундамент, на котором строятся все современные интеллектуальные системы поиска и анализа данных. Они позволяют компьютеру «понимать» смысл текста, а не просто сопоставлять строки символов. Для бизнеса это означает принципиально новый уровень работы с информацией: поиск по смыслу вместо ключевых слов, точная классификация обращений, интеллектуальные рекомендации и ИИ-ассистенты, отвечающие на основе ваших данных.

В Промолитике мы используем Voyage AI voyage-4-large для создания эмбеддингов, Turbopuffer и pgvector для их хранения и собственные RAG-пайплайны для построения интеллектуальных систем поиска. Если вы хотите внедрить семантический поиск, ИИ-ассистента по базе знаний или автоматическую классификацию обращений - свяжитесь с нами для бесплатной консультации.