LLM и RAG в бизнесе: сценарии применения и реальные примеры внедрения

В 2023 году искусственный интеллект, включая LLM (большие языковые модели), использовала лишь треть компаний, но уже в 2024 их число увеличилось до 72%. Откуда такой стремительный рост?

Это связано с широкими возможностями технологии: она помогает снизить затраты на операторов поддержки, юристов, маркетологов и других специалистов, работающих с данными. 

Например, умные чат-боты для отделов продаж были и раньше, но LLM вывели общение с ними на новый уровень. Теперь они умеют обобщать информацию, самостоятельно делать выводы, а качество и точность ответов на многие вопросы превосходит человеческие.

Но за счёт чего возможны такие результаты и как их применить в своём бизнесе? Ответы — в статье!

Вы узнаете:

• как работают LMM;
• зачем их внедрять, и какие реальные примеры использования есть сегодня;
• с какими задачами они справляются хорошо, а с какими — не очень;
• как помогает RAG, когда нужен и когда нет;
• о каких рисках для безопасности данных стоит знать, и как их исключить.

Поехали!

Что представляют из себя и как работают LLM и RAG 

LLM — это алгоритмы, которые «понимают» естественные языки. Они обучаются на текстах из книг, статей, веб-сайтов, документов и других источников.

Самые популярные LLM-модели на сегодня:

• GPT-3 от компании OpenAI, её запустили Илон Маск и Сэм Олтмен, а Microsoft — инвестировала в развитие. Недавно компания презентовала продвинутую модель, GPT-4o, предлагающую ещё более впечатляющие возможности.
• Llama 3* от компании Meta*, умеет не только работать с текстом, но и решать математические задачи.
• Mistral AI, у истоков создания которой — Артур Менш, CEO стартапа, ранее исследователь Google DeepMind. Сейчас развитие проекта поддерживает MIcrosoft.
• Command R+, новая модель от Cohere, в развитии которой примет участие Microsoft.
• GigaChat — русскоязычная языковая модель от Сбера, поражающая качеством своей работы и умением объяснять сложные вещи просто.
• YandexGPT — известное всем русскоязычным пользователям решение от Яндекса. Новая линейка генеративных моделей YandexGPT 3 подходит в том числе для IT-сферы.

Как работают LMM-модели

Правдоподобно имитируют человеческое общение. Они понимают контекст, отвечают по теме и запоминают разговор. Давайте рассмотрим на примере диалога пользователя банковского приложения и чат-бота:

Пользователь: Хочу собрать инвестиционный портфель.

Чат-бот: Отлично! Давайте начнем. Скажите, пожалуйста, для каких целей планируете его собрать? Это может быть накопление на пенсию, покупка недвижимости или что-то другое.

Пользователь: Хочу накопить на покупку дома через 5 лет.

Чат-бот: Понял вас. Теперь давайте определим уровень риска. Вы готовы к высоким рискам ради высокой доходности или предпочитаете более консервативные подходы?

Пользователь: Я бы предпочел умеренный риск. Не хочу терять деньги, но и не хочу упускать возможность заработать.

Чат-бот: Хорошо, умеренный риск — это разумный выбор. Теперь давайте обсудим сумму, которую вы готовы инвестировать ежемесячно или единовременно.

Пользователь: Я могу инвестировать около 20 000 рублей ежемесячно.

Чат-бот: Отлично. С учетом ваших целей и уровня риска, я предлагаю рассмотреть следующие инструменты: облигации, акции крупных компаний и индексные фонды. Как вам такой вариант?

Пользователь: Звучит неплохо. Знаю примерные детали обо всём кроме облигаций. А можно подробнее?

Чат-бот: Конечно! Облигации — это долговые обязательства, выпускаемые компаниями или государствами. Они обеспечивают стабильный доход в виде купонных выплат и менее рискованны по сравнению с акциями. В вашем случае, облигации могут стать основой портфеля, обеспечивая стабильность и доходность.

Пользователь: Расскажите про корпоративные облигации. Какие сейчас надёжнее? 

Чат-бот: Если говорить о корпоративных облигациях, то стоит обратить внимание на облигации крупных и устойчивых компаний с хорошей финансовой отчетностью. Например, облигации компаний из сферы энергетики или телекоммуникаций могут быть интересным вариантом.

Пользователь: Давайте начнём с них, а дальше посмотрим. Что нужно сделать с моей стороны?

Чат-бот: Для начала давайте создадим инвестиционный счет. Вам нужно будет заполнить несколько форм и предоставить необходимые документы. После этого мы сможем начать формировать ваш портфель. Готовы приступить?

… 

Весь диалог ИИ поддерживает сам, не вовлекая специалистов банка. Не только отвечает на все вопросы пользователя последовательно, но и «держит в голове» его первый запрос: понимает, что нужно собрать инвестиционный портфель, копим на дом, бюджет небольшой, и клиент пока не хочет сильно рисковать. А после того как пользователь делает выбор, помогает ему в дальнейших шагах на пути к цели.

Без LLM такая автоматизация, скорость и точность ответа практически невозможна из-за ограничений ресурса реальных сотрудников. 

💡Как устроены LLM под капотом, и почему они такие умные, читайте в нашей статье на VC.

Что такое RAG

Выше мы попросили чат-бота помочь в вопросах инвестиций, и он нас проконсультировал — рассказал о возможных вариантах, учтя пожелания пользователя по уровню рисков.

Но в реальных условиях можно столкнуться с ограничением: LLM-модель знает только то, чему её обучили, и эти знания со временем теряют актуальность.

Например, чат-бот, не «проследив» за повесткой последнего месяца, порекомендует пользователю инвестировать в облигации бизнесов, дела которых ухудшились на фоне неподвластных им внешних обстоятельств. 

Чтобы чат-бот работал правильно, ему нужно постоянно проверять актуальные данные во внешней базе, а не полагаться только на информацию из обучающего датасета.

Здесь на помощь приходит RAG (Retrieval-Augmented Generation, или генерация на базе результатов поиска) — метод, который позволяет большой языковой модели дополнять свои знания свежими внешними данными. 

Проще говоря, LLM знают обо всем сразу в общих чертах. А RAG позволяет сузить область знаний до конкретной области, сделав ответы более точными.

Применительно к бизнесу с узкой и редкой специализацией, с RAG большая языковая модель учится искать нужную информацию во внутренней базе данных компании и использовать её для создания ответов на вопросы пользователей. 

RAG работает так:

1. Получение запроса: пользователь вводит запрос, который нужно обработать.
2. Поиск документов: система использует модель поиска (Retriever), чтобы найти наиболее релевантные документы из базы данных, которые могут содержать ответ на запрос.
3. Формирование контекста: найденные документы используются для создания контекста, который будет передан генеративной модели.
4. Генерация ответа: генеративная модель (Generator) использует контекст, созданный на основе найденных документов, чтобы сгенерировать ответ на запрос пользователя.
5. Обратная связь и обучение: истема может использовать обратную связь от пользователя для улучшения качества поиска и генерации ответов в будущем.

Таким образом, RAG сочетает в себе возможности поиска и генерации, чтобы предоставить более точные и информативные ответы на запросы пользователей.

В чём ключевые отличия RAG от других методов адаптации большой языковой модели? Раскрываем в таблице. 

Мы используем RAG как метод, позволяющий, условно, чат-боту выдавать наиболее точную и актуальную информацию непосредственно из баз данных клиента. 

Компании, которые обращаются к нам, получают готовое решение, заточенное под решение своих задач, даже если сфера и тематика, под которую нужно настраивать модель, сложная. 

Практические сценарии внедрения для бизнеса

Клиентская поддержка в сферах со сложными продуктами

Поддерживать саппорт-центр — дорого. Например, центр поддержки с 30 менеджерами первой линии, каждый из которых получает зарплату 60 000 рублей в месяц, обойдется компании в 21 600 000 рублей в год.

*60 000 рублей может показаться большой зарплатой для специалиста поддержки, но мы говорим о сложных направлениях, поэтому такая сумма вполне реальна.

Причем есть сферы, где на сопоставимое или даже меньшее количество менеджеров уйдёт больше денег. Например, в компании, продающей сложные продукты, такие как сварочные станки, финские дома или программы для бухучета, саппорт-менеджер тратит 30-40 минут на каждого клиента. В итоге, за день он успевает обработать всего лишь 12 обращений.

Отсюда — даже если в силу узкой специфики сферы у нас нет огромного потока аудитории, менеджеры нужны технически грамотные, и их зарплата будет выше, чем в случае продажи продукции массового потребления.

Автоматизация такой поддержки всегда считалась сложной задачей:

• Системы с древовидной логикой справлялись лишь с самыми простыми вопросами, а при нестандартной ситуации сразу давали сбой.
• Машинное обучение тоже не годилось: обучение модели требовало столько данных, что это обходилось дороже, чем содержать саппорт-центр.

С появлением LLM все поменялось: чат-бот может вести сложный диалог на уровне технически грамотного менеджера, а базовых знаний современных моделей (GPT-4o или Claude Sonnet 3.5) хватает, если восполнить пробелы с помощью RAG.

Вместо большого штата менеджеров первой линии компании достаточно нанять 5-7 квалифицированных аналитиков (старших специалистов по продажам), которые контролируют работу бота и подключаются к самым сложным случаям в консультировании покупателей.

В клиентской поддержке бот на базе LLM:

• Дежурит в неограниченном количестве чатов с покупателями 24/7 и вежливо отвечает на вопросы, которые человека могли бы вывести из равновесия.
• Моментально находит в базе знаний любую техническую деталь из тысячи документов и не путает данные о разных единицах товара.
• Определяет потребности клиента и сам предлагает решение.

💡Как может выглядеть отдел продаж новой эры, наш CEO, Кирилл Левин, подробно рассказал и показал в своей статье на VC. Очень рекомендуем к прочтению!

Автоматизация задач HR

HR-отделу ИИ может помочь с анализом эффективности сотрудников, агрегируя и оценивая результаты сотен интервью, тестов и встреч one-to-one. Это создаёт объективный профиль каждого сотрудника и позволяет получать актуальную «оценку 360» в режиме реального времени. 

Позволяет свести данные моментально и исключить человеческий фактор (усталость рекрутера, личное отношение к тому или иному сотруднику, субъективность восприятия сказанного сотрудником и пр.)

Всё, что требуется от HR — выгрузить записи разговоров и другие артефакты в базу данных инструмента, и даже этот вопрос можно автоматизировать. 

Как команда с большим опытом в проектах, связанных с ИИ, мы в NLABTEAM недавно разработали внутренний инструмент для анализа HR-коммуникаций, который ускорил обработку бесед в 8 раз. Система структурирует информацию из диалогов HR с нашими сотрудниками и автоматически создаёт задачи в таск-трекере.

Например, если фронтенд-разработчик Андрей Б. в диалоге с HR часто упоминает интересные задачи у бэкенд-инженеров и делится идеями, система автоматически создаёт задачу для HR: «Обсудить с руководителем Андрея В. возможности горизонтального развития сотрудника».

Вот интерфейс нашего решения LLM4HR: используем сами и рекомендуем всем 🙂

А ещё он автоматически обрабатывает видеоконференции (например, планёрки внутри отдела или совещания топ-менеджмента), создаёт по их итогам задачи и назначает их участникам.

Это экономит время сотрудников и гарантирует, что важные решения не потеряются: конспект формируется сам, а задачи сразу попадают к ответственным лицам — ИИ фиксирует их имена во время звонка и назначает задачи.

Другие способы, как ИИ помогает HR-специалистам:

• Извлекает данные из базы знаний, формирует требований к вакансиям и помогает отсеить неподходящие резюме.
• Чат-бот круглосуточно отвечает на вопросы сотрудников, используя базу знаний и помогает новичкам быстрее адаптироваться.
• Ускоряет подготовку типовых договоров: умный помощник анализирует законодательство и данные контрагентов, затем сам пишет черновик документа.

Автоматизация документооборота в юридической фирме

Работа юристов требует высокой концентрации — один пропущенный ноль в сумме убытков в акте может создать серьезные проблемы в суде. 

Ситуацию осложняет постоянное обновление законов. За год в России принимают около 500 новых законов, многие из которых вносят правки в уже действующие. Юристам бывает трудно качественно следить за всеми изменениями.

На помощь приходит ИИ.

Одно из применений больших языковых моделей — ускорять проверку документов в несколько раз. Такая система анализирует черновики, выделяет потенциальные риски цветом и добавляет для юриста комментарии с указанием возможных ошибок и противоречий законодательству. Предлагает улучшенные формулировки, оставляя окончательное решение за юристом. Делает обзоры документов. 

Также ИИ значительно упрощает анализ данных при корпоративных спорах, когда нужно систематизировать и связать тысячи документов разного типа, включая сканы рукописных заметок и таблицы. Понимая контекст и содержание, ИИ отлично справляется с такими задачами.

Мы в NLABTEAM делали похожие проекты и без ИИ — еще в 2021 году разработали предложили клиенту решение, способное ускорить юридические расследования. Найти связи между документами доказательной базы и систематизировать их.

Тогда ИИ был не так развит, поэтому мы использовали другие доступные технологии: машинный перевод и распознавание изображений.

Наша старая система искала в документах повторяющиеся элементы — даты, подписи, имена — но не понимала их смысл. Современный ИИ может связать документы по смыслу, даже если тексты словесно мало пересекаются друг с другом.

Как ещё ИИ помогает юристам:

• Автоматически анализирует переписку с клиентами и создаёт задачи на основе выявленных юридических вопросов.
• Помогает готовить ответы на запросы госорганов, извлекая релевантные данные из предыдущих дел и нормативных документов.

Оптимизация работы отделов маркетинга и PR

Маркетологам и PR-специалистам ИИ помогает сводить данные. Анализ больших и неструктурированных массивов информации — самая сильная сторона LLM.

Так, ИИ анализирует отзывы и комментарии, выделяя тренды. Он покажет, что пользователи чаще всего жалуются на цену или, наоборот, хвалят скорость доставки. Это помогает увидеть, что важно для аудитории, не тратя часы на самостоятельное прочтение и саммаризацию всего.

Упрощает работу с данными — результатами рекламных кампаний, промежуточными отчетами по эффективности решений и протестированным гипотезам. ИИ преобразует неструктурированные данные в удобный формат, выделяет ключевые показатели и делает сводки, чтобы маркетологи видели, что сработало, а что нет, где есть закономерности, а где они отсутствуют.

Помогает создавать простые описания для товаров и несложные статьи, и даже вписывать в них ключевые вхождения по ТЗ от SEO-специалиста. 

А вот с чем ИИ справляется не очень хорошо — так это с генерацией текстов в сферах с уникальными продуктами и услугами, о которых мало информации в Сети. Дело в том, что тексты сложно формализовать. ИИ влечет к многословности и обобщенности, не передаёт «характер» бренда и то, как он отражается в продукции.

Например, мы в IT пишем статьи преимущественно сами, поскольку хотим поделиться с вами тем, в чём накопили свою уникальную экспертизу, о которой говорим. Ни одна нейросеть не может сделать это за нас, поскольку «базой данных» в нашем случае является то, что в голове экспертов и авторов, а не в Интернете. Профессиональный опыт, уникальное видение, сильные идеи.

Бывает, подключаем нейросеть в подготовке общих описаний известных в ИТ терминов, чтобы авторам не приходилось выполнять скучную рутинную работу, и, конечно же, это очень ускоряет создание материалов энциклопедического характера (например, для наращивания темпов SEO-продвижения). Но и в этом случае мы добавляем много от себя, на основе своего опыта.

Возвращаясь к общим маркетинговым задачам, ИИ может:

• Структурировать данные из Google Ads, Tik Tok Ads, Яндекс Директ и Яндекс Метрики, сформулировать выводы. 
• Собрать красивую презентацию, с минимальным участием человека.
• Следить за публикациями конкурентов через открытые источники и подсказывать маркетологам и пиарщикам, какой подход работает на рынке.

Какие риски LLM создают для бизнеса, и как их уменьшить

LLM, как и любая другая система, может быть уязвима к атакам. Особенно опасны джейлбрейки, которые обходят ограничения безопасности.

Например, если LLM имеет доступ к вашей базе данных, злоумышленник может заставить её раскрыть конфиденциальные данные, даже если правила это запрещают.

Другой риск — утечки данных. Был случай, когда сотрудники Samsung использовали ChatGPT и случайно передали внутренние данные в запросах. Позже эти данные попали в обучающий набор модели и начали появляться в ответах другим пользователям, что вызвало скандал.

Риски можно минимизировать:

• Сохранять человеческий контроль над автоматизацией процессов (подход «человек в центре»).
• Использовать защитные инструменты, например, файрволы и классификаторы вроде Rebuff.
• При использовании внешних моделей убедиться, что ваши данные не включаются в обучающий набор по умолчанию. (Кстати, Samsung в ситуации из примера выше мог бы предотвратить инцидент, просто отключив соответствующую настройку в личном кабинете OpenAI.)

И, наконец, можно не просто снизить, а на 99 % исключить риски, разработав своё защищённое корпоративное решение на основе существующих языковых моделей. 

Но здесь напрашивается вопрос: 

Кому персонализированные инструменты LLM и RAG подойдут, а кому не стоит торопиться с внедрением?

Решения на основе LLM и RAG, разработанные на заказ под конкретный бизнес, подойдут средним и крупным компаниям, у которых уже есть устоявшиеся процессы, связанные с анализом текстовой и речевой информации. Например, к ним можно отнести прогнозирование рынка по таможенным декларациям или анализ эффективности сотрудников через интервью. Подобные задачи можно ускорить и удешевить в ресурсоёмкости за счёт автоматизации обработки данных. 

Не подойдут малому бизнесу, где часто не хватает ресурсов на поддержку системы, дообучение. Также не нужны, если у компании нет потребности обрабатывать чувствительные данные с помощью ИИ — в данном случае для многих задач вполне достаточно LLM, находящихся в открытом доступе, с возможностью настройки их работы через систему промптов.

*Llama 3 — продукт компании Meta, признанной экстремистской организацией на территории РФ

*компания Meta, упомянутая в статье, признана экстремистской организацией на территории РФ