Разработка и внедрение BI-систем

C 2022 года рынок бизнес-аналитики в РФ переживает трансформацию. Если ещё недавно популярностью пользовались такие BI-системы, как Microsoft Power BI, Qlik и Tableau, то сегодня до 45 % отечественных компаний уже используют разработки российских вендоров. При этом эксперты прогнозируют, что доля отечественных решений на рынке BI вырастет до 85 % в течение двух–трёх лет.

Почему крупный и средний бизнес в РФ отказывается от зарубежных решений — понятно без объяснений. Чем их заменить — вопрос открытый.

В статье расскажем:

• Что такое BI-системы.
• Какую пользу внедрение BI приносит бизнесу.
• Чем в РФ импортозамещают западные аналоги в 2024 году, и в чём плюсы и минусы этих решений.
• Когда подойдёт готовый сервис, а когда выгоднее разработать систему аналитики с нуля.

Вы в блоге NLABTEAM. Более 20 лет наша команда разрабатывает ПО на заказ для крупного и среднего бизнеса в РФ. Обучаем ML-модели, внедряем искусственный интеллект и помогаем анализировать большие данные, в том числе с помощью BI-систем. В портфолио — более 50 технически сложных проектов, которыми мы гордимся. О самых интересных рассказали на сайте.

Что такое BI (Business Intelligence)

Business Intelligence (бизнес-аналитика) — это набор методов сбора и анализа данных, который помогает бизнесу принимать взвешенные управленческие решения.

«Сердцем» бизнес-аналитики в крупных компаниях является BI-система: комплекс серверных и пользовательских продуктов, которые собирают, сохраняют, структурируют и наглядно показывают данные конечному пользователю.

BI-система для бизнеса — это то же, что для врача медицинская карта пациента, которая содержит результаты всех обследований: например, анализ крови, рентгенографию, гормональный фон. Каждый анализ проясняет частичку общей картины, затем врач понимает, что происходит в организме и ставит диагноз.

Система аналитики Visiology собирает данные из разных источников, приводит их к единому формату и представляет конечному пользователю в виде графиков и диаграмм

BI-система выполняет много задач сразу, в том числе:

• Собирает сырые данные из внутренних и внешних источников: бухгалтерских сервисов, систем управления предприятием, озёр данных (Data Lakes), систем аналитики.
• Приводит данные к единому формату.
• Делает информацию наглядной с помощью графиков и дашбордов.

Например, ретейлерам система помогает увидеть, как изменение цен повлияло на продажи в регионах, какие маркетинговые кампании отыграли лучше, какие товары и услуги пользуются наибольшим спросом у разных сегментов целевой аудитории — и многое другое.

Каким компаниям полезны BI-системы

Внедрение BI подходит крупным и средним предприятиям, которые собирают данные из десятков источников. Для малого бизнеса интеграция BI не оправдана — решение слишком тяжеловесное, его долго и дорого разрабатывать и поддерживать. Для анализа данных из 3–5 источников подходит даже Excel.

Как BI-системы помогают решать бизнес-задачи

Бизнес внедряет BI-системы, когда сталкивается с потребностями:

• Структурировать данные из многочисленных источников и хранилищ.
• Наглядно отобразить данные и их изменения в динамике.
• Предоставить доступ к данным нескольким пользователям.
• Выявить тренды и собрать инсайты.

Разберём, как BI-системы помогают в каждом из перечисленных случаев.

Задача 1. Структурировать данные из разных источников

У каждого источника есть свой стандарт форматирования данных. Данные могут отличаться форматом (JSON, XML, CSV), синтаксисом или наименованием полей.

Формат необходим программе для корректной интерпретации данных. Однако не все форматы совместимы друг с другом. Если разработчики предусмотрели в программе обработку данных только в XML, и в неё поступит запрос в JSON, скорее всего произойдёт сбой. Ниже мы рассмотрим такое различие на примере.

JSON отчёт о самых популярных операционных системах в Яндекс.Метрике выглядит так:

А такими приходят данные по пользователям из Roistat:

Из примеров выше видно, что есть как схожие поля (id), так и уникальные (разное значение поля name).

Это значит, что, если вы захотите построить дашборд, который сравнивает, какие товары или услуги приобретают пользователи Windows и MacOS, опираясь на данные из разных систем, сделать это напрямую не получится: помешают различия в форматировании — каждая система может иначе интерпретировать одноимённое поле или вовсе ожидать данные другого формата, например, XML, а не JSON.

Внедрение BI необходимо для решения подобных задач. Она собирает данные из всех источников и приводит их к одному формату, удаляет дубликаты и решает проблему повторения названий. Затем аналитик настраивает нужный для решения его задачи отчёт, не думая о том откуда пришли данные и в каком формате их поставило хранилище. Это особенно полезно, когда источников данных много, а различия в форматировании ещё более существенны.

Зачем это нужно

Пользователь BI-системы сможет прямо в интерфейсе настроить удобный для своих целей дашборд, взяв нужные ему данные из разных источников.

Задача 2. Наглядно отобразить данные

BI-система превращает громоздкие отчёты из инструментов вроде Excel и других хранилищ в наглядные визуализации и информативные дашборды. Данные отображаются на графиках, картах и диаграммах. Это делает информацию более понятной и легко считываемой для человека.

Пример визуализации данных в Microsoft Power BI

Зачем это нужно

Аналитики и менеджеры могут находить закономерности и тренды, становится видна общая картина изменения бизнес-показателей. 

Задача 3. Предоставить доступ к конкретным данным для решения рабочих задач сотрудника

Можно не только добавлять группы пользователей с различными уровнями доступа (например, когда одна группа имеет доступ к данным о выручке, а другая нет), но и настраивать дашборды для разных специалистов в соответствии с их потребностями.

Так, менеджеру проекта может быть важно отслеживать, как уменьшение сбоёв в работе приложения повлияло на удержание пользователей, а маркетологу — анализировать самые популярные товары в разрезе стран и демографических сегментов.

В BI-системе можно создавать неограниченное количество специализированных дашбордов, группировать их, удалять ненужные или включать/выключать различные виджеты и инструменты представления данных.

Зачем это нужно

Сотрудники экономят время, мгновенно получая доступ к той информации, которая необходима им для работы. Это повышает производительность труда, а менеджерам становится проще принимать более взвешенные решения на основе актуальных данных.

Задача 4. Выявить тренды и собрать инсайты

BI-системы оснащены широким набором инструментов анализа, которые позволяют находить закономерности и тренды.

Это могут быть алгоритмы поиска корреляций между различными показателями. Встроенные статистические функции, такие как регрессионный анализ: помогает выявить выявляет зависимости между переменными (например, взаимосвязь между бюджетом на рекламу и объёмом продаж).

Пример виджетов с информацией о популярных товарах

Отдельно стоит отметить механизмы прогнозирования. С их помощью можно строить модели вероятности на основе исторических данных и, например, корректировать ценообразование на основе ожидаемого спроса.

Зачем это нужно

Менеджеры и аналитики могут изучать поведение пользователей, искать неочевидные причинно-следственные связи, находить причины роста или падения продаж. Затем принимать более обоснованные управленческие решения и корректировать стратегию развития бизнеса.

Как выбрать BI-систему

При выборе BI-системы обратите внимание на то, где будут храниться данные и проверьте, полностью ли её функциональность отвечает вашим требованиям. Ниже мы рассмотрели, как грамотно подобрать систему под ваши требования.  

Облачное или локальное хранилище?

Облачные решения хранят данные в своей инфраструктуре. В России, для соответствия нормам, установленным в ФЗ № 152, нужно удостовериться что сервера вендора находятся на территории страны. Для большей части компаний подойдут облачные решения.

О собственном хранилище стоит задуматься, когда:

• Вам необходимо соответствовать очень строгим стандартам безопасности, таким как SOC 2 или PCI DSS.
• У вас высокие требования к скорости чтения и записи, нужно записывать данные в базу данных напрямую на жёсткие диски, используя всю скорость современных SSD.
• Объём вашей базы данных превышает несколько десятков терабайт информации, и вам необходимо быстро считывать и записывать данные, минимизируя затраты на инфраструктуру.

Готовое решение или собственная разработка?

Прежде чем выбрать между готовым решением или кастомной разработкой, тщательно изучите функциональность, предоставляемую существующими BI-сервисами. 

Ответьте для себя на вопросы:

• Будет ли шаблонной системы достаточно для решения ваших бизнес-задач?
• Удобно ли ею пользоваться?
• Присутствуют ли в ней все необходимые инструменты анализа данных?

Если ответ на все три вопроса — «да», вам подойдёт готовое решение.

Если появились сомнения, стоит рассмотреть два варианта:

1. Доработать готовое решение под свои нужды, если это возможно.
2. Разработать BI-систему, полностью отвечающую вашим потребностям, с нуля.

При выборе первого варианта учитывайте, что заказывать доработки под ваш бизнес может оказаться дорогим и долгим процессом. Во-первых, бизнес-модель вендора не адаптирована под разработку под заказ, а во-вторых, здесь, как с брендовой одеждой, присутствует наценка за имя исполнителя.

При выборе второго варианта детально обсудите условия с разработчиком кастомных BI-систем и сравните стоимость доработки готового решения с разработкой с нуля.

Внедрение BI пошагово

Шаг 1. Подготовка к внедрению BI-системы

Внедрение BI-системы требует слаженного взаимодействия кроссфункциональной команды: разработчиков, аналитиков, бизнес-аналитиков и руководства. Ещё до начала разработки нужно:

Сформулировать требования и ожидания. Необходимо чётко определить цели, которые вы хотите достичь с помощью BI-системы: например, ускорить процессы, сократить затраты на сырьё за счёт уменьшения простоя оборудования, найти новые точки роста или прогнозировать покупательский спрос на основе истории покупок в магазине. Без понимания целей можно «придумать отвёртку, когда стоит задача прибить гвоздь».

Выставить измеримые KPI. Например, если цель внедрения BI — экономить время сотрудников, рассчитайте, как это отразится на финансовых показателях. Если цель заключается в увеличении продаж за счёт более глубокого понимания покупательских привычек целевой аудитории, установите плановые показатели прибыли и выручки через месяц, полгода и год.

Продумать архитектуру решения. Архитектура определяет, какие источники данных будут интегрированы в BI-систему, как будет организован процесс извлечения, преобразования и загрузки данных, какие аналитические модели и визуализации потребуются.

Шаг 2. Разработка

Разработку BI-систем можно разделить на две основные части: серверную и клиентскую.

Разработка серверной части. Серверная часть BI-системы отвечает за логику хранения данных. Это самый трудный этап разработки. Чтобы извлечь данные из разных хранилищ и отобразить их в едином формате, разработчики применяют подход ETL (Extract, Transform, Load). Вот как он работает:

• Извлечение (Extract): Исходные данные извлекаются из различных источников, таких как базы данных, инструменты веб-аналитики, документы Excel.

• Преобразование (Transform): Данные обрабатываются в соответствии с бизнес-логикой. Они очищаются от ошибок, дубликатов, а формат стандартизируется. При необходимости данные обогащаются дополнительной информацией.

• Загрузка (Load): Очищенные и преобразованные данные загружаются в хранилище (Data Warehouse). Хранилище представляет собой централизованную базу данных, где информация хранится в структурированном и оптимизированном для аналитики формате.

Затем хранилище разбивается на тематические киоски данных, каждый из которых содержит информацию определённой тематики. Например, один киоск содержит данные об устройствах, другой — о продуктах, третий — о клиентах и так далее. Данные могут поступать на устройство пользователя из каждого киоска отдельно, из нескольких киосков, или напрямую из центрального хранилища.

Разработка клиентской части. Клиентская часть отвечает за отображение данных. Именно с этой частью системы взаимодействуют конечные пользователи. Например, данные для отрисовки графика собираются на сервере, но за то, насколько этот график легко считывать и как быстро он обновляется, отвечает интерфейс (UI).

В интерфейсе системы планирования ресурсов требовалось соблюсти баланс между гибкой настройкой отчётов и наглядностью. Чтобы нужную информацию было просто найти, мы разбили отчёты на несколько вкладок. Данные на каждой вкладке легко считываются благодаря контрастному цветовому решению

Шаг 3. Внедрение BI-системы, разработанной под ваш бизнес

Внедрение BI-системы проходит в 5 этапов: изучение, сбор, подготовка, хранение и визуализация данных. 

1. Изучение данных. Интегратор изучает источники данных, которые есть у клиента. Это могут быть системы бухгалтерского учёта, такие как 1С, документы Word, таблицы Excel, CRM системы, такие, как AmoCRM и внешние базы данных, например PostgreSQL или GraphQL.
2. Сбор данных. Затем интегратор настраивает надёжную доставку данных в аналитическое хранилище. На этом этапе все данные приводятся к единому  формату с помощью специальных сервисов, таких, как Managed Apache Kafka.
3. Подготовка данных. Полученные данные могут быть сырыми и слабоструктурированными. Между ними нужно построить связи, например, связать данные о покупках из платёжной системы с ID покупателей интернет-магазина. После этого загрузка и мониторинг данных  автоматизируется с помощью сервисов, таких, как Apache Airflow.
4. Хранение и обработка данных. Теперь данные готовы к сохранению в хранилище. Интегратор производит развёртывания кластера, обновляет базу данных, налаживает резервное копирование. Для управления данными интегрируются специальные сервисы, такие как Managed PostgreSQL, Managed ClickHouse или Managed Greenplum.
5. Визуализация. Вендор использует продукты визуализации, такие как Yandex DataLens чтобы отобразить данные на удобных графиках. В случае разработки под ключ, на этом этапе создаётся пользовательская часть BI-системы — разработчики реализуют дашборды, фильтры и поиск по данным.

Примеры готовых BI-систем

В пятёрку самых популярных отечественных BI-систем входят: Visiology, Форсайт, Polymatica (SL Soft), БАРС Груп, и ГК Luxms. Ниже мы рассмотрели решения этих вендоров.

Visiology

Аналитический дашборд Visiology

Это самая популярная в России BI-система. Visiology пользуются более 500 компаний. Система включает в себя наглядные дашборды Visiology Dashboards и помогает собирать отчёты из разных филиалов и от разных сотрудников с помощью Visiology Smart Forms. Вендор помогает эффективно использовать систему с помощью бесплатных курсов для пользователей со стороны клиента. 

Цена: от 45 000 руб. в год за пользователя.

Форсайт

В системе Форсайт можно строить алгоритмы прогноза из заранее заготовленных блоков

Форсайт — это вендор и разработчик BI-систем, ориентированный на работу с гос. сектором и крупным бизнесом. Бренд объединяет несколько продуктов: аналитическую платформу, систему визуализации данных FlyBI и мобильную платформу.

Продукты компании сложно освоить, но опытному пользователю она предлагает большой набор аналитических инструментов: система подходит для отчётов, аналитических запросов (таких как запросы к базам данных или инструментов OLAP-анализа), глубокой аналитики, Data Mining.

Цена: рассчитывается по запросу, зависит от деталей проекта

POLYMATICA BI

Интерфейс POLYMATICA «заточен» под работу с мышью — составить аналитический запрос можно без макросов или кода. Лёгкость в освоении — отличительная черта этой BI-системы

Этот облачный комплекс BI-продуктов доступен по месячной подписке. По словам вендора, систему отличает скорость поиска по базе данных и лёгкость в обучении — даже неопытный пользователь сможет самостоятельно анализировать данные. Система подходит для анализа текущих данных, поиска закономерностей и моделирования трендов на основе исторических данных.

Цена: рассчитывается по запросу, зависит от деталей проекта

Alpha BI

Alpha BI используется российскими гос. компаниями . Среди клиентов компании Министерство Здравоохранения РФ, РЖД и «Фонд капитального ремонта многоквартирных домов города Москвы». Решение представляет из себя конструктор BI-аналитики. В него входит несколько модулей: ETL, конструктор хранилища с внешним ETL и OLAP-кубы. Модули можно внедрять как самостоятельно, так и совместно.

Цена: по запросу

Luxms BI

Отличительная черта Luxms BI — встроенный low code инструмент для сбора и структурирования данных (ETL)

Luxms BI специализируется на работе с клиентами из сфер нефтегаза, энергетики, здравоохранения и телекома. Интегратор предлагает разработку и настройку BI-решений на базе своей системы. Среди преимуществ продукта заявлено быстродействие, горизонтальная масштабируемость и встроенные инструменты кибербезопасности, такие, как интеграции с SIEM (Security Information and Event Management) системами.

Цена: по запросу

Узнайте, нужна ли вам разработка BI-системы «под ключ»

Разработка и внедрение BI-системы – это недешёвый проект, но его запуск оправдан, если вам нужно анализировать данные из нескольких принципиально разных хранилищ, и этих данных много. Или если они теряются в бесконечных таблицах и текстовых документах, не принося пользу, которую могли бы принести.

Знакомо?

Расскажите нам, какую бизнес-цель вы планируете достичь с помощью BI-системы. Оценим сроки и стоимость проекта и поможем рассчитать окупаемость.