Как найти сокровища в данных, или Зачем нужна BI-система

BI-системы (сокр. от Business Intelligence) — это программы и инструменты, с помощью которых можно собирать и анализировать информацию о компании. BI-система помогает находить закономерности в данных и улучшать рабочие процессы. Например, отдел закупок сети магазинов через неё может анализировать объём продаж и популярность товаров, чтобы управлять запасами. Коммерческий отдел — отслеживать маржинальность разных товаров и на основе данных определять цены на них.

В BI-системе можно спроектировать дашборд и представить данные в виде графиков и диаграмм. Дашборд ещё называют графическим интерфейсом, потому что пользователь системы видит на экране кнопки, видео и другие интерактивные элементы.

В работе с BI-системами есть две основные роли:

1. Разработчик дашборда.
Эту роль обычно выполняет аналитик. Он исследует данные компании, а также выясняет, что нужно отслеживать разным отделам. Затем собирает дашборды, с которыми удобно работать всем сотрудникам.

Если компания большая, у каждого направления может быть свой отдел аналитики. Например, отдел контентных или финансовых аналитиков.

В компанию могут отдельно нанять специалиста по визуализации данных или BI-аналитика. Часто он работает в команде с инженером данных. Инженер создаёт витрину данных — срез нужной информации из всей базы. Например, для дашборда с KPI отдела продаж нужны два показателя: количество отработанных часов и количество обработанных каждым менеджером заявок. Данные по показателям можно отдельно собрать в сводную таблицу, сохранить её в базе, облаке или файле и использовать для дашборда.

2. Пользователь дашборда.
Это может быть менеджер или любой другой сотрудник компании. Чтобы находить на дашбордах полезную информацию, пользователю не обязательно уметь профессионально анализировать данные. Но умение работать с BI-системами и настраивать дашборды самостоятельно — гибкие навыки, которые пригодятся для работы в современной компании.

На курсе «Визуализация данных и введение в BI-инструменты» студенты разных профессий учатся определять, какие данные нужно визуализировать и как собрать из них обновляемые дашборды по рабочим задачам.

Выделяют пять основных типов дашбордов:

1. Для мониторинга ключевых показателей.
Например, продажи, выручка, количество заказов, конверсия. Такой дашборд позволяет команде и руководству в режиме реального времени отслеживать и анализировать производительность отдела.

2. Для отслеживания проектов.
На дашборде собирают данные о статусе проектов, распределении ресурсов, прогрессе в выполнении задач. Дашборд помогает всем командам проекта быть в курсе текущей ситуации, а менеджеру — эффективно управлять сроками, бюджетом и объёмом работ.

3. Для анализа данных.
Например, топ-менеджмент компании может отслеживать на дашборде сводную статистику работы филиалов: количество заявок, время обработки запросов, количество заключённых договоров.

Визуализация данных позволяет наглядно сравнить цифры и увидеть проблемы. Например, в одном из филиалов дольше обрабатывают заявки, потому что их больше на ту же численность сотрудников, что и в других филиалах.

4. Для отслеживания KPI команды.
На дашборде визуализируют результаты работы команды или отдельных сотрудников, чтобы отслеживать выполнение KPI. На основе данных принимают решения о премировании и ставят реалистичные цели на следующий период.

5. Для самообслуживания (от англ. Self Service).
На дашборде может быть одна таблица со множеством фильтров. Сотрудник может выставить параметры и выгрузить нужные для работы данные без привлечения аналитика. Например, бухгалтеру для отчёта нужна информация по выплатам сотрудникам на аутсорсе за последние два года или нужно посчитать выручку компании за год.

В идеальном мире BI-систему сразу внедряют в рабочие процессы, чтобы эффективно управлять бизнесом. В реальности к ней чаще всего обращаются в трёх случаях:

1. Для работы с большими объёмами данных.
Обычно перед запуском нового продукта определяют показатели успешности: данные, которые подтвердят, что он перестаёт быть убыточным. Например, окупаемость или количество клиентов, которые возвращаются ежедневно. Если такие метрики есть, по ним нужно сразу собирать данные. Пока данных немного, с задачей мониторинга показателей можно справиться с помощью Excel: вручную собирать цифры в таблицы, анализировать и строить на их основе графики.

С развитием бизнеса количество данных сильно увеличивается, и Excel начинает зависать. Если в таблицах десятки тысяч строк, в какой-то момент программа может не открыться. В таких случаях и внедряют более мощные инструменты. BI-системы могут обрабатывать большие данные из разных источников и преобразовывать их в таблицы или графики.

2. Для безопасности данных.
Доступ к данным бывает нужен многим отделам и сотрудникам. При этом у них разные роли в рабочих процессах, им нужно следить за разными показателями и обновлять графики каждый день в разных разрезах. В таких случаях могут возникать проблемы с безопасностью данных. Например, у нескольких сотрудников есть доступ к одному и тому же документу или файлу. Каждый из них может что-то изменить в нём, что в итоге приведёт к ошибкам или потере данных.

3. Для оптимизации процессов.
BI-системы делают работу с данными более гибкой и доступной большому количеству команд. Например, в базе собираются данные о работе сайта. Одному отделу важно следить за кликами по баннеру, другому — за количеством просмотров главной страницы, третьему — за общим временем на сайте. Инженер данных может сконструировать базу так, чтобы каждый отдел мог взять из неё нужную часть и создать на её основе дашборд для своих задач.

Microsoft Power BI и Tableau
Две наиболее развитые программы с большим количеством возможностей. Но с 2023 года в России нельзя купить их лицензии.

Qlik Sense
BI-система с ассоциативным поиском. Пользователи могут быстро найти и связать данные из разных источников, не связывая заранее таблицы. Это упрощает анализ данных и позволяет быстро находить закономерности между данными. Платформа доступна и с мобильных устройств.

1 C:BI
Основное преимущество BI-платформы — интеграция с другими продуктами компании 1 C. Это значит, что у пользователей есть доступ к данным из любых систем и продуктов 1 C, например 1C:Управление торговлей, 1C:ERP, 1C:Управление производством.

Google Data Studio
Можно создавать интерактивные отчёты и дашборды на основе разных источников данных, например Google Analytics, Google Sheets, Google Ads. Есть много готовых шаблонов и графиков для отчётов и возможность совместной работы над ними.

DataLense
Российская BI-платформа для работы с большими данными. Система DataLense поддерживает автоматическое обновление данных: отслеживать изменения можно в режиме реального времени. В системе много функций, например можно проектировать собственные графики с помощью JavaScript, создавать собственные пользовательские метрики и настраивать отчёты и дашборды для конкретных задач.

Часто у них простой внешний вид и мало возможностей. Но можно добавить нужные функции, дописав код, и адаптировать программу для задач бизнеса.

Apache Superset
BI-система создана на основе языка Python и может подключаться к разным источникам данных, в том числе SQL-базы данных, Hadoop, Spark, Cassandra, Druid. На платформе есть интерактивные дашборды, графики, таблицы и отчёты. Внешний вид графиков можно менять с помощью CSS, а ещё можно добавлять собственные графики, построенные на JavaScript.

Metabase
Простая в использовании BI-система, в которой можно создавать отчёты и визуализировать данные на дашбордах. В системе мало функций, но аккуратный интерфейс, в котором приятно проектировать дашборды.

Pentaho
Платформа с встроенными инструментами для ETL и анализа данных, которую можно подключать к разным источникам данных.

OpenAnalytics
BI-платформа для обработки и анализа больших объёмов данных. Для этого в OpenAnalytics есть язык запросов, машинное обучение и статистический анализ данных. Пользователи могут использовать алгоритмы машинного обучения, например классификацию, регрессию, кластеризацию. Платформу можно расширить: есть интеграция с другими системами и приложениями.

Ещё одно решение для визуализации данных — библиотеки Python, например Matpotlib. С помощью подобных библиотек не получится построить дашборды, но можно делать графики.