С чем работает аналитик данных: 10 популярных инструментов

В статье рассказываем о необходимых и популярных инструментах, которые нужны для работы аналитику данных. Вместе с продуктовым аналитиком Павлом Пляскиным разобрались в типах инструментов и особенностях их работы.

• Какой бывает аналитика
• Инструменты аналитики
• Какими инструментами должен владеть аналитик данных
• Как и где изучить инструменты аналитики данных

Нас окружает много данных: контакты в телефоне, список покупок, фотоальбомы, плейлисты, задачи по работе. А ещё каждую секунду в мировом киберпространстве передаются тысячи терабайт данных. Часть из них пока не обработана и не представляет собой ценной информации. Чтобы данные стали полезными, их нужно собрать и проанализировать. Этим занимается аналитик данных.

Данные важны для разных сфер бизнеса, науки, образования, медицины, потому что помогают принимать решения, планировать действия. Например, в торговле анализ данных поможет понять, какой товар будет популярен в следующем месяце, на каком этапе покупатели не оплачивают «Корзину» в интернет-магазине, как расположить товары, чтобы вызвать наибольший интерес покупателей. Анализ данных в производстве и промышленности поможет выбрать оптимальные каналы сбыта, спрогнозировать продажи или износ оборудования.

Информацию, которую получили в ходе анализа данных, удобно изучать на дашбордах — интерактивных панелях с графическим интерфейсом

Для прогнозирования данных. Такие инструменты нужны, чтобы на основании прошлого опыта компании могли принимать успешные решения в будущем, создавать модели поведения клиентов, составлять прогнозы ежедневного спроса определённой группы товаров и т. д. Чтобы создавать достоверные прогнозы, специалисты используют ключевые инструменты аналитиков: языки программирования Python, R и другие.

Инструменты и программы для аналитики данных бывают бесплатные и коммерческие. Вот чем они отличаются.

Бесплатные инструменты анализа данных. Имеют открытый исходный код, а апгрейд до платных версий не обязателен. Это значит, что любой специалист может расширять возможности инструмента, изменяя исходный код. В роли службы поддержки обычно выступает сообщество пользователей. Инструменты с открытым исходным кодом используют и стартапы, и крупные компании, потому что по уровню возможностей эти программы часто не уступают платным продуктам.

Браузерная версия Jupyter Notebook имеет открытый исходный код — её можно использовать бесплатно

Коммерческие инструменты бизнес-аналитики. Это программное обеспечение с закрытым исходным кодом. Эти инструменты нельзя изменить, и обычно они дорого стоят. Зато вся поддержка, обучение и устранение неполадок целиком лежит на разработчике программного продукта.

Основные инструменты аналитика помогают ему собирать, обрабатывать, анализировать и интерпретировать данные. Несмотря на большое количество сервисов и программного обеспечения, на практике специалист использует в работе 3–4 ключевых инструмента. Их выбор зависит не только от знаний и опыта аналитика, но и от того, с чем уже работает компания. Например, если бизнес использует Tableau — дорогой инструмент, — аналитику придётся работать с ним, даже если он привык работать в Power BI. А вот в плане написания кода специалист свободен в выборе и может использовать любой язык программирования.

Мы выбрали самые распространённые инструменты дата-аналитика, которыми владеют практически все специалисты. Программ, технологий и приложений гораздо больше, но мы не рекомендуем гнаться за количеством освоенных инструментов. Важнее понимать, что можно сделать с помощью той или иной технологии и программы.

SQL (Structured Query Language) — это специальный язык, который формирует запросы к базе данных по определённой структуре. С его помощью аналитик «достаёт» данные и затем обрабатывает их с помощью другого, более гибкого языка программирования, например Python.

У SQL есть разновидности. Например, система управления базами данных MySQL, в которой можно хранить любые данные: контакты клиентов, карточки товаров, информацию о дате публикации материалов и т. д. PostgreSQL — более сложная система, которая подходит для управления большими базами данных и обработки сложных запросов, например в финансовой сфере, промышленности, крупном ретейле. SQL и его разновидности — это инструменты с открытым исходным кодом, поэтому доступны бизнесу любой сферы и формата.

Это язык программирования и универсальный инструмент для работы с данными. У него простой синтаксис, поэтому писать код на нём получается быстрее, чем на других языках, например на Java. У Python есть встроенный интерпретатор, с помощью которого аналитики кодят и проверяют гипотезы в режиме реального времени.

Чтобы пользователям было проще работать с этим инструментом, разработчики создали библиотеки — файлы с шаблонами. Они нужны, чтобы не набирать каждый раз один и тот же код, а вводить свои данные и получать результаты. Вот самые популярные библиотеки.

● Pandas. Самая простая библиотека, которая помогает анализировать неполные и неупорядоченные данные — именно такие и встречаются чаще всего. В библиотеке Pandas есть готовые методы для фильтрации, группировки и объединения данных.

● Matplotlib. Библиотека для визуализации, которая позволяет строить разные графики: от простых до гистограмм и круговых диаграмм.

● NumPy. Библиотека для обработки больших массивов данных и облегчения математических операций с массивами.

Универсальный инструмент аналитика данных. Jupyter — это бесплатная интерактивная среда для языка Python. Здесь можно запускать код, получать результаты и продолжать с ними работать. С каждым фрагментом можно работать по отдельности и в любой очерёдности, например, написать одну функцию и проверить её работу без запуска всей программы. А ещё результаты можно выводить сразу после написания фрагмента кода, например построить промежуточный график, сохранить его как отдельный файл и затем использовать в презентации.

В Jupyter Notebook удобно работать вместе с коллегами. Здесь можно настроить совместный доступ и делиться с другими пользователями своими записными книжками — по почте, через Dropbox или Jupyter Notebook Viewer.

Jupyter Notebook открывается в браузере или устанавливается на компьютер. В первом случае программа работает чуть медленнее, зато ничего не нужно загружать на свой ПК

Универсальный инструмент для работы с различными базами данных (MySQL, PostgreSQL, Oracle и др). Программа для аналитики DBeaver умеет:

● администрировать базы данных: анализировать, экспортировать и импортировать данные, работать с пользовательскими сессиями;

● визуализировать данные;

● просматривать, редактировать, сортировать и фильтровать данные.

DBeaver доступен в бесплатной версии — с открытым исходным кодом или для коммерческого использования. Программа устанавливается на компьютер и работает под разными ОС: Windows, MacOS, Linux

Это ETL-инструмент, который упрощает и оптимизирует процесс интеграции данных. ETL-технологии (Extract, Transform, Load) — «извлечение, преобразование и загрузка» — используют, когда нужно быстро объединить данные из нескольких источников. Например, сеть магазинов продаёт одежду онлайн и офлайн. Чтобы оценить эффективность продаж по двум источникам, нужно подгрузить данные из нескольких баз. Информацию можно скачивать по очереди из CRM, систем аналитики веб-трафика и других. А можно сделать это одновременно — с помощью Talend. Данные интегрируются, и их можно использовать для дальнейшего анализа.

Talend — инструмент с открытым исходным кодом, а значит, базовую версию программы можно использовать бесплатно.

Информацию, которую аналитик получает в результате анализа данных, нужно наглядно представить — в виде графиков, диаграмм, отчётов. Чтобы не делать это вручную, используют инструменты визуализации. Например, с помощью Tableau можно импортировать данные из любой базы данных и представить их в нужном виде. Tableau — дорогое удовольствие и доступно не каждой компании.

Один из рабочих экранов Tableau

Как альтернативу Tableau аналитики используют инструмент Microsoft — Power BI. Здесь десктопная версия доступна бесплатно. Power BI подходит для обработки большого массива данных, которые может забирать из MySQL, Google Analytics, CRM и других источников. Просматривать готовые отчёты удобно в мобильном приложении Power BI Mobile — есть версии для iOS и Android.

Популярный среди аналитиков инструмент, который помогает писать код. VSCode распознаёт синтаксис распространённых языков программирования и не даёт ошибиться при написании кода. С ним можно подключать любой питоновский интерпретатор, который установлен на компьютере, и сразу видеть, как этот код работает.

Аналитики любят VSCode за его простоту и удобство.

У VSCode мощная поддержка сообщества Microsoft и много материалов на русском языке.

Аналитика с помощью таблиц Microsoft всё ещё популярна в маленьких компаниях — для сбора и анализа небольшого объёма данных. А вот как инструмент визуализации Excel используют часто. Удобно экспортировать сюда результаты аналитики и строить здесь даже сложные графики и диаграммы.

Вместо Excel можно использовать Google Таблицы, например вести здесь бюджет компании.

Это комплексное решение, которое под одной оболочкой объединяет все технологии, о которых мы говорили выше. С его помощью обрабатывают и визуализируют данные, собирают отчёты, проводят расширенный анализ с использованием алгоритмов статистики и прогнозных моделей. SAS используют в больших компаниях, для которых в первую очередь важна безопасность клиентов и их данных и которые готовы за это платить.

Спрос на аналитиков данных с каждым годом растёт. В 2021 году на hh.ru работодатели разместили на 54% больше вакансий, чем в 2020-м. Сейчас по запросу «Анализ данных» на портале больше 20 тысяч предложений по всей России. Среди основных требований к соискателям — знание ключевых инструментов бизнес-аналитики: SQL, Python, Power BI или Tableau.

Тот, кто хочет стать аналитиком данных, может изучать технологии и программы самостоятельно: по книгам или видео в YouTube. Но это неудобно и не всегда эффективно: новые инструменты появляются быстрее, чем удаётся их освоить.

На аналитика данных учат в технических вузах на факультете искусственного интеллекта — потребуется минимум четыре года.

Освоить профессию с нуля можно и за более короткий срок. На курсе «Аналитик данных» в Яндекс Практикуме за 6 месяцев вы освоите Python, научитесь работать с SQL-запросами, создавать дашборды и анализировать показатели с помощью различных инструментов и программ.