Кто такой Data Engineer, чем отличается от других специалистов по данным и как им стать

Чтобы вести бизнес, основываясь на данных, компании собирают информацию с сайтов, приложений, камер видеонаблюдения и датчиков на производстве и отдают их специалистам для анализа. Эти данные помогают прогнозировать спрос, изучать поведение клиентов, планировать эффективные рекламные кампании — в общем, извлекать пользу для бизнеса и зарабатывать больше денег.

Анализом данных занимаются аналитики или специалисты по Data Science. Прежде чем работать с информацией, её нужно собрать, грамотно структурировать, где-то сохранить, а потом доставить до аналитика. Для этого нужна инфраструктура: хранилища, серверные мощности для анализа, инструменты для сбора, очистки и доставки данных.

Data Engineer, или инженер данных, — это специалист, который занимается построением и обслуживанием инфраструктуры для работы с данными, а также их предварительной обработкой. Инженер не участвует в анализе, но обеспечивает аналитиков нужными мощностями, инструментами и подготовленными данными. Часто таких специалистов называют Big Data Engineer, или инженерами больших данных.

● Разрабатывает систему для работы с данными: хранилища, инструменты и сервисы.

● Собирает данные. Источников могут быть десятки, но вся информация из них должна попадать в общее хранилище.

● Очищает данные: убирает дубли и устраняет ошибки.

● Структурирует данные так, чтобы они стали пригодны для аналитики. В чистом виде из источников данные «сырые», их нужно предварительно обработать.

● Настраивает загрузку данных и их движение между инструментами. Для этого он создаёт пайплайны — процессы движения данных от источника к нужному месту.

● Обновляет используемые инструменты и ищет способы улучшения и автоматизации существующих процессов.

Например, в крупной сети супермаркетов хотят построить умную систему закупок, которая будет сама рассчитывать, когда и сколько товара заказывать у поставщиков. Для этого нужны данные из мобильного приложения заказа товаров, с сайта, кассовых аппаратов и CRM-системы. Именно дата-инженер организует сбор данных, их хранение и подготовку для аналитики.

Для выполнения всех этих задач дата-инженера существуют специальные инструменты: хранилища и сервисы по обработке данных. Научиться с ними работать можно на курсе «Инженер данных».

Дата-инженер и специалист по Data Science — коллеги. Они практически всегда работают вместе и тесно сотрудничают друг с другом.

Дата-инженер собирает данные, хранит их, подготавливает и передаёт специалисту по Data Science. Тот, в свою очередь, получает эти данные и использует для аналитики или построения моделей машинного обучения.

Без инженера большим данным просто неоткуда будет взяться — они останутся в источниках, потому что их никто не соберёт, не сохранит и не передаст. Однако без специалиста по Data Science все эти собранные данные будут просто бесполезны, так как их некому будет проанализировать. Поэтому эти два специалиста всегда работают в связке: инженер поставляет данные, а специалист по Data Science применяет их с пользой для бизнеса.

Структуры данных и математические алгоритмы. Понимание алгоритмов позволит общаться со специалистами по Data Science на одном языке и предоставлять им данные в удобном виде. Общие знания о том, как именно хранятся данные, понадобятся, чтобы грамотно их извлекать и обрабатывать.

Языки программирования. Самое главное — знать Python, потому что именно на нём пишут алгоритмы для обработки данных. Пригодятся Java и Scala — на них написаны сами инструменты для обработки данных. Знание языков понадобится, чтобы дорабатывать эти инструменты и эффективно их использовать.

SQL и классические базы данных. Часто данные нужно будет извлекать из классических БД с помощью SQL-запросов, поэтому инженер данных обязательно должен это уметь.

Инструменты для работы с большими данными. Таких инструментов много: различные колоночные БД, экосистема Hadoop для создания озёр данных, Spark и Kafka. Важно освоить хотя бы некоторые инструменты, чтобы понимать принципы их работы. Так будет проще подстроиться под те, которые используют в конкретной компании.

Облачные технологии. Сейчас практически все компании работают с большими данными в облаках, организуют там хранение и аналитику. Важно уметь строить инфраструктуру на базе облачной.

Стажёрам и новичкам этой профессии готовы платить от 50 000 Р, более опытным специалистам – 150 000–200 000 Р. Для профессионалов встречаются предложения 300 000–340 000 Р
Обычно вакансии требуют присутствия в офисе, хотя есть варианты и с удалённой работой. В регионах зарплаты ниже и начинаются от 100 000 ₽ для опытных специалистов.

На HeadHunter больше полутора тысяч вакансий по профессии дата-инженера. Indeed, где публикуют иностранные вакансии со всего мира, содержит около 14 000 объявлений.

Исследования показали, что уже в 2020 году вакансий дата-инженеров стало в 1,5 раза больше. Это серьёзный рост среди остальных профессий, связанных с данными, поэтому инженер данных будет с каждым годом становиться востребованнее.

Изучать структуры данных, языки программирования, SQL, хранилища и пайплайны проще, если специалист уже разбирается в чём-то одном. Например, работает программистом и параллельно осваивает базы данных или администрирует БД и знакомится с большими данными и разработкой.