Большинство современных предприятий используют аналитические конвейеры для обработки событий в реальном времени. Данные поступают с нерегулярными интервалами из разных источников, что добавляет сложности к своевременному их анализу. Возможностью решения этой проблемы является создание разъединенного управляемого событиями конвейера, использующего серверные компоненты, которые реагируют на изменения данных по мере их возникновения. Azure Data Lake Storage Gen2 обеспечивает безопасное, экономичное и масштабируемое хранилище для структурированных и неструктурированных данных, поступающих из разных источников. Глобальная доступность и партнерская экосистема делают эту платформу предпочтительной для клиентов во всем мире. Теперь же в предварительном просмотре появилась возможность ее интеграции с Azure Event Grid.
Особенности работы
Azure Data Lake Storage Gen2 обеспечивает автоматическую регистрацию событий и их отправление в конечную точку. Данные из разных источников попадают в хранилище Azure Gen2 с помощью фабрики данных и других инструментов перемещения. Платформа генерирует события для создания новых файлов, их обновления, переименования или удаления, которые направляются через сетку событий в блоки информации. Система обрабатывает файл и записывает полученные данные обратно, после чего происходит публикация уведомлений в сетке событий. В результате информация копируется в хранилище данных SQL и попадает к пользователю через службы аналитики Azure и PowerBI.
Основные преимущества:
- быстрая интеграция позволяет создавать конвейер, управляемый событиями, за считанные минуты;
- возможность подключения уведомлений для приоритетных задач, включая создание, переименование и удаление файлов;
- интеграция со сторонними приложениями.
Платформа уже доступна в западной и центральной частях США. Вскоре пользоваться ней смогут все клиенты.