Azure Databricks ‒ это аналитическая платформа на основе Apache Spark, предназначенная для ускорения и упрощения процесса создания объемных баз данных и решений ИИ, которые продвигают бизнес вперед. Она отличается высокой скоростью работы, совместимостью с программным обеспечением и масштабируемостью. Все это поддерживается ведущими соглашениями об уровне обслуживания.
С помощью Azure Databricks пользователь может за пару минут настроить среду Spark, а также быстро и просто масштабировать ее в зависимости от запросов. Также есть возможность совместно работать над общими проектами в интерактивном пространстве с поддержкой Python, Scala, R и SQL, а также средами и библиотеками данных, такими как TensorFlow и PyTorch. В статье представлены свежие обновления для платформы.
Azure Databricks Delta и управление версиями Azure DevOps
Azure Databricks Delta обеспечивает повышение надежности и производительности для рабочих нагрузок на основе ряда улучшений:
- поддержки транзакций;
- индексации данных;
- управлении версиями приложений.
С момента анонса Delta разработчики получили исключительно положительные отзывы о ее эффективности в обработке пакетных и потоковых данных, а также для упрощенных конвейеров ETL. Delta теперь доступна в стандартном предложении SKU в дополнение к Premium SKU для максимально продуктивной работы.
Azure DevOps ‒ это комплексный набор служб, которые предоставляют решение для планирования и отслеживания, разработки, сборки и тестирования, доставки, мониторинга и эксплуатации работы программ. Аутентификация с помощью Azure DevOps Services выполняется автоматически при подтверждении с помощью Active Directory.
Внедрение VNet
По умолчанию происходит автоматическое развертывание и управление кластерами пользователя в сетях VNET с включенным пирингом. Также в автоматическом режиме происходит контроль безопасности. Однако в некоторых случаях требуется отдельная настройка сети. Для этого разработчики и провели внедрение VNet.
Теперь можно объединять блоки данных с другими службами Azure с использованием конечных точек служб или локальных источников данных. Также предусмотрены такие функции:
- подключение блоков данных Azure к сетевому виртуальному устройству для проверки исходящего трафика и контроля действий в соответствии с правилами разрешения и запрета;
- настройка блоков данных для использования DNS;
- изменение правил групп безопасности сети для определения ограничений исходящего трафика.
Развертывание блоков данных Azure в собственной виртуальной сети также позволяет использовать преимущества гибких диапазонов CIDR.