Azure Databricks ‒ удобная и простая в использовании аналитическая платформа на основе Apache Spark, позволяющая ускорить и оптимизировать процесс создания больших баз данных и AI-решений. С ее помощью пользователи могут настроить оптимизированную среду Apache Spark за считанные минуты. Исследователи и инженеры могут сотрудничать, используя интерактивное рабочее пространство с языками и инструментами по своему выбору. Встроенная интеграция с Azure Active Directory и другими службами позволяет клиентам создавать комплексные современные хранилища данных, используя машинное обучение и аналитические решения в реальном времени.
Основные возможности
Теперь пользователи могут начать работу с Azure Databricks с новой системой Data Engineering Light, которая позволяет клиентам запускать пакетные приложения на управляемом Apache Spark. Она подойдет для небольших рабочих нагрузок, которым не требуется производительность, автоматическое масштабирование и другие преимущества, предоставляемые рабочими нагрузками Data Engineering и Data Analytics. Также была снижена цена на Data Engineering для стандартных и премиальных SKU.
Еще один плюс – в предварительном доступе появилась платформа MLflow. С ее помощью у пользователя есть возможность совершать такие действия:
- отслеживать ход экспериментов, автоматически записывая параметры, результаты, код и данные на готовый сервер MLflow;
- собирать код машинного обучения локально и тестировать его удаленно в кластере Databricks;
- развертывать готовые модели с высокой скоростью.
Доступ к MLflow клиенты могут получить из своей среды Azure Databricks.
Продвинутое машинное обучение
Машинное обучение Azure было введено в общий доступ с 2018 г., и теперь оно используется множеством клиентов. С помощью системы пользователи могут быстро и легко выполнить такие действия:
- формировать центральный реестр для экспериментов и моделей, создаваемых в рамках всей организации;
- разблокировать продвинутые возможности машинного обучения, что позволит быстро найти нужные алгоритмы и параметры работы;
- подключать DevOps, расширяющий возможности управления, мониторинга и обновления ИИ-обучения.
Комбинация Azure Databricks и машинного обучения позволяет создать удобную автоматизированную среду.