Apache Airflow
Материал из Википедии — свободной энциклопедии
| Apache Airflow | |
|---|---|
 | |
| Тип | проект Фонда Apache[вд] и Python-библиотека[вд] |
| Разработчик | Apache Software Foundation |
| Написана на | Python |
| Последняя версия | 2.9.0 (24 апреля 2024) |
| Репозиторий | github.com/apache/airflow |
| Лицензия | Apache License 2.0[1] и лицензия Apache |
| Сайт | airflow.apache.org (англ.) |
 Медиафайлы на Викискладе | |
Apache Airflow — открытое программное обеспечение для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных.
Изначально разработан в Airbnb в октябре 2014 году[2][3]. В марте 2016 года стал проектом Apache Incubator, в январе 2019 года — проектом верхнего уровня Apache Software Foundation в январе 2019 года.
Написан на Python, потоки операций и зависимости между ними кодируются также на Python по принципу «конфигурация как код» (в отличие от таких систем, как Oozie и Azkaban, использующих файлы конфигурации[4]). Для оркестровки потоков операций используется представление в виде направленного ациклического графа (DAG); собранная в граф группа операций может запускаться либо по определённому расписанию (например, ежечасно или ежедневно), либо по событию (например, появлению файла в Hive[5]).
Airflow по подписке предоставляется многими публично-облачными провайдерами, в том числе Google Cloud Platform (Cloud Composer)[6], Amazon Web Services (с ноября 2020 года)[7] и Yandex Cloud (с сентября 2023 года)[8].
Примечания
[править | править код]- ↑ https://airflow.incubator.apache.org/license.html
- ↑ Apache Airflow. Apache Airflow. Дата обращения: 30 сентября 2019. Архивировано 12 августа 2019 года.
- ↑ Airflow. Дата обращения: 30 сентября 2019. Архивировано 6 июля 2019 года.
- ↑ AirflowProposal. Apache Software Foundation (28 марта 2019). Дата обращения: 1 октября 2019. Архивировано 7 апреля 2022 года.
- ↑ Trencseni, Marton Обзор Airflow. BytePawn (16 января 2016). Дата обращения: 1 октября 2019. Архивировано 28 февраля 2019 года.
- ↑ -automation-tool-for-developers/ Google запускает Cloud Composer, новый инструмент автоматизации рабочих процессов для разработчиков (англ.). TechCrunch. Дата обращения: 18 сентября 2019.
- ↑ -airflow-mwaa/ Введение в управляемые рабочие процессы Amazon для Apache Airflow (MWAA) (англ.) (недоступная ссылка — -airflow-mwaa/ история). Amazon Web Services (24 ноября 2020). Дата обращения: 17 декабря 2020.
- ↑ Новый сервис Yandex Managed Service for Apache Airflow. Yandex Cloud (26 сентября 2023). Дата обращения: 19 января 2024.
Text is available under the CC BY-SA 4.0 license; additional terms may apply.
Images, videos and audio are available under their respective licenses.
