Русская Википедия:Apache Airflow
Шаблон:Карточка программы Apache Airflow — открытое программное обеспечение для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных.
Изначально разработан в Airbnb в октябре 2014 году[1][2]. В марте 2016 года стал проектом Apache Incubator, в январе 2019 года — проектом верхнего уровня Apache Software Foundation в январе 2019 года.
Написан на Python, потоки операций и зависимости между ними кодируются также на Python по принципу «конфигурация как код» (в отличие от таких систем, как Oozie и Azkaban, использующих файлы конфигурации[3]). Для оркестровки потоков операций используется представление в виде направленного ациклического графа (DAG); собранная в граф группа операций может запускаться либо по определённому расписанию (например, ежечасно или ежедневно), либо по событию (например, появлению файла в Hive[4]).
Airflow по подписке предоставляется многими публично-облачными провайдерами, в том числе Google Cloud Platform (Cloud Composer)[5] и Amazon Web Services (с ноября 2020 года)[6].
Примечания
