Apache Airflow vysvetlený: Príručka pre začiatočníkov

Úvod

Moderné spoločnosti, ktoré sa riadia údajmi, všetky spoliehajú na dátové potrubia, ktoré získavajú, transformujú, obohacujú a prenášajú informácie z jedného miesta na druhé. Tieto dátové potrubia môžu zahŕňať mnoho krokov (extrakcia surových dát, ich čistenie, trénovanie modelov strojového učenia, tvorba dashboardov atď.). Okrem toho musia bežať v veľmi konkrétnom poradí. Nástroje na orchestráciu pracovných tokov, ako je Apache Airflow, pomáhajú zabezpečiť, aby všetky tieto kroky bežali v správnom čase a správnym poradím. Tiež uľahčujú monitorovanie a správu dátových potrubí.

Airflow bol vytvorený v spoločnosti Airbnb v roku 2014 a stal sa jednou z najpopulárnejších open‑source platforiem na orchestráciu pracovných tokov. Používa ho tisíce organizácií na automatizáciu a monitorovanie batch pipeline. V tomto článku vysvetlíme Apache Airflow od základov. Témy, ktoré pokryjeme, zahŕňajú:

• Čo je Airflow, čo robí a prečo ho používajú dátové tímy.
• Jadro konceptov a komponentov Airflow a ako do seba zapadajú.
• Ako sú pipeline definované ako smerované acyklické grafy (DAG) a prehľad jednoduchého DAG v akcii.
• Bežné prípady použitia, ako ETL/ELT, MLOps a ďalšie.

Dúfame, že toto bude praktický, na príkladoch založený úvod do Apache Airflow pre inžinierov, študentov a tímy, ktoré začínajú s orchestráciou pracovných tokov.

Hlavné body

• Apache Airflow je platforma na orchestráciu pracovných tokov založená na Pythone, ktorá spravuje, plánuje a monitoruje komplexné dátové toky pomocou DAGov (smerovaných acyklických grafov).
• DAGy definujú úlohy a ich závislosti, čo umožňuje Airflow vykonávať každý krok v správnom poradí s vstavanými opakovaniami, protokolovaním a sledovaním.
• Architektúra Airflow (Scheduler, Executor, Worker, Metadata DB, Web UI) umožňuje škálovateľné, distribuované vykonávanie a sledovanie pipeline v reálnom čase.
• Airflow vyniká v dávkových pracovných postupoch, ako sú úlohy ETL/ELT, tréningové pipeline pre strojové učenie, kontroly kvality dát a plánovaná analytika — ale nie je ideálny pre pracovné záťaže v reálnom čase alebo s ultra vysokou frekvenciou.
• Alternatívy ako Prefect, Dagster, Luigi, Argo Workflows a Mage AI môžu byť lepšie prispôsobené v závislosti od potrieb, ako sú pracovné postupy spúšťané udalosťami, vykonávanie natívne v Kubernetes alebo moderné rozhrania priateľské k vývojárom.

Čo je Apache Airflow?

Apache Airflow je open-source systém na tvorbu, plánovanie a monitorovanie pracovných tokov. Airflow pracovný tok je DAG (smerovaný acyklický graf), čo je séria úloh s jasne definovanými vzťahmi (závislosťami) a bez akejkoľvek cykličnosti (úloha sa nemôže opakovať v predchádzajúcich krokoch). Základná filozofia Airflow je „konfigurácia ako kód“, takže namiesto použitia používateľského rozhrania s funkciou presúvania a ukladania vytvárate Python skripty, ktoré reprezentujú pracovné toky. Tento prístup poskytuje inžinierom značnú flexibilitu: môžete sa pripojiť takmer ku každej technológii cez Airflow operátory a Python knižnice. Tiež môžete aplikovať najlepšie softvérové praktiky (verzovanie, testovanie atď.) vo vašich definíciách pipeline.

Prečo je dôležitá orchestrácia pracovných tokov?

Kľúčové je, že často máte v akomkoľvek dátovom pracovnom postupe viaceré kroky, ktoré musia byť vykonané v poradí. Jednoduchým príkladom je ETL (Extract/Transform/Load) pipeline. Pipeline môžu rýchlo zosložiť, keď pridávate viac úloh, závislostí, vetvenia a podobne, a taktiež musia bežať pravidelne. Manuálna zásah alebo jednoduché plánovacie nástroje v týchto prípadoch často prestávajú byť dostatočné. Airflow to rieši tým, že funguje ako centrálny orchestrátor. Má orientovaný acyklický graf (DAG) úloh (uzly) so závislosťami (hrany). Vie, kedy vykonať ktorú úlohu (čaká na dokončenie predchodzích závislostí pred spustením), vrátane plánovania (pravidelné intervalové spustenia), spracovania chýb (automatické opakovanie, upozornenia) a zaznamenávania.

Ak považujeme celý dátový tok za recept, potom je každý jednotlivý úkon podkrokom (sekanie, varenie, servírovanie atď.). Airflow je ako kuchynský manažér, ktorý pozná recepty a dohliada na všetky rôzne podkroky, ktoré prebiehajú v každej kuchyni, aby sa uistil, že všetko prebieha v správnom poradí a v správnom čase.

Bez orchestrácie pracovného toku môžete mať všetkých kuchárov a suroviny, ale nie sú koordinovaní. Airflow poskytuje túto koordináciu, čo umožňuje vytvorenie požadovaného „jedla“ (spustenie pracovného toku).

Prečo dátové tímy používajú Airflow?

Airflow sa stal populárnym medzi dátovými inžiniermi, ML inžiniermi a DevOps tímami, pretože rieši mnoho potrieb komplexných dátových pipeline. Tu je niekoľko hlavných dôvodov, prečo tímy volia Airflow:

• Orchesterovanie zložitých pracovných tokov a závislostí: Airflow bol navrhnutý pre pracovné toky so značným počtom vzájomne závislých krokov. Airflow umožňuje jednoducho deklarovať požiadavky na predchodcov a následníkov, čo zabezpečuje, že úlohy sa vykonajú v správnom poradí. Ak úloha C závisí od úloh A a B, plánovač Airflow si tieto vzťahy uvedomuje a zabezpečí, že A a B sa spustia (prípadne paralelne) pred spustením C. Airflow dokáže riešiť zložité závislosti, vetvenie logiky a podobne.
• Centrálne plánovanie (Cron na steroidoch): Poskytuje plánovač, ktorý vám umožňuje vykonávať úlohy podľa určitého harmonogramu. Môžete definovať desiatky alebo stovky pipeline, ktoré spúšťajú úlohy v rôznych časoch (každú hodinu, denne, mesačne) pomocou Airflow plánovača. Airflow rozumie vzťahom medzi úlohami. Dokáže inteligentne plánovať a spúšťať úlohy. Centrálne plánovanie vás oslobodzuje od potreby písať rôzne skripty na rôznych serveroch.

• Škálovateľnosť a distribuovaná exekúcia: Airflow môže škálovať aj spolu s vašimi pracovnými tokmi. Dá sa nakonfigurovať tak, aby vykonával úlohy paralelne naprieč viacerými procesmi pracovníkov alebo strojmi. Poskytuje tiež viacero vykonávacích mechanizmov (diskutované neskôr v tomto článku), ktoré môžu spúšťať úlohy na distribuovaných systémoch, ako sú Celery alebo Kubernetes, naprieč klastrom uzlov. To znamená, že môžete paralelizovať náročné úlohy (spracovanie veľkých dát) a mať viacero pipeline spustených súčasne.
• Monitorovanie, zaznamenávanie a upozorňovanie: Dodáva sa s bohatým webovým rozhraním, ktoré poskytuje prehľad o vašich pracovných postupoch v reálnom čase. Môžete vidieť, ktoré úlohy boli úspešné a ktoré zlyhali, a zobraziť výstup zo záznamov pre každú úlohu. Cez webové rozhranie môžete dokonca manuálne spustiť alebo opakovať úlohy.

Kľúčové komponenty Airflow

Nižšie je stručný prehľad hlavných stavebných blokov Apache Airflow. Použite túto tabuľku ako rýchlu pomôcku na pochopenie, čo každý komponent je a čo robí.

Ako funguje Airflow (architektúra)

Tu je krok za krokom prehľad ako Airflow spracováva pracovný tok (DAG):

• Vytváranie DAG: Autor DAG píše Python skript, ktorý definuje DAG. Tento skript obsahuje napríklad plán (napr. „bežať denne o 9:00“) alebo nastavenia manuálneho spustenia. Obsahuje tiež definície úloh (cez operátory alebo @task funkcie), ako aj závislosti úloh (napr. task1 >> task2 (task2 čaká na dokončenie task1)). Python súbor sa uloží do priečinka DAGs v Airflow, aby ho Airflow mohol nájsť. Airflow bude tento súbor periodicky čítať (parsovať), aby načítal definíciu DAG.
• Plánovanie a analýza DAG: Plánovač Airflow je proces, ktorý beží neustále na pozadí. Kontroluje, či by sa mal každý DAG spustiť na základe jeho harmonogramu alebo spúšťačov. Napríklad DAG s harmonogramom „denne“ môže byť vybraný plánovačom a plánovač si všimne, že je potrebné naplánovať nové spustenie o polnoci. Plánovač Airflow tiež kontroluje, či sú úlohy v DAG pripravené na spustenie – čo znamená, že všetky ich predchádzajúce závislosti sú dokončené a ich naplánovaný čas (logický dátum) nastal.
• Vykonávanie úloh: Každá úloha, ktorá má byť vykonaná, je odovzdaná vykonávateľovi od plánovača. Vykonávateľ rozhoduje, kde a ako úlohu spustiť. Môže byť vykonaná lokálne alebo odoslaná do pracovníckej fronty. V prípade distribuovanej architektúry bude úloha pridaná do fronty a potom vybraná procesmi pracovníkov, ktorí úlohy vykonávajú.
• Aktualizácia stavu a spracovanie chýb: Každá úloha hlási svoj stav (úspech, zlyhanie atď.) späť do plánovača, keď sa dokončí, a plánovač aktualizuje svoju databázu metadát stavom úlohy.
  Sledovanie stavu umožňuje plánovaču vedieť, čo má robiť ďalej – napríklad, ak úloha A bola úspešne dokončená, vie, že teraz môže naplánovať úlohu B, alebo ak úloha A zlyhala, ale zostali pokusy, naplánuje opakovanie, alebo ak zlyhala bez zostávajúcich pokusov, označí spustenie DAG ako zlyhané. Ak úloha zlyhá, Airflow má logiku na automatické opakovanie úlohy, ak je to nastavené. Ak úloha pokračuje v zlyhávaní po opakovaniach, Airflow môže upozorniť na chyby (odoslať e-mail alebo správu na Slack a pod.). Všetko toto je konfigurovateľné ako súčasť parametrov DAG alebo úlohy (napríklad počet opakovaní, oneskorenie opakovania, e-mail pre upozornenie).
• Sledovanie a zásah: Webové rozhranie Airflow poskytuje živé zobrazenie vyššie uvedeného procesu. Môžete vidieť spustenie DAG (napríklad nový riadok v zobrazení Strom pre dnešný beh) a sledovať, ako sa menia stavy úloh počas ich vykonávania. Zobrazenie Graf vizualizuje úlohy DAG a ukazuje, ktoré boli dokončené alebo skončili chybou.
• Úprava a ďalšie spustenie: Keď je spustenie DAG dokončené (všetky úlohy boli úspešné alebo preskočené/zlyhali), Airflow pokračuje na ďalšie plánované spustenie. Všetky metadáta o minulých spusteniach sú stále uložené v databáze a vždy si môžete skontrolovať históriu. Plánovač bude pokračovať v spúšťaní nových spustení podľa plánu alebo manuálneho spustenia. Tento proces sa opakuje, až kým nie je proces Airflow ukončený.

Pochopenie DAGov v Airflow

DAG v Airflow definuje plán, úlohy a závislosti potrebné na vykonanie pracovného postupu. DAG nemusí vedieť, čo je v každej úlohe; stačí, ak určí, kedy a v akom poradí sa majú spustiť.

Úlohy, operátori a senzory

Úlohy sú základnými jednotkami práce v Airflow. V Airflow sú úlohy inštanciami operátorov, ktoré sú šablónami pre preddefinované akcie. Airflow obsahuje rôzne základné operátory. BashOperator vám umožňuje spúšťať príkazy shellu a PythonOperator vám umožňuje volať Python funkcie. Airflow tiež poskytuje dekorátor @task, ktorý vám umožňuje premeniť bežnú Python funkciu na úlohu.

Okrem operátorov, Airflow poskytuje aj senzory. Senzory sú úlohy, ktoré čakajú na splnenie určitej podmienky alebo udalosti, kým nie sú úspešné. Môžu sa používať napríklad na čakanie, kým sa objaví súbor alebo sa naplní tabuľka.

Závislosti úloh

Na deklarovanie závislostí medzi úlohami používate operátory >> a << (odporúčané) alebo metódy ako set_upstream a set_downstream. Je tiež možné reťaziť úlohy, vytvárať cezhraničné závislosti a dokonca dynamicky zostavovať zoznamy úloh. DAG bez akýchkoľvek závislostí by bol len nezávislým súborom úloh.

Najlepšie postupy pre návrh DAG

Nižšie uvedená tabuľka predstavuje niekoľko usmernení, ktoré treba mať na pamäti pri navrhovaní DAG.

Príklad: Jednoduchý Airflow DAG

Nič neupevňuje koncepty lepšie ako príklad. Prejdime si jednoduchý kód Airflow DAG a vysvetlime jeho časti. Tento príklad vytvorí malý pracovný tok s dvoma úlohami za sebou:

from datetime import datetime
from airflow import DAG
from airflow.operators.bash import BashOperator

# Define the DAG and its schedule
with DAG(
    dag_id="example_dag",
    description="A simple example DAG",
    start_date=datetime(2025, 1, 1),
    schedule_interval="@daily",  # runs daily
    catchup=False
) as dag:
    # Task 1: Print current date
    task1 = BashOperator(
        task_id="print_date",
        bash_command="date"
    )
    # Task 2: Echo a message
    task2 = BashOperator(
        task_id="echo_hello",
        bash_command="echo 'Hello, Airflow!'"
    )
    # Define dependency: task1 must run before task2
    task1 >> task2

Pozrime sa na to, čo sa tu deje:

• importovať potrebné triedy DAG (na definovanie DAG) a BashOperator (na spúšťanie shell/bash príkazov v úlohách). Tiež importujeme datetime na špecifikovanie dátumu začiatku DAG.
• Vytvárame objekt DAG pomocou kontextového manažéra (with DAG(…) as dag:). DAGu priraďte jedinečný identifikátor “example_dag” (musí byť jedinečný v prostredí Airflow), popis (voliteľný, aby ľudia lepšie rozumeli), start_date a schedule_interval. Tu nastavujeme vstavaný schedule_interval prednastavený (@daily) a start_date=datetime(2025,1,1). Tiež sme nastavili catchup=False, aby sme zabránili spätnému doplňovaniu chýbajúcich spustení medzi start_date a dnešným dňom (chceme, aby bežal len odteraz denne). Tento celý blok vytvára DAG, o ktorom budú Airflow informované, aby sa spúšťal denne na začiatku dňa.
• V kontexte DAG potom definujeme dve úlohy:
• task1 je definovaný pomocou BashOperator na vykonanie bash príkazu (date). task_id je „print_date“ a bude sa používať na identifikáciu tejto úlohy v používateľskom rozhraní a v logoch. Keď sa spustí, táto úloha jednoducho vytlačí aktuálny dátum/čas (do logu úlohy).
• task2 tiež používa BashOperator s task_id=“echo_hello”, a príkazom=echo ‘Hello, Airflow!’. Toto vytlačí peknú správu. Tieto úlohy sú momentálne len definované, ešte nie sú prepojené.
• Posledný riadok (task1 >> task2) určuje závislosť (priebeh): task1 prechádza do task2. To znamená, že úloha 1 sa spustí a úspešne dokončí skôr, než môže byť úloha 2 zaradená do plánovania na spustenie. Graficky, v grafe DAG, bude šípka smerujúca z task1 do task2.

Niekoľko vecí, ktoré si treba v tomto príklade všimnúť:

• Použili sme iba BashOperator pre jednoduchosť, ale mohli sme použiť DAG s kombinovanými typmi operátorov. Mohli by sme mať PythonOperator na volanie Python funkcie, alebo SimpleHttpOperator na pingovanie API a podobne.
• Vzor context with DAG(…) as dag je bežný idiom na vytváranie inštancie DAG. Všetky úlohy, ktoré sú vnútri nej vytvorené, sú automaticky priradené k tomuto DAG.
• catchup=False je parameter, ktorý sa používa v mnohých DAGoch so start_date v minulosti, keď nechcete, aby sa spúšťal pre všetky minulé dátumy. Ak by sme nechali catchup=True (predvolené nastavenie) a dnes by bol 10. január 2025, Airflow by sa snažil spustiť DAG pre 1., 2., 3. januára … až do 10. januára, čím by doháňal tieto zmeškané dni v zálohe. Tu sme to vypli pre jednoduchosť.
• Tento príklad používa relatívnu cestu importu pre BashOperator. V Airflow 2 boli mnohé operátory presunuté pod airflow.providers. Tento príklad je napísaný za predpokladu, že tieto providery sú nainštalované (BashOperator je súčasťou samotného jadra Airflow).

Tento jednoduchý príklad sa dá ľahko rozšíriť – môžete pridať ďalšie úlohy (napríklad vykonať volanie API, potom načítať výsledky do databázy a následne odoslať notifikáciu). Môžete tiež pridať zložitejšiu logiku (ako napríklad vetvenie – Airflow podporuje vetvenie typu if/else pomocou BranchOperator, napríklad).

Keď vaše DAG-y rastú, používateľské rozhranie Airflow a logovanie sa stávajú neoceniteľnými na zistenie, čo sa deje. V tomto príklade by log pre print_date obsahoval systémový dátum, ktorý bol vytlačený, a log pre echo_hello by obsahoval „Hello, Airflow!“. Ak by print_date zlyhal (možno by nenašiel príkaz date, v hypotetickom scenári), echo_hello by sa nikdy nevykonal (kvôli závislosti) a beh DAG-u by bol označený ako zlyhaný. Potom by ste mohli skontrolovať log, opraviť problém a znovu spustiť danú úlohu alebo celý DAG.

Bežné prípady použitia Airflow

Nižšie je uvedené prehľadné zhrnutie bežných prípadov použitia Apache Airflow. Tabuľka zdôrazňuje, čo každý prípad použitia zahŕňa a ako Airflow prináša hodnotu v tomto kontexte.

Kedy nepoužívať Airflow

Hoci je Airflow výkonný, nie je vhodným nástrojom pre každú situáciu. Pochopenie jeho obmedzení vám pomôže zvoliť správny prístup k orchestrácii:

• Pracovné zaťaženie v reálnom čase alebo prúdové: Airflow je orientovaný na batch spracovanie s jasne definovaným začiatkom a koncom. Nie je určený pre dlhodobé, udalostne riadené alebo prúdové pracovné zaťaženia. Ak prijímate neustále prúdy udalostí (kliknutia používateľov, IoT senzory atď.) a potrebujete ich spracúvať s veľmi nízkou latenciou v reálnom čase, Airflow nie je najvhodnejším riešením.
• Úlohy s vysokou frekvenciou alebo mnoho krátkych úloh: Toto je ďalší prípad, kedy Airflow nemusí fungovať, alebo aspoň nie efektívne. Úlohy v Airflow majú určitú réžiu (pri sledovaní v databáze atď.), takže ak potrebujete spúšťať niečo každých niekoľko sekúnd alebo máte tisíce malých úloh, Airflow nemusí dobre škálovať.
• Čisto na udalostiach založené pracovné toky: To je podobné použitiu pri streamovaní, ale pre niečo, čo by malo byť spustené udalosťou. „Kedykoľvek nastane udalosť X, urobte Y“ je úplne platný prípad použitia pre Airflow, ale ak by jedinou vecou, ktorá by to mala spustiť, bola udalosť (napr. „kedykoľvek dorazí súbor do S3 bucketu, urobte X“), potom Airflow nie je najľahším riešením. Airflow všeobecne používa senzory (napríklad S3KeySensor) na „zistenie“ prítomnosti súborov/udalostí. Senzory majú nevýhody, pretože sa spoliehajú na polling. Problémy so senzormi zahŕňajú spúšťanie pri existujúcich súboroch a nemusia byť nevyhnutne citlivé na udalosti (napr. vykonávajú polling v určitých intervaloch).

Stručne povedané, Airflow je vhodný pre pracovné postupy, ktoré sú periodické, zamerané na dávky alebo zložité na definovanie a správu. Nemusí byť vhodný, ak váš prípad použitia vyžaduje spracovanie v reálnom čase alebo kontinuálne spracovanie, veľmi časté úlohy alebo veľmi jednoduché pracovné postupy, ktoré nepotrebujú režijné náklady Airflow. V takom prípade by ste mali zvážiť preskúmanie iných možností alebo zjednodušenie vášho riešenia.

Alternatívy k Airflow

Priestor pre orchestráciu pracovných procesov sa v posledných rokoch výrazne rozrástol, a hoci je Airflow lídrom, existuje niekoľko alternatívnych nástrojov, ktoré stojí za to poznať:

Airflow nie je jedinou možnosťou, a najlepšia voľba závisí od vášho konkrétneho prípadu použitia. Luigi, Prefect a Dagster sú bežne uvedené ako hlavné ďalšie open-source možnosti v tejto oblasti (orkestračné nástroje pre workflow založené na Pythone). Ak vám príde zastarané používateľské rozhranie Airflow alebo iné obmedzenia nepraktické, mali by ste zvážiť ich hodnotenie. Prefect sa snaží byť „lepšou“ alebo „jednoduchšou“ verziou Airflow, Dagster sa snaží byť viac „štruktúrovaným“ orchestrátorom so zameraním na dátové aktíva a Luigi je jednoduchší predchodca Airflow. Na druhej strane, ak sa váš prípad použitia výrazne líši (napríklad streamovanie v reálnom čase alebo úplne cloud-native), možno Airflow vôbec nepoužijete a priamo zvážite streamovacie platformy alebo spravované orchestrácie.

Záverečné myšlienky

Apache Airflow je open-source platforma na orchestráciu komplexných výpočtových pracovných tokov a dátových spracovateľských pipelineov. Pôvodne vyvinutý v Airbnb, získal značnú popularitu v komunitách dátového inžinierstva a strojového učenia. Komponenty Airflow zahŕňajú plánovač, vykonávací modul, pracovníkov, databázu metadát a webové používateľské rozhranie. To umožňuje tímom jednoducho spúšťať a udržiavať produkčné ETL, MLOps a infraštruktúrne pipeliney. Abstrakcia DAG (Directed Acyclic Graph) v Airflow umožňuje udržiavať pracovné toky explicitné, testovateľné a udržiavateľné v čase. Ekosystém komunity vytvorených operátorov a poskytovateľov platformy tiež zjednodušuje orchestráciu pracovných tokov, ktorá závisí od akejkoľvek technológie alebo nástroja.

Nie je to však riešenie vhodné pre všetkých. Najlepšie funguje s dávkovými alebo mikro-dávkovými pipeline a používatelia sa musia cítiť pohodlne s Python‑om. Pre streamovacie alebo vysokofrekvenčné pracovné postupy existujú iné riešenia vhodnejšie ako Airflow. Pre dátových vedcov alebo tímy, ktoré uprednostňujú písanie deklaratívnych pipeline, môžu byť alternatívne nástroje k Airflow hodné zváženia.

Airflow je stále aktívne vyvíjaný a postupne doň pribúdajú nové funkcie, ako napríklad plánovanie založené na udalostiach, datasety a aktíva. Koncepty a osvedčené postupy predstavené v tomto návode by vám mali pomôcť, bez ohľadu na vaše skúsenosti, pochopiť, ako funguje orchestrace pracovných tokov a kedy by sa mal Airflow používať (alebo nie). Dúfajme, že to bude slúžiť ako odrazový mostík na ďalšie skúmanie tohto bohatého sveta.

Odkazy

• Apache Airflow
• Čo je Airflow?
• Apache Airflow: Použitie, architektúra a 6 tipov na úspech
• Úvod pre začiatočníkov do Airflow s Dockerom — dátové pipeline v cloude (I)
• 8 alternatív k Airflow - prípady použitia
• Prehľad architektúry
• Plánovač

Ďakujeme, že sa učíte s komunitou Linux-Console.net.