문제는 어느 정도 규모로 직접 경험해 보기 전 까지는 Airflow가 자신에게 맞는건지 예측하기가 쉽지 않더라고요.
유명한 것 치곤 사전에 알기 힘든 함정들이 좀 있는 거 같아요.
이벤트 기반 DAGrun 트리거 부재, 쉽지 않은 로컬 개발 (2.2에서 airflow standalone 이 생겨서 좀 더 수월해지긴 했어요), 다이나믹하지 않은 DAG 구성, 내부 작동을 잘 모르면 jinja템플랫을 안쓰고 Variable을 잘못 사용하기 쉬운 점 등등...
문제는 어느 정도 규모로 직접 경험해 보기 전 까지는 Airflow가 자신에게 맞는건지 예측하기가 쉽지 않더라고요.
유명한 것 치곤 사전에 알기 힘든 함정들이 좀 있는 거 같아요.
이벤트 기반 DAGrun 트리거 부재, 쉽지 않은 로컬 개발 (2.2에서 airflow standalone 이 생겨서 좀 더 수월해지긴 했어요), 다이나믹하지 않은 DAG 구성, 내부 작동을 잘 모르면 jinja템플랫을 안쓰고 Variable을 잘못 사용하기 쉬운 점 등등...
다음 프로젝트는 한번 Dagster를 경험해 보고 싶네요