데이터 엔지니어링/Airflow
Airflow ExternalTaskSensor 사용법 (execution_date_fn 때문에 삽질한 후기...)
ExternalTaskSensor 왜 사용할까? 세탁이 끝나고 나면 무엇을 해야할까? 아마도 빨래를 이쁘게 개어서 수납을 해야할 것이다(말리는 게 먼저겠지만 그건 건조기가 해줬다고 치고...) 당연하게도 세탁이 끝나지 않았다면 빨래를 개지도 못할 것이다. 따라서 빨래를 개는 작업은 세탁이 끝난 이후에 진행할 수 밖에 없다. 그래서 보통 세탁기를 돌려놓고 다른 일을 하다가 세탁기가 끝났다는 벨소리를 울리면 그 때 빨래를 갤 것이다(머리속에서 울리는 익숙한 LG 세탁기의 벨소리...) 왜 빨래 이야기를 이렇게 장황하게 할까? 오늘 말할 ExternalTaskSensor가 딱 이러한 프로세스에 사용되기 때문이다. 이름에서도 대충 알 수 있듯이 ExternalTaskSensor는 외부 태스크가 끝났는지를 감지하..
