First complete Airflow DAG
This MR adds the first complete Airflow DAG with the following tasks:
- wait for the latest Wikidata snapshot date with a Hive sensor
- Wikidata weighted tags for the Commons search index (https://phabricator.wikimedia.org/T302095)
- all-Wikis image suggestions for Cassandra (https://phabricator.wikimedia.org/T299789)
- suggestion flags for Wikis search indices (https://phabricator.wikimedia.org/T299884)
- clean up HDFS
-
suggestionsCassandra table (https://phabricator.wikimedia.org/T293808) -
title_cacheCassandra table (https://phabricator.wikimedia.org/T293808) -
instanceof_cacheCassandra table (https://phabricator.wikimedia.org/T293808)