Airflow vs DVC: как использовать в ML

Как прийти к использованию Airflow, и причём тут Data Version Control (DVC) #docker Всем доброго времени суток! Меня зовут Никифоров Сергей, я ML-инженер из команды рекомендательных систем в компании ТехВилл. Сегодня хочу рассказать вам, как мы переходили от одной системы управления данными и вычислениями к другой такой системе. А именно, сравню Data Version Control (DVC) и оркестратор Airflow. Эта статья не претендует на полный разбор двух инструментов, её цель — показать, как переход на Airflow был устроен у нас в команде, предостеречь от ошибок. Статья предназначена для ML-разработчиков, которые хотят выбрать для себя, какой инструмент использовать. Поэтому для начала дам базовую информацию о каждом инструменте, а затем расскажу, как переезд был устроен в нашем случае. Ну что же, приступим!

link