Как Lamoda Tech варит данные для ML

От сырого кликстрима к чистым датасетам: как мы в Lamoda Tech варим данные #Spring kafka Привет, Хабр! Это тимлид DS группы ранжирования и поиска Дана Злочевская и тимлид группы разработки Михаил Нестеров из Lamoda Tech. Как и у любой крупной e-commerce платформы, данные — наш главный актив. Они помогают бизнесу принимать обоснованные решения, а пользователям — получать персонализированный, качественный опыт во всех продуктах Lamoda. Поэтому в продакшене ежедневно работают десятки ML-пайплайнов, а в Airflow запускаются сотни DAG-воркфлоу. Данные готовят и используют более 100 специалистов из самых разных команд: аналитики, дата-сайентисты, ML-инженеры, маркетологи — у каждой свои задачи и логика работы с ними. Однако с ростом команд, задач и инфраструктуры мы начали сталкиваться с рядом системных проблем: • Разрозненные подходы к подготовке данных. Каждая команда собирала данн

link