Как масштабировать item2item‑отбор кандидатов

Как практически бесконечно масштабировать item2item-отбор кандидатов #java Привет, Хабр! Меня зовут Алексей Васильев, я руковожу группой рантайма рекомендаций в AI VK. Наша команда отвечает за то, чтобы рекомендательные системы работали быстро и надёжно под нагрузкой в сотни тысяч запросов в секунду. Сегодня расскажу историю о том, как мы переработали архитектуру item2item-отбора кандидатов, сократили потребление память в десять раз и при этом увеличили ключевые метрики — казалось бы, взаимоисключающие результаты, но в мире больших данных возможно всё. Поговорим про горячие и холодные данные, про то, как мы разменяли память на сеть, почему после всех оптимизаций timespent вырос на 4 %, и что мы сделали для open-source сообщества в процессе решения наших задач.

link