Универсальный коллектор для интеграции КХД с Kafka

Опыт разработки и внедрения универсального коллектора для интеграции КХД с Kafka #java Привет, Хабр! В этой статье хочу поделиться нашим опытом интеграции с Kafka. В Мегафоне несколько десятков сервисов являются потребителями данных, публикуемых в кластерах Kafka. Все они разрабатывались под узкоспециализированные задачи. В какой-то момент в нашем КХД также появилась необходимость интеграции с Kafka. При разработке первой интеграции мы пошли традиционным путем и использовали Kafka Connect для Confluent 6.0.1. Сообщения, читаемые коннектором, перекладывались в Hadoop. Далее в PySpark выполнялся парсинг нужных данных, и полученные пачки выгружались в Oracle Exadata. Но на этапе опытно-промышленной эксплуатации у нас возникли проблемы с производительностью из-за большого объема читаемых данных: ~100-110 млн сообщений в час (поток со звонками абонентов). Также было требование от

link