Яндекс представил YTsaurus Flow для обработки данных в реальном времени с гарантиями exactly-once
Новый фреймворк YTsaurus Flow позволяет обрабатывать более 100 ГБ/с в реальном времени без потерь и дублей, обеспечивая надежность даже при сбоях.
Flow использует хранилище, очереди и общий механизм транзакций платформы, чтобы брать на себя управление состоянием и восстановление обработки после сбоев.
Разработчик пайплайна при этом сосредоточивается на прикладной логике.
YTsaurus Flow открывает исходный код под лицензией Apache® 2.0, что позволяет использовать его в различных проектах.
Например, переход на Flow помог сократить задержку поставки данных для дообучения моделей с десятка-другого часа примерно до двух.
Видео из первоисточника
Что пока неизвестно
Информация о конкретных преимуществах и примерах использования YTsaurus Flow не предоставлена в источнике.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.