Что такое deduplication?
Дедупликация событий с каноническим выбором, оценкой репутации и группировкой на основе хеша для агрегации данных из нескольких источников. Обеспечивает дедупликацию как на основе идентификаторов, так и на основе контента. Источник: dadbodgeoff/drift.