Эффективные алгоритмы поиска подобных объектов для терабайтов данных / Евгений Журин (Segmento)
0 likes•1,383 views
Документ обсуждает эффективные алгоритмы поиска похожих объектов в больших наборах данных, используя метрики, такие как евклидово расстояние и расстояние Джаккара. В нем рассматриваются методы обработки профилей пользователей и трафика веб-сайтов для построения рекомендаций и фильтрации интересной аудитории. Также упоминается использование hэш-функций и локально чувствительных хэширований для анализа и повышения производительности модели.
Эффективные алгоритмы поиска подобных объектов для терабайтов данных / Евгений Журин (Segmento)
- 1. Эффективные алгоритмы поиска подобных объектов для терабайтов данных Евгений Журин, data scientist, Segmento
- 3. 3 Расстояние Джаккарда А ВА В U А ВА U В
- 4. 4 Look aLike
- 5. 5 Задача: Look aLike Вся аудитория, которую мы видим Интересная аудитория, которую надо найти example.com просмотрели >=2 страниц
- 6. 6
- 7. 7 У нас было 1. 250 000 000 + профилей 2. 1 000 000 +- площадок 3. 30000 RPS (2.5 млрд. в день)
- 8. 8 Что такое для нас профиль? offline данные История поведения в интернете Контекстная информация (где, откуда, с какого устройства)
- 9. 9 Как можно представить профиль kaggle.com westerns.ru habrahabr.ruguns.ru
- 11. 11 Чистим данные 1. Выкидываем профили с недостаточной статистикой 2. И сайты, с которых идет больше всего и меньше всего трафика
- 13. 13 Матричное представление профилей hosts/profiles index kaggle.com 1 1 0 1 habrahabr.ru 2 0 1 0 machinelearning. ru 3 1 0 1 analyticsvidhya.c om 4 0 1 0
- 14. 14 Jaccard = 0 Jaccard = 1 Jaccard = 0
- 15. 15 Хэш функции index kaggle.com 1 machinelearning.ru 3 index kaggle.co m machinelearning.ru Minhash (index + 1) mod 3 2 1 1 (2*index + 1) mod 3 0 1 0
- 16. 16 MinHash представление (x + 1) mod 3 1 0 1 (2x + 1) mod 3 0 0 0
- 17. 17 Jaccard = 0,5 Jaccard = 1 Jaccard = 0,5
- 18. 18 Как выбрать количество хэш функций 0.0 0.02 0.04 0.06 0.08 0.10 200000 400000 600000 800000 1000000 Numberofhashfunctions Error Например: мы хотим ошибку не больше, чем 10% , для этого нам нужно 100 хэш функций, а для ошибки 1% процент нам нужно уже 10000 функций.
- 19. 19 Как выбрать параметры хэш функций? a, b — случайные целые числа < max(x) c — простое число, чуть большее чем max(x), общее для всех h(x) = (ax + b) mod c
- 21. 21 Banding hash1 1 1 hash2 3 3 hash3 1 1 hash4 2 4 band1 band2
- 22. 22 Этап выделения профилей для расчета расcтояний Band 1 Band 2 Band 3 Band 4 целевая аудитория (просмотрел на example.com >=2 страниц) Фильтруем Интересный бэнд Фильтруем
- 23. 23 k — ближайших соседей в пределах интересного бэнда. J J J J J J J J J J
- 24. 24 1 – (1-s^10)^10 Jaccard similarty of profiles 0.0 0.2 0.4 0.6 0.8 1.0 1.0 0.8 0.6 0.4 0.2 0.0 Probabilityofbecomingacandidate 1 – (1-s^5)^20 Как выбрать количество бэндов?
- 25. 25 Но эксперимент никто не отменял Долго, дорого и очень хорошо Быстро, дешево и не очень хорошо
- 27. 27
- 28. 28 DIMSUM Dimension Independent Matrix Square using MapReduce
- 29. 29 Что у нас есть? machinelearning.ru habrahabr.ru 1 4 8 1 7 9 Матрица A размерности MxN, где M >> N и 0 <= a <=1 и кол-во ненулевых элементов в строке <= L << N
- 30. 30 Что хотим найти? Похожесть сайтов на основе их посещения аудиторией. Более формально и в более общем виде – задача расчета матрицы расстояний между столбами.
- 31. 31 Зачем? 1) Снижение размерности 2) Нужно в маркетинговых исследованиях
- 32. 32 Наивно, долго, точно Dimsum, быстро и почти точно
- 34. 34 Спасибо !