BigData Week Moscow 2013 - Case: Personalization
Download as PPTX, PDF0 likes679 views
Документ обсуждает применение персонализации контента и машинного обучения для анализа больших данных, включая определение пола пользователей на основе их активности. Приводятся методы работы с логами, использование алгоритмов, таких как Random Forest, и требования к сервисам обработки информации, а также вопросы точности и полноты классификации. Упоминается команда разработчиков и текущие проблемы, связанные с инфраструктурой и тестированием.
![Как считать квантили
# Сортируем и выписываем каждое N-ое соотношение
map (feature, ratio):
write (ratio)
reduce (ratioList):
for i in 1 .. N-1:
write (ratioList [i / N * count])](https://image.slidesharecdn.com/bigdataweek-2013-04-27-130429105558-phpapp01/85/BigData-Week-Moscow-2013-Case-Personalization-43-320.jpg)
BigData Week Moscow 2013 - Case: Personalization
- 1. Персонализация: наш случай Горохов Антон Мезенцев Павел Рамблер 2013
- 2. Персонализация: что это? Контент, подходящий пользователю: • Новости • Баннеры • Статьи
- 3. Персонализация: что это? Контент, подходящий пользователю: • Новости • Баннеры • Статьи А зачем? • деньги • лояльность • деньги • и т.д.
- 6. План действий логи hadoop математики
- 7. План действий логи hadoop математики чудесное средство
- 8. … добавляем в наши проекты
- 9. • Демографию • Интересы • Новостные сюжеты Что считать?
- 10. • Скорость ответа: 20 мс • Актуальность данных • Емкость 300 млн. профилей Требования к сервису
- 11. Общая схема
- 12. база в памяти ключ-значение значение: строка, массив, хеш- таблица, множество удобный интерфейс + API expire ключей o репликация o дамп на диск Online часть: база Redis
- 13. • скорость ответа (логи nginx) • что отдаем и сколько • какого качества Online часть: мониторинг
- 14. • MapReduce задача (!) • шардинг по user_id – каждый сервер Redis – свой диапазон • mapper отправляет пачки ключей на каждый сервер redis • можно загружать в бою Загрузчик в Redis
- 15. Как определить пол человека? • Логи → фичи пользователей (URLы, домены, рубрики, число посещений) • Train/test – пользователи с известным полом • Обучение и построение классификатора • Классификация test выборки Offline часть: машинное обучение
- 16. Качество классификации 13 мужчин, 13 женщин
- 17. Качество классификации 13 мужчин, 13 женщин • классификатор выдает вероятность 0.75 0.9 0.6 0.4 0.8 0.97 0.2
- 18. Качество классификации 13 мужчин, 13 женщин • классификатор выдает вероятность • из 13 мужчин определили 9 => полнота = 9/13 = 69% • из 12 «мужчин» ими являются 9 => точность = 9/12 = 75% тут настоя щие мужчи ны тут настоящие мужчины 0.75 0.9 0.6 0.4 0.8 0.97 0.2
- 19. Компромисс точность/полнота 0.5 0.6 0.7 0.8 0.9 1 0 0.2 0.4 0.6 0.8 1 полнота (recall) точность(precision)
- 20. Компромисс точность/полнота 0.5 0.6 0.7 0.8 0.9 1 0 0.2 0.4 0.6 0.8 1 полнота (recall) точность(precision)
- 21. Компромисс точность/полнота 0.5 0.6 0.7 0.8 0.9 1 0 0.2 0.4 0.6 0.8 1 полнота (recall) точность(precision)
- 22. • Цель: выбрать фичи, классификатор и параметры • Работаем с семплом (1-3% аудитории) • Можно без MapReduce ▫ проще и быстрее ▫ стандартные инструменты (weka) Эксперименты
- 23. 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 М Ж Результаты метода Байеса точность полнота
- 24. 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 М Ж Результаты метода Байеса точность полнота prec_m = 0.55 prec_f = 0.45 В тестовой выборке: 45% ж + 55% м
- 25. 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 М Ж Результаты метода Байеса точность полнота c точностью ≥ 0.75 классифицируем 40% мужчин9% женщин
- 26. • Фильтрация фич (выделение значимых): ▫ число посещений ▫ число пользователей • Поиск новых фич • Фильтрация пользователей для train/test: ▫ боты (>3000 посещений в сутки) ▫ «вялые» (мало посещений, мало «хороших» фич) • Параметры метода Байеса: ▫ нормировка ▫ параметр сглаживания ▫ веса ▫ … • Эксперименты, проверка, анализ результатов Как улучшить качество?
- 27. • Классификатор выдает вероятность • Нам хочется точность для каждого элемента • Отображение «вероятность → точность» строится по классификации на test: ▫ график точность/полнота ▫ график вероятность/полнота ▫ через полноту строим отображение Как избавиться от вероятности?
- 28. логи пользователи + фичи классификатор train set Построение классификатора test set точность/полнота обучение классификация фильтрация вероятность → точность
- 29. пользователи + фичи классификатор Работа классификатора пользователи – класс + вероятность классификация вероятность → точность пользователи – класс + точность преобразование вероятности в точность
- 30. 1. Обработка логов 2. Анализ фич и пользователей 3. Фильтрация 4. Построение выборок (train/test) 5. Обучение – нет, но это надо доказать 6. Классификация всех пользователей 7. Перевод вероятности в точность Где тут Big Data?
- 31. Метод снижения размерности (grid): если 2 домена имеют схожую посещаемость и схожее соотношение мужчин и женщин, то это одна фича Проблема 1: много фич
- 32. Пример: построение списка всех user_id для данного домена за 30 дней Решение: datanode с большим RAM использует общий HDFS, задачи выполняет локально За: ▫ если задача не ложится на MR ▫ может работать быстро Против: ▫ плохо расширяемо ▫ трудно поддерживать Проблема 2: «тяжелые» задачи
- 33. • Зависимости между задачами • Юнит-тесты • Развертывание • Поддержка • Мониторинг • … Проблема 3: надежность
- 34. • 1 000 000 000 событий в день • 300 млн. пользователей • 2 млн с известным полом Как узнать пол остальных? Задача
- 35. • Посещенным доменам • Посещенным урлам • По условным "рубрикам" • Как нибудь еще? Как классифицировать?
- 36. • Входные значения крайне разрежены • У нас получилось ~400 тыс фич • Пользователь имеет от 10 до 1000 фич Проблема
- 37. • Определяем отношение мужчин/женщин на фиче • Делим все фичи на N квантилей по полу Grid. Построение оси X
- 38. • Строим распределение фич по посещаемости • Находим границы M квантилей Grid. Построение оси Y
- 39. Заполнение грида
- 40. • Шаг 1. Статистика по пользователям • Шаг 2. Выкинуть «слабых» пользователей • Шаг 3. Выкинуть «слабые» фичи • Шаг 4. Найти квантили по полу • Шаг 5. Найти квантили по возрасту • Шаг 6. Отнести каждого пользователя к своей квантили Перенос на mapReduce
- 41. Как считать квантили map (id, data): write (feature, sex) reduce (feature, sexList): write (feature, length (males(sexList))/(length (sexList)) # Находим отношение по полу для каждой из фич
- 42. Как считать квантили # Считаем число фич map (feature, ratio): write (count (feature)) reduce (countsList): write (sum (countsList)) # Или используем счетчик на шаге 1 map (id, data): write (feature, sex) reduce (feature, sexList): write (feature, length (males)/(length (sexList)) count ("features", +1)
- 43. Как считать квантили # Сортируем и выписываем каждое N-ое соотношение map (feature, ratio): write (ratio) reduce (ratioList): for i in 1 .. N-1: write (ratioList [i / N * count])
- 44. •Train: 2 млн человек •Full: 300 млн человек • Машинное обучение на mahout •«Математиками» предложен алгоритм random forest Использование классификатора
- 45. Random Forest
- 46. Random Forest = + +
- 47. •Классический алгоритм: каждое дерево строится на своей случайной подвыборке •Mahout реализация: подвыборка делается из входных значений маппера Random Forest
- 48. При классификации: • Каждое дерево определяет пол • Лес выдает «самый популярный» ответ • Мы добавили в классификатор % проголосовавших деревьев Random Forest
- 50. • FreeBSD • 70 серверов 8-16 cores, 64RAM, 4HDD • NN и JT практически идентичны • сервера для запуска задач и локальных вычислений с доступом в HDFS • Python – основной язык разработки • много Java, немного R и shell • Hive и streaming • pydoit для зависимостей • тестовый кластер Что используем
- 51. • отсутствие прав (чтение/запись в HDFS) • firewall на машинах кластера • отсутствие необходимых пакетов на нодах • нехватка места в HDFS • электричество и сетевой канал • java heap size • кривые руки • холивар FreeBSD/Linux Типичные проблемы
- 52. • Внутренний мониторинг • Внешний аудит (TNS): ▫ c точностью 82% определяем пол 83% пользователей ▫ c точностью 79% - возраст (3 группы) 55% пользователей Качество сервиса
- 53. Проект «Нового мира» удобная фильтрация фич и пользователей «коктейль» из фич на любой вкус сокращение train выборок python + hiveпростое тестирование классификато ров