20141223 머하웃(mahout) 협업필터링_추천시스템구현
59 likes16,898 views
머하웃(mahout) 협업필터링_추천시스템구현
![Mahout 설치
1) Mahout 0.9 다운로드
http://mahout.apache.org 접속 후 다운로드
2) 계정 홈 디렉토리로 mv
$ mv mahout-distribution-0.9.tar.gz ~
3) 압축을 풀고 mahout 심볼릭 링크를 생성
$ ln -s mahout-distribution-0.9 mahout
4) .bash_profile에 MAHOUT_HOME과 PATH 추가
1 # .bash_profile
2
3 # Get the aliases and functions
4 if [ -f ~/.bashrc ]; then
5 . ~/.bashrc
6 fi
7
8 # User specific environment and startup programs
9
10 export JAVA_HOME=$HOME/java
11 export HADOOP_HOME=$HOME/hadoop
12 export PYTHON_HOME=$HOME/python
13 export MAHOUT_HOME=$HOME/mahout
14
15 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PYTHON_HOME/:$MAHOUT_HOME/bin
16
17 export PATH](https://image.slidesharecdn.com/20141223mahout-150215072712-conversion-gate01/85/20141223-mahout-_-2-320.jpg)
![Mahout 프로그래밍
UserRecommend 클래스
public class UserRecommend {
public static void main(String[] args) throws Exception{
/* 데이터 모델 생성 */
DataModel dm = new FileDataModel(new File("data/movies.csv"));
/* 유사도 모델 생성 */
UserSimilarity sim = new PearsonCorrelationSimilarity(dm);
/* 모든 유저들로부터 주어진 유저와 특정 임계값을 충족하거나 초과하는 neighborhood 기준 */
UserNeighborhood neighborhood = new ThresholdUserNeighborhood(0.1, sim, dm);
/* 사용자 추천기 생성 */
UserBasedRecommender recommender = new GenericUserBasedRecommender(dm, neighborhood, sim);
int x= 1;
/* 데이터 모델 내의 유저들의 iterator를 단계별로 이동하며 추천 아이템들 제공 */
for(LongPrimitiveIterator users = dm.getUserIDs(); users.hasNext();){
long userID = users.nextLong(); /* 현재 유저 ID */
/* 현재 유저 ID에 해당되는 5개 아이템 추천 */
List<RecommendedItem> recommendations = recommender.recommend(userID, 5);
for(RecommendedItem recommenation : recommendations){
System.out.println(userID +","+ recommenation.getItemID()+","+recommenation.getValue());
}
if(++x > 5) break; /* 유저 ID 5까지만 출력 */
}
}
}](https://image.slidesharecdn.com/20141223mahout-150215072712-conversion-gate01/85/20141223-mahout-_-15-320.jpg)
![Mahout 프로그래밍
ItemRecommend 클래스
public class ItemRecommend {
public static void main(String args[]){
DataModel dm;
try {
/* 데이터 모델 생성 */
dm = new FileDataModel(new File("data/movies.csv"));
/* 유사도 모델 선택 */
ItemSimilarity sim = new PearsonCorrelationSimilarity(dm);
/* 추천기 선택 : ItemBased */
GenericItemBasedRecommender recommender = new GenericItemBasedRecommender(dm, sim);
int x=1;
/* 데이터 모델 내의 item들의 iterator를 단계별 이동하며 추천 아이템들 제공 */
for(LongPrimitiveIterator items = dm.getItemIDs(); items.hasNext();){
long itemID = items.nextLong(); /* 현재 item ID */
/*현재 item ID와 가장 유사한 5개 아이템 추천 */
List<RecommendedItem> recommendations = recommender.mostSimilarItems(itemID, 5);
/* 유사한 아이템 출력 = "현재 아이템 ID | 추천된 아이템 ID | 유사도" */
for(RecommendedItem recommendation : recommendations){
System.out.println(itemID + ","+recommendation.getItemID() + "," + recommendation.getValue());
}
x++;/* 아이템 ID 5까지 유사한 아이템들 5개씩 */
if(x>5) System.exit(0);
}
} catch (IOException | TasteException e) {
e.printStackTrace();
}
}
}](https://image.slidesharecdn.com/20141223mahout-150215072712-conversion-gate01/85/20141223-mahout-_-18-320.jpg)
20141223 머하웃(mahout) 협업필터링_추천시스템구현
- 2. Mahout 설치 1) Mahout 0.9 다운로드 http://mahout.apache.org 접속 후 다운로드 2) 계정 홈 디렉토리로 mv $ mv mahout-distribution-0.9.tar.gz ~ 3) 압축을 풀고 mahout 심볼릭 링크를 생성 $ ln -s mahout-distribution-0.9 mahout 4) .bash_profile에 MAHOUT_HOME과 PATH 추가 1 # .bash_profile 2 3 # Get the aliases and functions 4 if [ -f ~/.bashrc ]; then 5 . ~/.bashrc 6 fi 7 8 # User specific environment and startup programs 9 10 export JAVA_HOME=$HOME/java 11 export HADOOP_HOME=$HOME/hadoop 12 export PYTHON_HOME=$HOME/python 13 export MAHOUT_HOME=$HOME/mahout 14 15 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PYTHON_HOME/:$MAHOUT_HOME/bin 16 17 export PATH
- 3. 협업 필터링 알고리즘 Collarborative filtering 1. User based – (첫째, 비슷한 사용자 찾음) • 취향이 비슷한 유저 B가 어떤 아이템을 구매했는지 확인 후 B가 구매했던 상품으로 추천 2. Item based – (첫째, 비슷한 아이템 찾음) • 내가 구매했던 상품들을 기반으로, 연관성이 있는 상품을 추천 User based Recommendation Item based Recommendation
- 4. 유사도 Similarity 1. Euclidean Distance • 두 객체 간의 선호도 거리를 계산하여, 작을 수록 비슷한 성향을 가짐 2. Cosine Similarity (=Pearson Similarity) • 두 객체 간의 선호도를 벡터화 하여, 벡터 사이의 각도가 적을 수록 유사 3. Jaccard Similarity • 두 객체 간의 요소들의 전체 요소들 중 교집합되는 요소가 차지하는 비중
- 5. Mahout What is Mahout? The Apache Mahout™ project's goal is to build a scalable machine learning library. • Clustering (군집화) • Classification (분류) • Recommendation (추천 및 협업필터링) • Pattern Mining (패턴 마이닝) • Regression (회귀 분석) • Evolutionary Algorithms (진화 알고리즘) • Dimension reduction (차원 리덕션) Mahout is made by JAVA • We can use Mahout core libarary for java programming. • NO HADOOP ONLY.
- 6. Mahout 프로그래밍 Recommendation 1. MovieLens 데이터 셋 ( http://grouplens.org/datasets/movielens ) • 10만개 / 1백만개 / 1천만개 별로 평가 데이터 셋 제공 • 미국 내 상영된 영화를 사용자들이 평가한 결과물 1997/9/19 ~ 1998/4/22간 • 미네소타 대학 컴퓨터과학 연구실에서 수집한 추천 알고리즘을 위한 학습데이터 다운로드(약 4.8MB)
- 7. 2. SLF4J 라이브러리 (http://www.slf4j.org ) • mahout 라이브러리 호환성 필요 Mahout 프로그래밍 Recommendation 다운로드(약 4.3MB)
- 8. 3. GUAVA 라이브러리 ( https://code.google.com/p/guava-libraries ) • mahout의 데이터 객체는 guava 라이브러리 의존 Mahout 프로그래밍 Recommendation 다운로드(약 4.3MB) 다운로드(약 2.2MB)
- 9. 4. Apache commons Math 라이브러리 (http://commons.apache.org/proper/commons-math ) • 수치 계산용 라이브러리 Mahout 프로그래밍 Recommendation 다운로드(약 14.3MB)
- 10. 최종 라이브러리 리스트 • commons-math3-3.4.jar • guava-18.0.jar • mahout-core-0.9.jar • mahout-integration-0.9.jar • mahout-math-0.9.jar • slf4j-api-1.7.7.jar • slf4j-nop-1.7.7.jar Mahout 프로그래밍 Recommendation
- 11. Mahout 프로그래밍 Item Based Recommendation 프로젝트 생성 • ItemRecommender • Java 5 SDK 이상
- 12. Mahout 프로그래밍 Item Based Recommendation 프로젝트 개발 준비 • Libraries는 모두 lib 폴더 밑으로 복사 • ml-100k.zip(MovieLens 데이터)를 압축을 푼 뒤 data 폴더로 u.data를 복사 README 파일 내 설명 u.data -- The full u data set, 100000 ratings by 943 users on 1682 items. Each user has rated at least 20 movies. Users and items are numbered consecutively from 1. The data is randomly ordered. This is a tab separated list of user id | item id | rating | timestamp. The time stamps are unix seconds since 1/1/1970 UTC
- 13. Mahout 프로그래밍 Recommendation 프로젝트 개발 준비 • u.data 파일을 csv 파일 형태로 변경하여 movies.csv로 저장 • u.data 파일의 각 요소별 구분자인 t 을 콤마(,)로 치환
- 14. Mahout 프로그래밍 User Based Recommendation 클래스 추가 • 패키지 : recommend.item • 클래스 : UserRecommend Java Build Path 추가
- 15. Mahout 프로그래밍 UserRecommend 클래스 public class UserRecommend { public static void main(String[] args) throws Exception{ /* 데이터 모델 생성 */ DataModel dm = new FileDataModel(new File("data/movies.csv")); /* 유사도 모델 생성 */ UserSimilarity sim = new PearsonCorrelationSimilarity(dm); /* 모든 유저들로부터 주어진 유저와 특정 임계값을 충족하거나 초과하는 neighborhood 기준 */ UserNeighborhood neighborhood = new ThresholdUserNeighborhood(0.1, sim, dm); /* 사용자 추천기 생성 */ UserBasedRecommender recommender = new GenericUserBasedRecommender(dm, neighborhood, sim); int x= 1; /* 데이터 모델 내의 유저들의 iterator를 단계별로 이동하며 추천 아이템들 제공 */ for(LongPrimitiveIterator users = dm.getUserIDs(); users.hasNext();){ long userID = users.nextLong(); /* 현재 유저 ID */ /* 현재 유저 ID에 해당되는 5개 아이템 추천 */ List<RecommendedItem> recommendations = recommender.recommend(userID, 5); for(RecommendedItem recommenation : recommendations){ System.out.println(userID +","+ recommenation.getItemID()+","+recommenation.getValue()); } if(++x > 5) break; /* 유저 ID 5까지만 출력 */ } } }
- 16. Mahout 프로그래밍 UserRecommend 클래스 실행 결과 1,1558,5.0 1,1500,5.0 1,1467,5.0 1,1189,5.0 1,1293,5.0 2,1643,5.0 2,1467,5.0 2,1500,5.0 2,1293,5.0 2,1189,5.0 3,1189,5.0 3,1500,5.0 3,1302,5.0 3,1368,5.0 3,1398,4.759591 4,1104,4.7937207 4,853,4.729132 4,169,4.655577 4,1449,4.60582 4,408,4.582672 5,1500,5.0 5,1233,5.0 5,851,5.0 5,1189,5.0 5,119,5.0 1,1500,5.0 1,1467,5.0 1,1189,5.0 1,1293,5.0 1,1367,4.7517056 2,1500,5.0 2,1293,5.0 2,1189,5.0 2,1449,4.608227 2,1594,4.5082903 3,1500,5.0 3,1189,5.0 3,1293,5.0 3,1449,4.76954 3,1450,4.686902 4,1467,5.0 4,1500,5.0 4,1189,5.0 4,1293,5.0 4,1594,4.566541 5,1500,5.0 5,1467,5.0 5,1189,5.0 5,1293,5.0 5,1642,4.66432 sim = new PearsonCorrelationSimilarity(dm); sim = new LogLikelihoodSimilarity(dm); <유저ID, 추천 아이템ID, 연결 강도>
- 17. Mahout 프로그래밍 Item Based Recommendation 클래스 추가 • 패키지 : recommend.item • 클래스 : ItemRecommend Java Build Path 추가
- 18. Mahout 프로그래밍 ItemRecommend 클래스 public class ItemRecommend { public static void main(String args[]){ DataModel dm; try { /* 데이터 모델 생성 */ dm = new FileDataModel(new File("data/movies.csv")); /* 유사도 모델 선택 */ ItemSimilarity sim = new PearsonCorrelationSimilarity(dm); /* 추천기 선택 : ItemBased */ GenericItemBasedRecommender recommender = new GenericItemBasedRecommender(dm, sim); int x=1; /* 데이터 모델 내의 item들의 iterator를 단계별 이동하며 추천 아이템들 제공 */ for(LongPrimitiveIterator items = dm.getItemIDs(); items.hasNext();){ long itemID = items.nextLong(); /* 현재 item ID */ /*현재 item ID와 가장 유사한 5개 아이템 추천 */ List<RecommendedItem> recommendations = recommender.mostSimilarItems(itemID, 5); /* 유사한 아이템 출력 = "현재 아이템 ID | 추천된 아이템 ID | 유사도" */ for(RecommendedItem recommendation : recommendations){ System.out.println(itemID + ","+recommendation.getItemID() + "," + recommendation.getValue()); } x++;/* 아이템 ID 5까지 유사한 아이템들 5개씩 */ if(x>5) System.exit(0); } } catch (IOException | TasteException e) { e.printStackTrace(); } } }
- 19. Mahout 프로그래밍 ItemRecommend 클래스 실행 결과 1,973,1.0 1,885,1.0 1,920,1.0 1,757,1.0 1,341,1.0 2,341,1.0 2,119,1.0 2,308,1.0 2,75,1.0 2,74,1.0 3,560,1.0 3,422,1.0 3,344,1.0 3,400,1.0 3,115,1.0 4,1038,1.0 4,868,1.0 4,927,1.0 4,643,1.0 4,360,1.0 5,348,1.0 5,34,1.0 5,113,1.0 5,35,1.0 5,6,1.0 1,117,0.9953521 1,151,0.9953065 1,121,0.9952347 1,405,0.99500656 1,50,0.99491894 2,403,0.9964998 2,233,0.9964557 2,161,0.9961404 2,231,0.9960143 2,385,0.9959657 3,405,0.99037176 3,235,0.9893157 3,121,0.9880421 3,250,0.9880041 3,100,0.98773706 4,56,0.99627966 4,174,0.99601305 4,204,0.9959589 4,202,0.99582237 4,385,0.9957967 5,218,0.99432045 5,98,0.9922024 5,234,0.99179345 5,56,0.99115413 5,53,0.9909523 sim = new PearsonCorrelationSimilarity(dm); sim = new LogLikelihoodSimilarity(dm); <기준 아이템 ID, 비교 아이템ID, 유사도>
- 20. References 1. Apache Mahtout Recommender Quick Start • http://mahout.apache.org/users/recommender/quickstart.html 2. Recommendation System : 협업 필터링을 중심으로 • http://rosaec.snu.ac.kr/meet/file/20120728b.pdf 3. Apache Mahout 맛보기 (30분만에 추천 시스템 만들기) • http://www.slideshare.net/pitzcarraldo/mahout-cook-book 4. Mahout를 활용한 영화 추천 샘플링 • http://www.mimul.com/pebble/default/2012/03/23/1332494169544.html 5. Recommendation: 추천 – 알고리즘 : Item-Based Filtering • http://hochul.net/blog/recommendation-daisy/