BigData, Hadoop과 Node.js
18 likes4,689 views
숭실대학교 미디어학부 오픈소스 소프트웨어 실습 4차 강의로, Bigdata에 대한 이해를 해보고, 필요한 구성요소와 Hadoop에 대해 소개합니다. 그리고 2,3차에 진행한 node.js와 연계할 수 있는 기본적인 실습을 포함하고 있습니다.
BigData, Hadoop과 Node.js
- 1. •
- 2. BigData의
- 3. 개요
- 4. •
- 5. Hadoop
- 6. 이용
- 7. •
- 8. Streaming
- 9. with
- 10. Node.js
- 11. •
- 12. VERSION
- 13. 1.0
- 14. •
- 15. Release
- 16. Date
- 17. :
- 18. 2013.5
- 19. 오픈소스
- 20. 실습
- 29. BigData
- 30. 소개
- 31. 고
- 32. 강
- 33. 태
- 34. 010-8269-3535
- 37. 오픈소스
- 38. 실습
- 39. 강의
- 40. • 자료의
- 41. 출처는
- 42. 슬라이드
- 43. 하단에
- 44. 표기했습니다.
- 45. • 2013년
- 46. 숭실대학교
- 47. 미디어
- 48. 학부의
- 49. 오픈소스
- 50. 소 프트웨어
- 51. 실습과정의
- 52. 일환으로
- 53. 제작되었습니다.
- 55. • 3 목차
- 56. 1.
- 57. Big
- 58. Data
- 59. 개요
- 60. 2.
- 61. BigData
- 62. 분석
- 63. 3.
- 64. Big
- 65. Data
- 66. 활용사례
- 67. 4.
- 68. Hadoop
- 70. • 4 1.
- 71. Big
- 72. Data의
- 73. 개요
- 74. 01.
- 75. BigData?
- 76. 02.
- 77. BigData
- 78. 기술요소
- 79. 03.
- 80. BigData
- 81. 처리
- 82. 기법
- 85. 1.
- 86. Big
- 87. Data의
- 88. 개요
- 90. 01.
- 91. Big
- 92. Data란?
- 94. • 6 Big
- 95. Data란?
- 96. 기존
- 97. 데이터에
- 98. 비해
- 99. 너무
- 100. 커서
- 101. 기존
- 102. 방법,
- 103. 도구로
- 104. 수집/저장/검색/분석/시각화
- 105. 등이
- 106. 어려운
- 107. 정 형,
- 108. 반정형
- 109. 및
- 110. 비정형
- 111. 데이터의
- 112. 집합
- 115. -
- 116. 하드웨어,
- 117. 소프트웨어적
- 118. 저장,
- 119. 분석의
- 120. 어려움을
- 121. Grid
- 122. computing,
- 123. Cloud
- 124. computing
- 125. 등
- 126. 기술로
- 127. 극복
- 129. -
- 130. 전통적
- 131. 데이터
- 132. 분석
- 133. 기법을
- 134. 개선
- 136. Big
- 137. Data의
- 138. 개요
- 140. • 7 왜?
- 141. 2011년에
- 142. 새롭게
- 143. 생성,
- 144. 복제되는
- 145. 정보의
- 146. 양은
- 147. 1.8ZB(1조8000 억
- 148. GigaByte)를
- 149. 넘어선다.
- 150. 향후
- 151. 5년간
- 152. 9배
- 153. 증가
- 154. 예상
- 157. -
- 158. 1.8ZB는
- 159. 약
- 160. 4900만
- 161. 국민이
- 162. 18만년
- 163. 동안
- 164. 쉬지
- 165. 않고
- 166. 1분에
- 167. 트 위터에
- 168. 3개의
- 169. 글을
- 170. 게시하는
- 171. 양과
- 172. 같다
- 175. -
- 176. 2시간짜리
- 177. HD영화
- 178. 2000억개와
- 179. 맞먹는다.
- 182. -
- 183. 2011,
- 184. IDC
- 187. 이렇듯
- 188. 전세계
- 189. 디지털
- 190. 정보량은
- 191. 매
- 192. 2년마다
- 193. 2배씩
- 194. 증가
- 195. Big
- 196. Data의
- 197. 개요
- 198. KT종합기술원:
- 201. • 8 어디에?
- 202. SKT
- 203. LTE
- 204. 가입자
- 205. 하루
- 206. 데이터
- 207. 1PB
- 208. 시대
- 211. -
- 212. 5메가바이트(MB)
- 213. 분량의
- 214. 노래
- 215. 2억
- 216. 1474만8364곡을
- 217. 내려받 거나
- 218. 영화
- 219. 153만3916편을
- 220. 내려받은
- 221. 셈.
- 225. -
- 229. -
- 230. 3000만
- 231. 가입자의
- 232. 분석
- 235. 미국,
- 236. 싱가포르
- 237. 등
- 238. 정부
- 239. 차원에서
- 240. 테러,
- 241. 범죄
- 242. 방지를
- 243. 위한
- 244. 빅데이 터
- 245. 수집/분석
- 246. 및
- 247. 예측
- 248. 체계를
- 249. 도입
- 250. 사례
- 252. EU는
- 253. 금융위기
- 254. 극복,
- 255. 사회
- 256. 복잡성
- 257. 이해를
- 258. 위해
- 259. Future
- 260. ICT
- 261. 프로 젝트
- 262. …⋯
- 263. Big
- 264. Data의
- 265. 개요
- 267. • 9 어떻게?
- 268. 빅
- 269. 데이터의
- 270. 데이터는
- 271. 다양한
- 272. 분석
- 273. 기술,
- 274. 인프라를
- 275. 기반으로
- 276. 데이 터
- 277. 안에서
- 278. 데이터를
- 279. 발견하는데
- 280. 중점.
- 281. Big
- 282. Data의
- 283. 개요
- 286. • 10 데이터베이스의
- 287. 진화
- 288. 데이터들이
- 289. 빠르게
- 290. 증가하는
- 291. 만큼
- 292. 노이즈
- 293. 데이터라고
- 294. 불리우는
- 295. 쓸모
- 296. 없는
- 297. 데이터들도
- 298. 많이
- 299. 생성
- 300. 이런
- 301. 비정형화된
- 302. 노이즈
- 303. 데이터의
- 304. 중요성이
- 305. 증대,
- 306. 분석
- 307. 요구
- 308. Big
- 309. Data의
- 310. 개요
- 313. • 11 데이터
- 314. 종류
- 315. 빅
- 316. 데이터의
- 317. 데이터는
- 318. 정형화
- 319. 정도에
- 320. 따라,
- 321. Big
- 322. Data의
- 323. 개요
- 324. KT종합기술원:
- 327. • 12 Data
- 328. storage
- 329. 데이터
- 330. 저장
- 331. 비용의
- 332. 감소
- 333. Big
- 334. Data의
- 335. 개요
- 338. • 13 분산컴퓨팅
- 339. 진화
- 340. Big
- 341. Data의
- 342. 개요
- 344. • 14 요소기술
- 345. 진화
- 346. 다중
- 347. 분산
- 348. 시스템
- 349. 변화
- 350. à
- 351. 가상화
- 352. à
- 353. 서비스화
- 355. 필요로
- 356. 할
- 357. 때
- 358. 언제
- 359. 어디서지
- 360. 컴퓨팅
- 361. 및
- 362. 서비스를
- 363. 이용할
- 364. 수
- 365. 있는
- 366. 주문형
- 367. 기반
- 368. 컴퓨팅
- 369. Grid Computing 주어진
- 370. 문제를
- 371. 풀기
- 372. 위해서
- 373. 네트워크
- 374. 상의
- 375. 수
- 376. 많 은
- 377. 컴퓨터의
- 378. 자원을
- 379. 이용하는
- 380. 컴퓨팅.
- 381. 서로
- 382. 상이 한
- 383. 컴퓨터들이
- 384. 가상의
- 385. 대형
- 386. 컴퓨터를
- 387. 구헝à
- 388. 고도 의
- 389. 연산,
- 390. 대용량
- 391. 연산
- 392. 처리
- 393. (
- 394. SETI)
- 397. Virtualization 물리적
- 398. 시스템
- 399. 개체들을
- 400. 논리적
- 401. 하드웨어
- 402. 단위로
- 403. 분리.
- 404. 컴퓨팅
- 405. 자원의
- 406. 물리적
- 407. 특징을
- 408. 숨기고
- 409. 이들
- 410. 자원을
- 411. 사용하는
- 412. 다른
- 413. 시스템,
- 414. 애플리케이션
- 415. 및
- 416. 사용자에게
- 417. 단일한
- 418. 시스템
- 419. 이미지를
- 420. 제공하는
- 421. 개 념.
- 422. 또한
- 423. 단일
- 424. 자원이
- 425. 여러개의
- 426. 논리
- 427. 단위로
- 428. 혹은
- 429. 반대를
- 430. 포함한다.
- 431. à
- 432. LVM,
- 433. VMWare
- 435. 필요한
- 436. 만큼
- 437. 시스템
- 438. 자원을
- 439. 사용하고
- 440. 그
- 441. 사용량에
- 442. 따라
- 443. 비용을
- 444. 지불하는
- 445. 개념의
- 446. 컴퓨팅
- 448. à
- 449. SaaS;
- 450. Salesforce.com
- 452. Privisioning을
- 453. 포함해
- 454. 상업적으로
- 455. Utility-computing
- 456. 서비스를
- 457. 시행
- 459. à
- 460. E2C,
- 461. AppEngine,
- 462. Cloud
- 463. hosting
- 464. Big
- 465. Data의
- 466. 개요
- 468. • 15 Don’t
- 469. buy,
- 470. be
- 471. use!
- 472. HW,
- 473. SW의
- 474. 물리적
- 475. 제약을
- 476. 가상화로
- 477. 해결
- 479. Data의
- 480. 개요
- 482. • 16 BigData
- 483. story
- 484. Database,
- 485. Dataware
- 486. House,
- 487. Data
- 488. mart
- 489. 등의
- 490. 정적
- 491. 데이터
- 492. 기 반은
- 493. 대규모
- 494. 메모리,
- 495. SAN
- 496. Storage
- 497. 등을
- 498. 대용량
- 499. 파일시스템
- 500. 마운 트를
- 501. 기반으로
- 502. 고가용성을
- 503. 유지
- 505. -
- 506. 단,
- 507. scale-up
- 508. 기반의
- 509. 성능
- 510. 향상
- 512. 구글은
- 513. 검색기반
- 514. 광고에
- 515. Tera
- 516. -
- 517. Peta
- 518. 규모의
- 519. 데이터
- 520. 분석등을
- 521. 위핸
- 522. MapRedue
- 523. 라는
- 524. 모델을
- 525. 구글파일시스템(GFS)에서
- 526. 활용
- 527. 이런
- 528. MapReduce
- 529. 솔루션
- 530. 중에서
- 531. 오픈소스로
- 532. 주목
- 533. 받는
- 534. 기술이
- 535. J ava기반의
- 536. Apache
- 537. Hadoop
- 538. 이다.
- 539. Hadoop은
- 540. 야후
- 541. 더그커킹이
- 542. 개발/배포하다
- 543. 오픈소스화.
- 545. 페이스북,트위터,링크드인,
- 546. 이베이,
- 547. 아마존
- 548. 등
- 549. 이용
- 550. 국내
- 551. NexR이
- 552. hadoop
- 553. 및
- 554. 클라우드
- 555. 기반
- 556. 솔루션,
- 557. 이후
- 558. KT크라우 드웨어에서
- 559. R+Hive
- 560. 솔루션
- 561. RHive
- 562. 제공.
- 563. Big
- 564. Data의
- 565. 개요
- 566. 미래사회와 빅 데이터(Big Data)기술
- 567. • 17 BigData와
- 568. Cloud
- 579. Big
- 580. Data의
- 581. 개요
- 583. 1.
- 584. Big
- 585. Data의
- 586. 개요
- 588. 02.
- 589. Big
- 590. Data
- 591. 요소
- 592. 기술
- 594. • 19 V
- 595. V
- 596. V
- 597. 3대
- 598. 요소
- 599. Big
- 600. Data의
- 601. 개요
- 603. • 20 Volume
- 604. 웹
- 605. 로그,
- 606. 지메일
- 607. 서버
- 608. 등의
- 609. 데이터는
- 610. 수
- 611. PB
- 612. 이상
- 613. 트위터의
- 614. 메시징
- 615. 정보량
- 616. GB
- 617. 미만
- 618. 등…⋯
- 619. 안정적
- 620. 데이터와
- 621. 분석,
- 622. 처리에
- 623. 중점을
- 624. 두는
- 625. 데이터의
- 626. 차별이
- 627. 필요하다.
- 628. 물리적
- 629. 크기보다
- 630. 데이터의
- 631. 속성에
- 632. 따라
- 633. 중요성을
- 634. 판단하고
- 635. 처리하는데
- 636. 중점
- 638. Big
- 639. Data의
- 640. 개요
- 643. • 21 Velocity
- 644. 데이터를
- 645. 처리하는
- 646. 속도
- 647. 배치
- 648. 분석
- 649. 실시간
- 650. 분석
- 651. 결과에
- 652. 대한
- 653. 가시화
- 654. 기능도
- 655. 중요
- 657. -
- 658. 단,
- 659. 가시화가
- 660. 처리를
- 661. 능가하면
- 662. 안됨
- 663. Big
- 664. Data의
- 665. 개요
- 667. • 22 Variety
- 668. 전통적
- 669. 데이터는
- 670. 기업내부의
- 671. ERP,
- 672. SCM,
- 673. MES,
- 674. CRM
- 675. 등은
- 676. RDBMS
- 677. 기반의
- 678. 정형화된
- 679. 데이터를
- 680. 구축해서
- 681. 운영하고
- 682. 있다.
- 683. 기업
- 684. 외부의
- 685. 데이터인
- 686. 마케팅,
- 687. 평판,
- 688. 기사
- 689. 등의
- 690. 데이터는
- 691. 데이터 웨어하우스를
- 692. 통해
- 693. 유지,
- 694. 분석했다.
- 695. 그러나
- 696. 인터넷
- 697. 시대에
- 698. 모든
- 699. 데이터를
- 700. 정형/반정형화
- 701. 해서
- 702. 이용하 는데
- 703. 한계에
- 704. 직면
- 705. Big
- 706. Data의
- 707. 개요
- 711. d
- 712. Big
- 713. Data의
- 714. 개요
- 716. • 24 주요
- 717. 업체
- 718. Hortonworks
- 719. –
- 720. 야후분사,
- 721. Hadoop
- 722. 코어
- 723. 지원,
- 724. 아치텍쳐
- 725. Cloudera
- 726. –
- 727. 야후분사,
- 728. 기술지원,
- 729. 교육
- 730. 및
- 731. 배포판
- 732. 제공
- 733. IBM
- 734. –
- 735. Apache
- 736. hadoop
- 737. 기반
- 738. basic,
- 739. enterprise
- 740. 배포판
- 741. EMC
- 742. –
- 743. DW
- 744. Greenplum에
- 745. MapR
- 746. 통합해
- 747. 제공,
- 748. Apache
- 749. Hadoop
- 750. 기반
- 751. community
- 752. edition
- 753. Oracle
- 754. –
- 755. HW
- 756. +
- 757. Cloudera
- 758. DataStax
- 759. –
- 760. Hadoop
- 761. +
- 762. Hive
- 763. +
- 764. Cassandra
- 765. Datameer
- 766. –
- 767. Analytic
- 768. solution
- 769. Hadapt
- 770. –
- 771. Analytic
- 772. platform
- 773. HStreaming
- 774. –
- 775. Real
- 776. tie
- 777. processing
- 779. Big
- 780. Data의
- 781. 개요
- 782. 미래사회와 빅 데이터(Big Data)기술
- 783. • 25 솔루션간
- 784. 관계
- 785. Big
- 786. Data의
- 787. 개요
- 788. 미래사회와 빅 데이터(Big Data)기술
- 789. • 26 2.
- 790. BigData의
- 791. 분석기법
- 792. 01.
- 793. BigData
- 794. 처리
- 795. 02.
- 796. BigData
- 797. 분석기법
- 798. 03.
- 799. BigData
- 802. 1.
- 803. Big
- 804. Data의
- 805. 개요
- 807. 01.
- 808. Big
- 809. Data
- 810. 처리
- 812. • 28 빅데이터
- 813. 처리는
- 814. 빠른
- 815. 의사결정이
- 816. 상대적으로
- 817. 덜
- 818. 요구된다
- 819. 처리
- 820. 복잡도가
- 821. 높다
- 822. 처리할
- 823. 데이터
- 824. 양이
- 825. 방대하다
- 826. 비정형
- 827. 데이터
- 828. 비중이
- 829. 높다
- 830. 처리/분석
- 831. 유연성이
- 832. 높다
- 833. 동시처리량이
- 834. 낮다
- 835. BigData
- 836. 처리
- 837. 가트너
- 838. 11년
- 839. 보고서
- 841. • 29 처리
- 842. 방식
- 843. 다양한
- 844. 스토리지,
- 845. 컴퓨팅
- 846. 기술
- 847. 과
- 848. 분석
- 849. 기술을
- 850. 이용한다.
- 851. 그래서
- 852. 빅
- 853. 데이터
- 854. 기술은
- 855. 크게
- 856. 분석
- 857. 기법과
- 858. 분석
- 859. 인프라로
- 860. 구성
- 861. Big
- 862. Data의
- 863. 개요
- 864. KT경제연구소,
- 865. Big
- 866. Data,
- 867. 미래를
- 868. 여는
- 869. 비밀의
- 870. 열쇠
- 872. BigData의
- 873. 분석기법
- 875. 02.
- 876. 주요
- 877. 분석
- 878. 기법
- 880. • 31 TextMining
- 881. 텍스트마이닝은
- 882. 비/반정형
- 883. 텍스트
- 884. 데이터에서
- 885. 자연어처리 Natural
- 886. Language
- 887. Processing
- 888. 기반
- 889. 추출/가공을
- 890. 목적
- 892. -
- 893. 방대한
- 894. 텍스트
- 895. 내용
- 896. 안에서
- 897. 의미
- 898. 있는
- 899. 정보를
- 900. 추출해
- 901. 다른
- 902. 정보 와의
- 903. 연계성을
- 904. 파악해
- 905. 텍스트의
- 906. 분류화
- 908. -
- 909. 단순
- 910. 키워드
- 911. 검색
- 912. 이상의
- 913. 결과를
- 914. 얻는다.
- 916. 다양한
- 917. 텍스트마이닝
- 918. 기술
- 919. 요소
- 920. 참조
- 923. -
- 926. 예)
- 927. Hadoop의
- 928. Mahout
- 929. 서브
- 930. 시스템
- 932. BigData
- 933. 분석기법
- 935. • 32 Opinion
- 936. Mining
- 937. 텍스트마이닝
- 938. 분야로
- 939. 일명
- 940. 평판분석
- 941. Sentiment
- 942. Analysis
- 943. 소셜미디어
- 944. 등의
- 945. 정형/비정형
- 946. 텍스트의
- 947. 긍정Positive,
- 948. 부정 Negative,
- 949. 중립Neutral
- 950. 의
- 951. 선호도를
- 952. 판별
- 954. 예)
- 955. 소셜네트워크에서
- 956. 서비스/상품의
- 958. 시장규모
- 959. 예측,
- 960. 소비자의
- 961. 반응,
- 963. 입소문
- 964. 분석
- 965. 등을
- 966. 위해
- 967. 활용.
- 970. SNS에서
- 971. 오피니언마이닝
- 973. -
- 974. http://www.slideshare.net/hyummoki/sns-12894995
- 976. BigData
- 977. 분석기법
- 978. 연구데이터
- 979. 지원
- 980. /
- 981. 오피니언마이닝을
- 982. 위해
- 983. 데이터
- 984. 제공
- 987. • 33 SNS
- 988. Analytics
- 989. 소셜네트워크의
- 990. 연결구조,
- 991. 강도
- 992. 등의
- 993. 분석은
- 994. 그래프
- 995. 이론을
- 996. 기반 으로
- 997. 한다.
- 999. 소셜네트워크
- 1000. 사용자의
- 1001. 명성,
- 1002. 영향력
- 1003. 등을
- 1004. 측정
- 1005. 가능하다.
- 1007. 소셜네트워크
- 1008. 내에서
- 1009. 입소문의
- 1011. 중심,
- 1012. 허브
- 1013. 역할
- 1014. 사용자
- 1015. 검색
- 1016. 이런
- 1017. 영향력있는
- 1018. Influencer의
- 1020. 모니터링,
- 1021. 관리를
- 1022. 목적
- 1025. 소셜
- 1026. 네트워크
- 1027. 분석
- 1028. 사례
- 1030. -
- 1031. http://www.slideshare.net/webscikorea/ss-2659452
- 1032. BigData
- 1033. 분석기법
- 1036. • 34 Cluster
- 1037. Analysis
- 1038. 군집분석
- 1039. Cluster
- 1040. Analysis는
- 1041. 비슷한
- 1042. 개체를
- 1043. 합쳐가며
- 1044. 최종적으 로
- 1045. 유사
- 1046. 특성의
- 1047. 군Group을
- 1048. 발굴하는데
- 1049. 사용
- 1050. 예로
- 1051. 소셜네트워크에서
- 1052. 영화,
- 1053. 정치
- 1054. 등을
- 1055. 주로
- 1056. 이야기
- 1057. 하는
- 1058. 사용자 군,
- 1059. 자동차에
- 1060. 관심있는
- 1061. 군을
- 1062. 추출
- 1064. BigData
- 1065. 분석기법
- 1068. BigData의
- 1069. 분석기법
- 1071. 03.
- 1072. 주요
- 1073. 분석
- 1074. Infra
- 1075. 기술
- 1077. BigData의
- 1078. 분석기법
- 1080. 03.
- 1081. 주요
- 1082. 분석
- 1083. Infra
- 1084. 기술
- 1086. • 37 Infra
- 1087. structure
- 1088. 테라,
- 1089. 페타,
- 1090. 제타
- 1091. 바이트
- 1092. 이상의
- 1093. 데이터를
- 1094. 저장,
- 1095. 분석을
- 1096. 위한
- 1097. 인프 라
- 1098. 기술
- 1099. 개발이
- 1100. 중요.
- 1101. BigData
- 1102. 분석기법
- 1105. • 38 Hadoop
- 1106. 테라,
- 1107. 페타,
- 1108. 제타
- 1109. 바이트
- 1110. 이상의
- 1111. 데이터를
- 1112. 저장,
- 1113. 분석을
- 1114. 위한
- 1115. 인프 라
- 1116. 기술
- 1117. 개발이
- 1118. 중요.
- 1119. Hadoop
- 1121. -
- 1122. 오픈소스
- 1123. 분산데이터
- 1124. 처리
- 1125. 기술
- 1127. -
- 1128. HDFS과
- 1129. Hbase,
- 1130. MapReduce
- 1131. 등
- 1133. 서브
- 1134. 시스템의
- 1135. 집합
- 1137. -
- 1138. HDFS,
- 1139. Hbase는
- 1140. 각각
- 1141. 구글
- 1142. GFS,
- 1144. Big
- 1145. Table
- 1146. 영향받아
- 1147. 비용효율적인
- 1149. x86
- 1150. 서버로
- 1151. 가상화된
- 1153. 대형스토리지
- 1154. 구성,
- 1155. 저장된
- 1157. 데이터셋을
- 1158. 간편하게
- 1159. 분산처리할
- 1161. 수
- 1162. 있는
- 1163. Java기반의
- 1164. MapReduce
- 1165. 프레임워크
- 1166. 제공
- 1167. BigData
- 1168. 분석기법
- 1170. • 39 R
- 1171. 오픈소스
- 1172. 프로젝트로
- 1173. 통계계산
- 1174. 및
- 1175. 시각화를
- 1176. 위한
- 1177. 언어
- 1178. 및
- 1179. 개발환 경
- 1181. -
- 1182. 통계기법,
- 1183. 모델링,
- 1184. 데이터마이닝
- 1185. 기법의
- 1186. 구현
- 1187. /
- 1188. 계산
- 1190. -
- 1191. 결과는
- 1192. 그래프
- 1193. 등의
- 1194. 시각화
- 1195. 기능
- 1197. -
- 1198. Java,
- 1199. C,
- 1200. Python과
- 1201. 연계
- 1203. -
- 1204. Windows,
- 1205. Mac,
- 1206. Linux,
- 1207. Unix
- 1208. 등
- 1209. 지원
- 1211. -
- 1212. 하둡
- 1213. 상에서
- 1214. 분산처리
- 1215. 지원
- 1216. 라이브러리를
- 1217. 통해서
- 1218. 구글,
- 1219. 페이스 북,
- 1220. 아마존
- 1221. 등
- 1222. 빅데이터
- 1223. 분석이
- 1224. 필요한
- 1225. 기업에서
- 1226. 사용
- 1229. -
- 1231. BigData
- 1232. 분석기법
- 1234. • 40 NoSQL
- 1235. Not-Only
- 1236. SQL,
- 1237. No
- 1238. SQL!
- 1239. 테이블
- 1240. 스키마가
- 1241. 고정되지
- 1242. 않고,
- 1243. 테이블
- 1244. 조인
- 1245. 없어
- 1246. 수평적
- 1247. 확장이
- 1248. 용이하다.
- 1250. RDB가
- 1251. 관계에
- 1252. 중점되어
- 1253. 일관성이
- 1254. 중요시
- 1255. 된다면,
- 1256. NoSQL은
- 1257. 분산
- 1258. 가능성에
- 1259. 중점을
- 1260. 두어
- 1261. 일관성과
- 1262. 유효성은
- 1263. 보장
- 1264. 않는다.
- 1265. 이것은
- 1266. 일관성,
- 1267. 유효성,
- 1268. 분산가능성
- 1269. 중
- 1270. 2가지만
- 1271. 보장한다는
- 1272. 분산
- 1273. 데이터베이스
- 1274. 시스템의
- 1275. CAP
- 1276. 이론을
- 1277. 따른
- 1278. 것.
- 1280. BigData
- 1281. 분석기법
- 1283. • 41 주요
- 1284. 아키텍처
- 1290. BigData
- 1291. 분석기법
- 1293. • 42 3.
- 1294. BigData의
- 1295. 활용
- 1296. 활용사례
- 1298. BigData의
- 1299. 활용
- 1301. 활용사례
- 1303. • 44 활용사례
- 1304. BigData의
- 1305. 활용
- 1306. 한국지역정보개발원,
- 1307. ‘빅
- 1308. 데이터
- 1309. 시대의
- 1310. 데이터
- 1311. 활용과
- 1312. 전략’
- 1314. • 45 교통
- 1315. 교통정보를
- 1316. 분산
- 1317. 시스템으로
- 1318. 수집
- 1319. BigData의
- 1320. 활용
- 1323. • 46 saltlux.com
- 1324. 다양한
- 1325. 솔루션
- 1327. -
- 1329. BigData의
- 1330. 활용
- 1332. • 47 기업은행
- 1333. 기업은행은
- 1334. 2013년
- 1335. 빅데이터
- 1336. 서비스로
- 1337. 인터넷,
- 1338. SNS
- 1339. 안에서
- 1340. 기 업은행의
- 1341. 평판을
- 1342. 분석해
- 1343. 마케팅
- 1344. 등에
- 1345. 활용
- 1346. 계획
- 1348. -
- 1349. 은행의
- 1350. 긍정,
- 1351. 부정
- 1352. 내용을
- 1353. 분석해
- 1354. 이용
- 1356. -
- 1357. 2013년
- 1358. 초에
- 1359. 데이터
- 1360. 분석
- 1361. 시작
- 1363. 단,
- 1364. 민감한
- 1365. 금융,
- 1366. 고객
- 1367. 개인
- 1368. 데이터에
- 1369. 대한
- 1370. 분석은
- 1371. 개인정보보호 에
- 1372. 대한
- 1373. 우려가
- 1374. 있기
- 1375. 때문에
- 1376. 주로
- 1377. 명성
- 1378. 분석,
- 1379. 시장
- 1380. 분석
- 1381. 등에
- 1382. 활 용되는
- 1383. 추세다.
- 1385. IT
- 1386. 업계
- 1387. 관계자는
- 1388. 대규모
- 1389. 고객정보와
- 1390. 금융
- 1391. 정보
- 1392. 등을
- 1393. 분석하는
- 1394. 것에는
- 1395. 우려가
- 1396. 있는
- 1397. 것이
- 1398. 사실이라며
- 1399. 명확한
- 1400. 규정과
- 1401. 가이드 라인
- 1402. 등이
- 1403. 나오기까지는
- 1404. 명성
- 1405. 분석이
- 1406. 주류를
- 1407. 이룰
- 1408. 것으로
- 1409. 보인 다고
- 1410. 말했다.
- 1411. 당분간
- 1412. 금융기관들의
- 1413. 빅데이터
- 1414. 활용은
- 1415. 평판
- 1416. 분 석에
- 1417. 초점이
- 1418. 맞춰질
- 1419. 것으로
- 1420. 전망된다.
- 1423. BigData의
- 1424. 활용
- 1427. • 48 빅데이터
- 1428. 프로젝트
- 1429. • 전자정부
- 1430. 빅데이터
- 1431. 시범
- 1432. 프로젝트
- 1433. • 삼성전자
- 1434. 빅데이터
- 1435. 표준
- 1436. 플랫폼
- 1437. 선정
- 1438. • 기업은행
- 1439. • 코오롱
- 1440. • GS샵
- 1444. BigData의
- 1445. 활용
- 1447. • 49 클라우드
- 1448. 서비스
- 1449. 클라우드를
- 1450. 통해
- 1451. 데이터
- 1452. 스토리지
- 1453. 제공
- 1454. BigData의
- 1455. 활용
- 1457. • 50 구글
- 1458. 클라우드
- 1459. 데이트스토어
- 1460. 클라우드
- 1461. 데이터스토어는
- 1462. NoSQL과
- 1463. 같은
- 1464. 비관계형
- 1465. DB를
- 1466. 관리할
- 1467. 수
- 1468. 있게
- 1469. 도와준다
- 1470. SQL
- 1471. 같은
- 1472. 방식으로
- 1473. 질의를
- 1474. 처리하고
- 1475. AICD
- 1476. 트랜잭션도
- 1477. 보장한다
- 1480. BigData의
- 1481. 활용
- 1483. • 51 구글
- 1484. 클라우드
- 1485. 데이트스토어
- 1486. 클라우드
- 1487. 데이터스토어는
- 1488. NoSQL과
- 1489. 같은
- 1490. 비관계형
- 1491. DB를
- 1492. 관리할
- 1493. 수
- 1494. 있게
- 1495. 도와준다
- 1496. SQL
- 1497. 같은
- 1498. 방식으로
- 1499. 질의를
- 1500. 처리하고
- 1501. AICD
- 1502. 트랜잭션도
- 1503. 보장한다
- 1506. BigData의
- 1507. 활용
- 1509. • 52 ucloud
- 1510. MapReduce
- 1511. KT
- 1512. Ucloud
- 1513. 에서
- 1514. 제공하는
- 1515. Hadoop
- 1516. 서비스
- 1518. -
- 1521. • 5353 클라우드
- 1522. 서버에서
- 1523. 앱
- 1524. 서비스를
- 1525. 위한
- 1526. 공간을
- 1527. 제공하고
- 1528. 여러
- 1529. 기능 을
- 1530. 이용할
- 1531. 수
- 1532. 있는
- 1533. Open
- 1534. API를
- 1535. 준비해준다.
- 1536. 개발자는
- 1537. RestFull
- 1538. 기반의
- 1539. Open
- 1540. API
- 1541. 를
- 1542. 호출하기만
- 1543. 하면
- 1544. 서버
- 1545. 공 간에
- 1546. 자신만의
- 1547. 백엔드
- 1548. 서비스를
- 1549. 손쉽게
- 1550. 구축할
- 1551. 수
- 1552. 있다.
- 1553. baas.io
- 1554. 서비스
- 1556. BigData의
- 1557. 활용
- 1559. • 5454
- 1562. datamining
- 1563. with
- 1564. node
- 1565. BigData의
- 1566. 활용
- 1568. • 55 3.
- 1569. Hadoop
- 1570. 01.
- 1571. Hadoop
- 1572. 소개
- 1573. 02.
- 1574. Hadoop
- 1575. ECO
- 1576. System
- 1577. 03.
- 1578. Installation
- 1581. 3.
- 1582. Hadoop
- 1583. 01.
- 1584. Hadoop
- 1585. 소개
- 1587. • 57 Hadoop
- 1588. overview
- 1589. ds
- 1590. Hadoop
- 1592. • 58 Hadoop기반
- 1593. 분석
- 1594. Hadoop
- 1596. • 59 BigData
- 1597. stack
- 1598. BigData
- 1599. 분석/처리/결과를
- 1600. 위한
- 1601. 스택
- 1602. Hadoop
- 1604. • 60 Hadoop
- 1605. stack
- 1606. Hadoop의
- 1607. core와
- 1608. sub
- 1609. system
- 1610. Hadoop
- 1612. • 61 Hadoop
- 1613. HDFS
- 1614. highly
- 1615. fault-tolerant,
- 1616. on
- 1617. low-cost
- 1618. hardware.
- 1619. Hadoop
- 1621. • 62 Daum
- 1622. 사례
- 1623. 하둡을
- 1624. 이용한
- 1625. 다음
- 1626. 로그
- 1627. 분석
- 1628. Hadoop
- 1630. • 63 하둡적용
- 1631. 사례
- 1636. Hadoop
- 1638. 3.
- 1639. Hadoop
- 1640. 02.
- 1641. Hadoop
- 1642. ECO
- 1643. System
- 1645. • 65 Hadoop
- 1646. ECO
- 1647. System
- 1648. Hadoop
- 1650. • 66 Hadoop
- 1651. ECO
- 1652. System
- 1653. 요소기술
- 1654. Hadoop
- 1655. 미래사회와 빅 데이터(Big Data)기술
- 1656. • 67 Zookeeper
- 1658. 분산
- 1659. 환경에서
- 1660. 서버들간에
- 1661. 상호
- 1662. 조정이
- 1663. 필요한
- 1664. 다양한
- 1665. 서비스를
- 1666. 제공하는
- 1667. 시스템
- 1672. 첫째,
- 1673. 하나의
- 1674. 서버에만
- 1675. 서비스가
- 1676. 집중되지
- 1677. 않도록,
- 1678. 서비스를
- 1679. 알맞게
- 1680. 분산하여
- 1681. 동시에
- 1682. 처리
- 1683. 둘째,
- 1684. 하나의
- 1685. 서버에서
- 1686. 처리한
- 1687. 결과를
- 1688. 다른
- 1689. 서버들과도
- 1690. 동기화하여
- 1691. 데이터의
- 1692. 안정성을
- 1693. 보장한다.
- 1694. 셋째,
- 1695. 운영(active)
- 1696. 서버가
- 1697. 문제가
- 1698. 발생해서
- 1699. 서비스를
- 1700. 제공할
- 1701. 수
- 1702. 없을
- 1703. 경우,
- 1704. 다른
- 1705. 대기
- 1706. 중인
- 1707. 서버를
- 1708. 운영서버로
- 1709. 바꿔서
- 1710. 서비스가
- 1711. 중지
- 1712. 없이
- 1713. 제공되게
- 1714. 해준다.
- 1715. 넷째,
- 1716. 분산
- 1717. 환경을
- 1718. 구성하는
- 1719. 서버들의
- 1720. 환경설정을
- 1721. 통합적으로
- 1722. 관리해준다.
- 1723. Hadoop
- 1725. • 68 Oozie
- 1727. 하둡
- 1728. 작업을
- 1729. 관리하는
- 1730. 워크플로우
- 1731. 및
- 1732. 코디네이터
- 1733. 시스템.
- 1734. 자바
- 1735. 서블릿
- 1736. 컨테이너에서
- 1737. 실행되는
- 1738. 자바
- 1739. 웹
- 1740. 애플리케이션
- 1741. 서버 이며,
- 1742. MapReduce
- 1743. 작업이나
- 1744. Pig
- 1745. 작업
- 1746. 같은
- 1747. 특화된
- 1748. 액션들로
- 1749. 구성된
- 1750. 워크
- 1751. 플로우를
- 1752. 제어.
- 1755. Hadoop
- 1757. • 69 HBase
- 1759. HDFS
- 1760. 기반의
- 1761. 칼럼
- 1762. 기반
- 1763. 데이터
- 1764. 베이스.
- 1765. 구글의
- 1766. BigTable
- 1767. 논문을
- 1768. 기반으로
- 1769. 개발되어,
- 1770. 실시간
- 1771. 랜덤
- 1772. 조회
- 1773. 및
- 1774. 업데이트가
- 1775. 가능하 며,
- 1776. 각
- 1777. 각의
- 1778. 프로세스들은
- 1779. 개인의
- 1780. 데이터를
- 1781. 비동기적으로
- 1782. 업데 이트할
- 1783. 수
- 1784. 있다.
- 1785. 단,
- 1786. MapReduce는
- 1787. 일괄
- 1788. 처리
- 1789. 방식으로
- 1790. 수행된다.
- 1792. 트위터,
- 1793. 야후,
- 1794. 어도비
- 1795. 같은
- 1796. 해외
- 1797. 업체들이
- 1798. HBase를
- 1799. 사용하고
- 1800. 있 으며,
- 1801. 국내에서는
- 1802. 얼마
- 1803. 전
- 1804. NHN이
- 1805. 모바일
- 1806. 메신저인
- 1807. 라인에
- 1808. HBase를
- 1809. 적용한
- 1810. 시스템
- 1811. 아키텍처를
- 1812. 발표
- 1815. Hadoop
- 1817. • 70 Pig
- 1819. 복잡한
- 1820. MapReduce
- 1821. 프로그래밍을
- 1822. 대체할
- 1823. Pig
- 1824. Latin이라는
- 1825. 자체
- 1826. 언어를
- 1827. 제공한다.
- 1828. MapReduce
- 1829. API를
- 1830. 매우
- 1831. 단순화시키고,
- 1832. SQL과
- 1833. 유사한
- 1834. 형태로
- 1835. 설계되어,
- 1837. SQL과
- 1838. 유사하기만
- 1839. 할
- 1840. 뿐,
- 1841. 기존
- 1843. SQL
- 1844. 지식을
- 1845. 활용하는
- 1846. 것이
- 1848. 어려운
- 1849. 편이다.
- 1850. 야후에서
- 1851. 개발되었으나
- 1852. 현재는
- 1854. 아파치
- 1855. 프로젝트에
- 1856. 속해있다.
- 1859. Hadoop
- 1861. • 71 Hive
- 1863. 하둡
- 1864. 기반의
- 1865. 데이터웨어하우징용
- 1866. 솔루션입니다.
- 1868. 페이스북에서
- 1869. 개발됐으며,
- 1871. 오픈
- 1872. 소스로
- 1873. 공개되며
- 1874. 주목
- 1875. SQL과
- 1876. 매우
- 1877. 유사한
- 1878. HiveQL
- 1879. 제공
- 1880. 자바를
- 1881. 모르는
- 1882. 데이터
- 1883. 분석가도
- 1885. 쉽게
- 1886. 하둡
- 1887. 데이터를
- 1888. 분석할
- 1889. 수
- 1891. 있게
- 1892. 도와준다.
- 1894. HiveQL은
- 1895. 내부적으로
- 1897. MapReduce
- 1898. 잡으로
- 1900. 변환되어
- 1901. 실행된다.
- 1902. Hadoop
- 1904. • 72 Mahout
- 1906. 하둡
- 1907. 기반으로
- 1908. 데이터
- 1909. 마이닝
- 1910. 알고리즘을
- 1911. 구현한
- 1912. 오픈
- 1913. 소스
- 1914. 현재
- 1915. 분류
- 1916. (classification),
- 1917. 클러스터링
- 1918. (clustering),
- 1919. 추천
- 1920. 및
- 1921. 협 업
- 1922. 필터링
- 1924. filtering),
- 1925. 패턴
- 1926. 마 이닝
- 1927. (Pattern
- 1928. Mining),
- 1929. 회귀
- 1930. 분석
- 1931. (Regression),
- 1932. 차원
- 1933. 리덕션
- 1934. (Dimension
- 1935. reduction),
- 1936. 진화
- 1937. 알고리즘
- 1938. (Evolutionary
- 1939. Algorithms)
- 1940. 등
- 1941. 중요한
- 1942. 알고리즘을
- 1943. 지원하고
- 1944. 있다.
- 1945. Mahout 을
- 1946. 그대로
- 1947. 사용할
- 1948. 수도
- 1949. 있지만,
- 1950. 자신의
- 1951. 비즈니스
- 1952. 환경에
- 1953. 맞게
- 1954. 최적화해서
- 1955. 사용한다.
- 1956. Hadoop
- 1958. • 73 HCatalog
- 1960. 하둡으로
- 1961. 생성한
- 1962. 데이터를
- 1963. 위한
- 1964. 테이블,
- 1965. 스토리지
- 1966. 관리
- 1967. 서비스
- 1968. 가장
- 1969. 큰
- 1970. 장점은
- 1971. 하둡
- 1972. 에코
- 1973. 시스템들간의
- 1974. 상호
- 1975. 운용성
- 1976. 이다.
- 1977. 예를
- 1978. 들어
- 1979. Hive에서
- 1980. 생성한
- 1981. 테이블이나
- 1982. 데이터
- 1983. 모델을
- 1984. Pig나
- 1985. MapReduce에서
- 1986. 손쉽게
- 1987. 이용할
- 1988. 수가
- 1989. 있다.
- 1991. 이전에는
- 1992. 상당한
- 1993. 백엔드
- 1994. 작업이
- 1995. 필요했다.
- 1996. Hadoop
- 1998. • 74 Avro
- 2000. RPC(Remote
- 2001. Procedure
- 2002. Call)과
- 2003. 데이터
- 2004. 직렬화를
- 2005. 지원하는
- 2006. 프 레임워크로
- 2007. JSON을
- 2008. 이용해
- 2009. 데이터
- 2010. 형식과
- 2011. 프로토콜을
- 2012. 정의하 며,
- 2013. 작고
- 2014. 빠른
- 2015. 바이너리
- 2016. 포맷으로
- 2017. 데이터를
- 2018. 직렬화한다.
- 2019. Hadoop
- 2021. • 75 Chukwa
- 2023. 분산
- 2024. 환경에서
- 2025. 생성되는
- 2026. 데이터를
- 2027. HDFS에
- 2028. 안정적으로
- 2029. 저장시키 는
- 2030. 플랫폼으로
- 2031. 분산된
- 2032. 각
- 2033. 서버에서
- 2034. 에이전트(agent)를
- 2035. 실행하 고,
- 2036. 콜랙터(collector)가
- 2037. 에이전트로부터
- 2038. 데이터를
- 2039. 받아
- 2040. HDFS 에
- 2041. 저장한다.
- 2042. 콜렉터는
- 2043. 100개의
- 2044. 에이전트당
- 2045. 하나씩
- 2046. 구동되며,
- 2047. 데이터
- 2048. 중복
- 2049. 제거
- 2050. 등의
- 2051. 작업은
- 2052. MapReduce로
- 2053. 처리한다.
- 2055. 야후에서
- 2056. 개발됐으며,
- 2057. 현재는
- 2058. 아파치
- 2059. 인큐베이션에
- 2060. 포함
- 2061. Hadoop
- 2063. • 76 Flume
- 2065. Chukwa
- 2066. 처럼
- 2067. 분산된
- 2068. 서버에
- 2069. 에이전트가
- 2070. 설치되고,
- 2071. 에이전트로 부터
- 2072. 데이터를
- 2073. 전달받는
- 2074. 콜랙터로
- 2075. 구성된다.
- 2077. 차이점은
- 2078. 전체
- 2079. 데이터의
- 2080. 흐름을
- 2081. 관리하는
- 2082. 마스터
- 2083. 서버가
- 2084. 있어서,
- 2085. 데이터를
- 2086. 어디서
- 2087. 수집하고,
- 2088. 어떤
- 2089. 방식으로
- 2090. 전송하고,
- 2091. 어디에
- 2092. 저장할
- 2093. 지를
- 2094. 동적으로
- 2095. 변경할
- 2096. 수가
- 2097. 있다.
- 2099. 클라우드데라에서
- 2100. 개발됐으며,
- 2101. 현재는
- 2102. 아파치
- 2103. 인큐베이션에
- 2104. 포 함되어
- 2105. 있다.
- 2106. Hadoop
- 2108. • 77 Scribe
- 2110. 페이스북에서
- 2111. 개발한
- 2112. 데이터
- 2113. 수집
- 2114. 플랫폼이며,
- 2115. Chukwa와는
- 2116. 다 르게
- 2117. 데이터를
- 2118. 중앙
- 2119. 집중
- 2120. 서버로
- 2121. 전송하는
- 2122. 방식이다.
- 2123. 최종
- 2124. 데 이터는
- 2125. HDFS외에
- 2126. 다양한
- 2127. 저장소를
- 2128. 활용할
- 2129. 수
- 2130. 있으며,
- 2131. 설치와
- 2132. 구성이
- 2133. 쉽게
- 2134. 다양한
- 2135. 프로그램
- 2136. 언어를
- 2137. 지원한다.
- 2138. HDFS에
- 2139. 저장 하기
- 2140. 위해서는
- 2141. JNI(Java
- 2142. Native
- 2143. Interface)를
- 2144. 이용해야
- 2145. 한다.
- 2147. Hadoop
- 2148. http://tedwon.com/display/dev/Facebook+Scribe
- 2149. • 78 Sqoop
- 2151. 대용량
- 2152. 데이터
- 2153. 전송
- 2154. 솔루션이며,
- 2156. 2012/4월
- 2157. 아파치의
- 2158. top-level
- 2160. 프로젝트가
- 2161. 됐다.
- 2162. Sqoop은
- 2163. HDFS,
- 2165. RDBMS,
- 2166. DW,
- 2167. NoSQL등
- 2168. 다양한
- 2170. 저장소에
- 2171. 대용량
- 2172. 데이터를
- 2173. 신속하게
- 2175. 전송할
- 2176. 수
- 2177. 있는
- 2178. 방법을
- 2179. 제공한다.
- 2181. Oracle,
- 2182. MS-SQL,
- 2183. DB2
- 2184. 등과
- 2185. 같은
- 2187. 상용
- 2188. RDBMS와
- 2189. MySQL,
- 2191. PostgresSQL과
- 2192. 같은
- 2193. 오픈소스
- 2195. RDBMS등을
- 2196. 지원한다.
- 2198. Hadoop
- 2200. • 79 Hiho
- 2202. Sqoop과
- 2203. 같은
- 2204. 대용량
- 2205. 데이터
- 2206. 전송
- 2207. 솔루션이며,
- 2208. 현재
- 2209. github에 서
- 2210. 공개되어
- 2211. 있다.
- 2212. 하둡에서
- 2213. 데이터를
- 2214. 가져오기
- 2215. 위한
- 2216. SQL을
- 2217. 지 정할
- 2218. 수
- 2219. 있으며,
- 2220. JDBC
- 2221. 인터페이스를
- 2222. 지원한다.
- 2224. 현재는
- 2225. Oracle과
- 2226. MySQL의
- 2227. 데이터
- 2228. 전송만
- 2229. 지원한다.
- 2230. Hadoop
- 2232. • 80 Impala
- 2234. 클라우드데라의
- 2235. 하둡
- 2236. 기반의
- 2238. 실시간
- 2239. SQL
- 2240. query
- 2241. 시스템.
- 2243. 맵리듀스를
- 2244. 사용하지
- 2245. 않고,
- 2246. 자체
- 2248. 개발한
- 2249. 엔진을
- 2250. 사용해
- 2251. 빠른
- 2253. 성능을
- 2254. 보여준다.
- 2255. Impala는
- 2257. 데이터
- 2258. 조회를
- 2259. 위한
- 2260. 인터페이스
- 2261. 로,
- 2262. HiveQL을
- 2263. 사용한다.
- 2265. 수초
- 2266. 내에
- 2267. SQL
- 2268. 질의
- 2269. 결과를
- 2271. 확인할
- 2272. 수
- 2273. 있으며,
- 2274. HBase와도
- 2276. 연동이
- 2277. 가능하다.
- 2278. Hadoop
- 2280. • 81 Tajo
- 2282. 고려대학교
- 2283. 정보통신대학
- 2284. 컴퓨터학과
- 2285. DB연구실
- 2286. 박사
- 2287. 과정학생 들이
- 2288. 주도해서
- 2289. 개발한
- 2290. 하둡
- 2291. 기반의
- 2292. DW
- 2293. 시스템.
- 2294. 2013년
- 2295. 아파 치
- 2296. 재단의
- 2297. 인큐베이션
- 2298. 프로젝트로
- 2299. 선정되었다.
- 2300. 데이터
- 2301. 저장소는
- 2302. HDFS를
- 2303. 사용하되,
- 2304. 표준DB언어인
- 2305. SQL을
- 2306. 통해
- 2307. 실시간으로
- 2308. 데이터를
- 2309. 조회할
- 2310. 수
- 2311. 있다.
- 2312. Hive보다
- 2313. 2~3배
- 2314. 빠르 며,
- 2315. 클라우드데라의
- 2316. 임팔라(Impala)와는
- 2317. 비슷한
- 2318. 속도를
- 2319. 보여 준다.
- 2320. 임팔라가
- 2321. 클라우드데라의
- 2322. 하둡을
- 2323. 써야
- 2324. 하는
- 2325. 제약에
- 2326. 비 해,
- 2327. 특정
- 2328. 업체
- 2329. 솔루션에
- 2330. 종속되지
- 2331. 않는
- 2332. 장점이
- 2333. 있다
- 2334. Hadoop
- 2336. 6.
- 2337. Hadoop
- 2338. 03.
- 2339. Installation
- 2341. • 83 Prerequisites
- 2342. Required
- 2343. SW
- 2345. -
- 2346. Java
- 2347. 1.6.x
- 2348. 이상
- 2350. -
- 2351. ssh와
- 2352. sshd
- 2354. Windows
- 2356. -
- 2357. Cygwin
- 2359. Hadoop
- 2362. 6.
- 2363. Hadoop
- 2364. Single
- 2365. node
- 2366. Installation
- 2367. on
- 2368. Mac
- 2370. • 85 Hadoop
- 2371. mode
- 2372. Hadoop
- 2373. runtime
- 2374. 은
- 2375. 아래
- 2376. 세
- 2377. 가지
- 2378. 모드로
- 2379. 가능.
- 2381. • Standalone
- 2382. • 현재
- 2383. 프로세스에서
- 2384. 단독
- 2385. JVM으로
- 2386. 시작,
- 2387. 테스트
- 2389. 디버깅용
- 2390. • Pseudo-distributed
- 2391. mode
- 2392. • 하둡
- 2393. 데몬이
- 2394. 동작해서
- 2395. 클러스터를
- 2396. 시뮬레이션
- 2397. 가능함
- 2398. • Fully
- 2399. distributed
- 2400. mode
- 2401. • 하둡
- 2402. 데몬이
- 2403. 여러
- 2404. 컴퓨터에
- 2405. 그룹으로
- 2406. 구성
- 2408. Hadoop
- 2410. • 86 Prerequisites
- 2411. on
- 2412. the
- 2413. OSX
- 2414. XCode
- 2415. 4.3.2
- 2417. -
- 2418. 명령라인
- 2419. 도구를
- 2420. 설치:
- 2422. Xcode의
- 2423. Preferences
- 2424. 메뉴로
- 2425. 가서
- 2426. Downloads
- 2427. 패널로
- 2428. 갑니다.
- 2429. 이곳에서
- 2430. 'Command
- 2431. Line
- 2432. Tools'를
- 2433. 설치합니다.
- 2434. Java
- 2435. Developer
- 2436. for
- 2437. 10.7
- 2439. ssh,
- 2440. sshd
- 2441. 설치
- 2442. 필요
- 2444. Homebrew
- 2445. Hadoop
- 2446. Hadoop
- 2447. 설치
- 2449. -
- 2452. -
- 2455. -
- 2458. • 87 Homebrew
- 2459. Mac
- 2460. OS
- 2461. X에
- 2462. 기본으로
- 2463. 포함되어
- 2464. 있지
- 2465. 않은
- 2466. UNIX
- 2467. 도구들을
- 2468. 유연 하게
- 2469. 설치
- 2470. 및
- 2471. 관리하게
- 2472. 도와주는
- 2473. 도구로,
- 2474. 기존의
- 2475. MacPorts
- 2476. 또 는
- 2477. Fink에
- 2478. 비해서
- 2479. 여러모로
- 2480. 패키지를
- 2481. 설치,
- 2482. 관리가
- 2483. 편리.
- 2485. homebrew를
- 2486. 다음과
- 2487. 같이
- 2488. 설치
- 2492. homebrew
- 2493. doctor
- 2495. 명령을
- 2496. 실행해
- 2497. 이상없는지
- 2498. 확인.
- 2501. Hadoop
- 2502. $ ruby (curl -fsSkL raw.github.com/mxcl/homebrew/go) $ brew doctor $ brew update Homebrew
- 2503. 설치
- 2506. -
- 2509. -
- 2513. • 88 Install
- 2514. Hadoop
- 2515. install
- 2516. hadoop
- 2517. by
- 2518. brew
- 2519. Hadoop
- 2520. $ brew install hadoop == Downloading http://www.apache.org/dyn/closer.cgi?path=hadoop/core/hadoop- 1.1.2/hadoop-1.1.2.tar.gz == Best Mirror http://apache.tt.co.kr/hadoop/core/hadoop-1.1.2/hadoop-1.1.2. tar.gz ####################################################################### 99. 2% ######################################################################## 100. 0% == Caveats In Hadoop's config file: /usr/local/Cellar/hadoop/1.1.2/libexec/conf/hadoop-env.sh $JAVA_HOME has been set to be the output of: /usr/libexec/java_home == Summary 🍺 /usr/local/Cellar/hadoop/1.1.2: 271 files, 78M, built in 49.1 minutes $ hadoop version Hadoop 1.1.2 Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782 Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013 From source with checksum c720ddcf4b926991de7467d253a79b8b
- 2521. • 89 Hadoop
- 2522. directories
- 2523. Mac에서
- 2524. 설치한
- 2525. Hadoop
- 2526. runtime은
- 2528. /usr/local/opt/hadoop
- 2530. à
- 2534. 설정
- 2535. 디렉토리
- 2539. Hadoop
- 2540. $HADOOP_HOME
- 2542. • 90 conf/hadoop-env.sh
- 2543. 맥에서
- 2544. “Unable
- 2545. to
- 2546. load
- 2547. realm
- 2548. info
- 2549. from
- 2550. SCDynamicStore”
- 2551. 에러를
- 2552. 방지하기
- 2553. 위히
- 2554. 아래
- 2555. 라인을
- 2556. 추가
- 2558. Hadoop
- 2560. • 91 conf/core-site.xml
- 2561. 기본
- 2562. 설정
- 2563. Hadoop
- 2564. ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property namehadoop.tmp.dir/name value/Users/${user.name}/hadoop-store/value descriptionA base for other temporary directories./ description /property property namefs.default.name/name valuehdfs://localhost:8020/value /property /configuration
- 2566. 기본
- 2567. 설정
- 2568. Hadoop
- 2569. ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property namemapred.job.tracker/name valuelocalhost:9001/value /property property namemapred.tasktracker.map.tasks.maximum/name value2/value /property property namemapred.tasktracker.reduce.tasks.maximum/name value2/value /property /configuration
- 2570. • 93 conf/hdfs-site.xml
- 2571. 기본
- 2572. 설정
- 2573. Hadoop
- 2574. ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property namedfs.replication/name value1/value /property /configuration
- 2575. • 94 SSH
- 2576. 설정한
- 2577. localhost
- 2578. 를
- 2579. 위한
- 2580. 아래와
- 2581. 같이
- 2582. ssh
- 2583. key
- 2584. 필요
- 2587. -
- 2588. 비밀키:
- 2590. ~/.ssh/id_rsa
- 2593. -
- 2594. 공개키:
- 2595. ~/.ssh/id_rsa.pub
- 2597. 아래와
- 2598. 같이
- 2599. 키를
- 2600. 생성
- 2601. 할
- 2602. 수
- 2603. 있다.
- 2604. Hadoop
- 2605. $ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/Users/wanheecho/.ssh/id_ rsa): …
- 2606. • 95 SSH
- 2607. 접속
- 2608. 허용
- 2609. 맥에서
- 2610. 외부
- 2611. 접속을
- 2612. 허용해주어야
- 2613. 한다.
- 2614. “System
- 2615. Preferences”
- 2616. -
- 2617. “Sharing”
- 2619. 에서
- 2621. “Remote
- 2622. login”
- 2623. 체크
- 2626. 그리고
- 2627. 하둡간
- 2628. 자동로그인을
- 2629. 위해
- 2633. Hadoop
- 2634. $ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
- 2635. • 96 SSH
- 2636. 접속
- 2637. 테스트
- 2638. ssh
- 2639. 로그인을
- 2640. 테스트
- 2641. 한다.
- 2650. 이렇게
- 2651. 되면
- 2652. 현재
- 2653. 호스트를
- 2654. ~/.ssh/known_hosts
- 2655. 에
- 2656. 등록한다.
- 2657. Hadoop
- 2658. $ ssh localhost The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is fb:cc:5d:08:ed:a2:d3:c2:7f:48:61:17:55:af: d1:86. Are you sure you want to continue connecting (yes/no)?
- 2659. • 97 hadoop
- 2660. start
- 2662. stop
- 2663. 새로운
- 2664. DFS로
- 2665. namenode를
- 2666. 포맷하고
- 2667. hadoop을
- 2668. singlenode 로
- 2669. 실행한다.
- 2670. Hadoop
- 2671. $ cd /usr/local/opt/hadoop $ ./bin/hadoop namenode –format $ ./bin/start-all.sh ./bin/start-all.sh starting namenode, logging to /usr/local/Cellar/hadoop/1.1.2/libe xec/bin/../logs/hadoop-androidbee-namenode-gogangtaeui-MacBook-Ai r.local.out localhost: starting datanode, logging to /usr/local/Cellar/hadoop /1.1.2/libexec/bin/../logs/hadoop-androidbee-datanode-gogangtaeui -MacBook-Air.local.out …
- 2672. • 98 hadoop
- 2673. processes
- 2674. Java에서
- 2675. 제공하는
- 2676. jps
- 2677. 를
- 2678. 활용하면
- 2679. hadoop의
- 2680. 프러세스
- 2681. 상태를
- 2682. 확인할
- 2683. 수
- 2684. 있다.
- 2685. Hadoop
- 2686. $ jps 7257 Jps 5795 NameNode 6062 JobTracker 5892 DataNode 5989 SecondaryNameNode 6159 TaskTracker http://wiki.apache.org/hadoop/HowToDebugMapReducePrograms
- 2687. • 99 hadoop
- 2688. examing
- 2689. 제공되는
- 2690. 예제로
- 2691. 테스트
- 2692. 해본다.
- 2693. Hadoop
- 2694. $ hadoop jar /usr/local/Cellar/hadoop/1.1.2/libexec/hadoop-examples-1.1.2.j ar pi 10 100 Number of Maps = 10 Samples per Map = 100 Wrote input for Map #0 … Wrote input for Map #9 Starting Job 13/05/29 10:49:21 INFO mapred.FileInputFormat: Total input paths to process : 10 13/05/29 10:49:21 INFO mapred.JobClient: Running job: job_201305291048_0001 13/05/29 10:49:22 INFO mapred.JobClient: map 0% reduce 0% …13/05/29 10:49:52 INFO mapred.JobClient: map 100% reduce 100% 13/05/29 10:49:53 INFO mapred.JobClient: Job complete: job_201305291048_000 1 ... Job Finished in 31.939 seconds Estimated value of Pi is 3.14800000000000000000
- 2695. • 100 hadoop
- 2696. examing
- 2697. 실행시
- 2699. 네임노드
- 2700. 에러,
- 2702. Hadoop
- 2703. $ hadoop jar /usr/local/Cellar/hadoop/1.1.2/libexec/hadoop-examples-1.1.2.j ar pi 10 100 Number of Maps = 10 Samples per Map = 100 org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.nameno de.SafeModeException: Cannot create directory /user/androidbee/PiEstimator_ TMP_3_141592654/in. Name node is in safe mode. The reported blocks 1 has reached the threshold 0.9990 of total blocks 1. S afe mode will be turned off automatically in 5 seconds.
- 2704. • 101 Verify
- 2705. hadoop
- 2706. instance
- 2707. 실행중인
- 2708. hadoop
- 2709. 의
- 2710. 인스턴스를
- 2711. 확인
- 2715. 모니터링
- 2718. –
- 2719. Name
- 2720. Node
- 2723. -
- 2724. TaskTracker
- 2725. daemon
- 2728. –
- 2729. Job
- 2730. Tracker
- 2732. Hadoop
- 2733. $ ps ax | grep hadoop | wc -l
- 2734. • 102 hadoop
- 2735. stop
- 2736. Hadoop
- 2737. $ cd /usr/local/opt/hadoop $ $ ./bin/stop-all.sh stopping jobtracker localhost: stopping tasktracker stopping namenode localhost: stopping datanode localhost: stopping secondarynamenode
- 2738. 6.
- 2739. Hadoop
- 2740. Single
- 2741. node
- 2742. Installation
- 2743. on
- 2744. Ubuntu
- 2746. • 104 Ubuntu
- 2747. java
- 2748. jdk
- 2749. 설치
- 2750. ssh,
- 2751. sshd
- 2752. 설치
- 2753. 설치
- 2754. 및
- 2755. 설정
- 2762. Hadoop
- 2764. 6.
- 2765. Hadoop
- 2766. Hadoop
- 2767. with
- 2768. Node.js
- 2770. • 106 Another
- 2771. example
- 2772. 링크에
- 2773. 있는
- 2774. 예제
- 2775. 데이터를
- 2776. 이용한다.
- 2779. Hadoop
- 2780. $ hadoop dfs -copyFromLocal gutenberg/ ~/hadoop-store/gutenberg $ hadoop dfs -ls ~/hadoop-store/ $ hadoop dfs -ls ~/hadoop-store/gutenberg/ Found 3 items -rw-r--r-- 1 androidbee supergroup 674570 2013-05-29 12:50 /Users/and roidbee/hadoop-store/gutenberg/pg20417.txt -rw-r--r-- 1 androidbee supergroup 1573150 2013-05-29 12:50 /Users/and roidbee/hadoop-store/gutenberg/pg4300.txt -rw-r--r-- 1 androidbee supergroup 1423803 2013-05-29 12:50 /Users/and roidbee/hadoop-store/gutenberg/pg5000.txt $ hadoop jar /usr/local/opt/hadoop/libexec/hadoop-examples-1.1.2.jar wordco unt ~/hadoop-store/gutenberg ~/hadoop-store/gutenberg-output …
- 2781. • 107 Another
- 2782. example2
- 2783. Hadoop
- 2784. $ hadoop jar /usr/local/opt/hadoop/libexec/hadoop-examples-1.1.2.jar wordco unt ~/hadoop-store/gutenberg ~/hadoop-store/gutenberg-output 13/05/29 12:53:50 INFO input.FileInputFormat: Total input paths to process : 3 13/05/29 12:53:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 13/05/29 12:53:50 WARN snappy.LoadSnappy: Snappy native library not loaded 13/05/29 12:53:50 INFO mapred.JobClient: Running job: job_201305291048_0008 13/05/29 12:53:51 INFO mapred.JobClient: map 0% reduce 0% … 13/05/29 12:54:10 INFO mapred.JobClient: map 100% reduce 100% 13/05/29 12:54:11 INFO mapred.JobClient: Job complete: job_201305291048_000 8 13/05/29 12:54:11 INFO mapred.JobClient: Counters: 26 13/05/29 12:54:11 INFO mapred.JobClient: Job Counters 13/05/29 12:54:11 INFO mapred.JobClient: Launched reduce tasks=1 13/05/29 12:54:11 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=18430 … 13/05/29 12:54:11 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=10487 13/05/29 12:54:11 INFO mapred.JobClient: File Output Format Counters 13/05/29 12:54:11 INFO mapred.JobClient: Bytes Written=880838
- 2785. • 108 Another
- 2786. example3
- 2787. 결과를
- 2788. 확인한다.
- 2795. Hadoop
- 2796. $ hadoop dfs -ls ~/hadoop-store/gutenberg-output Found 3 items -rw-r--r-- 1 androidbee supergroup 0 2013-05-29 12:54 /Users/and roidbee/hadoop-store/gutenberg-output/_SUCCESS drwxr-xr-x - androidbee supergroup 0 2013-05-29 12:53 /Users/and roidbee/hadoop-store/gutenberg-output/_logs -rw-r--r-- 1 androidbee supergroup 880838 2013-05-29 12:54 /Users/and roidbee/hadoop-store/gutenberg-output/part-r-00000 $ $ hadoop dfs -cat ~/hadoop-store/gutenberg-output/part-r-00000 $ mkdir ~/tmp/gutenberg-output $ hadoop dfs -getmerge ~/hadoop-store/gutenberg-output ~/tmp/gutenberg-outp ut $ head ~/tmp/gutenberg-output/gutenberg-output (Lo)cra 1 1490 1 1498, 1 35 1 40, 1 A 2 AS-IS. 1 A_ 1 Absoluti 1 Alack! 1
- 2797. • 109 example
- 2798. for
- 2799. NodeJS
- 2800. 아래
- 2801. 코드를
- 2802. ~/tmp/mapper.js
- 2803. 로
- 2804. 저장한다.
- 2805. 이
- 2806. 프로그램은
- 2807. 앞 의
- 2808. gutenberg
- 2809. 텍스트를
- 2810. 표준입력을
- 2811. 읽어
- 2812. ‘단어’로
- 2813. 분리해서
- 2814. ‘단어’
- 2815. 목록의
- 2816. 개수를
- 2817. 출력해
- 2818. 준다.
- 2819. Hadoop
- 2820. #!/usr/bin/node var stdin = process.stdin; var stdout = process.stdout; var data = ''; function processLine(line) { if(line line.trim().length 0) { var s = line.trim().split(' '); for(var i = 0; i s.length; ++i) { stdout.write(s[i] + 't1n'); } } } // 계속… http://rabrown.net/hadoop-word-count-streaming-example-with-nodejs node
- 2821. 경로를
- 2822. 입력한다.
- 2824. • 110 example
- 2825. for
- 2826. NodeJS(2)
- 2827. 표준입력의
- 2828. 키보드
- 2829. 입력을
- 2830. 문자로
- 2831. 구분해
- 2832. 준다.
- 2844. 실행
- 2845. 권한으로
- 2846. 변경해
- 2847. 준다.
- 2848. Hadoop
- 2849. //(이어서) stdin.setEncoding('utf8'); stdin.resume(); stdin.on('data', function(chunk) { data += chunk; data = data.replace(/rn/g, 'n'); while(data.indexOf('n') -1) { var i = data.indexOf('n') + 1; processLine(data.slice(0,i)); data=data.slice(i); } }); stdin.on('end', function() { processLine(data); }); $chmod +x ~/tmp/mapper.js
- 2850. • 111 example
- 2851. for
- 2852. NodeJS(3)
- 2853. ~/tmp/reducer.js
- 2854. 로
- 2855. 코드를
- 2856. 저장한다.
- 2857. Hadoop
- 2858. #!/usr/bin/node var stdin = process.stdin; var stdout = process.stdout; function processLine(line) { if(line line.trim().length 0) { var s = line.trim().split('t'); if(s.length == 2) { var w = s[0].trim(); var c = parseInt(s[1]); if(!isNaN(c)) { if(cw == w) { cc += c; } else { if(cw) { stdout.write(cw + 't' + cc + 'n'); } cw = w; cc = c; } } } } } mapper.js의
- 2859. 결과를
- 2860. 읽어
- 2861. 최종
- 2862. 단 어
- 2863. 개수를
- 2864. 출력해
- 2865. 준다.
- 2866. node
- 2867. 경로를
- 2868. 입력한다.
- 2870. • 112 example
- 2871. for
- 2872. NodeJS(4)
- 2873. Hadoop
- 2874. //(이어서) var data = ''; var cw = null; var cc = 0; stdin.setEncoding('utf8'); stdin.resume(); stdin.on('data', function(chunk) { data += chunk; data = data.replace(/rn/g, 'n'); while(data.indexOf('n') -1) { var i = data.indexOf('n') + 1; processLine(data.slice(0,i)); data=data.slice(i); } }); stdin.on('end', function() { processLine(data); stdout.write(cw + 't' + cc + 'n'); }); $chmod +x ~/tmp/reducer.js
- 2875. • 113 example
- 2876. for
- 2877. NodeJS(5)
- 2878. Hadoop
- 2879. $echo foo foo quux labs foo bar quux | ~/tmp/mapper.js $echo foo foo quux labs foo bar quux | /home/hduser/mapper.js | sort -k1,1 | /home/hduser/reducer.js $ hadoop jar /usr/local/opt/hadoop/libexec/contrib/streaming/ha doop-*streaming*.jar -file ~/tmp/mapper.js -mapper ~/tmp/mapper .js -file ~/tmp/reducer.js -reducer ~/tmp/reducer.js -input ~/h adoop-store/gutenberg/* -output ~/tmp/gutenberg-output http://hadoop.apache.org/docs/r1.1.2/streaming.html
- 2880. • 114 example
- 2881. for
- 2882. NodeJS(6)
- 2883. 다시
- 2884. 실행해
- 2885. 보려면
- 2886. 실행한
- 2887. 결과를
- 2888. 제거한다.
- 2889. Hadoop
- 2890. $ hadoop dfs -rmr ~/tmp/gutenberg-output
- 2891. • 115
- 2892. 감사합니다.
- 2897. BigData와
- 2898. Hadoop에
- 2899. 대해
- 2900. 질문을
- 2901. 해 주십시요.