THE THINGS AROUND BIG DATA
- CLOUD COMPUTING, GOVERNMENT DATA, LINKED DATA

남궁현

nghyun@chungbuk.ac.kr
nghyun@snu.ac.kr
Involved Projects

독립형 컴포넌트 기반 서비스 지향형
페타급 컴퓨팅 플랫폼 기술 개발

빅데이터 활용을 위한 지식자산 구축 및 실
시간 Linked Data 응용 기술개발

ExoBrain 컨소시엄 과제
Big Data
Buzz Word…?
What the Hell is BIG DATA?
3Vs
And….
Cloud Computing

Open Data

Linked Data

Government Data

Hadoop
NOSQL

Echo-System
Definition?
Example
Ex.1 - Daum

대규모 Log분석
16시간

1.5시간
Content Logs

단위뉴스별 실시간 분석

실시간 콘텐츠 피드백
Ex.2 - LinkedIn
Simple Graph Analyze
Scalable Cluster

16TB
Scalable Computing 환경
기존 시스템에서 처리가 힘든 크기의 데이터
Too Large Size Data

6,000,000,000 Files
with 60TB Physical Size

Of One Month
Machine??
Processing time ??
Storage space??
Scalable Computing
Environment
Cloud Computing
NOSQL DB
MapReduce
Cloud?
Cloud Computing
Cloud Computing

Job
Result
Easy Scalability
MapReduce Framework(e.g. Hadoop)

…
Network-wired Hadoop Cluster
NoSQL(e.g. MongoDB, Cassandra)
Storing and Processing Cluster on Cloud Computing
Storing

Processing

MongoDB
Cluster
…

Hadoop
Cluster
…
Twits on MongoDB Cluster
Key:@id+time
Value: twitt message

MongoDB
Cluster
@id+time

Store
…

Query Access
MapReduce Cluster
Input

Map
@id

Reduce
#tag

#tag

#tag
@id

#tag

#tag

Output
Big Data Handling

Application
/Analyze
NOSQL DB
MapReduce
국내에선..?
THE THINGS AROUND BIG DATA
Recent Big Data Research in Korea

Social Data
Governmental Data
Linked Data
Social Big Data Analyze
Social Big Data Analyze
Governmental Data
Governmental Data

공유자원포탈(http://data.go.kr)

by 인터넷 정보화 진흥원

서울 열린 데이터 광장(http://data.seoul.go.kr)

by 서울시 정정보화 사업단
Linked Data by Tim Berners Lee
THE THINGS AROUND BIG DATA
Social Data
Governmental Data
Linked Data
Big Data Research

= Find Forgotten Data
Data high- dimensional features

Hash Code Decoding
제 경우는요..
빅데이터 활용을 위한 지식자산 구축 및
실시간 Linked Data 응용 기술 개발
(2012 ~ 2015, 3Years, 8,000 per Year)

데이터 변환/Sync

RDF데이터 처리

주관기관, 데이터확보, Enrichment

사용자 응용서비스

데이터/플랫폼 제공
XML, OpenAPI

RDF, Linked Data

VS

Data, API

Web of Data
LOD

분할 인덱스

schema
공공DB

RDF

공공DB

검색/접근/API

TextData

공공DB

공공DB

공공DB

데이터/인프라 제공

Linked Data기반 응용서비스

공공데이터 플랫폼
LOD 데이터
자체서비스데이터

공공데이터 플랫폼

LOD Publish

개발자지원
IBM Watson

ExoBrainProject
Graph Data Storage
Knowledge = Large Size Graph Data
Real-time Graph Data Processing
감사합니다
nghyun@gmail.com
@chungbuk.ac.kr

More Related Content

PDF
Best practice instagram
PDF
빅데이터 플랫폼 새로운 미래
PPT
Big Data & Hadoop by Skidmarkii
PPTX
빅데이터와 로봇 (Big Data in Robotics)
PDF
[SSA] 01.bigdata database technology (2014.02.05)
PPT
Pag 빅데이터-한국에도필요한가
PDF
Big data infra core technology 빅데이터 전문인력-양성사업_분석과정-특강
PDF
[2018 Bigdata win-win conference] 2
Best practice instagram
빅데이터 플랫폼 새로운 미래
Big Data & Hadoop by Skidmarkii
빅데이터와 로봇 (Big Data in Robotics)
[SSA] 01.bigdata database technology (2014.02.05)
Pag 빅데이터-한국에도필요한가
Big data infra core technology 빅데이터 전문인력-양성사업_분석과정-특강
[2018 Bigdata win-win conference] 2

What's hot (16)

PDF
OSGeo와 Open Data
PDF
빅데이터 인공지능 전략 및 로드맵
PDF
Introduction to ankus(data mining and machine learning open source)
PDF
RUCK 2017 - 강병엽 - Spark와 R을 연동한 빅데이터 분석
PDF
2012 빅데이터 big data 발표자료
PDF
BigData, Hadoop과 Node.js
PDF
MelOn 빅데이터 플랫폼과 Tajo 이야기
PPT
빅데이터 기본개념
PDF
지능정보시대를 위한 빅데이터, 이대로 좋은가
PDF
Daum’s Business Analytics Use-cases based on Bigdata technology (2012)
PDF
BigData, Hadoop과 Node.js, R2
PPTX
Connect Bigquery with python
PDF
[2016 데이터 그랜드 컨퍼런스] 6 2(전략,솔루션). 큐브리드 오픈소스 dbms의 클라우드 구축 사례-발표자료
PDF
제 12회 보아즈(BOAZ) 빅데이터 컨퍼런스 -STEC
PDF
G스위트 와 Office 365 기반 클라우드 그룹웨어 - 스마트워크플레이스
PDF
Posco ai challenge with RSCNN
OSGeo와 Open Data
빅데이터 인공지능 전략 및 로드맵
Introduction to ankus(data mining and machine learning open source)
RUCK 2017 - 강병엽 - Spark와 R을 연동한 빅데이터 분석
2012 빅데이터 big data 발표자료
BigData, Hadoop과 Node.js
MelOn 빅데이터 플랫폼과 Tajo 이야기
빅데이터 기본개념
지능정보시대를 위한 빅데이터, 이대로 좋은가
Daum’s Business Analytics Use-cases based on Bigdata technology (2012)
BigData, Hadoop과 Node.js, R2
Connect Bigquery with python
[2016 데이터 그랜드 컨퍼런스] 6 2(전략,솔루션). 큐브리드 오픈소스 dbms의 클라우드 구축 사례-발표자료
제 12회 보아즈(BOAZ) 빅데이터 컨퍼런스 -STEC
G스위트 와 Office 365 기반 클라우드 그룹웨어 - 스마트워크플레이스
Posco ai challenge with RSCNN

Viewers also liked (9)

PDF
A Typical Day in a Seasonal Hostel
PPS
Chuyen xe cuoc doi
PPTX
Open Data Workshop
PDF
Power tomakeourselves slideshow2_v1
PPT
Textual Analysis: What I have learnt
PDF
Evolution of a Fellow - And Introduction to the William J. Clinton Fellowship...
PPTX
DAUM DevOn 2012 발표자료
PPT
Improving
PPTX
Clase emprendimiento y estrategia digital
A Typical Day in a Seasonal Hostel
Chuyen xe cuoc doi
Open Data Workshop
Power tomakeourselves slideshow2_v1
Textual Analysis: What I have learnt
Evolution of a Fellow - And Introduction to the William J. Clinton Fellowship...
DAUM DevOn 2012 발표자료
Improving
Clase emprendimiento y estrategia digital

Similar to THE THINGS AROUND BIG DATA (20)

PPTX
Big data
PPTX
고려대 교육정보서비스 시스템 4-5주
PPTX
Hadoop 기반 빅데이터 이해
PDF
빅데이터, big data
PPTX
Big data
PDF
빅데이터 기술 현황과 시장 전망(2014)
PDF
[중소기업형 인공지능/빅데이터 기술 심포지엄] 대용량 거래데이터 분석을 위한 서버인프라 활용 사례
PPT
Big Data Overview
PDF
실시간 빅 데이터 기술 현황 및 Daum 활용 사례 소개 (2013)
PDF
No sql survey report
PDF
제2회 사내기술세미나-no sql(배표용)-d-hankim-2013-4-30
PDF
제2회 사내기술세미나-no sql(배표용)-d-hankim-2013-4-30
PDF
NoSQL distilled 왜 NoSQL인가
PPTX
빅 데이터 개요 및 활용
PDF
2012.04.11 미래사회와 빅 데이터(big data) 기술 nipa
PDF
NoSQL 간단한 소개
PDF
1. hadoop 소개
PDF
AWS 기반 데이터 레이크(Datalake) 구축 및 분석 - 김민성 (AWS 솔루션즈아키텍트) : 8월 온라인 세미나
PPTX
Big data application architecture 요약2
PPTX
웹보메트릭스와 계량정보학01 2
Big data
고려대 교육정보서비스 시스템 4-5주
Hadoop 기반 빅데이터 이해
빅데이터, big data
Big data
빅데이터 기술 현황과 시장 전망(2014)
[중소기업형 인공지능/빅데이터 기술 심포지엄] 대용량 거래데이터 분석을 위한 서버인프라 활용 사례
Big Data Overview
실시간 빅 데이터 기술 현황 및 Daum 활용 사례 소개 (2013)
No sql survey report
제2회 사내기술세미나-no sql(배표용)-d-hankim-2013-4-30
제2회 사내기술세미나-no sql(배표용)-d-hankim-2013-4-30
NoSQL distilled 왜 NoSQL인가
빅 데이터 개요 및 활용
2012.04.11 미래사회와 빅 데이터(big data) 기술 nipa
NoSQL 간단한 소개
1. hadoop 소개
AWS 기반 데이터 레이크(Datalake) 구축 및 분석 - 김민성 (AWS 솔루션즈아키텍트) : 8월 온라인 세미나
Big data application architecture 요약2
웹보메트릭스와 계량정보학01 2

THE THINGS AROUND BIG DATA