클라우드와 방송 제작용 스토리지
2016 / 02
KBS 방송시설국 임태현
NAS 구성 및 테스트 결과 공유
1. 현 방송사 스토리지 일반 구성
2. 클라우드에서 기존 방식으로 구성 어려운 이유
3. 클라우드 인프라를 위한 공유 스토리지 구성
4. 문제점과 보완하기 위한 노력
5. 공유파일시스템 PoC 대상 3가지 솔루션
6. 제품화 개발 및 테스트 과정
7. 향후 계획
• 이중화 구성 테스트
• 오픈스택 Ironic과 결합 테스트
• KBS 고속전송 & Swift-on-File & TR과 결합개발
• 차기 버전 개발 테스트
Agenda
2
1.1. 방송사 스토리지 일반 구성
스토리지
데이터를 보관하는 장소
저장 장치 + 파일시스템
방송사 제작 워크플로우
거대한 스토리지(RAID, LUN, 공유파일
시스템...)를 중심으로
프로그램 별로 복수의 작업자들이
협업하며 순차적으로 이루어짐
편성에 따라 다수의 파일이 반복적이고
주기적으로 생성, 수정, 삭제
3
1.2. 방송사 스토리지 일반 구성
4
LTO-6 데이터 테입
SL8500, T-Finity…
1.3. 방송사 스토리지 일반 구성
ARCHIVE CMS NAS G/WSNFS MDC TM
SAN Director
(Brocade) Giga Ethernet
Fibre Channel
MAIN
FC
FC
원본
SAS 900GB/10K
SAS 디스크 스토리지
High-End ~ Mid-range
FC
FC
백업본
NL-SAS 3TB/7.2K
고용량 SATA 디스크 스토리지
Mid-range…
BACKUP
FCFC
TAPE LIBRARY
NLETR
5
2.1. 클라우드에서는 왜 힘든지...
▶SAN Director 벤더 Brocade만 남음
• 예전에는 QLogic도 있었는데...
▶FC HBA Card 고정 할당
• N-Port ID Virtualization이 있지만...
• 차라리 10GE NIC 장착하고 SR-IOV를 쓰자!
▶SAN 공유파일시스템 Client License issue
• 편집실 주로 사용하는 Mac OS X는 XSAN 탑재
• 하지만, 오픈스택 Guest OS로 MAC OS X 미지원
• 리눅스, 윈도우는 VM도 실물 환경과 똑같이 카운팅
6
2.2. 클라우드에서는 어떻게...
▶스케일-아웃 방식의 NAS가 적합하다고 판단
• 별도 공유파일시스템 소프트웨어가 아닌 범용 프로토콜 사용
• KBS 뉴스룸, 라디오에서 EMC 스케일-아웃 NAS Isilon
▶이 때, NAS의 SAN 공유볼륨 구성 대비 문제점
• Block I/O vs File I/O
• Latency, Sustained I/O
7
3.1. 문제점 극복 노력 – DLC
▶FC SAN Client(SNFS)를 탑재하고 SNFS Lan Client
• 급히 편집 공간 마련을 위해
iMac 임대 후 Ethernet 1GE
• NPS 내부 소프트웨어 그대로,
제작진 차이 모르고 작업
▶SAN과 같은 볼륨을 경제적으로 사용한다는 측면에서 큰 장점
▶TV기술국에서 이번 설특집에 활용함
8
1. OpenStack에 새로운 VM Instance 생성
3.2.1. iSCSI TEST w/ Offload & MTU9000
▶목적 • Ethernet 레벨의 TOE 관련 설정으로 GlusterFS를 구성하는
Cinder Volume 성능 향상이 가능한지 확인
▶방법 • OpenStack Compute Node - Storage 10G NIC 설정을 변경하며
성능 개선 효과가 있는 값을 확인
테스트 진행 순서
2. 생성된 Instance에 Cinder Volume 할당
3. 해당 Compute Node의 10G NIC Parameter 확인 및 변경
4. 설정 변경하며 Cinder Volume에 150GB 단위 쓰기 성능 측정
9
3.2.2 iSCSI TEST w/ Offload & MTU9000
MTU 9000, TSO GSO GRO LRO off : 285.721 s, 550 MB/s
MTU 9000, TSO LRO off, GSO GRO on : 298.793 s, 526 MB/s
MTU 9000, TSO LRO on, GSO GRO off : 295.395 s, 532 MB/s
MTU 9000, TSO GSO GRO LRO on : 297.76 s, 528 MB/s
MTU 1500, TSO GSO GRO LRO on : 267.694 s, 588 MB/s
MTU 1500, TSO LRO off, GSO GRO on : 299.381 s, 525 MB/s
MTU 1500, TSO LRO on, GSO GRO off : 276.379 s, 589 MB/s
테스트 결과
10
4.1. 공유 파일시스템 비교
▶Quantum SNFS
• 국내외 방송제작시스템 환경에서 기준
• Linux, Mac, Windows 환경을 아우르는 Block I/O
• 별도 가상환경 라이선스 정책 없고 VM당 부과
▶Quantum LAN Client : 기존 SNFS 볼륨과 호환성 유지 가능
▶Intel Lustre : HPC, Throughput/OSS 스케일아웃, MDS, MDT
▶Redhat GlusterFS : 단순한 구성 및 안정성, Scale-out 방식 확장
11
4.2. NAS 설계 시 고려한 부분
▶고속 저장장치를 조합 (All Flash 등)으로 Latency 극복
• Multi-stream 아직은 윈도우만 이지만
• Samba VFS for GlusterFS로 논리/물리 레이어를 단축
▶고속 네트워크를 조합 (IB RDMA)으로 병목 없는 I/O
▶SMB3: Linux Samba 4.x, Mac Yosemite, Windows 8/2012
▶물리 장비당 적정 RAID Controller 구성
▶제품화를 위한 에코시스템
12
5.1.1. 1차 테스트 - Intel Lustre
MDS
SanDisk Infini-Flash
IF100 SSD 64TB
SX6012 56G Infiniband Swtich
SMB3
G/W#2
EX4550 32F 10G Switch
6G SAS x 4
56G FDR
10G x 4
Linux Native
OSS Node#1 OSS Node#2
SMB3
G/W#1
Client ClientClient Client
13
5.1.2. LustreFS IO측정 결과 – WIN OS
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
Win7
(SMB2)
573.45
Win8
(SMB3)
577.63
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
14
5.1.3. LustreFS IO측정 결과 - MAC OS X
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
MacBook 599.97
MacPro 891.49
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
15
5.1.4. LustreFS 테스트 결과 – Latency (IOPing), NLE 편집
테스트 항목 테스트결과 비 고
Latency -
HD 멀티캠 편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생
UHD(3840X2160p 30p) 편집 보통
테스트영상 : (3840x2160 30p)
테스트방법 : 2 stream 편집시 Frame Drop 미발생
테스트 항목 테스트결과 비 고
Latency
4KB : 300us
8MB : 20ms
IO ping 테스트 수치
HD 멀티캠 편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생
UHD(3840X2160p 60p) 편집 양호
테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p)
테스트방법 : 1 stream 멀티캠 편집시 Frame Drop 미발생
▶ Win(EDIUS)
▶ MAC(FCPX)
16
5.1.5. 1차 테스트 - 효성 Gluesys Anycloud-K
EX4550 32F 10G Switch
6G SAS x 2
10GE
Client Client
R720
GlusterFS Node#1
R720
GlusterFS Node#2
Client Client
R720
GlusterFS Node#3
R720
GlusterFS Node#4
SX6012 56G Infiniband Swtich
SanDisk Infini-Flash
IF100 SSD 64TB
17
5.1.6. Anycloud-K IO측정 결과 – WIN OS
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
Win7 #1
(SMB2)
921.24
Win7 #2
(SMB2)
882.29
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
18
5.1.7. Anycloud-K IO측정 결과 - MAC OS X
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
MacBook 752.05
MacPro 772.17
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
19
5.1.8. Anycloud-K 테스트 결과 – Latency (IOPing), NLE 편집
테스트 항목 테스트결과 비 고
Latency -
HD 멀티캠편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생
UHD(3840X2160p 30p) 편집 양호
테스트영상 : GVHQ 1Gbps (3840x2160 30p)
테스트방법 : 3 stream 멀티캠 편집시 Frame Drop 미발생
테스트 항목 테스트결과 비 고
Latency
4KB : 300us
8MB : 10ms
IO ping 테스트 수치
HD 멀티캠편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생
UHD(3840X2160p 60p) 편집 양호
테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p)
테스트방법 : 2 stream 멀티캠 편집시 Frame Drop 미발생
▶ Win(EDIUS)
▶ MAC(FCPX)
20
솔루션 평균속도(R:W=7:3) 편집테스트 I/O안정성
검토
의견
Red Hat
Storage
Server
X X Bad
테스트 참가업체
엔지니어
설정 미숙으로 실패
Intel Luster
File System
660.64 MB/s
4K영상 1개
맥 프로에서NLE 재생
Normal
구성
난이도 높음
효성 Gluesys
Anycloud-K
831.94 MB/s
4K영상 2개
맥 프로에서NLE 재생
Good
KBS 기획/설계한 네트워크 및 All-Flash
기 반 아 키 텍 처 를 채 택 해 도 효 성
글루시스에서 기존 엔진으로 사용하던
CephFS는 방송용 FS로 불가함.
→ KBS가 월드 자막제작시스템에서 직접
구축하여 사용중인 GlusterFS 및SMB설정
구성변경 제안 반영 후 성공
5.1.9. 1차 테스트 결과 종합
21
SanDisk All Flash
IF100 SSD 128TB
R820
Gluesys node#1
SX6012 56G FDR Infiniband Swtich
R730
Anywhere
6G SAS x 2
(4 lane in)
56G RDMA
10G x 2
R720
Gluesys node#2
R720
Gluesys node#3
R720
Gluesys node#4
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
EX3300 1GE 24port & 10GE 4port Switch
40GE
1G
MNC Backbone Switch
NPS Access Switch
5.2.1. 2차 테스트 – Adobe Anywhere
22
5.2.2. 2차 테스트 결과 종합
23
5.2.4. 1& 2차 테스트 장비 구성
▶Dell R720 서버 5식
▶Mellanox Infinband 스위치 (SX6012 56G FDR)
▶SanDisk Infiniflash IF100 64TB (1차)
▶Juniper 10G 이더넷스위치 (EX3300 10GbE)
▶SanDisk Infiniflash IF100 128TB (2차)
24
5.3.1. 3차 테스트 장비 구성
▶Dell R730, CPU E5-2660v3 10 Core x 2, RAM 64GB
Dell R730, CPU E5-2643v3 6 Core x 2, RAM 64GB
Dell R730, CPU E5-2623v3 4 Core x 2, RAM 64GB
Dell R720, CPU E5-2697v2 12 Core x 2, RAM 64GB
▶Mellanox SX6012 FDR(56Gb/s) Infiniband Switch
▶Huawei Quidway S6700 10GbE 24 port Switch
▶Samsung SSD SM863 1.92TB x 28
25
MAIN (SSD 48TB) DISTRIBUTED
OpenStack
NOVA
40GE x 2 Uplink
OpenStack
NOVA
OpenStack
NOVA
OpenStack
NOVA
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
40GE
MNC Backbone Switch
MNC Access Switch
EX4550 32T 1GE Switch
MNC Backbone Switch
EX4550 32F 10GE Switch
EX4550 32T 1GE Switch
V·C
OpenStack
NOVA
1GE
10GE
Anycloud-K #3
SSD 12TB 메인
Anycloud-K #4
SSD 12TB 메인
Anycloud-K #1
SSD 12TB 메인
Anycloud-K #2
SSD 12TB 메인
SX6012
40GE & 56G IB Switch
10GE
56G IB
(RDMA)
EX4550 32F 10GE Switch
SX6012
40GE & 56G IB Switch
vm vm
5.3.2. 3차 테스트 – IPoIB 진행중
SMB3 1세션 1.2GB/s
FUSE 노드당 2GB/s
VFS 노드당 3GB/s
26
5.3.3. 3차 테스트 – RoCE 다음 주
MAIN (SSD 64TB) & BACKUP (8TB CACHE on HDD 64TB) REPLICA
Anycloud-K #1
NL-SAS 16TB 백업
Anycloud-K #2
NL-SAS 16TB 백업
OpenStack
NOVA
40GE x 2 Uplink
OpenStack
NOVA
OpenStack
NOVA
OpenStack
NOVA
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
MNC Backbone Switch
MNC Access Switch
EX4550 32T 1GE Switch
MNC Backbone Switch
EX4550 32F 10GE Switch
EX4550 32T 1GE Switch
V·C
OpenStack
NOVA
1GE
10GE
Anycloud-K #3
SSD 16TB 메인
Anycloud-K #4
SSD 16TB 메인
Anycloud-K #1
SSD 16TB 메인
Anycloud-K #2
SSD 16TB 메인
10GE
40G RoCE (RDMA)
EX4550 32F 10GE Switch
vm vm
MLAG
Anycloud-K #3
NL-SAS 16TB 백업
Anycloud-K #4
NL-SAS 16TB 백업
dm-cache 2TB dm-cache 2TB
dm-cache 2TB dm-cache 2TB
MSX1710-BS2F2
40GE Switch
MSX1710-BS2F2
40GE Switch
27
5.4. Anycloud-K 장점 요약 (홍보)
GUI 상에서 클러스터/성능
/권한 관리 등이 쉽게 가능
Apple Open Directory와 계정
연동 관리 가능 (Isilon 안됨~)
방송 제작 미디어 환경에
알맞는 설계/가혹한 테스트를
KBS에서...
공급/유지보수는
효성인포메이션시스템이...
15년간 국산 NAS 개발사
Gluesys, 한국에 있음
미드레인지 가격,
하이엔드를 뛰어넘는 성능
28
6. Reference(?)
KBS월드 자막제작시스템
GlusterFS 자체구성/운용중
다국어 자막제작/영상편집
AVID Media Central GlusterFS
방송미디어 세상의 오라클이...
MBC, CJ E&M에 도입
29
7. 향후 계획
▶40G RoCE 활용 이중화 테스트
• RDMA over Converged Ethernet
• Multi Chassis Link Aggregation
▶오픈스택 Ironic과 결합 테스트
▶KBS 고속전송 & Swift-on-File & TR과 결합개발
• K-Drive 라는 서비스 네임, 제작용으로 활용
▶차기버전 개발 테스트 (NVMe + EDR + SMB3)
• NVMe SSD
• EDR or 100GbE
• SMB3 (multi-stream, samba direct)
Thank you

More Related Content

PDF
[OpenStack Days Korea 2016] Track1 - Monasca를 이용한 Cloud 모니터링
PDF
[OpenStack Days Korea 2016] Track4 - 오픈스택을 공부합시다 - 커뮤니티 스터디 분과 소개
PDF
[OpenStack Days Korea 2016] Track2 - How to speed up OpenStack network with P...
PDF
2017 k8s and OpenStack-Helm
PDF
오픈소스로 구축하는 클라우드 이야기
PDF
오픈 소스 클라우드 플랫폼 분석
PDF
[OpenStack Days Korea 2016] Track3 - VDI on OpenStack with LeoStream Connecti...
PDF
오픈스택: 구석구석 파헤쳐보기
[OpenStack Days Korea 2016] Track1 - Monasca를 이용한 Cloud 모니터링
[OpenStack Days Korea 2016] Track4 - 오픈스택을 공부합시다 - 커뮤니티 스터디 분과 소개
[OpenStack Days Korea 2016] Track2 - How to speed up OpenStack network with P...
2017 k8s and OpenStack-Helm
오픈소스로 구축하는 클라우드 이야기
오픈 소스 클라우드 플랫폼 분석
[OpenStack Days Korea 2016] Track3 - VDI on OpenStack with LeoStream Connecti...
오픈스택: 구석구석 파헤쳐보기

What's hot (20)

PPTX
OpenStack으로 바로보는 상용 클라우드 플랫폼
PDF
[OpenStack Days Korea 2016] Track2 - 아리스타 OpenStack 연동 및 CloudVision 솔루션 소개
PDF
Red Hat Enterprise Linux OpenStack Platform Overview - RHELOSP5
PDF
[OpenStack Days Korea 2016] Track3 - Powered by OpenStack, Power to do more w...
PDF
User Story :: Cloudike with KT UCloud Biz
PDF
해외 사례로 보는 Billing for OpenStack Solution
PDF
오픈스택 기반 클라우드 서비스 구축 방안 및 사례
PDF
[OpenStack Days Korea 2016] Track2 - 데이터센터에 부는 오픈 소스 하드웨어 바람
PDF
[OpenStack Day in Korea] 15분만에 구축하는 오픈스택 기반 크라우드 솔루션: HP CloudSystem
PDF
[오픈소스컨설팅] ARM & OpenStack Community
PDF
[OpenStack Days Korea 2016] Track1 - 카카오는 오픈스택 기반으로 어떻게 5000VM을 운영하고 있을까?
PDF
Build the OpenStack Cloud with Neutron Networing, IceHouse
PDF
[OpenStack Days Korea 2016] Innovating OpenStack Network with SDN solution
PDF
[OpenStack 하반기 스터디] Docker를 이용한 OpenStack 가상화
PDF
오픈스택 멀티노드 설치 후기
PPTX
2.[d2 오픈세미나]네이버클라우드 시스템 아키텍처 및 활용 방안
PDF
[2018] 오픈스택 5년 운영의 경험
PDF
[OpenStack Day in Korea 2015] Track 2-4 - Towards Programmable Network (Conce...
PDF
[OpenInfra Days Korea 2018] (Track 1) Openstack 쉽게 설치하기 - SOfTI Easy Installer
PPTX
Open stack 세미나자료_장현정
OpenStack으로 바로보는 상용 클라우드 플랫폼
[OpenStack Days Korea 2016] Track2 - 아리스타 OpenStack 연동 및 CloudVision 솔루션 소개
Red Hat Enterprise Linux OpenStack Platform Overview - RHELOSP5
[OpenStack Days Korea 2016] Track3 - Powered by OpenStack, Power to do more w...
User Story :: Cloudike with KT UCloud Biz
해외 사례로 보는 Billing for OpenStack Solution
오픈스택 기반 클라우드 서비스 구축 방안 및 사례
[OpenStack Days Korea 2016] Track2 - 데이터센터에 부는 오픈 소스 하드웨어 바람
[OpenStack Day in Korea] 15분만에 구축하는 오픈스택 기반 크라우드 솔루션: HP CloudSystem
[오픈소스컨설팅] ARM & OpenStack Community
[OpenStack Days Korea 2016] Track1 - 카카오는 오픈스택 기반으로 어떻게 5000VM을 운영하고 있을까?
Build the OpenStack Cloud with Neutron Networing, IceHouse
[OpenStack Days Korea 2016] Innovating OpenStack Network with SDN solution
[OpenStack 하반기 스터디] Docker를 이용한 OpenStack 가상화
오픈스택 멀티노드 설치 후기
2.[d2 오픈세미나]네이버클라우드 시스템 아키텍처 및 활용 방안
[2018] 오픈스택 5년 운영의 경험
[OpenStack Day in Korea 2015] Track 2-4 - Towards Programmable Network (Conce...
[OpenInfra Days Korea 2018] (Track 1) Openstack 쉽게 설치하기 - SOfTI Easy Installer
Open stack 세미나자료_장현정
Ad

Viewers also liked (20)

PDF
[OpenStack Days Korea 2016] Track2 - OpenStack 기반 소프트웨어 정의 스토리지 기술
PDF
[OpenStack Days Korea 2016] Track3 - OpenStack on 64-bit ARM with X-Gene
PDF
[OpenStack Days Korea 2016] Track4 - Deep Drive: k8s with Docker
PDF
[OpenStack Days Korea 2016] Track4 - 해외 사례로 보는 OpenStack Billing System
PDF
[2017년 5월 정기세미나] IBM에서 바라보는 OpenStack 이야기
PDF
[OpenStack Days 2016] Track4 - OpenNSL으로 브로드콜 기반 네트,워크 스위치 제어하기
PDF
[OpenStack Days Korea 2016] Track2 - 가상화 네트워크와 클라우드간 협업
PDF
[2017년 5월 정기세미나] Network with OpenStack - OpenStack Summit Boston Post
PDF
[OpenStack Days Korea 2016] Track4 - OpenStack with Kubernetes
PDF
[OpenStack Days Korea 2016] Track3 - 머신러닝과 오픈스택
PDF
[OpenStack Days Korea 2016] Track3 - 오픈스택 환경에서 공유 파일 시스템 구현하기: 마닐라(Manila) 프로젝트
PDF
OpenStack을 중심으로 한 오픈 소스 & 상용 하이브리드 클라우드
PDF
DE-CPS 2017 The INTO-CPS Cyber-Physical System Profile Alessandra Bagnato
PPTX
R + Apache Spark
PPT
Reduction of cogging torque in permanent magnet machine
PDF
2017 Business Platform Day
PDF
JBUG Korea 소개
PDF
오픈스택한국커뮤니티 소개
PPTX
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용
PDF
OpenStack Pike PTG 참석 후기
[OpenStack Days Korea 2016] Track2 - OpenStack 기반 소프트웨어 정의 스토리지 기술
[OpenStack Days Korea 2016] Track3 - OpenStack on 64-bit ARM with X-Gene
[OpenStack Days Korea 2016] Track4 - Deep Drive: k8s with Docker
[OpenStack Days Korea 2016] Track4 - 해외 사례로 보는 OpenStack Billing System
[2017년 5월 정기세미나] IBM에서 바라보는 OpenStack 이야기
[OpenStack Days 2016] Track4 - OpenNSL으로 브로드콜 기반 네트,워크 스위치 제어하기
[OpenStack Days Korea 2016] Track2 - 가상화 네트워크와 클라우드간 협업
[2017년 5월 정기세미나] Network with OpenStack - OpenStack Summit Boston Post
[OpenStack Days Korea 2016] Track4 - OpenStack with Kubernetes
[OpenStack Days Korea 2016] Track3 - 머신러닝과 오픈스택
[OpenStack Days Korea 2016] Track3 - 오픈스택 환경에서 공유 파일 시스템 구현하기: 마닐라(Manila) 프로젝트
OpenStack을 중심으로 한 오픈 소스 & 상용 하이브리드 클라우드
DE-CPS 2017 The INTO-CPS Cyber-Physical System Profile Alessandra Bagnato
R + Apache Spark
Reduction of cogging torque in permanent magnet machine
2017 Business Platform Day
JBUG Korea 소개
오픈스택한국커뮤니티 소개
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용
OpenStack Pike PTG 참석 후기
Ad

Similar to [OpenStack Days Korea 2016] Track3 - 방송제작용 UHD 스트로지 구성 및 테스트 (20)

PDF
Glusterfs 소개 v1.0_난공불락세미나
PDF
Glusterfs 구성제안 및_운영가이드_v2.0
PDF
Glusterfs 파일시스템 구성_및 운영가이드_v2.0
PDF
Object storage의 이해와 활용
PDF
Glusterfs 구성제안서 v1.0
PDF
Glusterfs 구성제안서 v1.0
PDF
Glusterfs 구성제안 v1.0
PPTX
cdit hci zerto '소통하는 세미나' 소개자료(201705)
PDF
초초초 (초고속 초저지연 초연결) 5G IoT 플랫폼 개발 이야기
PDF
Cloud datacenter network architecture (2014)
PPTX
OpenStack
PDF
Tdc2013 선배들에게 배우는 server scalability
PDF
더 빠른 게임시스템을 위하여 개선된 서비스들 - 김병수 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019
PDF
[Pgday.Seoul 2019] AppOS 고성능 I/O 확장 모듈로 성능 10배 향상시키기
PDF
AWS CLOUD 2017 - AWS 기반 하이브리드 클라우드 환경 구성 전략 (김용우 솔루션즈 아키텍트)
PPTX
[20160620]CCTV 구현 자료
PDF
Private cloud network architecture (2018)
PDF
Hadoop engineering v1.0 for dataconference.io
PPTX
NexGen overview_201705
PDF
Linux Performan tuning Part I
Glusterfs 소개 v1.0_난공불락세미나
Glusterfs 구성제안 및_운영가이드_v2.0
Glusterfs 파일시스템 구성_및 운영가이드_v2.0
Object storage의 이해와 활용
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안서 v1.0
Glusterfs 구성제안 v1.0
cdit hci zerto '소통하는 세미나' 소개자료(201705)
초초초 (초고속 초저지연 초연결) 5G IoT 플랫폼 개발 이야기
Cloud datacenter network architecture (2014)
OpenStack
Tdc2013 선배들에게 배우는 server scalability
더 빠른 게임시스템을 위하여 개선된 서비스들 - 김병수 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019
[Pgday.Seoul 2019] AppOS 고성능 I/O 확장 모듈로 성능 10배 향상시키기
AWS CLOUD 2017 - AWS 기반 하이브리드 클라우드 환경 구성 전략 (김용우 솔루션즈 아키텍트)
[20160620]CCTV 구현 자료
Private cloud network architecture (2018)
Hadoop engineering v1.0 for dataconference.io
NexGen overview_201705
Linux Performan tuning Part I

More from OpenStack Korea Community (20)

PDF
2019년 커뮤니티 활동 보고: 오픈스택 한국 커뮤니티
PDF
[2018.10.19] Andrew Kong - Tunnel without tunnel (Seminar at OpenStack Korea ...
PDF
[2018.10.19] 김용기 부장 - IAC on OpenStack (feat. ansible)
PDF
[OpenInfra Days Korea 2018] Day 2 - E6: "SONA: ONOS SDN Controller 기반 OpenSta...
PDF
[OpenInfra Days Korea 2018] Day 2 - E3-2: "핸즈온 워크샵: Kubespray, Helm, Armada를 ...
PDF
[OpenInfra Days Korea 2018] Day 2 - E5-1: "Invited Talk: Kubicorn - Building ...
PDF
[OpenInfra Days Korea 2018] Day 1 - T4-7: "Ceph 스토리지, PaaS로 서비스 운영하기"
PDF
[OpenInfra Days Korea 2018] Day 2 - E5: Mesos to Kubernetes, Cloud Native 서비스...
PDF
[OpenInfra Days Korea 2018] Day 2 - E1: 딥다이브 - OpenStack 생존기
PDF
[OpenInfra Days Korea 2018] Day 2 - E4 - 딥다이브: immutable Kubernetes architecture
PDF
[OpenInfra Days Korea 2018] Day 2 - E6 - 마이크로서비스를 위한 Istio & Kubernetes [다운로드...
PDF
[OpenInfra Days Korea 2018] Day 2 - E6 - OpenInfra monitoring with Prometheus
PDF
[OpenInfra Days Korea 2018] Day 2 - E5: GPU on Kubernetes
PDF
[OpenInfra Days Korea 2018] Day 2 - CEPH 운영자를 위한 Object Storage Performance T...
PDF
[OpenInfra Days Korea 2018] Day 2 - E4 - 핸즈온 워크샵: 서버리스가 컨테이너를 만났을 때
PDF
[OpenInfra Days Korea 2018] (삼성전자) Evolution to Cloud Native
PDF
[OpenInfra Days Korea 2018] (NetApp) Open Source with NetApp - 전국섭 상무
PDF
[OpenInfra Days Korea 2018] (Track 4) - 오픈스택기반 NFV 관리 및 HA (high Availability...
PDF
[OpenInfra Days Korea 2018] (Track 4) - FreeIPA와 함께 SSO 구성
PDF
[OpenInfra Days Korea 2018] (Track 4) - Backend.AI: 오픈소스 머신러닝 인프라 프레임워크
2019년 커뮤니티 활동 보고: 오픈스택 한국 커뮤니티
[2018.10.19] Andrew Kong - Tunnel without tunnel (Seminar at OpenStack Korea ...
[2018.10.19] 김용기 부장 - IAC on OpenStack (feat. ansible)
[OpenInfra Days Korea 2018] Day 2 - E6: "SONA: ONOS SDN Controller 기반 OpenSta...
[OpenInfra Days Korea 2018] Day 2 - E3-2: "핸즈온 워크샵: Kubespray, Helm, Armada를 ...
[OpenInfra Days Korea 2018] Day 2 - E5-1: "Invited Talk: Kubicorn - Building ...
[OpenInfra Days Korea 2018] Day 1 - T4-7: "Ceph 스토리지, PaaS로 서비스 운영하기"
[OpenInfra Days Korea 2018] Day 2 - E5: Mesos to Kubernetes, Cloud Native 서비스...
[OpenInfra Days Korea 2018] Day 2 - E1: 딥다이브 - OpenStack 생존기
[OpenInfra Days Korea 2018] Day 2 - E4 - 딥다이브: immutable Kubernetes architecture
[OpenInfra Days Korea 2018] Day 2 - E6 - 마이크로서비스를 위한 Istio & Kubernetes [다운로드...
[OpenInfra Days Korea 2018] Day 2 - E6 - OpenInfra monitoring with Prometheus
[OpenInfra Days Korea 2018] Day 2 - E5: GPU on Kubernetes
[OpenInfra Days Korea 2018] Day 2 - CEPH 운영자를 위한 Object Storage Performance T...
[OpenInfra Days Korea 2018] Day 2 - E4 - 핸즈온 워크샵: 서버리스가 컨테이너를 만났을 때
[OpenInfra Days Korea 2018] (삼성전자) Evolution to Cloud Native
[OpenInfra Days Korea 2018] (NetApp) Open Source with NetApp - 전국섭 상무
[OpenInfra Days Korea 2018] (Track 4) - 오픈스택기반 NFV 관리 및 HA (high Availability...
[OpenInfra Days Korea 2018] (Track 4) - FreeIPA와 함께 SSO 구성
[OpenInfra Days Korea 2018] (Track 4) - Backend.AI: 오픈소스 머신러닝 인프라 프레임워크

[OpenStack Days Korea 2016] Track3 - 방송제작용 UHD 스트로지 구성 및 테스트

  • 1. 클라우드와 방송 제작용 스토리지 2016 / 02 KBS 방송시설국 임태현 NAS 구성 및 테스트 결과 공유
  • 2. 1. 현 방송사 스토리지 일반 구성 2. 클라우드에서 기존 방식으로 구성 어려운 이유 3. 클라우드 인프라를 위한 공유 스토리지 구성 4. 문제점과 보완하기 위한 노력 5. 공유파일시스템 PoC 대상 3가지 솔루션 6. 제품화 개발 및 테스트 과정 7. 향후 계획 • 이중화 구성 테스트 • 오픈스택 Ironic과 결합 테스트 • KBS 고속전송 & Swift-on-File & TR과 결합개발 • 차기 버전 개발 테스트 Agenda
  • 3. 2 1.1. 방송사 스토리지 일반 구성 스토리지 데이터를 보관하는 장소 저장 장치 + 파일시스템 방송사 제작 워크플로우 거대한 스토리지(RAID, LUN, 공유파일 시스템...)를 중심으로 프로그램 별로 복수의 작업자들이 협업하며 순차적으로 이루어짐 편성에 따라 다수의 파일이 반복적이고 주기적으로 생성, 수정, 삭제
  • 5. 4 LTO-6 데이터 테입 SL8500, T-Finity… 1.3. 방송사 스토리지 일반 구성 ARCHIVE CMS NAS G/WSNFS MDC TM SAN Director (Brocade) Giga Ethernet Fibre Channel MAIN FC FC 원본 SAS 900GB/10K SAS 디스크 스토리지 High-End ~ Mid-range FC FC 백업본 NL-SAS 3TB/7.2K 고용량 SATA 디스크 스토리지 Mid-range… BACKUP FCFC TAPE LIBRARY NLETR
  • 6. 5 2.1. 클라우드에서는 왜 힘든지... ▶SAN Director 벤더 Brocade만 남음 • 예전에는 QLogic도 있었는데... ▶FC HBA Card 고정 할당 • N-Port ID Virtualization이 있지만... • 차라리 10GE NIC 장착하고 SR-IOV를 쓰자! ▶SAN 공유파일시스템 Client License issue • 편집실 주로 사용하는 Mac OS X는 XSAN 탑재 • 하지만, 오픈스택 Guest OS로 MAC OS X 미지원 • 리눅스, 윈도우는 VM도 실물 환경과 똑같이 카운팅
  • 7. 6 2.2. 클라우드에서는 어떻게... ▶스케일-아웃 방식의 NAS가 적합하다고 판단 • 별도 공유파일시스템 소프트웨어가 아닌 범용 프로토콜 사용 • KBS 뉴스룸, 라디오에서 EMC 스케일-아웃 NAS Isilon ▶이 때, NAS의 SAN 공유볼륨 구성 대비 문제점 • Block I/O vs File I/O • Latency, Sustained I/O
  • 8. 7 3.1. 문제점 극복 노력 – DLC ▶FC SAN Client(SNFS)를 탑재하고 SNFS Lan Client • 급히 편집 공간 마련을 위해 iMac 임대 후 Ethernet 1GE • NPS 내부 소프트웨어 그대로, 제작진 차이 모르고 작업 ▶SAN과 같은 볼륨을 경제적으로 사용한다는 측면에서 큰 장점 ▶TV기술국에서 이번 설특집에 활용함
  • 9. 8 1. OpenStack에 새로운 VM Instance 생성 3.2.1. iSCSI TEST w/ Offload & MTU9000 ▶목적 • Ethernet 레벨의 TOE 관련 설정으로 GlusterFS를 구성하는 Cinder Volume 성능 향상이 가능한지 확인 ▶방법 • OpenStack Compute Node - Storage 10G NIC 설정을 변경하며 성능 개선 효과가 있는 값을 확인 테스트 진행 순서 2. 생성된 Instance에 Cinder Volume 할당 3. 해당 Compute Node의 10G NIC Parameter 확인 및 변경 4. 설정 변경하며 Cinder Volume에 150GB 단위 쓰기 성능 측정
  • 10. 9 3.2.2 iSCSI TEST w/ Offload & MTU9000 MTU 9000, TSO GSO GRO LRO off : 285.721 s, 550 MB/s MTU 9000, TSO LRO off, GSO GRO on : 298.793 s, 526 MB/s MTU 9000, TSO LRO on, GSO GRO off : 295.395 s, 532 MB/s MTU 9000, TSO GSO GRO LRO on : 297.76 s, 528 MB/s MTU 1500, TSO GSO GRO LRO on : 267.694 s, 588 MB/s MTU 1500, TSO LRO off, GSO GRO on : 299.381 s, 525 MB/s MTU 1500, TSO LRO on, GSO GRO off : 276.379 s, 589 MB/s 테스트 결과
  • 11. 10 4.1. 공유 파일시스템 비교 ▶Quantum SNFS • 국내외 방송제작시스템 환경에서 기준 • Linux, Mac, Windows 환경을 아우르는 Block I/O • 별도 가상환경 라이선스 정책 없고 VM당 부과 ▶Quantum LAN Client : 기존 SNFS 볼륨과 호환성 유지 가능 ▶Intel Lustre : HPC, Throughput/OSS 스케일아웃, MDS, MDT ▶Redhat GlusterFS : 단순한 구성 및 안정성, Scale-out 방식 확장
  • 12. 11 4.2. NAS 설계 시 고려한 부분 ▶고속 저장장치를 조합 (All Flash 등)으로 Latency 극복 • Multi-stream 아직은 윈도우만 이지만 • Samba VFS for GlusterFS로 논리/물리 레이어를 단축 ▶고속 네트워크를 조합 (IB RDMA)으로 병목 없는 I/O ▶SMB3: Linux Samba 4.x, Mac Yosemite, Windows 8/2012 ▶물리 장비당 적정 RAID Controller 구성 ▶제품화를 위한 에코시스템
  • 13. 12 5.1.1. 1차 테스트 - Intel Lustre MDS SanDisk Infini-Flash IF100 SSD 64TB SX6012 56G Infiniband Swtich SMB3 G/W#2 EX4550 32F 10G Switch 6G SAS x 4 56G FDR 10G x 4 Linux Native OSS Node#1 OSS Node#2 SMB3 G/W#1 Client ClientClient Client
  • 14. 13 5.1.2. LustreFS IO측정 결과 – WIN OS OS 테스트 장비 테스트결과 (평균속도, MB/S) 테스트 결과2 (시간별 IO패턴, X : MB/S, Y : Sec) R:W=7:3 IO 측정 Win7 (SMB2) 573.45 Win8 (SMB3) 577.63 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295
  • 15. 14 5.1.3. LustreFS IO측정 결과 - MAC OS X 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295 OS 테스트 장비 테스트결과 (평균속도, MB/S) 테스트 결과2 (시간별 IO패턴, X : MB/S, Y : Sec) R:W=7:3 IO 측정 MacBook 599.97 MacPro 891.49 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295
  • 16. 15 5.1.4. LustreFS 테스트 결과 – Latency (IOPing), NLE 편집 테스트 항목 테스트결과 비 고 Latency - HD 멀티캠 편집 양호 테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i) 테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생 UHD(3840X2160p 30p) 편집 보통 테스트영상 : (3840x2160 30p) 테스트방법 : 2 stream 편집시 Frame Drop 미발생 테스트 항목 테스트결과 비 고 Latency 4KB : 300us 8MB : 20ms IO ping 테스트 수치 HD 멀티캠 편집 양호 테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i) 테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생 UHD(3840X2160p 60p) 편집 양호 테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p) 테스트방법 : 1 stream 멀티캠 편집시 Frame Drop 미발생 ▶ Win(EDIUS) ▶ MAC(FCPX)
  • 17. 16 5.1.5. 1차 테스트 - 효성 Gluesys Anycloud-K EX4550 32F 10G Switch 6G SAS x 2 10GE Client Client R720 GlusterFS Node#1 R720 GlusterFS Node#2 Client Client R720 GlusterFS Node#3 R720 GlusterFS Node#4 SX6012 56G Infiniband Swtich SanDisk Infini-Flash IF100 SSD 64TB
  • 18. 17 5.1.6. Anycloud-K IO측정 결과 – WIN OS OS 테스트 장비 테스트결과 (평균속도, MB/S) 테스트 결과2 (시간별 IO패턴, X : MB/S, Y : Sec) R:W=7:3 IO 측정 Win7 #1 (SMB2) 921.24 Win7 #2 (SMB2) 882.29 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295
  • 19. 18 5.1.7. Anycloud-K IO측정 결과 - MAC OS X OS 테스트 장비 테스트결과 (평균속도, MB/S) 테스트 결과2 (시간별 IO패턴, X : MB/S, Y : Sec) R:W=7:3 IO 측정 MacBook 752.05 MacPro 772.17 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295 0 200 400 600 800 1000 1200 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 267 274 281 288 295
  • 20. 19 5.1.8. Anycloud-K 테스트 결과 – Latency (IOPing), NLE 편집 테스트 항목 테스트결과 비 고 Latency - HD 멀티캠편집 양호 테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i) 테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생 UHD(3840X2160p 30p) 편집 양호 테스트영상 : GVHQ 1Gbps (3840x2160 30p) 테스트방법 : 3 stream 멀티캠 편집시 Frame Drop 미발생 테스트 항목 테스트결과 비 고 Latency 4KB : 300us 8MB : 10ms IO ping 테스트 수치 HD 멀티캠편집 양호 테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i) 테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생 UHD(3840X2160p 60p) 편집 양호 테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p) 테스트방법 : 2 stream 멀티캠 편집시 Frame Drop 미발생 ▶ Win(EDIUS) ▶ MAC(FCPX)
  • 21. 20 솔루션 평균속도(R:W=7:3) 편집테스트 I/O안정성 검토 의견 Red Hat Storage Server X X Bad 테스트 참가업체 엔지니어 설정 미숙으로 실패 Intel Luster File System 660.64 MB/s 4K영상 1개 맥 프로에서NLE 재생 Normal 구성 난이도 높음 효성 Gluesys Anycloud-K 831.94 MB/s 4K영상 2개 맥 프로에서NLE 재생 Good KBS 기획/설계한 네트워크 및 All-Flash 기 반 아 키 텍 처 를 채 택 해 도 효 성 글루시스에서 기존 엔진으로 사용하던 CephFS는 방송용 FS로 불가함. → KBS가 월드 자막제작시스템에서 직접 구축하여 사용중인 GlusterFS 및SMB설정 구성변경 제안 반영 후 성공 5.1.9. 1차 테스트 결과 종합
  • 22. 21 SanDisk All Flash IF100 SSD 128TB R820 Gluesys node#1 SX6012 56G FDR Infiniband Swtich R730 Anywhere 6G SAS x 2 (4 lane in) 56G RDMA 10G x 2 R720 Gluesys node#2 R720 Gluesys node#3 R720 Gluesys node#4 Premiere Client Premiere Client Premiere Client Premiere Client Premiere Client EX3300 1GE 24port & 10GE 4port Switch 40GE 1G MNC Backbone Switch NPS Access Switch 5.2.1. 2차 테스트 – Adobe Anywhere
  • 23. 22 5.2.2. 2차 테스트 결과 종합
  • 24. 23 5.2.4. 1& 2차 테스트 장비 구성 ▶Dell R720 서버 5식 ▶Mellanox Infinband 스위치 (SX6012 56G FDR) ▶SanDisk Infiniflash IF100 64TB (1차) ▶Juniper 10G 이더넷스위치 (EX3300 10GbE) ▶SanDisk Infiniflash IF100 128TB (2차)
  • 25. 24 5.3.1. 3차 테스트 장비 구성 ▶Dell R730, CPU E5-2660v3 10 Core x 2, RAM 64GB Dell R730, CPU E5-2643v3 6 Core x 2, RAM 64GB Dell R730, CPU E5-2623v3 4 Core x 2, RAM 64GB Dell R720, CPU E5-2697v2 12 Core x 2, RAM 64GB ▶Mellanox SX6012 FDR(56Gb/s) Infiniband Switch ▶Huawei Quidway S6700 10GbE 24 port Switch ▶Samsung SSD SM863 1.92TB x 28
  • 26. 25 MAIN (SSD 48TB) DISTRIBUTED OpenStack NOVA 40GE x 2 Uplink OpenStack NOVA OpenStack NOVA OpenStack NOVA Premiere Client Premiere Client Premiere Client Premiere Client Premiere Client 40GE MNC Backbone Switch MNC Access Switch EX4550 32T 1GE Switch MNC Backbone Switch EX4550 32F 10GE Switch EX4550 32T 1GE Switch V·C OpenStack NOVA 1GE 10GE Anycloud-K #3 SSD 12TB 메인 Anycloud-K #4 SSD 12TB 메인 Anycloud-K #1 SSD 12TB 메인 Anycloud-K #2 SSD 12TB 메인 SX6012 40GE & 56G IB Switch 10GE 56G IB (RDMA) EX4550 32F 10GE Switch SX6012 40GE & 56G IB Switch vm vm 5.3.2. 3차 테스트 – IPoIB 진행중 SMB3 1세션 1.2GB/s FUSE 노드당 2GB/s VFS 노드당 3GB/s
  • 27. 26 5.3.3. 3차 테스트 – RoCE 다음 주 MAIN (SSD 64TB) & BACKUP (8TB CACHE on HDD 64TB) REPLICA Anycloud-K #1 NL-SAS 16TB 백업 Anycloud-K #2 NL-SAS 16TB 백업 OpenStack NOVA 40GE x 2 Uplink OpenStack NOVA OpenStack NOVA OpenStack NOVA Premiere Client Premiere Client Premiere Client Premiere Client Premiere Client MNC Backbone Switch MNC Access Switch EX4550 32T 1GE Switch MNC Backbone Switch EX4550 32F 10GE Switch EX4550 32T 1GE Switch V·C OpenStack NOVA 1GE 10GE Anycloud-K #3 SSD 16TB 메인 Anycloud-K #4 SSD 16TB 메인 Anycloud-K #1 SSD 16TB 메인 Anycloud-K #2 SSD 16TB 메인 10GE 40G RoCE (RDMA) EX4550 32F 10GE Switch vm vm MLAG Anycloud-K #3 NL-SAS 16TB 백업 Anycloud-K #4 NL-SAS 16TB 백업 dm-cache 2TB dm-cache 2TB dm-cache 2TB dm-cache 2TB MSX1710-BS2F2 40GE Switch MSX1710-BS2F2 40GE Switch
  • 28. 27 5.4. Anycloud-K 장점 요약 (홍보) GUI 상에서 클러스터/성능 /권한 관리 등이 쉽게 가능 Apple Open Directory와 계정 연동 관리 가능 (Isilon 안됨~) 방송 제작 미디어 환경에 알맞는 설계/가혹한 테스트를 KBS에서... 공급/유지보수는 효성인포메이션시스템이... 15년간 국산 NAS 개발사 Gluesys, 한국에 있음 미드레인지 가격, 하이엔드를 뛰어넘는 성능
  • 29. 28 6. Reference(?) KBS월드 자막제작시스템 GlusterFS 자체구성/운용중 다국어 자막제작/영상편집 AVID Media Central GlusterFS 방송미디어 세상의 오라클이... MBC, CJ E&M에 도입
  • 30. 29 7. 향후 계획 ▶40G RoCE 활용 이중화 테스트 • RDMA over Converged Ethernet • Multi Chassis Link Aggregation ▶오픈스택 Ironic과 결합 테스트 ▶KBS 고속전송 & Swift-on-File & TR과 결합개발 • K-Drive 라는 서비스 네임, 제작용으로 활용 ▶차기버전 개발 테스트 (NVMe + EDR + SMB3) • NVMe SSD • EDR or 100GbE • SMB3 (multi-stream, samba direct)