최영준부장 [email protected] 주 삼부시스템samboo.co.kr/data/aspera_.pdftv guide tvn...

24
Aspera FASP ® 초고속 파일 전송 솔루션 최 영 준 부장 [email protected] ()삼부시스템

Upload: others

Post on 18-Apr-2021

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera FASP®

초고속 파일 전송 솔루션

최 영 준 부장[email protected](주)삼부시스템

Page 2: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Session Learning Objectives – 빅데이터 시대에 맞는 대용량데이터를 전송하기 위한초고속 파일 전송 소프트웨어솔루션에 대한 이해

– Aspera 의 PoC 사례

– 글로벌한 산업구조에서비즈니스의 효율성을 충족할수 있는 솔루션 확인

At the conclusion of this session, the student will be able to…

Page 3: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

FASP 3 – universal high-speed data transport

CLOUD HYBRID ON PREMISE

FASP 3전송 거리에 무관

예측 가능한 파일 전송 성능

파일 크기 및 갯수에 무관어떠한 스토리지 플랫폼 상에서도 최대의전송 속도, 최적의 대역폭 활용 및 최대의

I/O 처리량

다양한 활용 및 배포 모델다양한 시나리오에 따른 데이터의 전송,

복제 또는 동기화 지원

다양한 인프라 지원빅데이터를 어떤 곳에도 저장 가능하고고속의 보안 전송으로 원활하게 이동

FTP 대비 수배~수백배빠른 전송 성능

Page 4: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

전통적인 파일 전송 솔루션의 문제점

거리는 모든 네트워크에서 조건을 저하 시킴• 지연(Round Trip Times) 증가• 패킷 손실 증가• 고속 네트워크에서도 저하되는 경향

TCP 성능은 거리에 따라 저하됨• 병목은 지연과 패킷손실의 증가로 더욱 심각

TCP 는 대역폭에 따라 확장되지 않음• TCP는 저대역폭에 맞추어 설계됨• 대역폭의 추가로는 처리량 향상 안됨

성능향상을 위한 대안 기술들• TCP – 네크워크 지연과 패킷손실이 낮아야 함• Parallel TCP – TCP 성능향상되었으나 고속 네트워크에는 부적합• UDP 트래픽 블래스터 – 비효율적이며 대역폭 낭비• Data caching – 다량의 대용량파일전송에 부적합• Data compression – 시간이 소비되고 특정파일형태에는 적용불가• CDN – 확장을 위해서 고비용/오버헤드

Page 5: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera faspTM - 고속의 파일 전송

Maximum transfer speed• 최적화된 end-to-end 처리량 효율성 (90% 효율)• 패킷손실에 탄력적이며, 전송거리에 비종속적이어서

대역폭에 따라 전송 성능 확장

Congestion Avoidance and Policy Control• 자동적, 가능한 대역폭의 최대 활용• 전송중(On-the-fly) 우선순위 및 대역폭 할당

Uncompromising security and reliability• 안전한, 사용자/엔드포인트 인증• AES-128 암호화

Scalable management, monitoring and control• 실시간 진행상황, 성능 대역폭 활용상황• 상세한 전송 이력, 로깅, 명세

Low Overhead• 30% 패킷 손실상황에서 0.1%미만의 오버헤드• 대용량 혹은 다량의 소용량 파일 초고속 전송

결과적으로• FTP대비 최대 1000배의 전송 성능• 정확하고 예측가능한 전송 시간• 최대의 확장성 (동시성 및 처리량)

Page 6: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

구간

파일크기

서울-부산 서울-동남아 서울-미국 서울-유럽 서울-중동

Aspera FTP Aspera FTP Aspera FTP Aspera FTP Aspera FTP

100MB 11초 67초 11초 32분 11초 25분 12초 42분 11초 52분

1GB 1분 50초 11분 25초 1분 56초 5시간 1분 54초 4시간 1분 58분 7시간 1분 55초 9시간

10GB 18분 30초 1시간 35분 19분 24초 55시간 19분 42시간 19분 37초 71시간 19분 11초 85시간

* 네트워크 대역폭 100Mbps 기준(네트워크 환경에 따라 FTP의 결과는 달라질 수 있습니다)

FASP® - Performance Breakthrough

• Aspera의 데이터 전송 속도는 전송거리에 무관

• 네트워크 대역폭 증가시 Aspera의 성능도 선형 증가

• 대용량 파일 및 다량의 소용량 파일 전송시에도 동일한 성능

Page 7: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

§ Fast(Parallel) TCP : 거리가 멀어질 경우 기본적인 TCP의 한계를 가짐

§ UDT : 네트워크 대역폭을 효율적으로 사용할 수 없는 기술적인 한계를 가짐

§ WAN 가속기 : 캐싱이나 압축 효과가 없는 이미지, 동영상 파일에는 전혀 효과 없음

Aspera vs. Competitor

Page 8: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

클라이언트 제품군 웹 프로그램 제품군 관리 및 자동화 동기화

웹, 데스크탑, 이메일, 모바일, 임베데드

배포, 공유, 협업, 교환 전송관리, 모니터링, 자동화 확장 가능한 고성능동기화, 복제

특허 받은 FASP® 고속 전송

데이터 크기, 전송거리, 네트워크 조건에 무관 블록, 오브젝트, 온프라미스, 클라우드 등 인프라에 무관

전송 서버 제품군

Private On Premise Public and Private Cloud Hybrid

Aspera Product Portfolio

Page 9: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

HIGH PERFORMANCE DATA SYNCHRONIZATION HIGH SPEED FILE TRANSFER WORKFLOW AUTOMATION

PERSON CENTRIC ENTERPRISE FILE SHARE

MANAGEMENT & REPORTING

Aspera fasp– 소프트웨어 제품군

Page 10: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Cloud

Aspera On-demand - With Direct-to-CLOUD

Page 11: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

FTP, HTTP, TCP기반의 복사 프로토콜을 대체하는 데스크탑, 네트워크-기반, 웹 어플리케이션에 Aspera기술을 연계하기 위한가이드, 참조 정보, 샘플코드와 함께 제공되는 SDKs(JavaScript, C++, Java, .NET)

ASPERA MOBILE APIsAndroid SDKAspera Android SDK provides a Java API to transfer files using FASP-AIR™.

iPhone SDKAspera iPhone SDK with Objective C API to transfer files using FASP-AIR.

ASPERA APPLICATION APIs

faspex™ Web APIA set of services that enables users to create and receive digital deliveries via a Web interface, while taking advantage of FASP high-speed transfer technology.

ASPERA TRANSFER APIs

Aspera Web ServicesA SOAP based web service API that allows initiation, monitoring and controlling of FASP based file transfers.

Console APIFull programmatic management of transfer sessions including initiation, queuing, control and management through a RESTful API.

Shares APIFull programmatic control over browsing Shares, transfer authorization, and upload / download.

ASPERA BROWSER APIs

Connect –JavaScript APIJavaScript API exposed by Aspera Connect for integration of FASP based file transfers into web applications for a complete in-browser experience

Aspera FASPStream APIEnables the transfer of bytes as they are being created or captured and allows access to portions of a file in memory during the transfer process.

FASP ManagerA class library that allows intiations, monitoring and controlling of FASP based file transfers.

ASPERA DEVELOPER NETWORK

Page 12: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera faspTM TEST 결과 (asperasoft 본사)

Page 13: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera Sample CustomersStudios20th Century FoxDreamWorksDisneyLucas Film ParamountPixarSony PicturesSony ImageworksUniversalWarner Bros. & GDMX

BroadcastersABCABS-CBNAFPAndrita StudioCBSCBCCNN CSTVDiscoveryESPN FoxFoxtelHBOITNMLBNBCNBA NetworkNFL NetworkNovaMTV NetworksOutdoor ChannelRainbow MediaRed Bee MediaSBSScripps NetworksShowtime NetworksSky Germany Sky ItaliaStarz EntertainmentTravel ChanelTV AztecaTV GuideTVNTurnerUnivision

Online AggregatorsApple iTunesAmazon.comBrightcoveEMI MusicGoogle YouTubeHuluJoostMicrosoft Studios Microsoft XBOXNetflixSynccast (Technicolor)Universal MusicSony BMG

Post ProductionAscent MediaCinesiteCINRAMCryptography Rsch Inst.DeluxeFramestoreeFilmLightstorm Entertainment Modern Video FilmMoving Picture CompanyParkRoadsPost LogicPostworks NYReelz Channel

Cable/MSO’s and IPTVATTBritish TelecomComcastCrawford

CommunicationsDirecTVEchoStar & Dish NetworkRogers Wireless & CableShawTelstraTime Warner CableVerizon

Content DistributionAlcatel-Lucent / VelocixEdgecastiBAHNLevel3Limelight NetworksMove Networks

Integrated & Cloud Accenture DETEArtesiaAcresso SubscribeNetCeitonEMC Documentum Epk.TVGLOBALedit & FileSocietyIBM Media HubMicrosoft IMMMITNorthPlains TeleScopeOmneonOoyalathePlatformTandberg MediaPath

GamesActivisionDisney Interactive StudiosEidos InteractiveElectronic Arts NintendoSegaSony Computer EntertainmentSony Connect Take-Two InteractiveUbisoft

Life Sciences Applied BioSystemsBiomedical SystemsBGIBroad InstituteDuke UniversityEBIFred HutchinsonGenome Research Ltd.Johns HopkinsNIH / NCBITranslational GenomicsUniversity of Maryland

PublishingDow Jones OnlineHougton Mifflin HarcourtNew York TimesPearsonRandom HouseRR DonnelleyThomson ReutersTime, Inc.Sports Illustrated

Engineering, R&DApple ComputerAutodeskCGG VeritasEuropean Space AgencyGeneral DynamicsGlobal FoundriesHP PSGLSINetAppNokiaSamsungSoftware AG

Federal Government, DODDIANASAUS Army, Navy, Air ForceUSDOJFBINSANGAUS JFCOMSOCOMINSCOMState DepartmentDISA, SPAWARMIT Lincoln LabsHHS/NIHArmed Forces Network

Financial ServicesBank of AmericaDow JonesGloucester ResearchMetlifeMorgan StanleyTD Bank

Global EnterpriseAbercrombie and FitchAdidasCoca ColaCodanGreenpeaceIron MountainMary Kay CosmeticsMilwaukee BucksJohnson & JohnsonRCDB

Legal, eDiscoveryFios, IncGreenberg and TraurigIPRO CorpIT.COMKing and SpaldingMccarter & EnglishRicohStroz Friedberg

PharmaAbbott LaboratoriesGlenmark GenericsMerckPfizer

Page 14: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Additional resources

Page 15: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera faspTM BMT 결과

RedHat Ent 3

일반 서버

RedHat Ent 3

클러스터

4Gbps

DWDM DWDM1Gbps 1Gbps

[Spec]CPU: Quadx2, 2.7GHzMem: 8GBDisk: FC (RAID5)NIC: 1Gbps

[Spec]CPU: Dualx2, 3.2GHzMem: 8GBDisk: FC (RAID5)NIC: 1Gbps

로컬 (Aspera Server) : 보라매 원격지 (Aspera Client) : 서초 DC

Aspera Point-to-Point Aspera Point-to-Point

Aspera Point-to-Point BMT 결과

ProtocolBandwidth 10Mbps 100Mbps 1Gbps 비 고

FTP - - 128 Mbps서초 -> 보라매

FASP 9.6 Mbps 92 Mbps 480 Mbps

Aspera Point-to-Point BMT 구성 내용

• 원격지 간의 데이터 전송 (서초센터 <-> 보라매센터)

• 보라매센터에 Aspera Point-to-Point Server 및 서초센터에 Aspera Point-to-Point Client 구성

데이터 전송 (서초센터 -> 보라매센터: 약 12GB의 영상이미지 데이터)

• 클러스터 서버(서초센터)에서 일반 서버(보라매센터)로의 데이터 전송

• SSH 접속을 위한 TCP 22 Port와 Aspera 전송을 위한 UDP 33001 Port의 방화벽 구성

• 동일한 데이터를 통한 FTP와 FASP와의 데이터 전송 성능 비교

Aspera Point-to-Point BMT 구성도

Page 16: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera faspTM BMT 결과

로컬 (Aspera Point-to-Point) : 대전센터 원격지 (Aspera Point-to-Point) : 노르웨이센터

Aspera Point-to-Point 구성 내용

• 대전 센터에 Aspera Point-to-Point client 및 노르웨이 센터에 Point-to-Point Client 구성

• SSH 접속을 위한 TCP 22 Port와 Aspera 전송을 위한 UDP 33001 Port Open의 방화벽 구성

• 내부 QoS 30Mbps로 Limitation 설정

Aspera Point-to-Point 구성도

Windows XP Fedora 9

1Gbps 100MbpsQos 30Mbps

Down(Fasp)

Down(Fasp)WAN

Aspera Point-to-Point vs FTP

30Mbps QoS 비고

FTP 150Kbps노르웨이 센터 - > 대전 센터 데이터 다운로드

FASP 28.5Mbps

Aspera Point-to-Point Aspera Point-to-Point

Page 17: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

구분다운로드 시간

다운로드평균속도

비고913KB 11MB 55.7MB 91.2MB

ASPERA2Mbps 7초 1분 4분 50초 7분 53초 1.5~1.6Mbps

5Mbps 4초 27초 2분 11초 3분 32초 3.5~3.6Mbps

FTP 6초 2분 45초 15분 46분 90Kbps

덱스트 다운로드(WEB) 20초 2분 11분 34분 45~118Kbps

U.A.E 현장

Network 대역폭 : ADSL 100Mbps<Aspera Fair 모드 설정>

Fair 모드 : 파일전송 중 다른 네트워크 요청이 있을 경우 다른 것과 공유해서 사용함.

(다른 네트워크 요청과 우선순위가 같음)

Fixed 모드 : 해당 파일전송에 특정 영역을 항상 할당함.

(다른 네트워크 요청보다 우선순위가 높음)

* 대용량 파일(91.2MB)의 경우 - FTP 대비 13배, 덱스트 대비 9.6배 의 속도 향상

* 덱스트 : fastTCP ( Parallel TCP ) 방식을 이용한 전송 방식 이용

* FTP와 덱스트 전송시의 경우 대역폭 제어가 안돼서 100Mbps 대역폭으로 BMT 진행

Aspera faspTM BMT 결과

Page 18: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

구분다운로드 시간

다운로드평균속도

비고913KB 11MB 55.7MB 91.2MB

ASPERA

2MbpsFair

9초 1분 27초 17분 25초 40분 31초 260~500Kbps

2MbpsFixed

- - 5분 16초 8분 34초 1.4~1.5Mbps

FTP 1분 48초 23분 14초다운로드

Timout 실패다운로드

Timout 실패60~80Kbps

덱스트 다운로드(WEB) 36초 6분 43초 43분 15초다운로드

실패170~260Kbps

쿠웨이트 현장

Network 대역폭 : 무선 WiMax 8Mbps

Fair 모드 : 파일전송 중 다른 네트워크 요청이 있을 경우 다른 것과 공유해서 사용함.

(다른 네트워크 요청과 우선순위가 같음)

Fixed 모드 : 해당 파일전송에 특정 영역을 항상 할당함.

(다른 네트워크 요청보다 우선순위가 높음)

* 대용량 파일의 경우 - FTP ,덱스트 의 경우 전송 실패로 비교 불가하며,

소용량 파일(11MB, 55.7MB)의 경우 – FTP 대비 16배, 덱스트 대비 8.2배 의 속도 향상

* FTP와 덱스트 전송시의 경우 대역폭 제어가 안돼서 8Mbps 대역폭으로 BMT 진행

Aspera faspTM BMT 결과

Page 19: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

• 측정 비교 : 일반 FTP 전송 속도 & Aspera fasp 프로토콜 솔루션 사용 전송속도

* BMT 결과

• 태국현장 : FTP 대비 50배 이상 성능 향상

• 인도네시아 현장 : FTP 대비 30배 이상 성능 향상

• FTP의 경우 현장의 인터넷 환경 및 시간대에 따라 속도 변경 발생.

• Aspera는 인터넷 환경 및 시간대에 무관하게 설정 속도에 따라 일정한 속도 유지.

Aspera faspTM BMT 결과태국 및 인도네시아 현장

Network 대역폭 : 현지 WAN 환경

Aspera 전송 속도 설정 : 2Mbps<Aspera Fixed 모드 설정>

Page 20: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera Point-to-Point/Client

Page 21: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera Enterprise Server

Page 22: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera Connect Server

Page 23: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera Faspex Server

Page 24: 최영준부장 yjchoi@samboo.co.kr 주 삼부시스템samboo.co.kr/data/Aspera_.pdfTV Guide TVN Turner Univision Online Aggregators Apple iTunes Amazon.com Brightcove EMI Music Google

Aspera Overview – One Page Summary어떤 제품인가?어떤 제품인가?

어떤 업무에 사용하는가? (Use Case)어떤 업무에 사용하는가? (Use Case)

특장점 ?특장점 ?

라이센싱 방식은 어떠한가? 라이센싱 방식은 어떠한가?

• 초고속 파일 송수신 솔루션으로서 파일 사이즈, 전송 거리, 네트워크의 품질 상태에 상관없이 대용량 파일 고속 전송

• LAN/WAN/위성/3G,4G 등 모든 망 지원

• 파일전송, 파일공유, 파일싱크 제품 뿐만 아니라, 타 솔루션및 어플리케이션 임베드가 용이한 API/SDK 제공

• 데이타센터내의 대용량 파일(설계도면, 개발코드, 문서파일등) 을 국내/해외지사/3rdParty 로 전송

• 기업내 또는 협력업체에 비디오/오디오 화일, 패치, 분석로그, 빅데이타등 대용량 파일 전송

• 팀내 협업을 위한 파일 공유• 글로벌 사업장에 인터넷구간을 통한 파일 송수신• 해상 위성을 통한 통신 (해군, 여객선)• POS 에 주기적인 파일 push• DR센터간 데이터 싱크 (금융/공공/대기업)• 클라우드로의 데이타 전송

* RDBMS내의 DB copy, Storage to Storage copy 는 안됨

• FTP 대비 수배~수백배 빠른 전송성능을 제공하며, 특히, WAN 구간에서도 최상의 성능 및 안정성 제공

• 정확히 예측 가능한 파일 전송, 뛰어난 네트워크 대역폭 실시간제어 및 관리, 기업내 적용 가능한 보안성 제공, 모바일 포함한다양한 클라이언트 환경 지원

• CDN/WAN가속기와 Aspera는 특장점 및 적용분야가 다름

• 글로벌 사업장에 대용량 파일 업/다운로드시, CDN 서비스사용에 비해 비용 절감, 보안성 확보

• WAN가속기등 하드웨어 기반 솔루션에 비해 관리 및 유지보수용이, 어플리케이션 임베드 용이

• Perpetual SW 라이센싱 방식과 On Demand subscription serivce방식 (월/연별 사용 볼륨에 따른 가격 - SoftLayer, AWS, Azure, Google), SaaS (SoftLayer) 모두 제공 – 요건에 맞게선택적 사용