大数据文件传输工具Aspera.ppt

1、Aspera High-speed Transfer,Moving the worlds data at maximum speed 以最大的速度传输世界的电子资产,Aspera的使命,新一代传输技术 无论文件大小、传输距离及网络状况，都能以最快的速度传输全球的电子资产,3,致力于数据传输方案的软件技术公司 位于美国加利福尼亚 创建于2004年，165个员工，现已为IBM公司 fasp协议的创建者 创新的、专利技术的、高效率的大数据传输技术 Aspera的高速文件传输软件套件以fasp协议为核心 出色的针对软件及硬件在WAN上文件传输的加速方案 在各种WAN传输测试方面排名第一 专利: fas

2、p 的大数据传输及动态带宽控制技术在美国及其它30个国家已经申请专利，并且在其它32个国家的专利申请正在进行中。 增长: 2,200以上客户, 超过19,000个许可, 50%的年增长率。 服务的市场: Media and Entertainment, Federal Government, Life Sciences, Healthcare, Cloud Computing, Software and Gaming, Financial Services, Legal, eDiscovery, Engineering, Technology, Telecommunications, Serv

3、ice Providers, Architecture and Design, Enterprise IT 全球24x7支持。,Who is Aspera?,TCP及替代技术的挑战,距离对网络影响 延迟增加 丢包率增加 快速网络随着距离增加而降低服务质量 TCP性能随距离增加而降低 吞吐量的瓶颈随着时延及丢包率的增加而变得更加明显 TCP的吞吐量没有随着带宽的扩展而扩展 TCP的最初设计目的是适应低带宽 增加更多的带宽不会提高吞吐量 替代技术 基于TCP - 网络延迟及丢包率必须低 UDP - 带宽利用率比较低 数据缓冲 - 不适合适用于大量大文件的传输及工作流 优化的TCP - 提高了TCP

4、的性能，但对于快速网络而言效率还是比较低下 数据压缩 - 对于特定文件而言，时间的消耗及传输效率不受影响 CDNs - overhead比较高，并且扩展的成本非常昂贵,faspTM 优越的性能,Aspera的传输时间随着带宽的增加而直线增加，与丢包率、时延无关 Cross US Add 1% to 5% Intercontinental Add 1% to 10% Satellite Add 1% to 10%,TCP的传输时间受制于丢包率、时延（网络距离）而不是带宽,6,fasP: 高性能传输,最大速度传输 端到端的传输效率及吞吐量优化 传输性能与带宽成正比，与传输距离无关，丢包率影响甚微

5、避免拥塞及有效的带宽控制策略 自动地、充分地利用可用的带宽资源 动态地分配优先级及带宽 安全与可靠性 以安全的方式实现用户及终端的认证 AES-128加密算法，适用于传输过程中加密及落地加密 可扩展的管理、监控、控制 实时地查看传输进度、性能、带宽使用率 详细的传输历史记录、日志 非常低的Overhead 在30%丢包率的情况下，具备少于0.1%的overhead 高性能传输单个大文件及大量的小文件 结论 最高速度可比FTP快1000倍 精确地预测传输时间 在并发传输及吞吐量方面具备无可伦比的扩展性,7,faspTM 可适应性的速率控制及管理,无语伦比的带宽控制 自动地、充分利用可用的带宽资源

6、 以一种“公平的”的策略保护其它的网络传输 允许TCP“爆发”，可以及时收回可用带宽 实时地针对优先级的调整 高并发的传输堆栈 动态地针对每个正在传输的文件、用户及任务的优先级调整 动态地调整并发传输的带宽消耗，为高优先级的传输分配更多的带宽资源 全方位的监控机报表 实时的传输进度及性能分析 实时的带宽使用率 详细的传输历史记录及日志,8,FasP vs WAN Acceleration,Products overview,Moving the worlds data at maximum speed,Aspera产品家族,High-speed transfers for web, deskt

7、op and mobile,High-speed file transfer servers for on premise, private, public, and hybrid cloud deployments,File sharing, collaboration and exchange applications,Transfer management, monitoring and automation,Scalable, multi-directional, multi-node synchronization,TRANSFER CLIENTS,WEB APPLICATIONS,

8、MANAGEMENT & AUTOMATION,SYNCHRONIZATION,TRANSFER SERVERS,Innovative, patented, highly efficient bulk data transport technology, unique and core to all Aspera products,FASP TRANSPORT,10,Aspera Enterprise Server统一的文件传输服务器,主要功能 统一的基础文件传输服务器 针对大数据的高速fasp 传输 企业范围内大数据量内容的获取与分发 全面的自动化及定时机制 先进的用户及服务器管理 全面的监

9、控及报告 高可用配置 (active/active or active/passive) 单独部署及云部署 (public, private, hybrid) 使用场景 企业范围内文件传输 大量内容的获取 高性能地内容分发 许可及部署 基于带宽能力的销售策略 针对Aspera On Demand基于使用方法的销售策略 高可用配置 (active/active or active/passive) 支持多种平台 (Unix, Linux, Windows, Mac, Solaris, Isilon OneFS) 可以与Aspera Client, Point-to-Point及其它Enterpr

10、ise Servers集成,12,Aspera Connect Server具备Web界面的应用平台,主要功能 基于Enterprise Server 具备Web界面的应用平台 提供简单的Portal界面，每个用户可以看到自己的Root目录 通过Aspera Connect web browser plug-in传输 增强了fasp传输，可以为Shares 及faspex 的Web应用服务 提供丰富的API，与自定义的Web应用集成 使用场景 基于浏览器的文件交换 第三方内容及数据的收集 与客户的Web应用集成 许可与部署 基于带宽能力的销售策略 针对Aspera On Demand基于使用方

11、法的销售策略 高可用配置 (active/active or active/passive) 支持多种平台 (Unix, Linux, Windows, Mac, Solaris, Isilon OneFS) 支持与Aspera Connect browser plug-in连接 Aspera web Plun-in的自动安装,13,ASPERA shares 全球高效的文件共享,主要功能 非常容易使用的Web应用，及所有共享内容的统一视图 全面与Aspera Connect browser plug-in集成，提供高速的、安全的文件传输 数据内容可以在 enterprise servers,

12、 private, public 及hybrid clouds上部署 强大的安全模型可以实现通过单一的管理界面控制所有共享资源的安全，比如授权、用户管理、访问控制。 查询、过滤、排序的功能方便了客户从大量的文件中找到唯一的文件或目录 Shares通过一种安全的、灵活的访问控制策略与Aspera faspex的接收、发布功能完全集成 使用场景 在企业内部数字资产的分发 不同团队的协作 项目团队与第三方内容或数据收集方的合作 全球的，基于浏览器的数据分发,14,Aspera faspex Person-TO-Person文件交换与协作,主要功能 高性能fasp传输 全局的person-to-per

13、son或基于项目的文件交换与协作 使用基于web的界面、email, 手机，及桌面客户端 易于创建与管理基于文件协作的 支持本地及远程的文件资源 (on-premise and cloud) 使用场景 企业内数字资产的分发 不同地理位置的团队协作 基于文件的审核、批准及质量保证工作流 与外部合作伙伴之间的数字资产交付于协作,Aspera faspeX CLIENT OPTIONSBrowser , DESKTOP, mobile and EMAIL apps,主要功能 与fasp, faspex的安全模型集成, 通过简单的触发器实现落地文件的加密 针对iOS, Android设备的高速传输应用

14、 Cargo automatic downloader to the desktop 与Microsoft Outlook集成 使用场景 远程新闻的收集、上传及发布到中心节点 作为工作流的一部分查看、审批图片、视频 从email客户端发送大文件或文件目录 自动下载最新的内容，并且无延时 远程医药图像的查看及诊断,15,faspex Add-in for Outlook,faspex App on iPhone,faspex App on iPad,Cargo Downloader 自动利用faspex下载,主要功能 自动下载faspex 包，支持Windows与Mac 通过内嵌的加密机制保证文

15、件内容的安全 易使用的GUI控制下载内容的自动解密 针对每个服务器及账户配置下载目录 支持并发下载数量的可配置性 针对每个下载任务进行实时的传输速率控制及监控 暂停、取消、重新开始、断点续传 使用场景 继承了person-to-person的文件交付流程， 可以利用faspex包的自动下载机制 可以从多个faspex服务器收集数据，把所有的下载统一到单一客户端 自动下载最新的内容，并且无延时,17,Aspera Console全网范围内的传输管理、监控及控制,主要功能 优先级控制，管理文件传输的速度及带宽使用率 集中地配置及管理传输节点 浏览及启动远程站点之间、组织之间的传输任务 自动化传输，

16、包括定时及分发 自定义活动视图、计费报表及通知 针对单个文件传输及路径，提供安全的、私有的视图及控制能力 开放的架构。可以与业务流程及内容传输工具集成 使用场景 集中管理、监控及控制所有在企业内的Aspera文件传输活动,high-Speed Transfer Direct-to-CLOUD,Cloud,Aspera software - on demandavailable on AWS and Windows AZURE,Transfer Servers On demand high-speed fasptransport to, from, and across cloud infras

17、tructure unlimited scale out with additional transfer server instances Base transfer server, or Web-enabled application platform with support for Connect browser plug-in for browser-based transfers Direct integration with Amazon S3 and Windows Azure BLOB object storage for line speed ingest Web Appl

18、ications (AWS Only) Aspera Shares Multi-node file ingest and sharing, provides access to content across any location with powerful security and access model Aspera faspex Global Person-to-person file delivery, collaboration, and exchange with add-hoc content ingest and contribution Optional Clients

19、Optional add-ons to extend the content ingest and contribution to mobile devices and email clients Available for Apple iOS devices, Google Android, and Microsoft Outlook email client, as well as Cargo automatic downloader,19,Aspera fasp proxy,主要功能 在苛刻的网络环境中提供安全的、高速的fasp传输 保留了fasp高性能的一切特性 支持所有Aspera客

20、户端及服务器 支持in-bound及out-bound，并且支持认证 支持多对多关系及反向代理配置,Aspera Sync高速同步与复制,在WAN上的，跨平台的高速同步与复制软件 主要功能 高速的，双向的目录与文件同步 高扩展性 支持大文件及大量的小文件及目录 高效率 - 支持远距离WAN 安全 符合FIPS 140-2 平台无关 支持Linux与Windows 存储无关 与任何标准的文件及块存储系统兼容 与rsync类似 支持include与exclude过滤 文件级的数据包冗余删除技术，降低不必要的传输，降低同步时间及降低存储的使用 使用场景 异地同步及复制，比如存储的迁移、灾备、数据上收

21、等 双向的系统镜像，比如数据内容的可替换性访问 Hub 及spoke同步，针对高速的内容收集及分发,Scalable, multi-directional, multi-node synchronization,SYNCHRONIZATION,22,Disaster Recovery / Business Continuity Replicate mission critical data from a primary site to one or more alternate sites Systems remain available after a system outage or si

22、te loss - critical data is preserved,Sync Use cases,Content Distribution / System Mirroring Automatically replicate digital content from one system to another Content is always available, offering high availability of the service,Hub and Spoke for Collection or Distribution Daily collection or distr

23、ibution of data across a large network of end points Continuous update of online content, software and media,Data Migration for Diverse Storage Environments Replicate entire file system, or portions of the file system Preserve file attributes such as permissions, access times, ownership, etc.,Primar

24、y Site,Alternate Site,Primary Site,Alternate Site,Web Application,22,Orchestrator Automated Workflow Platform,24,Orchestrator - Open Platform 3rd Party LibraryFree to Orchestrator Users,Transcoding,Video Quality Control,MediaInfo,Database / Stores,Antivirus,Ad Insertion & Media Management,Email,Imag

25、e Manipulation,Watermarking,Encryption,File Transfer,ImageMagik,Media Management,IT Management,FTP/SFTP,SCP,25,ASPERA开发者网络,Complete set of SDKs with guides, reference information, and sample code for integrating Aspera technology into into desktop, network-based, and web applications in place of FTP

26、, HTTP, or custom TCP-based copy protocols using C+, Java, JavaScript, or .NET.,Android SDK Aspera Android SDK provides a Java API to transfer files using fasp-AIR. iPhone SDK Aspera iPhone SDK with Objective C API to transfer files using fasp-AIR.,ASPERA APPLICATION APIs,faspex Web API A set of ser

27、vices that enables users to create and receive digital deliveries via a Web interface, while taking advantage of fasp high-speed transfer technology.,ASPERA TRANSFER APIs,Aspera Web Services A SOAP based web service API that allows initiation, monitoring and controlling of fasp based file transfers.

28、,Console API Full programmatic management of transfer sessions including initiation, queuing, management and control through a RESTful API.,Shares API Full programmatic control over browsing Shares, transfer authorization, and upload / download.,ASPERA BROWSER APIs,Connect JavaScript API JavaScript

29、API exposed by Aspera Connect for integration of fasp based file transfers into web applications for a complete in-browser experience,Aspera Multicast SDK A Java class library for initiation and management of IP multicast based data transmissions using Aspera fasp-MC.,fasp Manager A class library th

30、at allows intiations, monitoring and controlling of fasp based file transfers.,Customer Case studies,With over 23 million streaming members globally, Netflix delivers streaming movies and TV shows to over 700 different devices PCs, internet-connected TVs, gaming consoles, tablets and smart phones. S

31、olution: With over 50 terabytes of new content a month from over 200 global partners, Netflix uses Aspera On Demand Direct-to-S3 technology to move, process and store content in Amazon Web Services S3 storage. Benefit: High-speed fasp transfers direct to S3 storage allow Netflix to leverage the extr

32、eme scalability of AWS, eliminating the need to build its own data centers and enabling on demand compute capacity control.,Universal Pictures produces major motion pictures such as “Battleship” and “Snow White” massive projects requiring an army of partners and facilities seamlessly working togethe

33、r to deliver a top-notch final product. Solution: High-speed, reliable and secure exchange of daily post-production media files (15-30GB each) between multiple companies around the globe using Aspera faspex. Benefit: Easy-to-use file transfer solution thats deployed in hours, not weeks and real-time

34、 collaboration between geographically distributed teams leading to significant reduction in production cycle times.,BGI, the worlds largest genomics research institute, produces thousands of genomes a day. Using hard drives to send data to customers and partners had proven expensive, error-prone and time consuming. Solution: BGI integrated Asperas fasp high-speed