免费试用
新闻动态
高效、安全保护文件中集成的核心业务系统,根据业务需求,提供定制开发。
如何将大数据迁移到云存储
发布时间:2012年08月27日 来源:连用科技

      如今,很多企业的IT管理人员都在考虑将企业数据向云中迁移,云存储逐渐成为一个热门的趋势。如果为目前的信息技术产业搭配关键词,云存储无疑是其中之一。权威技术研究和咨询公司Gartner预测,到2015年,云存储将增长89.5%,市场份额达到28.8亿美元 ;到2016年,共享内容并且能够实现从多个设备上并发访问内容的愿望将促使消费者将超过三分之一的数字内容存储到云中 。越来越多的客户咨询有关将 50TB左右的数据迁移至云环境的问题。从理论上来说,将数据移至云环境是一个很简单的问题,而实际上,有很多重要的问题需要提前考虑,比如:您的带宽有多少?您的数据规模有多大?您需要恢复数据吗?可接受的数据恢复时间是多长?您的云服务提供商允许您来“植入”数据吗(例如,将驱动器或设备发送给客户,由客户在本地备份其数据,然后将驱动器/设备递送给提供商)?您的云服务提供商有基于云的服务器以便您能够直接从云存储恢复数据吗?

      接下来,让我们仔细分析两个计划将50TB 数据移至云端的客户案例。一个客户有一个 T1 线路,而另一个客户则有光纤OC3网络。

      例 1:具有 T1 线路的客户

      50TB 的数据,通过 1.544 Mbps,链路也称为 T1 线路)=       79124 小时或者近 3297 天

      首次通过 T1 备份 50TB 数据(典型重复数据删除率为 57%)= 33549 小时或 1398 天

      连续通过 T1 备份 50TB 数据(典型不间断重复数据删除率为 90%)= 8387 小时或 349 天,这代表了预计 10% 的日增量和 90%的重复数据删除率。在这个例子中,很显然,对于云服务提供商而言,收到每日增量数据的时间并不合理。

      例 2:拥有 OC3 网络的客户

      50TB 数据,通过 OC3 = 788 小时或者近 32 天

      首次通过 OC3 备份 50TB 数据(重复数据删除率为 57%)= 334 小时或 14 天

      连续通过 OC3 备份 50TB 数据(重复数据删除率为 90%)= 84 小时或 3.5 天,重申一下,这代表了预计 10% 的日增量和 90% 的重复数据删除率。云服务提供商仍然没有在 24 小时的时间窗口内收到每天的变更数据。如果要使提供备份或归档数据的时间窗口不超过24 小时,则是一个更大的挑战。

      另外,要说明的一点是,目前假设的是一个仅有最低 WAN 开销无其他网络负载的“原始”环境。但如果您使用这些线路上网、收发电子邮箱或拨打 IP 电话的话,那么,对于带宽和数据传输的时间影响不言而喻。

      下表列出了基于这些相同假设细分的 10TB 数据。


      这就是为什么我们在部署云存储前将需要考虑的问题列举出来,其实将数据写入云只是第一步而已。如果在灾难事件发生的情况下云是您公司的存储资源的一部分,那么将数据找回来特别是备份或者归档数据将更加重要。您的云服务提供商允许您向云端“植入”数据吗?您的云服务提供商有基于云的服务器以便您能够直接从云存储恢复数据吗?如果遇到灾难,您的云服务提供商会将存有您的数据的驱动器递送给您以供数据恢复吗?对这些问题的回答至关重要。

      随着大规模、50TB 数据云解决方案的出现,客户该如何应对上述数学挑战?现在,我要向大家介绍针对这一问题的一个有效的解决方案。在这个案例中,客户与一家云服务提供商密切合作,该提供商能够:1) 让客户将数据“植入”云环境 2) 基于 VMware 构建其计算云以充分利用物理到虚拟 (P2V) 技术。这种类型的云解决方案具有诸多优势。

      首先,向云环境“植入”数据的功能使客户能够将介质递送至云服务提供商,随后只需以在线方式即可发送变更数据。在充分利用了集成数据缩减技术(如源端重复数据删除和压缩)的情况下,这种方式显著减少了所需的带宽。

      其次,一旦出现灾难,客户能够通过服务提供商的云接入口进行数据恢复。由于服务提供商运行了 VMware,客户不仅能够进行数据恢复,还能够充分利用 P2V 技术 — 在 CommVault 的案例中,我们的 Virtualize Me功能能够自动将物理服务器恢复到虚拟机。此外,企业还应当向其云服务提供商询问他们是否能够使用工具来以多流方式将数据传至云,并最大程度利用带宽,尤其是,对于有专用 1Mbps 带宽客户。 

       CommVault的 Simpana 9软件中引入了第三代重复数据删除技术,可以在客户端删除90% 的冗余备份和归档数据。 Simpana 9 使用这种方式将客户端——磁盘——磁带中的重复数据删除扩展到整个企业,将网络中发送的数据量锐减90%,藉此有助于帮助企业显著加快将大量备份或归档数据迁移至云环境的速度。很多客户向我反馈,通过使用现代数据管理功能(如重复数据删除、压缩和多流等技术),显著缩短了他们向云环境迁移大量数据所需的时间 — 从数月缩短至数天,甚至数小时。

      对于将来考虑将硬件及物理设备迁移到“云端”的客户,希望以上的建议也会使他们云存储的部署准备更加充分和周到。因为,我们相信有效规划此类实施对于将数据迁移至云和测试数据恢复目标的成功具有举足轻重的作用。


最新新闻
连用科技签约安捷利,实现机台数据智能安全归档
近日,连用科技签约安捷利(番禺)电子实业有限公司,连用科技为其提供了一套“机台文件智能归档管理解决方案”,可实现机台数据全生命周期管理,按照一定的安全规则对机台数据进行自动采集归档、统一存管和有效利用,以确保数据长期存储的可靠性、安全性和完整性,从而提高生产效率、降低设备数据存储成本、提升产品质量,助力企业实现智能化升级,为其带来诸多核心价值。
世界500强企业五矿矿业携手连用科技 打造非结构化数据管理新范式
五矿矿业携手连用科技,通过LFC 5数字化内容安全管理与协同平台,再结合五矿矿业非结构化数据管理现状及需求,对接其ERP系统,并进行数据迁移,为其部署一套生产云盘系统。基于云容器微服务架构,构建PB级分布式分级文件存储中心,满足企业业务层面的非结构化数据管理需求。能汇聚各类业务系统的数据,打破信息孤岛,并以内容管理、业务协同、数据安全、数据共享、数据应用等能力,为业务系统赋能,实现数字资产安全和数据价值增值,助力企业数字化转型。
机台数据归档管理解决方案 赋能制造业高质量发展
连用科技推出的“机台数据归档管理解决方案”,可实现机台数据全生命周期管理,按照一定的安全规则对机台数据进行自动采集、统一存管和有效利用,以确保数据的可靠性、安全性和完整性,从而提高生产效率、降低存储成本、提升产品质量,助力企业实现智能化升级,为制造业带来诸多核心价值
连用科技亮相2023深圳工业互联网大会 为新型工业化发展添砖加瓦
连用科技受邀亮相2023深圳工业互联网大会暨粤港澳大湾区CIO论坛,并在此次盛会中设立了展台,重点展示了在数字化内容安全管理与协同领域的技术实力,以及在各行各业取得的优异成果,吸引了众多专业人士驻足交流,共商合作、共谋发展。
内容数据台账 | 非结构化数据资产全周期、全覆盖安全管控
连用科技LFC 5的内容数据台账功能,以内容数据全生命周期管理体系建设为核心,实时监控和统计从本地电脑、云盘、邮件、生产应用系统上扫描的数字资产,准确识别敏感信息,并生成数据台账,帮助企业全面掌握核心数据资产的分布情况,让数据资产得到有效利用,降低成本,同时兼顾数据安全与合规需求。
连用科技签约某东南亚国家电力公司 实现数据安全高效流转
近日,连用科技成功签约某东南亚国家电力公司,为其搭建一套安全高效的文件网间交换一体机方案,提升文件跨网交换效率,保障数据安全。这是连用科技又一个海外项目,标志着公司再次成功将业务拓展到海外市场。
LFC 5 “NAS” 模式 | 不改变用户使用习惯,高效管理企业内容数据
随着企业数字化转型的加速推进,非结构化数据的数量日益增长,同时文档格式也变得越来越复杂。面对企业多样化的业务场景,传统NAS模式存储容量有限,不易扩容、安全防护机制不完善、访问速度慢、无细粒度权限管控、无操作日志等等这些问题的存在,已难以满足企业的应用需求。基于此,连用科技推出的LFC 5 “NAS” 模式,可以有效地解决这类问题。
连用科技出席2023数字创新大会 深信服携连用发布桌面云技术与产业白皮书
作为国内市场占有率最大份额桌面云厂家深信服联合连用科技等11家公司正式发布了《桌面云技术与产业白皮书(2023 年)》(以下简称“白皮书”),该白皮书对桌面云技术的概念、现状、发展趋势、业务价值、部署模式、架构和关键技术、各行各业的应用场景分析进行了详细的介绍。连用科技作为国内领先的企业内容管理服务厂商,同时也作为深信服的生态合作伙伴,参编了该白皮书“连用科技内容安全协同解决方案”部分的内容。

留言