如何估算重复数据删除的比率

发表于:2011-7-11 10:08

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:未知    来源:51Testing软件测试网采编

  导读:重复数据删除的出现使很多的重复冗余数据无处藏身,重复数据删除在平时的工作中将会发挥很大的作用,重复数据删除技术相信是数据库管理员最喜欢的啦。下文中将主要为大家介绍关于如何估算重复数据删除的比率。

  如何对数据进行识别和去重是现在主流重复数据删除软件的主要区别。

  在硬盘上进行数据备份是大势所趋。以后将会有越来越多的备份工作从磁带转移到磁盘上,重复数据删除的重要性由此也变的更为明显。由于每个厂家的产品各不相同,以及对这种技术的不了解,导致许多的存储管理员在选择重复数据删除产品时感到茫然。

  在备份过程中,重复数据删除产品主要运行在两个地方:备份软件和硬盘库中。主流的备份软件有以下几款:Asigra公司的Tele- vaulting,EMC公司的Avamar,赛门铁克公司的Veritas Netbackup PureDisk。

  这些备份软件可以在主机级别对数据进行重复数据删除,然后将处理过的数据传递到备份目标盘或者灾难恢复地点。

  主流的磁盘库厂家包括:Data Domain、Diligent Technologies、Quantum和Sepaton等。重复数据删除软件可以对这些目标端设备进行数据的重复删除,而且不会影响正常的数据备份工作。

  下面提到的算法基本适用于任何厂家的重复数据删除产品。重复数据删除对性能有何影响及重复删除后的数据如何管理是两个最受关注的问题。

  有时使用一种方法可能无法满足备份的需求,这时存储管理员不得不在磁盘库和备份软件中同时运行重复数据删除软件。

  部署重复数据删除时可能会遇到一些潜在的问题,例如,未进行重复删除的数据能否保存到磁带上,重复数据删除技术是否跟备份软件兼容,必要时能否将重复数据删除功能关闭等。用户一定要在权衡利弊之后再决定是否进行实施。

  如何估算重复数据删除的比率

  多余的数据:

  服务器上多余的数据越多,重复删除的比率就越高。如果用户使用的是同一种操作系统,例如Windows,并且系统上的文件或者数据库数据大部分相同的话,重复数据删除的效果会很理想。如果用户使用不同的操作系统,并且上面的数据文件都不相同,那重复数据删除的比率会比较低。

  数据变化的频率:

  重复数据删除的比率跟数据变化的频率有关。数据变化的频率越高,重复数据删除的比率越低。平时所说的20:1的重复数据删除比率是基于数据变化率为5%基础之上的。

  数据预压缩:

  数据压缩是数据删除算法中的一个关键因素。数据压缩的比率一般为2:1,厂家宣传的重复删除的数据通常已包含压缩功能删除的这部分数据。如果重复数据删除比率是15:1,通过压缩可以达到30:1. 不过如果已经压缩过的数据,例如jpeg,mpeg,zip文件,再次压缩基本不会有什么效果。

  数据保存周期:

  数据保存的周期可以影响数据重复删除的比率。如果计划让重复数据删除的比率达到10倍或者30倍,需要将数据保存周期设置为20周。如果没有足够的空间存储数据,重复数据删除的比率就会降低。

  全备份的次数:

  全备份的次数越多,重复数据删除的比率就越高。

  关于如何估算重复数据删除的比率知识的介绍就为大家说这么多,总而言之,重复数据删除技术的出现就是技术的进步,重复数据删除在技术上是比较先进的,希望上文中涉及到的内容对大家能够有所帮助。

相关链接:

消除重复数据删除的四大误区

《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号