技术详细介绍
摘要：本发明公开了一种基于局部性优化的重复数据检测方法，属于计算机存储技术领域，解决现有重复数据检测方法中检测效率低下的问题，以适应因存储数据规模扩大，而导致重复数据检测效率降低的现状。本发明包括布隆过滤器检测、哈希桶写缓存检测、哈希桶读缓存检测、哈希桶地址表检测步骤。本发明主要针对局部性较强的数据集类型，通过挖掘数据集中的局部性，提高数据预取的效率，降低磁盘访问开销，提升数据去重的吞吐率。对于数据集中可能的重复数据，本发明首先利用布隆过滤器对数据块的重复性进行预判，接下来根据不同的条件分别对缓存区的热区及冷区及磁盘进行三级重复数据的检测，充分利用重复数据中的局部性，提升重复数据的检测效能。