데이터베이스

: 데이터 중복 제거 유형별 장단점 파트1

  후처리 방식 vs. 인라인 방식

데이터 중복 제거란 데이터 세트에서 중복된 데이터를 없애는 기법을 일컫습니다. 동일한 데이터의 불필요한 사본을 없애 사본 하나만 저장하는 프로세스입니다.

중복 제거의 기본 단계는 다음과 같습니다.
1. 데이터 세트 조사
2. 데이터 세트의 해시 생성
3. 해시를 중복 제거 사전과 비교, 비교 결과를 토대로, 고유 데이터를 저장해 추적하거나, 동일한 데이터와 대조
4. 전체 데이터 세트를 조사할 때까지 1~3단계를 반복 

중복 제거는 중복된 데이터를 없애는 데 목표가 있습니다. 그러나 여러 다양한 방법과 디자인(설계)을 적용해 중복 제거 속도를 높이고, 리소스 요구를 최소화 할 수 있습니다.

앞으로 4회의 포스팅을 통해 중복 제거의 유형별 장단점에 대해 구체적으로 알아보도록 하겠습니다. 오늘은 그 첫번째로, 후처리 중복 제거와 인라인 중복 제거에 대해 살펴보고 백업 데이터의 중복 제거에서 각 방식이 어떤 차이가 있는지 비교합니다.    

후처리 중복 제거(Post-process deduplication)
데이터를 디스크에 쓴 이후 중복을 제거하는 방법입니다. 새로 획득한 데이터에서 일정에 따라 중복 제거를 실시하지 않았다면, 데이터 복원 과정을 크게 앞당길 수 있습니다. 데이터 재수화(Rehydration, 중복 제거 구획을 재구성)가 필요 없기 때문입니다. 또 바쁘지 않은 시간에 중복 제거를 계획해 시행할 수 있기 때문에 스토리지 성능을 보호할 수 있습니다. 후처리 중복 제거의 경우, 데이터를 최초 디스크에 쓸 때 중복을 제거하지 않습니다.

따라서 최소한 획득한 데이터 크기의 추가 스토리지 용량이 필요합니다. 3TB 백업 데이터를 후처리 방식으로 중복 제거한다고 가정하겠습니다. 백업 데이터를 중복 제거하기 전에 최초 백업 데이터를 저장할 최소 3TB의 용량이 있어야 합니다. 데이터를 디스크에 배치한 이후, 일정에 따라 중복된 데이터를 찾아 중복을 제거하게 됩니다. 또 후처리 중복 제거를 하는 동안 복제를 수행할 수 없기 때문에, 중복 제거 데이터를 WAN에 복제할 때 중복 제거 일정과 복제 일정을 조정할 필요가 있습니다. 

인라인 중복 제거(inline deduplication)
데이터를 디스크에 쓰기 이전인 수집 단계에서 중복을 제거하는 방법입니다. 인라인 중복 제거는 스토리지 용량에 대한 투자를 보호하고, 이를 효율적으로 활용할 수 있다는 것이 장점입니다. 예를 들어, 3TB의 백업 데이터에 인라인 중복 제거를 적용할 경우, 첫 백업에 첫 사본을 저장할 약 3TB의 스토리지 용량이 필요합니다. 데이터를 반복해 여러 차례 백업할 때, 나중의 백업을 저장하기 위해 약 205GB 스토리지 공간이 필요합니다(중복 제거 비율 15대 1 기준).

인라인 중복 제거는 데이터를 디스크에 쓰기 전에 실시하기 때문에, 원하는 시간에 WAN으로 고유 데이터만 전송하면서 복제를 할 수 있습니다. 여기에 더해 인라인 중복 제거는 처리 속도가 아주 빠릅니다. 느린 쓰기 작업(RAID, 쓰기 페널티) 상당 수를 피할 수 있기 때문입니다. 고유 데이터를 디스크에 쓸 경우에만 쓰기 페널티가 인라인 중복 제거에 영향을 줍니다. 인라인 중복 제거는 느린 스토리지 쓰기 페널티를 최대 90% 줄일 수 있습니다. 

백업 데이터의 후처리 vs. 인라인 중복 제거
중복 제거는 스토리지 요구사항을 줄이는 장점이 있지만, 일반적으로 가장 중요한 것은 기본 스토리지의 성능입니다. 스토리지 시스템의 성능은 용량보다는 비용과 관련이 높습니다. 이 점 때문에 기본 스토리지 시스템에서는 중복 제거가 성능에 영향을 초래하는 것을 피하기 위해 후처리 중복 제거를 활용합니다.

후처리 중복 제거는 업무 시간을 피해, 또는 스토리지 시스템에 크게 압박을 주지 않는 시간 동안 수행할 수 있습니다. 즉 스토리지 성능에 영향이 미치는 것을 피할 수 있습니다. 그러나 중복 제거 이전에 배치되는 데이터에 추가 공간이 필요합니다. 이 추가 공간 때문에 기본 스토리지 비용이 발생합니다. 그리고 백업 용량이 아주 클 경우 비용이 급증합니다. 기본 스토리지의 후처리 중복 제거는 생산 데이터에 유용합니다. 그러나 백업용일 경우 비용 효과적인 솔루션이 아닙니다.

반면, 인라인 중복제거는 쉽게 용량의 크기를 조정할 수 있는 전용(purpose-built) 백업 디스크 어플라이언스에서 흔히 사용되는 기법입니다. 어플라이언스 메모리에서 중복 제거, 압축 암호화, 기타 프로세스를 처리하는 방식으로 고유 데이터 블록만 디스크에 쓰기 때문에 스토리지 용량 확보를 위한 비용을 절감할 수 있습니다.