빅데이터는 ‘큰 데이터’를 말한다. 단순히 큰 데이터가 아니라 부피가 크고, 변화의 속도가 빠르며, 속성이 매우 다양한 데이터라는 세 가지 특징을 가진 큰 데이터를 빅데이터로 정의하고 있다.

빅데이터를 이야기할 때 데이터베이스를 함께 설명하는 경우가 많다. 데이터베이스는 많은 데이터를 효과적으로 저장하기 위한 ‘잘 만들어진’ 시스템이다. 잘 만들어졌다는 이야기는 필요한 경우에 쉽고 빠르게 찾아 사용할 수 있고, 데이터를 비교 분석해서 필요한 정보를 쉽게 뽑아낼 수 있다는 것을 의미한다.

예를 들면, 가계부를 작성하는데 콩나물 1,000원어치는 ‘2012년 12월 15일, 빅데이터 마트, 콩나물, 1,000원, 구매, 부식비(채소, 국거리)’라고 적을 수 있다. 데이터베이스는 이 정보를 시스템에 저장하고 ‘2012년에 부식비로 지불한 금액은?’이라는 질문에 대해서 2012년 부분과 마지막의 부식비 부분이 일치하는 데이터를 따로 모아서 답을 제공하는 기술이다. 그런데 가지고 있는 데이터가 마트, 시장, 인터넷의 영수증이라면 각각 기록 방식과 포함한 정보가 다르므로 ‘언제, 어디서, 무엇을, 얼마에, 어떻게, 어떤 품목으로’에 맞게 데이터를 저장하는 것은 불가능하다.

데이터베이스 기술은 목적을 미리 정하고 그에 맞도록 데이터를 ‘어떻게 하면 효과적으로 저장하고 분석할 수 있을까’하는 기술이다. 하지만, 최근 들어 이렇게 잘 가공된 데이터가 아닌 나머지 데이터는 모두 버리는 게 맞느냐는 문제에 새로운 관심이 쏠리기 시작했다. 즉 ‘2012년 구매한 총 금액’이라는 질문에 대해서는 ‘2012년 12월 15일, 1,000원, 구매’라는 정보만 있으면 된다. 영수증의 데이터를 데이터베이스로 저장하는 것이 아니라 영수증이 가진 의미 그대로 저장한다. 그러면 필요한 경우 해당하는 데이터를 묶어서 새로운 분석을 할 수 있다. 이것이 빅데이터의 시작이다.

빅데이터는 사용자가 원하는 것이 생기면 거기에 해당하는 데이터를 찾아서 분석해 제공하는 것이다. 따라서 규모(Volume), 변화 속도(Velocity), 다양성(Variety)이라는 3가지 특징, 즉 3V를 가지고 있는 데이터에서 효과적인 결과물을 보여주는데, 3가지 특징은 꼭 가져야 한다기보다 효과적이라는 점에 주목할 필요가 있다.

각주