요즘 빅데이터란 말이 학계와 기업의 화제로 떠오르고 있다. 빅데이터란 엄청난 양의 데이터를 분석해 전략적으로 활용하는 방법을 말한다. 예를 들어 판매데이터를 분석해 막 이사한 고객을 찾아내어 알맞은 상품을 추천한다던지, 자동차나 선박의 부품에 센서를 부착해 큰 고장이 나기 전에 사전에 수리를 한다던 지의 예가 될 것이다. 사실 앞의 예 들을 주의 깊게 보면 기존에도 하고 있던 통계적 분석의 연장선이라고도 말할 수 있을 것이다. 하지만 우리가 빅데이터라고 말할 때는 크게 두 가지 측면에서 기존의 분석과 다르다고 할 수 있다.

  첫 번째는 우리가 다루는 데이터의 양과 다양성이다. 인터넷 사용, 모바일 기기 사용 그리고 센서의 사용 등은 엄청난 양의 정보를 시시각각으로 생성하고 있다. 하나의 컴퓨터하드웨어에  데이터를 저장해 분석하는 것과, 몇 백대 또는 몇 천대에 들어있는 데이터를 분석하는 것은 기술적으로 아주 다른 도전을 가지고 온다. 이런 경우 분산 컴퓨팅, 병렬 계산 기술 등 여러 가지 컴퓨터공학의 새로운 기술과 알고리즘을 필요로 한다. 또한 데이터 분석에 있어서도 기존의 표나 그래프로 보던 방식에서 삼차원이나 동적 디스플레이 방식으로 한눈에 엄청난 데이터의 추세를 보여주는 방식이 사용되고 있다. 데이터도 기존의 기업에서 운영을 하며 얻던 판매, 고객정보, 재고 등의 자료에 SNS 상의 정보, 기기의 센서에서 나오는 정보, 온라인 클릭정보 등의 비정형 데이터가 같이 분석을 요하게 됨으로써 기존의 데이터 분석과는 사뭇 다른 분석방식을 요구한다.

  이런 기술적인 차이점과 함께 요즘 빅데이터가 기존의 데이터 분석과 크게 다른 두 번째 요인은 바로 분석에 대한 범위와 우리의 기대수준이다. 기존의 분석에서는 업무의 연장선에서 고객 분석이나 공장 생산성 분석을 했다면, 빅데이터에서는 전략적인 가설을 갖고 시작한다. 즉 현재 우리의 기업에서 어떤 것이 전략적으로 중요한 가를 살핀 후 가설을 갖고 그것에 맞는 데이터를 수집하기 시작해 분석하는 방식이다. 그렇기 때문에 이 프로세스는 단발성 분석에 그치지 않고 여러 가지 가설을 조합, 변형해가는 과정이며 궁극에는 조직에 새로운 통찰을 갖고 오는 중요한 결과를 얻는 것이다. 현재 인류가 갖고 있는 모든 데이터의 90%는 최근 2년간 생긴 것이다. 앞으로도 데이터는 끊임없이 생성될 것이며, 기업은 데이터 분석을 통해 기존에 알지 못하던 지식을 획득해 전략적으로 활용할 수 있게 됨으로써 모든 기업은 빅데이터에 관심과 투자를 안 할 수 없는 시대가 다가오고 있다.

  설명한 바와 같이 빅데이터 분석은 단순한 기술적 분석이 아닌 전략적 사고와 함께 인문학적 상상력에 바탕을 둔 새로운 통찰력을 필요로 한다. 기업의 빅데이터 분석 능력의 차이는 많은 경우 경쟁력의 차이로 연결될 것임으로 향후 모든 기업은 데이터 분석가를 필요로 하게 된다. 얼마 전 미국 매킨지의 리포트는 향후 5년 안에 미국 내에서만 19만 명의 새로운 데이터 분석가가 필요할 것으로 예측하고 있다. 데이터 분석가로서의 이상적인 능력은 통계 처리의 능력과 분석적 사고 그리고 인문학적 통찰력의 결합이다. 단순하게 있는 데이터에서 통계를 끌어내는 분석이 아닌 창의적이면서도 중요한 질문을 하고, 질문에 답하기 위해 여러 데이터를 결합하며 그 과정에서 통찰력을 얻고 새로운 질문을 만들어 가는 능력이 빅데이터 분석 능력의 핵심이다. 해외 많은 대학에서 이런 융합지식에 바탕을 둔 빅데이터의 새로운 전공을 서두르고 있으며 국내대학에서도 곧 이러한 현상을 볼 수 있을 것이다.

                                                                     이준기 연세대 교수·정보대학원