빅데이터가 가져온 충격의 본질을 이해해야 한다는 것을 말해주는 책이다. 이책은 "2012년 한일 IT세미나"를 통한 논의의 내용을 더 성숙시킨 저자의 고민을 담아내고 있다고 말하고 있다. 넓은 의미의 빅데이터라고 하는 것은 대용량의 데이터들을 가치있는 지식과 통찰로 바꾸는 모든 범주들을 말하고 있다. 특히 여기에서 중요한 것은 가장 큰 비중을 가지고 있는 비정형데이터가 중심이 되고 있다는 것이다. 또한 기존의 대기업 들을 중심으로 진행되는 것이 아니라 소셜미디어기업을 중심으로 진행되고 있다는 사실이다. 특히 미국은 "데이터는 새로운 석유다"라는 말을 할 정도로 이 분야를 중요하게 생각하고 있다.
빅데이터는 3V(양,다양성,속도)의 측면에서 관리가 힘든 데이터를 말한다. 현재 관련기술은 하둡, NoSQL, 기계학습, 통계분석 등이 사용되고 있다. 특히 하드웨어의 성능은 향상되고 소프트웨어의 처리가 빨려졌다는 상황과 클라우드 시스템의 도입이 이 분야를 빠르게 발전시키는 요인이다. 특히 구글의 만든 맵리듀스를 구현한 하둡의 프로그램과 스키마정의를 단순화시키는 NoSQL은 관련 기업을 빠르게 발전시키는 요인이다. 하둡의 처리방식과 NoSQL과 결합하여 스트림데이터처리의 방식은 실시간처리를 가능하게 하여 기술적발전을 향상시키고 있다.
현재 이러한 빅데이터를 잘 활용하는 기업은 구글이나 아마존, 링크드인, 페이스북, 넷블릭스, 이베이 등이다. 일반 기업의 활용 예를 들어보면 굴삭기업체인 코마츠가 굴삭기의 GPS정보를 결합하여 관리하는 형태, 리쿠르트가 IT부서와 마케팅팀을 결합하여 온라인미래전략사업을 만들어내고 있는 모습이나 GREE가 데이터와 결합하여 소셜게임전략을 성공의 예, 맥도널드가 쿠폰을 1:1마케팅을 통해 발행하는 예들이다.
현재 빅데이터의 활용 예는 고객의 성향을 분석하여 상품이나 서비스를 추천하거나 행동마케팅을 통한 광고, GPS마케팅, 부정사용예의 검출, 고객이탈분석, 고장의 예측, 이상의 검출, 서비스개선, 차량정체 예측, 전력수요 예측, 감기 등의 질병예측, 주식시장의 예측, 연료비용의 최적화 등이다. 빅데이터의 주요 패턴은 과거와 현재의 현상을 분석하여 패턴화함으로서 새로운 상황을 예측하여 그 상황에 맞는 행동을 만들어내는 것이다.
현재 빅데이터와 관련하여 문제가 되는 상황은 개인정보의 유출에 대한 문제이다. 온라인의 계정에 대해 잊혀질 권리를 보장하는 것, 명확한 동의, 데이터 이동에 대한 책임, 책임있는 설명 등이다. 여기에서 가장 중요한 것은 개인의 정보에 대한 투명한 사용과 더불어 고객과의 소통을 통해 접점을 찾는 일이다. 이것과 관련하여 중요한 시장이 LOD(Linked Open Data)시장이다. 오픈데이터의 활용을 통한 새로운 가능성은 열린 정부의 탄생과 새로운 데이터마켓플레이스의 등장이다.

앞으로 빅데이터 시장이 성장할 것은 당연하다. 이 시장에서 중요한 역할을 하는 사람이 데이터분석가와 오프라인의 접점에서 데이터를 만들어내는 데이터어그리게이터이다. 이 부분의 설정을 어떻게 하느냐가 향후 빅데이터사업자의 중요한 승부가 될 것이다.
빅데이터산업의 성장에 걸림돌은 관련 기술자의 확보이다. 이미 이러한 기술자를 양성하기 위해 미국에서는 대학원과정을 만드는 등 발빠른 대처를 하고 있다. 빅데이터기술자에게 필요한 기술은 컴퓨터공학, 수학,통계,데이터마이닝, 데이터가시화등 관련기술뿐만이 아니라 소통의 능력, 기업가정신, 호기심 등 부가적인 능력도 가져야 한다. 데이터주도형기업이 앞으로 새로운 시장을 선도할 것이라는 너무나도 당연한 사실이 되고 있는 것이다.
빅데이터시장을 생각하는 기업들이나 개인들에게 매우 유익한 책이다. 현재의 기술동향과 발전방향뿐만이 아니라 관련산업의 문제까지 지적한 이 책은 많은 관련자들에게 유익함을 가져다 줄 것이다. 특히 한일양국 IT산업의 분석을 통해 폭넓은 시각을 갖게 한다는 의미도 가지고 있다.

이번에 한빛리더스 6기 첫번째 미션으로 빅데이터의 충격이란 책을 선택하게 되었습니다.

몇년 전부터 빅데이터란 용어가 많이 들리는데다 최근에는 고객사에서도 리포트에 빅데이터를 도입하겠다는

의견이 나왔었기에 관심을 가지고 있었습니다.

빅데이터는 특별한 기술이 아니고 몇년전부터 이미 우리 일상생활에서 이용되고 있는 기술입니다.

예를 들어 구글이나 네이버 사이트의 자동 단어 완성이나 옥션등의 쇼핑몰에서 추천 상품등이 빅데이터에 해당하는

기술이라고 볼 수 있습니다.

이 책은 이러한 빅데이터를 기술적인 시점이 아닌 세계적으로 빅데이터가 사용되고 있는 예시나 (월마트,이베이등)

현재 세계 각지에서 빅데이터가 어떻게 이용되고 있는지를 적절한 설명과 예시를 통하여 보여주고 있습니다.

따라서 비전공자인분들이나 중.소형 창업주분들은 대표적으로 빅데이터가 사용되는 예시를 통하여

향후 빅데이터를 사용될 수 있는 새로운 아이템을 찾거나 향후 IT의 트렌드를 아는데 매우 큰 도움이 될 것이라 생각합니다.

또한 개발자에 입장에서는 향후의 데이터 처리 기술이 어떤식으로 발전해 나갈것인지 예측해 볼 수 있는 좋은 기회를

제공 해 줄것이라 생각합니다.

다만 한 가지 책에서 아쉬운 점은 비전공자가 읽기에는 어느정도 난이도가 존재하는 책이라는 점 입니다.

대학에서부터 전산을 전공해왔고 현재 현업으로 만 4년정도의 경험을 쌓았지만 책에서 사용하는 모든 용어를 알수가 없었습니다.



(설명이 존재하긴 합니다만 전체의 일부분에 해당할 뿐입니다.)

하지만 그러한 점을 제처두더라도 IT에 종사하시거나 IT트렌드에 관심이 있으신분은 반드시 한번은 정독을 권하고 싶은 책입니다.

또한 책 두께도 250페이지 수준으로 적당하기에 외출하시면서 가벼운 마음으로 읽으시는걸 추천드리고 싶습니다.

요즘 클라우드 컴퓨팅, 빅데이터라는 말은 컴퓨터 전공자가 아니더라도 신문 기사나 인터넷 기사등을 통해서 쉽게 접하고 있는 단어가 되었습니다. 특히, 클라우드 컴퓨팅은 단어의 의미는 모르더라도 이미 아이폰, Dropbox, Google Drive, Office 365을 통하여 일반 사람들도 이해하고 있는 서비스가 되었습니다. ( 참 좋은데 머라 설명할 순 없고...그런것이 되었죠 )사실 클라우드 컴퓨팅이라는 용어는 수년 전부터 나왔던 소위 "유행어" 중에 하나에서 어느덧 이렇게 우리 일상에서 너무나 자연스럽게 접하고 있는 서비스들에서 사용되고 있습니다. 많은 사람들이 클라우딩 컴퓨팅 이후에 새로운 IT 키워드로 빅데이터를 말하고 있으며 이미 아마존, 트위터, 페이스북과 같은 많은 기업들에서 빅데이터를 분석하고 이를 통해 새로운 수익 모델 또는 기존의 모델에서 수익을 극대화하는데 활용하고 있습니다. 그렇다면 빅 데이터는 무엇일까요 ?단어 그대로 "많은 데이터"를 의미하는 걸까요 ? 컴퓨터 전공 졸업자인 저도 사실 이 책을 읽기 전에는 빅데이터에 대해서 뜬 구름 잡듯이 대략적으로 개념만 가지고 있었습니다. "과연 빅데이터라는 것을 사용하면 정말 회사에 도움일 될까 ?" 그리고 "단순히 데이터가 많은 것이 왜 기존에는 없던 개념인가" 이런 식의 질문을 던지곤 했었죠.
아래의 그림은 제가 아마존 (www.amazon.com)에 접속했을 때 나오게되는 화면입니다. 제가 video compression을 전공한다는 것을 마치 알고 있었던 것처럼 아마존은 저에게 관련 분야의 책을 추천하고 있습니다. 저는 아마존에 로그인을 한 것도 아니고 단지 접속만 했을 뿐인데 (물론 그 전에 여러번 검색을 했었습니다.) 다음과 같이 책을 추천합니다. 이처럼 많은 회사에서는 인터넷이나 또는 다른 다양한 장치들을 통해서 다양한 데이터를 수집하고 이를 통해서 사람들의 개인 성향을 파악하다던지 또는 다른 의미있는 데이터를 뽑아 내는 일들을 하고 있습니다. 이처럼 이미 외국의 유수의 회사에서는 빅데이터의 분석을 통하여 고객의 needs를 보다 정확히 파악하고 이를 실제 경영에 적용하고 있습니다.
"빅데이터의 충격"에서는 먼저 앞 부분에서 빅데이터의 개념을 소개하고 왜 빅데이터의 분석과 활용이 필요한지에 대해서 예를 들어가면서 아주 잘 설명을 합니다. 그리고 뒷 부분에는 실제 빅데이터를 활용하고 있는 여러 회사들의 예를 다루고 있으며 마지막 부분에는 벡데이터의 시대에 발생될 수 있는 정보 보안과 같은 문제와 그리고 빅데이터 시대에서 어떻게 효과적으로 정보를 수집할 수 있는지에 대해서 다루고 있습니다. 특히 3V (Volume, Variety, Velocity) 라는 세 개의 단어를 통해서 빅데이터를 정의하는 1장은 제가 최근에 읽어던 책 중에서 개념을 명확히 이해하고 정의하고 있는 책입니다. 이 책의 저자가 일본의 "노무라종합연구소"의 수석 연구원이 작성했다는 점에서 질투 아닌 질투를 느낄 정도입니다.
이책은 빅데이터 분석을 위해 사용하는 "하둡" 또는 "R"과 같은 플랫폼 또는 소프트웨어에 대해서 설명하는 책은 아니지만 개념적으로 빅데이터가 무엇이고 이러한 것들이 실제 경영에서 어떻게 적용될 수 있는지.. 그리고 빅데이터의 활용에 따라서 앞으로의 IT 산업이 어떠한 방향으로 흘러갈 수 있는지에 대해서 저자 나름대로의 분석이 아주 잘 되어있습니다. 따라서 관련 전공자 뿐만 아니라 회사의 경영과 관련된 경영학 전공자들도 읽어보면 많은 도움이 될 것이라 생각됩니다.

개인별점 : 4.5/5
주소 : http://codecdesign.net/pages/viewpage.action?pageId=8519850

그간 개인적인 경험을 비추어보면 뭐라 설명하긴 어렵지만, 일본인 저자가 쓴 서적들은 왠지 뭔가 공장에서 찍은 듯한 천편일률적이어서 왠지 모르게 거리를 두게 된다. 이 책은 최근 IT 산업에서 화두가 되고 있는 몇 가지 키워드 중의 하나인 "빅 데이터"이기에 관심이 갔지만, 막상 저자가 일본인이어서 선택에 다소 고민을 하였다.

하지만 막상 책장을 넘기고부터는 "반전" 그 자체였다. 그동안 나의 편견을 한 방에 날려버리는 아주 분석적이고 독자에게 통찰을 선물하는 고마운 책이었다.

잘못된 생각
"빅 데이터"를 말하는 곳은 세미나, 컨퍼런스, 서적 등 다양하지만 대부분 하둡에 대한 이야기뿐이고, 나를 포함한 많은 사람이 빅 데이터를 단편적으로 기술적인 측면에서만 바라보는 현상을 쉽게 볼 수 있다.

"빅 데이터하면 하둡이지!"
"빅 데이터가 좋다고는 하지만 아직 딱히 우리 조직에 어떻게 적용할지 모르겠어."
"빅 데이터가 필요한 기업이 몇이나 되겠어?"
"빅 데이터는 뜬구름 잡는 얘기 같아, 손에 딱히 잡히지가 않아~"
이 책을 보기 전까지 빅 데이터는 단순히 몇몇 이통사나 대기업의 전유물 정도로만 인식하고 있었다. 또한, "빅 데이터 = 하둡"이라는 공식만 머릿속에 있었다. 서점들을 보아도 빅 데이터 관련 서적은 온통 "하둡"뿐이니 말이다. 하둡은 대규모 데이터의 분산처리 기술이다. 빅 데이터에서 하둡이 중요한 역할을 하지만 넓은 의미에서 하둡은 그저 빅 데이터에서 사용되는 여러 기술 중 하나일 뿐이다.

생각의 전환
이러한 현실에서 이 책은 독자에게 "빅 데이터는 기술이 아닌 비즈니스"라는 혜안을, 책 제목 그대로 "빅 데이터의 충격"을 선사한다.

우리는 "정보화 시대"를 지나 "빅 데이터의 시대" 살고 있다고 해도 과언이 아니다. 아래와 같은 말들은 현시대를 대변하기도 한다.

"데이터는 새로운 석유(돈)다."
"데이터는 비즈니스다"
"데이터를 지배하는 자가 세상을 지배한다."
이 책을 읽은 후에는 더 이상 빅 데이터를 기술적인 관점에서 접근하는 것이 아니라 비즈니스 관점으로 전환하게 됐다.

"요즘 빅 데이터가 트랜드라는데 하둡이나 배워볼까?"
대신

"내 주위에 떠다니는 수많은 데이터를 어떻게 효과적으로 수집할 수 있을까?"
"다양한 데이터에서 새로운 가치를 찾아내고 이를 활용하려면 어떤 분석 방법들이 필요할까?
의 고민을 하기 시작했다.

이 책의 구성
이 책은 마치 유명한 축구 감독의 강의 같았다.

책의 서두는 "빅 데이터가 뭐냐면~" 으로 시작해서 "빅 데이터의 기반이 되는 기술은 이런거야~" 라고 간단히 설명하며 워밍업을 한다. 그리고 미국, 유럽, 일본 등의 사례 설명으로 빅 데이터에 대한 개념을 머리에 차곡차곡 쌓아준다. 뿐만 아니라, 이러한 사례를 통해 빅 데이터 활용 패턴을 쏙쏙! 뽑아내는 현란한 드리블(?)로 독자를 유혹한다.

경기 중반부터는 빅 데이터 비지니스에 가장 큰 걸릴돌이 될 수 있는 개인정보보호 이슈를 다루어 비지니스의 주요 포인트를 짚어준다.

경기 후반부에는 데이터 마켓플레이스에 대해 설명하며 우리가 살고 있는 오픈 데이터 시대에 대해 소개한다. 이러한 시대를 어떻게 준비해야 할 지 독자에게 방향성을 제시해줌으로써 결정적인 골(?)을 만들어 낸다.

마무리하며
우리가 숨쉬는 공기처럼 이제 데이터는 우리 삶과 떨어질래야 떨어질 수 없다. 데이터는 우리가 태어나면서부터 죽을때까지 끊임없이 생성되고 유통되고 파기된다. 우리의 삶처럼 데이터의 삶(?)을 잘 관찰하고 분석하면 부귀영화(?)를 누릴 수 있는 시대에 살고 있는 것이다.

이 책을 통해 빅 데이터의 기술적인 측면의 갈증을 해소하고자 하는 독자라면 이 책에서 멀리 떨어지기를 권한다. 이 책은 빅 데이터라는 개념을 통해 세상을 다른 관점으로 보고자 하는 독자에게 강추한다. 이 책을 읽고 나니 저자의 전작인 "클라우드의 충격" 도 꼭 찾아 읽고 싶어졌다.