요즘 서점에 가보면 IT분야는 머신러닝, 딥러닝 책들이 주를 이룬다.

이러한 흐름에 더불어 Data Science(어색하긴 하지만 이하 데이터 과학)라 일컫는 데이터를 분석하는 영역에 대한 책들도 꽤 눈에 띈다.

어떻게 생각해보면 머신러닝이니 딥러닝이니 하는 것들도 다 데이터를 분석하고 이용하기 위한 방법이나 수단의 한 방편에 불과하고 크게 보면 데이터 과학의 관점에서 거시적에서 미시적으로 접근하는게 올바른 접근법이 아닌가 싶기도 하다.

'파이썬과 대스크를 활용한 고성능 데이터 분석'이란 책은 후자에 가깝다.

소위 요즘 말하는 머신러닝, 딥러닝은 대량의 데이터와 이를 처리하는 컴퓨팅 파워가 필수적이다, 이를 위해 필여적으로 필요한 것이 메모리와 병렬처리라 할 수 있는데 이를 위해 이 책에서는 대스크(Dask)를 이용해서 이러한 것들을 효과적으로 수행하기 위한 방법을 소개하고 있다.

전반적인 책의 내용은 일반적인 데이터 과학 관련 작업을 수행할 때 대스크를 적용하여 처리하는 방법에 대한 내용을 담고 있다.

앞서 이야기 한대로 대용량 데이터를 처리할때 대용량의 메모리와 CPU(또는 GPU) 파워는 필연적이다. 흔히들 기본적으로 사용하는 넘파이(Numpy)나 판다스(Pandas)를 이용한 모델 학습 등을 할때 대용량 데이터를 통으로 돌리다 보면 메모리 문제로 죽는 경우를 왕왕 볼 수 있다. 

대스크는 아래 그림에서도 알수 있듯이 대용량 데이터를 여러개로 분할해서 하나씩 또는 병렬로 처리함으로써 상대적으로 적은 메모리상에서도 데이터 분석 모델을 돌리는 것이 가능하다.

몇년전서부터 데이터 사이언스 영역에서는 시각화 분석이 유행이다, 시각화 분석에 특화된 TIBCO Spotfire와 같은 사용 전문 툴에 비할바는 아니겠지만, 이 책은 분석을 시각화 하는 부분에 대해서도 언급하고 있다.

뿐만 아니라 ML모델을 구축하고 이를 빌드하고 패키징, 배포하는 것까지 두루두루 다루고 있다.

대스크를 이용해서 비정형 데이터를 처리하는 것도 가능하지만 대규모 정형데이터 처리에 효과적으로 적용해볼 수 있을것 같다.

이 책은 이러한 고민을 가지고 있는 사람들이 입문하기에 꽤 괜찮은 접근법을 제시하고 있다, 데이터 분석에 첫발을 내딛거나 대용량 데이터 처리가 필요한 분들에게 좋은 인사이트를 제공할꺼라 생각한다.

※ 본 리뷰는 IT 현업개발자로서 한빛미디어 리뷰어로 출판사로부터 제공받아 읽고 작성한 글입니다.

본 리뷰는 한빛미디어 주최의 나는 리뷰어다 이벤트의 진행 지원을 받아 작성합니다.

추천 독자: Python 객체, Numpy, Pandas, sklearn 라이브러리 등 을 통해 데이터 파이프라인을 구축했으나, 보다 대용량의 데이터셋을 운용하기위한 분산 시스템을 비교적 빠르게 구성하고싶은 독자분들.

제가 책에서 유추한 본 서적의 목표는 다음과 같습니다.

"Dask 라는 라이브러리를 중심으로 분산 환경의 데이터 파이프라인을 구축하자."

본문에는 Dask 라이브러리를 중심으로 놓고 데이터 전처리, 시각화, ML모델링, 클러스터 운영과 확장에 대해서

용례를 설명합니다.

데이터 수집과 보관에 관해선 크게 언급하지않습니다만, 파일 데이터에서 읽어오는 방식을 기반합니다.

DAG와 스케쥴러를 통해 분산환경에서 대규모 데이터셋의 전처리를 효율적으로 핸들링하고

Pandas 의 인터페이스와 거의 유사한 인터페이스로 설계함으로써 기존 Pandas 사용자들이

보다 쉽게 데이터 파이프라인을 확장할 수 있게 하였으며, 단일 머신의 기억장치(HDD, RAM) 용량의 한계를 넘어 분산 환경에서 용이하게 Scale in/out 을 가능케 합니다.

무조건 Dask의 장점 뿐 만이 아닌 3.3절에서 Dask DataFrame의 한계점과 주의사항을 짚어주면서

Dask의 도입 후에도 유의할 사항들을 알려줍니다.

Spark 와 같은 다른 오픈소스들이 존재하지만 학습비용을 줄이고 Python 중심의 기존 데이터 파이프라인에서 Python 객체들의 확장을 지원하는 Dask가 다른 경쟁자들에 비해 개인적으로 호감입니다.

저 또한 단일 머신 환경에서 어떻게 성능을 확장해야하는가에 대해서 현업에서 쓰이는 HDFS, Zookeeper, Spark 스택을 학습할까 생각했습니다. 하지만, 학습비용의 장벽에 진도가 잘 나아가지는 않았습니다.

본 책 덕분에 Dask라는 하나의 시도해볼만한 도구가 생겨 기쁩니다.

파이썬은 데이터 작업을 하는데 많이 쓰입니다.

판다스와 넘파이 패키지는 파이썬을 배우면 많이 접합니다.

대스크 패키지는 좀 낯설 수 있습니다.

대스크 패키지를 알려주는 책을 소개하고자 합니다.

책 제목은 '파이썬과 대스크를 활용한 고성능 데이터 분석'입니다.

이 책은 누구를 대상으로 썼을까요?

초·중급 데이터 과학자, 데이터 엔지니어가 대상입니다.

프레임워크 사전 경험이 있는 경우 책이 더 유익할 겁니다.

파이썬과 대스크를 활용해 데이터 분석을 할 수 있습니다.

대스크는 대용량 데이터의 병렬 처리가 가능합니다.

병렬처리를 쉬운 설명으로 상세하게 알려주는 책입니다.

이 책을 통해 대스크에 대해 이해되는 시간이 되길 바랍니다.

1. 대스크란

대스크는 데이터 과학에서 중요한 도구입니다.

유향 비순환 그래프(DAG)는 대스크 구조의 중심이라 할 수 있습니다.

DAG는 스케일링 컴퓨팅의 핵심 개념입니다.

스케일링 컴퓨팅의 핵심개념이기도 합니다.

작업은 대규모인 정형과 비정형 데이터로 하게 됩니다.

시본과 데이터 셰이더를 사용해 시각화도 신경 쓸 수 있습니다.

또한 CPU 코어와 물리적 작업을 분산시킬 때도 사용합니다.

대스크 앱과 패키징과 배포하는 것도 알려줍니다.

2. 확장 가능한 컴퓨팅

확장 가능한 컴퓨팅은 왜 필요할까요?

대규모 데이터셋으로 작업할 경우 어려운 문제에 직면할 수 있습니다.

데이터가 크다 보니 잦은 증상이 발생합니다.

개발하다 보면 겪는 증상인데요.

단순한 연산도 끝나지 않는 경우가 있습니다.

실행 시간이 길고 코드가 불안정하기 때문입니다.

그 외에 정말 복잡하고 어려운 워크플로우의 경우에도 그런 증상이 나타납니다.

그리고 컴퓨터의 성능도 많이 탑니다.

RAM의 성능이 좋을수록 더 큰 용량의 파일을 돌리는데 수월합니다.

Ps

데이터를 다루려면 데이터셋을 정제가 필요합니다.

정제만으로 결과물이 나오진 않습니다.

정제된 데이터로 데이터 정렬과 필터링, 결측치 처리 등의 조치를 해줘야 합니다.

이 책을 통해 대스크로 비정형 데이터를 파싱, 정제, 분석하는 법을 배울 수 있습니다.

대스크와 데이터 분석에 관심 있는 분들에게 이 책을 추천합니다.

장점

1.     책을전체적으로 보았을 때 문제정의-> 데이터 수집-> 데이터정리-> 탐색적 분석-> 가설 설정과 검정-> 모델 구축과 검정-> 모델 배포와 모니터링 과정을 장으로세분화하여 나누어 부족한 부분에 대하여 복습하기에 좋음

2.     데이터분석을 위해 보통 파이썬에서 판다스를 사용하지만 iris같은 소규모 데이터에 적합하며 규모가 큰 데이터셋일 경우 판다스의 경우 비효율적이므로 이를 해결하기 위해 대스크를 통하여 큰 데이터셋을 분할하여 병렬로 처리하는 법을 예시와 함께 과정을 설명을해주어 이걸 왜 이렇게 하는지에 초점을 맞춰주어 이해가 잘됨

후기

1.     이책을 읽기 전에는 kaggle에서 csv나 스크래핑 하여정규화 하는 방식으로 데이터를 읽었었는데 책에서는 RDBS, HDFS, S3, 파케이 형식으로 다양하게읽는 법을 알려주며 대스크 프레임워크를 데이터를 다루는 법 시각화 하는 법 등 읽다 보면 내가 배웠던 것은 소규모의 데이터를 다루는 법에 대하여배웠구나 싶어 학구열을 더 높여 주는 책인 것 같다.

그래서 전체적인 책 내용에 대해서는 별로 평할 것이 없어요. 저 개인적으로는 분산 처리에 대한 개념을 이번 기회에 좀 더 숙지했다는 정도입니다. 또한 이렇게 쉽게 이미지로 설명한 부분은 좋았어요.

소스코드 설명도 한줄 한줄 간략하게 설명합니다. 아는 입장에서 쉽게 쉽게 넘어가지만, 모르는 분들은 따로 공부하셔야 해요.

마지막으로, 누가 읽으면 좋을까요? 판단스, 사이키런 정도로 데이터 분석 좀 했는데, 데이터 규모가 갑자기 커질때, 분산을 쪼매 공부해서, 현업에 바로 사용하고 싶으면 분은 대스크 공부해보세요. 별로 공부할 것이 없어요.  그 느낌 그대로 대스크가 알아서 해줍니다. ^^

‘빅데이터’. 4차 산업혁명이라는 말과 함께 우리 사회를 관통하고 있는 키워드 중의 하나이다. 현대 사회는 이전에 비해 엄청난데이터가 시시각각 생성되고 있고, 이러한 데이터를 어떻게 다루느냐는 기업과 사회의 경쟁력이 되고 있다.

 ‘파이썬과대스크를 활용한 고성능 데이터 분석 (원제: Data Sciencewith Python and Dask)’는 이러한 대스크에 대한 상세한 소개를 담고 있다. 이책은 크게 3개의 파트로 구성되어 있다. 첫번째 파트는 확장가능한 컴퓨팅의 빌딩 블록에 대한 것으로, 스케일링 컴퓨팅의 기초 내용을 다루고 있다. 대스크가 왜 데이터 과학에서 중요한지, 그리고 스케일링 컴퓨팅의핵심 개념인 유향 비순환 그래프 (DAG: Directed Acyclic Graph)의 개념 및 이를확장한 사용법을 소개한다.

두번째 파트는 대스크 데이터 프레임을 이용하여 정형 데이터 작업 방법을 다룬다.대스크 데이터 프레임의 디자인 컨셉을 소개하고, 팬더스 데이터 프레임과의 관계 및 처리방법, 다양한 형식의 데이터 소스로부터 대스크 데이터 프레임을 생성하는 방법을 설명한다. 이어 데이터의 정렬, 필터링, 결측치처리, 데이터셋 조인 등 데이터셋을 정제하고 변형하는 방법과 함께 sum,mean 등 기본 내장 함수와 사용자 정의 함수를 만들고 사용하는 방법도 살펴보고 있다.

마지막 세번째 파트는 비정형 데이터, 머신러닝, 확장 가능한 워크로드 빌드하기 등 조금 더 높은 수준의 대스크 활용법을 소개한다. 대스크 Bag과 배열을 사용해서 비정형 데이터를 다루는 방법, 대스크 데이터 소스에서 머신러닝 모델을 구축하고 훈련된 모델의 활용법에 이어 도커를 사용해 AWS에서 대스크 클러스터를 설정하고 사용하는 방법을 설명한다.

이 책은 초중급의 데이터 과학자나 엔지니어, 분석가를 대상으로 하지만, 책에 소개된 친절한 예제는 아직 데이터 과학을 접해보지 못한 사람들에게도 데이터 과학으로의 좋은 입문서가 될것이다.

이 책을 보면서 느낀 점은 점점 분산형 아키텍처가 거의 베이스가 되어버린 느낌을 많이 받았다. 스파크, 하둡, PostgresQL등등 대다수의 프레임워크, 툴들이 분산 확장형의 컨셉을 지니는 것 같아 신기 했는데, 데이터 분석 처리 툴은 그런게 있나? 막연하게 생각 했는데, Dask라는 도구를 알게 되었다. 

데이터 엔지니어링을 하고 있지는 않아 실무에서는 어떤 프레임워크를 더 많이 쓰는지는 잘 모르겠다.
팀에서 쓰고 있는 파이스파크로 충분한 때가 있는 것 같기도 하고 Daks가 또 어느 지점에서는 유용하지 않을까? 생각 하게되었다.

물론, 스파크로도 충분히 많이 처리 하고는 있긴 하겠지만, Daks가 또 어느 지점에서는 유용하지 않을까? 생각 했다. 

그런 점에서 데이터 사이즈가 급격하게 확장 될 요소가 있고, 빠르게 분석을 해야 한다면, 파이 스파크에서 Dask를 도입하는 것도 좋은 선택이 아닐까? 생각 한다. 

결국 데이터 사이즈는 지속적으로 확장 될 수 밖에 없는 구조임을 기억해야 한다. 파이스파크로는 한계점이 분명히 있기 때문에, 성격은 다르지만, 범용 라이브러리를 확장 가능하게 사용할 수 있다는 점에서 좋다고 생각한다. 

 데이터 분석 강의를 수강할 때 하는 분석 과제의 수준과 현업에서의 분석 수준은 확연하게 다릅니다. 더 많은 Feature들이 존재하고, 결측치가 많고, (실무자가 아닌 경우에는) Feature가 의미하는 것이 무엇인지 정확하게 알지 못하는 등 교육용 데이터에는 존재하지 않는 많은 불확실성들이 분석 난이도를 높이게 됩니다. 결정적으로 데이터의 규모가 노트북 단위에서 처리하기 어려운 경우가 많습니다.

<표1 데이터 크기의 단계별 정의>

 위의 표는 리뷰한 책에서 데이터셋에 대해 정의한 내용을 발췌한 것입니다. 일반적으로 대학교 강의의 과제에서 활용되는 Boston Housing이나 Iris 데이터셋은 작은 데이터셋에 해당되고 캐글이나 데이콘 등의 머신러닝 경진대회에서 활용되는 데이터셋은 일반적으로 작은 데이터셋~중간 데이터셋에 해당됩니다. 요근래 출시되는 노트북들은 8GB이상의 RAM이 탑재되어 있으므로 작은 데이터셋은 처리가 가능하지만 그 이상의 크기에 대해서는 하드디스크(혹은 SSD)에 저장되어 실행되기 때문에 I/O병목으로 인해 실행 속도가 RAM만 이용할 때 보다 느려지게 됩니다.

 따라서 병렬 처리를 통해 대용량 데이터를 다루는 대스크(Dask) 라이브러리는 중간 데이터셋 이상을 다루는 프로젝트에서 매우 유용하게 사용됩니다. 저도 대스크라는 라이브러리를 처음 알게 된 것은 제조 데이터 분석 업무를 맡았을 때였습니다. 처음 업무를 인수인계 받아 수백GB의 데이터셋을 불러오는 레거시 코드를 실행시켰을 때 느꼈던 아찔함은 아직도 머리속에 생생합니다. 판다스의 read_csv 메소드를 통해 불러오고 전처리 코드를 실행하는데에 꽤 고성능의 PC임에도 불구하고 수십분이 소요되는 것을 보고 무언가 잘못되었다는 생각이 들었습니다. 그리고 나서 해결책을 찾기위해 스택오버플로우와 구글링을 했고, Dask라는 라이브러리가 있다는 것을 알게 되었습니다. 다른것보다 업무에 빠르게 적용해야 했기에 주요 원리는 알지 못한채 일단 API문서를 보고 적용하며 코드를 리팩토링했습니다. 판다스와 API가 비슷하여 빠르게 적용할 수 있었고, 결과적으로 I/O속도가 향상되어 시간을 절약할 수 있었습니다.

 이 책은 Dask를 활용해 보았지만 과거의 저처럼 공식 문서나 블로그 등을 대강 훑어보고 적용하며 느꼈던, Dask 라이브러리에 대한 원리에 대한 갈증을 느끼신 분들에게 추천드리고 싶습니다. 도입부에 Dask의 중심을 관통하는 방향성 비순환 그래프(Directed Acyclic Graph, DAG)를 쉬운 예시와 함께 설명해 주고 있으며, 아마 많은 분들이 Dask를 처음 사용할 때 불러온 데이터프레임에 아무런 값이 나오지 않아 당황하실텐데 그 이유와 실행 원리에 대해서도 자세하게 설명하고 있습니다. 또한 대스크의 API도 판다스와 많이 호환되기 때문에 판다스를 활용하여 데이터분석을 간단하게 해보셨던 분들도 코드를 보며 쉽게 이해할 수 있을 것이라고 생각됩니다. (pandas의 alias인 pd대신 dask의 alias인 dd를 사용하면 대부분 판다스와 유사하게 활용 가능합니다.)

 사실 제가 활용하는 데이터셋의 크기는 분산컴퓨팅을 활용할 정도는 아니기 때문에 책 후반부에서 다루는 확장이나 배포 등의 챕터는 가볍게 훑고 넘어갔지만, 저보다 큰 데이터를 활용하시는 분들은 좋은 Introduction이 될 것 같습니다.

* 산업공학 전공자로써 조금 불편했던 점은 책 초반에 운영 연구라는 표현이 나오는데, 이는 원서에서 Operations Reserch를 직역한 것으로 생각됩니다. 이는 역자가 산업공학 전공자가 아니기도 하고, 개인적으로는 운영 연구라는 표현이 Operations Research라는 연구분야를 의미하는 것이 아니라 일상적인 언어으로 느껴지는 감이 없지않아서 OR이나 경영과학, 운용과학 등으로 치환했으면 조금 더 편했을 것 같습니다.

본 책은 한빛미디어로부터 제공받았으며 책 이외의 요구사항이나 보수를 제공받지 않았습니다.

대스크라는 개념과 주피터 노트북을 활용한 데이터 정리 방법을 기술하고 있다.

분석, 시각화, 모델링 하는 과정을 예제로 제공하고 있어 실습하며 읽는다면 큰 도움이 될 것이다.

주요 대상 독자는 초중급 데이터 과학자나 데이터 엔지니어였다.

나는 pandas, numpy만 조금 다뤄봤던 터라 어렵게 느껴지긴 했었다...

하지만 이 정도의 개념만 알아도 책의 흐름정도는 이해할 수 있었다.

특히 알고리즘 예시와 계산 과정을 보여주는 부분이 좋았는데,

왜 이렇게 프로그래밍을 하는지, 어떠한 과정으로 데이터 분석이 이뤄지는지를

도식화시켜 보여주고 있었다. 덕분에 좀 더 이해하는데에 도움이 되지 않았나 싶다 :)

16G의 메모리가 있는 장비를 주로 사용하며 판다스로 10G정도의 파일을 불러온 사람들이면 판다스의 굼뜬 반응에 답답함을 느꼈을 사람들이 많을 것이다. 그나마 16G의 메모리를 사용하고 있어 10G정도까지라도 로드를 할 수 있지만 8G나 4G의 메모리를 사용하고 있다면 1G의 파일만 로드해도 작업을 할 수 없을 정도로 느려지는 것을 느낄 수 있었을 것이다.

최근 10G이상의 파일을 로드할 때 모든 데이터가 필요하지 않기 때문에 판다스로 필요한 데이터만 불러와서 파일사이즈를 최대한 줄여서 사용하는 방법으로 로컬장비를 활용해 왔다. 이렇게 큰 파일을 다룰 때마다 dask를 써야겠다고 마음만 먹고 실행해 옮기지 못 했는데 드디어 dask 책이 나와서 실행에 옮겨보기로 했다!

이 책에서는 4G정도의 데이터셋은 작은 데이터로 다루기는 하지만 이 또한 판다스로 작은 메모리를 사용해서 로드하기에는 부담이 된다. Dask는 CPU의 단일코어를 사용하는 문제를 모든 CPU코어를 사용하게 함으로써 병렬처리를 해준다.

그리고 dask 는 pandas 와 호환이 아주 잘 되는 인터페이스를 가지고 있으며 사용법도 판다스와 매우 유사하다. 그래서 pandas 에 익숙한 사람이라면 dask에 적응하는게 크게 어렵지 않을것이다.

서울지하철데이터를 통해 dask를 사용해 봤다. pandas 에서 사용했던 API가 대부분 그대로 동작하며 .compute()를 통해 연산이 가능함을 확인할 수 있었다.

dask를 소개하는 번역서가 있었으면 좋겠다고 생각했는데 내가 알기로는 국내 첫 번역서로 알고 있다. 앞으로 곁에 두고 dask에 익숙해 질때까지 닳도록 보려고 한다.

깃헙저장소는 여기에 있다. 이 책 덕분에 앞으로 판다스와 함께 자주 사용하게 될것 같다 :)

https://github.com/coldfire79/data-science-with-python-and-dask