Think Stats : 프로그래머를 위한 통계 및 데이터 분석 방법

gpdudrk***l2013-10-25

책을 선택하기 며칠 전, 회사 선배가 "빅 데이터에 대해서 좀 알아요?"라는 질문을 했다. 이 질문을 받고 왜 알아볼 생각을 안했을까 라고 스쳐가듯 생각하던 중 "프로그래머를 위한 통계 및 데이터 분석 방법"이라는 책 제목에 이끌려 선택을 하게 되었다.
그리고 왜 프로그래머를 위한 책인지에 대한 궁금증과 함께 책을 읽어나갔다.

이 책은 데이터 분석을 위한 통계 방법들에 대해 자세히 설명되어 있다. 실제 강의에서 필자가 이 책을 교재로 사용했다고 한다. 그래서인지 개념을 설명하는 부분이나 예제를 통해 하나의 문제를 이어서 풀어나가는 점이 좋았다.
책의 구성을 간단히 설명해보면
- 기술 통계 : 평균값과 평균, 분산, 분포, 히스토그램, PMF, 극단값, 상대위험도, 조건부 확률
- 누적 분포 함수 : 백분위수, 누적 분포 함수, CDF 표현, 조건부 분포, 난수
- 연속 분포 : 지수 분포, 파레토 분포, 정규 분포, 로그 정규 분포, 난수 생성
- 확률 : 여러가지 확률 법칙, 이항분포, 스트리크와 핫스팟, 베이즈 정리
- 분포에 대한 연산 : 왜도, 확률변수 및 확률밀도 함수, 합성곱, 중심극한 정리, 분포 프레임 워크
- 가설 검정 : 평균차 검정, 교차 입증, 카이 제곱 검정, 재표집
- 추정 : 추정 게임, 분산 추정, 오차 이해하기, 지수 분포, 신뢰 구간, 베이지안 추정
- 상관 : 표준 점수, 공분산, 상관, 최소제곱법, 상관관계와 인과관계

적고 보니 제대로 이해하고 넘어간 부분이 몇개 없는 것 같다. 그만큼 어려운 책이였다. 매 챕터마다 "용어정리" 부분이 있어서 용어라도 이해하고 넘어갈 수 있었다.
실제 수학과 다니는 사람들은 이 책을 얼만큼 이해할 수 있을까 라는 생각을 하게 되었다.
나도 대학에서 통계학 강의를 들었던 게 생각났다., 제대로 통계학을 배우고 싶다면 이 책을 통해 학습한다면 좋은 교재가 될 거라 생각된다.

hsang***l2013-10-22

한빛미디어 | 한빛리더스 | ebook | Think Stats | 앨런 B. 다우니

이번에 소개할 책은 바로 Think Stats 라는 책이다. 이 책은 프로그래머를 위한 통계 및 데이터 분석 방법을 기초부터 소개하고 있는 책이다. 개인적으로 이런 책은 어려워도 꼭 한번 읽어봐야한다는 생각을 가지고 있었다. 하지만 막상 이 책을 접하고 나서는 처음에는 얼핏보고는 수많은 수학공식을 보고 많이 당황했다. 하지만 차분하게 읽어 내려가다 보니 점점 재미있었고 흥미를 가지고 볼 수 있었다. 어렵기보다는 공식과 이에 관한 여러 내용이 함께 나와 있어서 읽기도 쉬웠다.

이 책의 저자인 앨런 B. 다우니는 MIT를 나온 대표적인 수재중에 한명이고 주로 전산학과와 관련된 강의를 하고 있다. 그는 서문에서 "확률과 통계 입문 수업을 위한 교과서로, 크기가 큰 데이터 세트를 분석하는 데 통계를 어떻게 사용하는지 초점을 맞췄다. 이 책은 또한 컴퓨터를 이용한 접근 방식을 취하고 있다."라고 밝히고 있다. 전자과나 전산과 학생이라면 가장 어려워하고 피하려고 하는 과목이 있다면 대표적인 과목으로 확률과 통계라를 과목일 것이다. 어려운 것도 있고 배운 지식을 어디에 사용할지 몰라서 피하게 되는 과목이라는 인식이 있다. 하지만 이 책에서는 프로젝트를 중심으로 구성이 되어 있어서 책을 읽으면서 직접 통계를 내어 보고 확률을 계산하고 적용을 할 수 있어서 보다 현실감 있게 다가왔다. 그래서 보다 현실적으로 다가왔다. 실제로 책에는 Exercise라는 부분이 있다. 처음에는 이걸 왜 해야될까? 라는 생각을 하면서 막연하게 따라했었다. 그래서 조금은 다른 책들을 읽는 시간보다 더 많은 시간일 걸렸다. 꼭 실습을 권장하지는 않지만 시간이 허락한다면 직접 체험을 하면서 책에서 설명하고 있는 이론들을 적용해보면 좋을 것이다. 처음에 예제 파일과 각각의 코드가 설명이 되어 있어서 보다 쉽게 학습을 할 수 있다.

이 책의 가장 큰 장점은 실습과 용어에 대한 확실한 적립이 함께 이루어져 있다는 것이다. 대부분의 책에서는 개념에 관해서는 주저리주저리 몇 장에 걸쳐서 설명이 되어 있다. 이 책은 용어에 관해서는 간단하게 명료하게 정리가 되어 잇다. 예를 들면 "종단면 연구(경시적 자료 연구, 종단 연구): 같은그룹에서 시간에 따라 반복적으로 데이터를 수집한 모집단을 분석하는 연구." 이런식으로 정리가 되어 있어서 보다 명쾌하게 이해할 수 있도록 서술이 되어 있다. 그리고 나머지 부분에 대해서는 이론에 대한 설명을 공식을 바탕으로 설명을 하고 있어서 이해하는데 있어서 도움이 많이 되었다. 기존의 이론서에서는 길게 이론을 설명하고 있어서 조금은 따문하고 지루하다는 느낌을 받았다면, 이 책에서는 깔끔하고 명료한 설명이 있어서 확률과 통계에 대해서 호기심을 가지고 접근할 수 있었고 책을 계속 읽어 가면서 이 분야에 대한 인식을 바꾸어 놓을 만큼 재미있게 읽어 내려갈 수 있었다. 혹 수학이 막연하게 어려운 사람이라면 이 책을 접해보는것은 어떨까.

how***l2013-10-20

파이썬을 이용한 샘플 테스트 통계 프로젝트