빅데이터의 다음 단계는 예측분석이다.

Book Review|2018. 5. 27. 20:43

http://book.naver.com/bookdb/book_detail.php?bid=8377266


빅데이터의 다음 단계는 예측 분석이다
국내도서
저자 : 에릭 시겔(Eric Sigel) / 고한석역
출판 : 이지스퍼블리싱 2014.11.26
상세보기




회사에 책꽂이에 있던 책중에 어떤책을 읽을까 고민하다가, 데이터분석을 복수전공하면서 읽어보려다가 읽지 못한 "빅데이터의 다음단계는 예측분석이다"라는 책을 골랐다.

책의 내용은 다양한 시행착오를 통해서 예측분석을 성공시킨 사례들과
어떤 원리로 예측분석을 진행하는 것이 좋은지 소개하고 있다.

간단하게 내가 본 내용을 정리했다.

예측 분석을 위해서는 먼저 무엇을 예측하려고 하는지 고르고 무엇을 얻고자 하는지 목표를 정확히 세워야 한다.

그 다음 주어진 데이터를 이용하여 다양한 방법으로 예측 모델을 학습시킨다.
가장 인상적으로 보았던 모델 학습 방법은 서로 각기 다른 모델을 사용하여 앙상블 모델을 만드는 부분이였다.

서로의 부족한 부분을 보완해주는 부분에서 사람들 더 나은 사람이 되기 위해서 서로에 보완이 될 수 있는 사람이 필요하다는 이야기와 일맥상통한 부분이 있어 인상깊었다.

무조건적인 데이터 학습이 과연 좋은걸까?
정답을 지향하는 데이터 학습은 오히려 데이터에 편향적인 과적합(overfitting)이 될 수 있다.

과적합을 예방하기 위해서 학습 데이터와 테스트 데이터를 랜덤하게 나누어서 모델의 정합성을 확인 해 보는 등의 작업이 필요하다.

그리고 적합하지 않은 학습 방법은 방법과 데이터를 바꾸어서 다양하게 학습을 시켜야한다.
힘든과정을 통해서 추출한 데이터에서 금을 찾아내는 것은 모델을 만드는 것 이상으로 힘들다.

그 이유를 예를들어 확인해보자.

데이터 분석을 통해
아이스크림 판매량이 늘었을 때, 상어에 물려죽는 사람들이 많다는 결과를 도출했다고 가정하자.

이를 다음과 같이 결론을 도출했다고 새각해보자.
아이스크림을 취식한 사람의 냄새가 상어를 부른다. ->그러므로 아이스크림을 먹고 수영하지 말자

과연 정답일까? 일반적인 사람이라면 정답이 아니라고 바로 생각할 것이다.

그럼 어떻게 생각을 할 수 있을까?
아이스크림 판매량이 많다. -> 날씨가 덥다 -> 수영을 많이한다. -> 상어에 물릴 가능성이 늘어난다.

이렇게 결론을 도출하면 조금더 그럴듯하게 생각할 수 있다.

4차산업 시대가 도래하면서 수백만의 데이터가 초단위로 생성된다. 이를 처리하는 하둡, 스파크와 같은 맵리듀스 기술과 데이터에서 가치를 찾는 통계, 데이터사이언티스트에 대한 관심도 높아지고 있다.

이런 시대에서 다양하게 수집되는 데이터를 단순하게 통계 그래프로만 출력한다면 이는 20세기에 머무르는 프로그램이라는 생각이 든다. 물론 어떤 프로그램이냐에 차이가 있다.

하지만 정말 궁금함이 많고 더 진취적인 사람이라면 과연 이 데이터를 통해 무엇을 할 수 있는지 생각해 볼 수 있어야 한다는 의견이다.

결국
금도 금광의 위치를 볼줄아는 사람이 캐는것이다.
나도 완벽한 사람은 아니지만 금을 이쁘게 포장하는 사람이 아니라 흙속에서 금을 찾을 수 있는 연금술사 같은 개발자가 되기 위해 더욱 더 노력해야겠다.


댓글()

유시민의 글쓰기 특강

Book Review|2018. 5. 27. 20:41

http://book.naver.com/bookdb/book_detail.php?bid=8889046


상세보기





학생 시절 14년 그리고 취업을 한 지금까지도 글을 작성하는 시간은 언제나 많았다.
하지만 아직도 글쓰기가 어렵고 서툴다. 그 어려움을 극복하기 위해 유시민의 글쓰기 특강을 읽었다.

책에서 소개한 글쓰기를 잘하는 방법을 10가지로 정리해봤다.

1. 모든 글에는 논증이 있어야 한다.
-> 자신의 말에 논증을 함께 작성해야 남들이 이해할 수 있다. 만약 논증할 수 없는 글을 작성하였다면 그 글을 아무도 공감하지 못하고 논란을 만들 수 있다.
-> 글뿐만 아니라 논증의 비약은 모든 소통의 부재를 만든다. 논증이 없는 무조건적인 주장이 상대방을 납득시킬 수 없다면 이는 곧 소통의 부재로 대립관계가 만들어질 수 있다고 생각한다.
예를 들어보면 기성세대나 상급자의 "너는 어리니까 이거 해" 이런 비 논리적인 주장한다면 이는 듣는 이가 납득할 수 없기에 세대간에 대립이 발생한다고 생각된다.

2. 글쓰기는 남의 글을 발췌하고 요약하는 것부터 시작이다.
3. 글쓰기를 부끄러워하지 말고 남에게 확인받아라.
4. 외국어, 한자 등이 많은 문장을 사용하면 오히려 문장을 해친다.
5. 주어와 술어가 하나씩 이루어진 단문으로 작성하라.
6. 화려하게 쓰기 위해 군더더기를 많이 붙이지 말아라.
7. 어렵게 쓰지 말고 쉽게 쓰는 습관을 들여라.
8. 좋은 어휘를 선택하여 이해하기 쉽게 작성하라.
9. 거시기 어법을 사용하지 말아라.
-> 그거, 그, 저거 등등 무엇을 의미하는지 알기 힘든 문장 등을 자제하라.
10. 글쓰기가 어렵다면 첫 문장을 만드는 연습을 해라.

정리해보면 좋은 글쓰기는 있어 보이고 화려하게 쓰기보다 내가 전하고자 하는 것을 정확하게 전할 수 있어야 한다. 또한 쉽게 막힘없이 읽을 수 있어야 하며, 전문 지식이 필요한 글이라도 좋은 어휘를 사용하여 작성해야 한다.
무엇보다 글을 잘 쓰기 위해서는 글 쓰는 근육을 키워야 한다. 글 쓰는 근육은 많은 연습으로부터 생성된다.

올해는 글 쓰는 근육을 키우기 위해서 블로그 등을 이용해서 많은 연습을 해야겠다.


댓글()

상실의 시대 - 무라카미 하루키

Book Review|2018. 5. 27. 20:39
상실의 시대
국내도서
저자 : 무라카미 하루키(Haruki Murakami) / 유유정역
출판 : 문학사상 2000.10.02
상세보기



http://book.naver.com/bookdb/book_detail.php?bid=20349




연말의 휴가 잔여 휴가를 모두 소진하여
약 2주정도 휴가를 보냈다.

휴가 기간동안 무엇을 할까 고민하다가 군대에서 재밌게 보았던 1Q84의 작가 무라카미 하루키의
책을 읽어보기로 하였다.

그 중 스테디셀러로 유명한 상실의 시대를 골랐다.

[줄거리]

주인공인 와나타베 절친 기츠키와 그의 여인 나오코와
어울리면서 학창시절을 보냈다.

그러던 중 기츠키는 갑자기 자살을 하였고,
나오코와 기츠키는 시간이 지나 대학생이 되었다.

대학생이 된 나오코와 기츠키는 자주 만나면서 서로의 아픔을 달랬다.
그러면서 기츠키는 나오코에게 마음을 빼았겼고, 그렇게 둘은 어느날 하룻밤을 보냈다.

그 후, 갑작스럽게 나오코는 몸이 아프다고 하며 요양원으로 가게 되었다.

정신요양을 위한 시설에 간 나오코는 그곳에서 레이카라는 19살 많은 언니의 도움을 받아
치료를 받으며 와나타베와 편지를 주고 받는다.

일정 시간이 지난 후에, 와나타베는 나오코가 있는 곳을 찾아가 레이카, 나오코와
서로에 대해 많은 이야기를 나누며 즐거운 시간을 보냈다.

그 후 도쿄로 돌아가서 같은 연극반 수업에서 미도리라는 여자아이를 만나게 되고
그와 많은 경험을 공유 하면서 사랑에 빠지게 되었다.

그런 과정속에서 나오코와 미도리 사이에서
어떻게 해야할지 몰라 레이카에게 고민 편지를 보내 고민상담을 하였다.

그러던 중 나오코가 자살을 하였고,
그녀를 떠나보내고 얼마뒤 레이카는 도쿄에 올라와 와나타베와 즐거운 장례식을 치르면서 사랑을 나눈다.

장례식이 끝나고 레이카가 자신의 동네로 돌아간 뒤,
와나타베는 미도리를 찾으며 자신이 현재 어디에 있는지 방황하는 모습과 함께 이야기가 종료된다.

[후기]
책에서 주인공 와나타베는

학창시절 단짝을 잃고
단짝의 여인이었던 나오코를 사랑하게 되면서

채워지지 않는 무엇가를 위해 기숙사 선배와 함께 모르는 여자와 의미없는 잠자리를
많이 가졌지만 그 공허함을 채우지 못했다.

그런 모습에서 힘들어 질 수록 술과 유흥에 빠지게 되는 우리 세대들의 이야기를 다루는 것 같았다.

그러면서 나오코가 정신적으로 병을 얻게 되어 요양을 가게 되었고 가끔 가던 나오코 병문안에서
그녀에 대한 마음을 확인하게 되었지만 현실에서 자신에게 관심을 주는 미도리에게 결국 마음을 빼았겼다.

나오코와 미도리 사이에서 힘들어하던 와나타베는 레이카에게 고민을 상담하였는데
그때 레이카의 답변이 기억에 남는다.

"날씨 좋은 날 아름다운 호수에 보트를 띄우면 호수도 아름답지만 하늘도 아름답다는 것과 다를게 없어 그런 식으로 고민하지 마 놔둬도 만사는 흘러가야 할 방향으로 흘러가고, 아무리 최선을 다해도 사람은 상처받게 마련이야 인생이란 그런거다."

그러면서 나오코마저 단짝 기츠키 처럼 자살을 하게 되자
자신의 일부를 또 한번 잃어버리게 되고 힘들게 되었을 때 한달넘게 방황을 하게 되었다.

그때 레이카에게 전달받은 편지에 내용이 기억에 남는다.

"사태가 아무리 절망적으로 보여도 실마리는 어딘가에 있게마련이야. 주위가 어두우면 잠시동안 가만히 있으면서 눈이 어둠에 익숙해지기를 기다릴 수밖에 없듯이 말이야"

책을 읽으면서

사람들과의 관계는 결국 내 일부가 되고 그 사람의 고통은 나의 고통이 된다.
비틀즈 노래에 나오는 대사처럼 나무들이 모여 숲이되고 서로 지지하면서 살지만
나무하나가 무너지만 다른 나무하나가 지지해 주는 것이 아니라 같이 무너진다는 말이있다.

즉 관계가 맺어진 상대는 단순히 남이 아닌 내 인생의 일부가 되기 때문이라고 설명한다.

인간관계를 가지면서 서로의 연결된 부분에 실망도 좌절도 하고 그 과정에서
공허함을 느끼게 되는것이 우리들의 인생인 것 같다.

그런 공허함을 해소하고자 와타나베처럼 무의미한 육체적 관계와 유흥에 빠지게 되지만
그 또한 그 공허함을 해소하지는 못한다.

책에서는 그렇게 자신만에 방식으로 해결하다가
나오코처럼 병을 얻게 된다는 문제를 이야기 하는 것 같았다.

그 해결책으로 나는 이 문구를 보았다.

"와나타베는 때때로 인생을 지나치게 자기 방식으로만 끌고 나가려고 한다 정신병원 가기싫으면 좀 더 마음을 열고, 인생의 흐름에 자신의 몸을 맞겨봐 행복해지려고 노력을 해봐"

굉장히 자세하게 묘사된 선정적이 내용에 당황스럽기는 했지만
그 부분이 이 책에 매력인 것 같다.

새해를 시작하는 현 시점에서 나를 다시한번 돌아보고
안정될 수 있게 만들어준 좋은 책 이었던 것 같다

댓글()

10년만에 다시 읽어본 연금술사

Book Review|2018. 5. 27. 20:36

http://book.naver.com/bookdb/book_detail.php?bid=64853


파울로 코엘료 베스트 컬렉션
국내도서
저자 : 파울로 코엘료(Paulo Coelho) / 최정수,권미선,박경희역
출판 : 문학동네 2015.12.10
상세보기




10여 년 전에 베스트셀러였던 연금술사를 읽었었다.

그때 당시에는 책을 읽어도 당최 무슨 말을 하는 건지 알 수가 없었다.

그래서 이 책이 왜 유명한지 몰랐고 지루했었다.

그래서 많은 시간이 지난 지금 그 책을 다시 한번 읽어보기로 했다.

[줄거리]

양치기 소년이었던 산티아고는 어느 청년들과 다를 것 없이
인연을 맺고 있던 처자와의 시간을 생각하며 아무 생각 없이 양을 몰아가면서 세상을 궁금해하면서 지냈다.

그러던 중 이상한 피라미드에 도착하는 꿈을 두 번 연속 꾸게 되었고 그 꿈의 의미가 궁금하여
노파를 찾아가 꿈 해몽을 듣고 늙은 왕을 만나 꿈이 보물을 찾게 된다는 꿈이라는 것을 듣고 양을 팔고 여행을 떠난다.

여행 중에 산티아고는
양을 팔고 사용하려던 여행 경비를 사기를 당해 모두 잃고 만다.

여행 경비를 다시 마련하기 위해 그는 크리스털 가게에서 일을 하게 되는데 이곳에서 첫 번째 위기에 마주하게 된다.

크리스털 가게에서 특별한 통찰력으로 가게를 성공시키고 돈도 많이 벌게 되면서
자신의 자아를 찾기 위한 여행을 포기하려는 유혹에 휩싸이게 된다.

크리스털 가게 주인은 자아는 어느 곳에 나 존재하며 피라미드는 자기 정원에서도 발견할 수 있다고 이야기하며 가게에 머물기를 권유했다.

하지만 산티아고는 여행을 계속하기로 마음먹고 안정적인 크리스털 가게를 떠난다.

여행 중에 두 번째로 첫눈에 반한 여자를 만나면서 고비를 맞게 된다.

그 여자와 살면서 행복한 삶을 살고 싶어지는 유혹에 계속해서 흔들렸지만
여행을 계속하기로 마음먹었다.

피라미드에 다가올 때 즈음 연금술사를 만나
진정한 자아의 신화의 의미와 연금술이 무엇인지 깨닫게 되고 피라미드의 도착하게 되면서 여행이 종료가 된다.


[나의 생각]

돈을 잃고 위기를 경험하고 크리스털 가게에서 일을 하게 되는 산티아고가 모든 것을 포기하고
떠나는 장면에서 가장 많은 부분 깨달을 수 있었다.

적당히 돈을 벌면서 언제나 그 자리에서 그렇게 살아가는 크리스털 가게 주인은 현재 자신의 삶이 너무나 편안하기에 어떠한 목표도 없었다.

떠나려는 산티아고에게 크리스털 가게 주인은
'목표를 이루고 나면 더 이상 이루고자 하는 목표가 없을까 봐 현재의 만족에서 변화를 하고 싶지 않아진다. 누구나 우리 자신의 정원에 피라미드를 세울 수 있다. 구태여 떠날 필요 없다.'라는 이야기를 한다.

현실을 안주하고 있는 마치 나의 모습과 같았다.

하지만 늙은 왕의 이야기를 듣고 자신의 자아의 신화을 위해 더 나아가기 위해 떠나는
산티아고의 모습을 보면서 크리스털 가게의 모습을 하고 있는 내 모습을 돌아보게 되었다.

그리고

갈등을 하고 힘들어 질 때 산티아고는 현재 주어진 일만 묵묵히 하면서 생각을 정리하는 방법을 소개했다.
'우리는 과거에 사는 것도 미래에 사는 것도 아니다. 현재를 살기에 현재를 느낀다. 당장 무언가 보여도 다른 것을 하지 않는다. 왜냐면 지금은 이것을 하기 때문이다.'

첫눈에 반한 여자를 두고 또 한 번에 갈등을 하게 되는 사막의 여인이 한 문구가 생각난다.
'마크툽. 그것은 이미 그렇게 되기로 쓰여 있어요. 그러니 당신은 고민하지말고 그냥 그렇게 하면된다.'

마지막으로

많은 유혹과 고통 속에서 발견한 피라미드를 보고 산티아고는 진정한 연금술에 대해 깨닫게 된다.
'우리 모두 자신의 보물을 찾아 전보다 더 나은 삶을 살아가는 것. 그것이 연금술이다.'
'자아의 신화를 이루어낸다는 것은 곧 우리 각자에게 예정된 진정한 보물을 찾아내는 일이고 그것이 바로 삶의 연금술이다.'



내 주변에 모든것은 나의 자아의 신화를 위한 지표이다.
그대로 머문다면 크리스털 가게 주인처럼 사는 것이고, 지표를 보고 나의 자아의 신화를 이루기 위해 움직인다면 나는 연금술을 배울 수 있을 것이다.

고민이 되는 시기가 있다면 현재 내일에 집중하자. 그 일을 할때는 그것만 하자.

그리고 마크툽.

이미 쓰여져 있다고 생각하고 나는 그것을 해야한다. 하기로 되어있다 생각하고 움직이자.


댓글()

나는 생각이 너무 많아 (넘치는 생각 때문에 삶이 피곤한 사람들을 위한 심리 처방)

Book Review|2018. 5. 27. 20:34

http://book.naver.com/bookdb/book_detail.php?bid=7624198


나는 생각이 너무 많아
국내도서
저자 : 크리스텔 프티콜랭(Christel Petitcollin) / 이세진역
출판 : 부키 2014.05.20
상세보기




남들보다 미각, 후각, 촉각등 모든 부분에서 예민하고

생각이 많은 사람들을 정신적 과잉 반응 행동인 이라고 한다.

이런 사람들은 모든 분야에서 예민하기 때문에
사람들의 행동에 민감하고, 사람들에 행동에 쉽게 상처를 받고 많은 생각을 하며

스스로 자존감을 낮추는 경향이 있다.

이런 부류의 사람들이 상처없이 살아가기 위해서는 심리적인 자기 방어가 필요하다.

너무 생각이 많아 쉽게 상처 받는 나를 위한 자기 방어
- 스스로 우울한 생각이 들어갈때는 감정을 차단하라.
- 완벽주의를 포기하고 비워라.
- 나를 사랑하라. 나와 결혼하라.
- 내안에 나를 괴롭히는 잔소리꾼을 몰아내라.
- 때로는 홀로 되는 것에 대해 힘들어하지 마라. “좋은 동행을 찾으려면 먼저 혼로 걸을줄 알아야한다.
- 나를 비판하는 사람에 너무 상처 받지마라. 그 사람의 비판이 나를 온전히 비난하는 것이 아니라 자신의 가치관가 사고방식을 반영하는 지표이다. 그 지표에 벗어 났다고 나를 비판 하는 것일뿐 내가 잘못한것이 아니다.
- 모든 인간관계에서 애정을 쏟지마라.
- 거부에 대한 두려움을 회피하지 말고 당당하게 맞서라. 사람에게 다가가라.
- 사회생활을 한다는 것은 도움을 받기로 한다는 것. 그러자면 상대방에게 도움을 적절하게 청할줄도 알아야한다.


같은 물건을 보더라도 사람은 자신이 갖고 있는 가치관에 따라
서로 다르게 생각하고 판단한다.

그만큼 우리는 서로 다른 환경에서 살아왔다. 하지만 같이 생활하는 공동체 사회에서는
함께 어울릴줄도 알아야한다.

나를 저버리지 않는 상황에서 나를 먼저 사랑하고 생각하는 상태에서
세상을 향해 함께 나아가는 방법을 터득할줄 알아야 한다.


댓글()

소프트웨어 개발의 모든것

Book Review|2018. 5. 27. 20:33

http://book.naver.com/bookdb/book_detail.php?bid=4924691

소프트웨어 개발의 모든 것
국내도서
저자 : 김익환,전규현
출판 : 페가수스 2010.06.01
상세보기



All of Software Project 이 책은 소프트웨어 회사에서 필요로 하는 개념, 규칙, 행동 등을 기재해 놓은 하나의 기본서 같았다.

코드 형상관리의 중요성, 일정관리, 테스트, 리뷰, 리스크 관리등 개발자가 지켜나가야 하는 것들에 대한 자세한 설명을 볼 수 있었다.
연구소 생활이 벌써 4개월이 되고 있는 이 시점에서 이 책에 내용은 나에게 많은 도움이 되었다. 오래 동안 냄새가 배어 버린 옷에서 냄새를 제거하기가 쉽지 않은 것 처럼 잘못된 습관과 개념을 가지고 일을 하였다면 그 버릇을 고치기 어려웠을 것이다.

연구소 생활을 하면서 선배님들에게 들었던 모든 내용들이 책에 담겨있어서 다시한번 중요성을 느낄 며 정확히 이해할 수 있었다. 모든 것을 한번에 지켜나갈 수는 없지만 조금씩 실천하면서 올바른 습관으로 자리잡을 수 있도록 노력해야겠다..


댓글()