데이터 마이닝
수많은 데이터가 쌓이고 사라지고, 가치가 있을것 같지만 시간을 들여 귀 기울여 보지 않는 그런 수많은 로그들은 벙어리로 살다가 존재감 없이 사라진다. 그 데이터들의 목소리를 듣기 위해서는 새 이름을 만들어주고 애정을 가지고 들여다 보는 ‘시간’이 필요하다. 어린왕자에서 말하는 그런 서로 길들여지는 과정이 필요하다는 것이다. 그런 과정을 거쳐 서로 익숙해 지는 시간을 보냈을 때 데이터는 스스로 [...]
데이터 분석/데이터 마이닝 작업 자체가 일단 “희망고문”의 연속이라고 생각한다. 대부분의 가설은 실패한다. 그러기에 많은 시간을 들여 분석한 결과들이 허사가 되는 경우가 많은데, 이 스트레스를 어떻게 승화시키느냐가 이 업무의 중요 성공 요인이 될듯하다. 무엇보다 모델 수천개 만들어서 1개만 성공해도 그 효과는 크다. 무엇보다 그렇기에 매력있는 직무인듯 하다. 이 단 한번의 성공이 큰 마약인 셈이다(흡사 금맥을 발견하는 [...]
과학(science)와 기예(art)… 뭐 일단 이렇게 영어로 표현해 볼 수 있겠다. 국어 사전을 보니 기예가 “기술에 대한 재주”라고 표현되어 있는데, 내가 의도한 의미와 일맥상통한다. 개인적으로 데이터 마이닝이라는 단어를 좋아한다. 이 처럼 이 학문 영역을 잘 성명할 수 있는 이름은 없기 때문이다. 과정 자체가 금맥을 찾는 과정과 흡사하다. 많은 데이터 마이너들이 알고리즘으로부터 시작을 한다. 하긴 거의 모든 [...]
얼마전에 슈퍼 크런처(super cruncher) 책에 대한 서평을 블로그에 올린적이 있었다. 그 때에는 읽기 전이였고,,, 지금은 다른 관련 책들을 서둘러 찾아 읽고 있는 중이여서 좀더 정리해 서평을 다시 올려본다. 읽는중… $2 안진환 역/이언 에어즈 저 예스24 | 애드온2 사실 위 책 한권이 근래 8권의 책을 선정해서 읽는데 엄청난 영향을 끼쳤다. 대부분 사람의 의사결정에 대한 책들이다. 계량 [...]
오늘도 데이터 분석을 하면서 사람의 직관과 그리고 실제 데이터를 기반으로 해서 나온 결과물의 차이를 확인했다. 더불어 데이터 기반으로 나온 결과물들을 어떻게 직관에 의해 나온 것들과 조화를 시킬것인가 하는 그런 복잡한 문제도 잠깐이나마 고민을 해봤다. 사실 그럴듯해 보이고 꽤 괜찮은 결과를 보이는 직관의 산물들을 보면서 이를 데이터 기반으로 나온 것들과 조화시키는건 쉽지 않다. 게다가 이런 작업을 [...]