[2018-03-12] 블랙잭

1. 블랙잭을 파이썬으로 구현한 후 Q-learning을 통해서 모델이 스스로 최적의 전략을 배우게 하는 프로젝트를 진행하고 있다. 예전에 라스베가스에 놀러 갔을 때 블랙잭으로 돈을 좀 크게 잃고 전략을 공부해서 애틀랜틱 시티에 가서는 본전을 했었었다. 혹시 Card Counting을 할 수만 있다면 카지노를 이길 가능성도 0.5~1%는 있어 보여서 이번 프로젝트를 시작하게 되었다. 안타깝게도, 현재까지 구현한 모델로는 승률이 47%밖에 나오지 않는데 아마 double-Q learning이나 Alphago에 쓰였던 다른 알고리즘을 적용한다면 50% 근방까지 끌어올릴 수 있을 것 같다.

 

 

2. 한 2주는 걸릴 줄 알았는데, 1주일 정도만에 기존 목표치를 끝냈다. 블랙잭을 플레이할 때 총 네가지의 actions, 즉 Stand, Hit, Double down, Split이 있는데 이 중에서 Split을 구현하다가 뒤지는 줄 알았다. 가령 처음에 ('A', 'A')를 받아서 스플릿을 했다고 하면 그 다음에는 121가지의 경우가 존재하는데 이 중에서 또 'A'가 나오면 그 후에 다시 Split을 할 수 있는 옵션을 구현해야했다. (뭔 소리?) 여튼 10000번 실행하면 50번 정도 오류가 생겼는데, 대체 어디서 오류가 생기는지 알 수가 없어서 하루종일 디버깅을 하다가 결국 문제점을 잡아냈다.

 

 

3. 처음 프로젝트를 시작했을 때, 시간 내로 끝낼 수 있을까하는 생각이 들었는데 막상 시작하고 열심히 하다보니 또 할만했다. Python 공부를 시작한 지 1년 정도가 되었는데, 이번 프로젝트를 통해 Class와 Function들이 서로 Interact하게 프로그래밍을 짜는 것에 익숙해지고 있어서 넘넘 행복하다. 역시 목표는 약간 높게 잡는게 좋은 듯 하다. 학부때 Math랑 CS할걸. Econ 진짜 쓸모없다.

 

 

4. Madison Square 근처에 넘넘 맛있는 스시덮밥 찾았다. 15~20불인데 퀄리티가 너무 좋다. 헤헤.