업상다반사

유저 분석 자동화와 보상 최적화를 향한 여정

요약 새로운 회사에서 못해도 주에 최소 4시간 이상은 인사이트 담당자분의 시간을 투입해야 하는 데이터 분석 건이 있었다. 여기에 시간이 많이 드는 반면, 간소화 하지 못하는 데에는 2가지의 이유가 있었다. 하나는 필요한 데이터가 들어있는 DB가 2개 이상으로 분리되어 있어서 둘 사이에 join을 걸 수 없다는 것과, 다른 한가지는 유저 ID 기준으로 어떤 Action을 했는지 각 Action 별 Count를 세어야 하는데 그 대상이 되는 테이블이 30Gb을 넘다 보니, Groupby + Count Query로 접근하면 퍼포먼스 이슈가 있다는 점이었다. 파이썬으로 각 DB에서 필요한 데이터를 불러온 뒤, Pandas로 분석하여 Report를 만든 후, 회사의 Slack 채널에 뿌려주는 Script를 만들었..