전국 부동산 데이터를 매월 무중단으로 갱신하는 Blue-Green ETL 파이프라인. 저는 크롤러 안정성과 중단 지점 재개(resume) 로직을 기여했습니다.
제품 화면
문제
외부 원천에서 전국 부동산 데이터를 매월 수집하는데, rate-limit·봇 차단·중단으로 크롤이 자주 깨지고 처음부터 다시 돌려야 했습니다.
역할
크롤러 안정성(재시도·서킷브레이커·rate-limit 대응)과 dong 단위 체크포인트·재개(resume) 로직을 기여했습니다.
선택 · 결정
매 단계(dong) 완료 시 진행 상태(heartbeat·마지막 위치)를 저장해, 차단이나 중단이 나도 마지막 지점부터 재개하게 했습니다. 429·403·5xx를 서킷브레이커·백오프·jitter로 처리하고, 봇 차단 신호를 누적해 임계치를 넘으면 스스로 요청을 멈추게 했습니다.
결과
크롤이 중간에 막혀도 무손실로 재개되고, rate-limit·차단에 견디는 수집 안정성을 확보했습니다.
배운 점
대규모 외부 수집의 난이도는 파싱이 아니라, 막히고 끊길 때 어떻게 견디고 이어가느냐에 있었습니다.
결정 로그
매 dong 완료 시 체크포인트(heartbeat·last_dong)를 남겨, 중단돼도 처음이 아니라 마지막 지점부터 재개하게 했습니다.
봇 차단(429/403) 신호를 누적해 임계치를 넘으면 스스로 요청을 중단·회피하게 했습니다.
