대용량 강의 영상을 안정적으로 백업하는 병렬 다운로드 파이프라인 짜기
내가 수강하는 온라인 강의가 수백 개 있는데, 재생이 자주 버벅여서 내 자료를 로컬에 보존해두고 싶었다. 수백 개를 하나씩 받는 건 말이 안 되고, 그렇다고 대충 스크립트를 돌리면 중간에 끊기거나 같은 걸 또 받거나 용량이 터진다. 그래서 "끊겨도 이어받고, 이미 받은 건 건너뛰고, 끝났는지 한눈에 아는" 파이프라인을 설계했다. 특정 사이트 얘기가 아니라 대용량 배치 다운로드를 어떻게 견고하게 만드는가에 대한 기록이다.대용량 파일을 안전하게 병렬 백업하는 다운로드 파이프라인 대표 이미지먼저 목록과 메타데이터를 확보한다시작은 "무엇을 받을 것인가"의 완전한 목록이다. 나는 강의 목록 페이지의 정적 HTML을 파싱해서 각 항목의 식별자를 뽑았다. 여기서 하나 배운 건, 페이지가 아코디언처럼 접혀 있어도 DO..
개발
2026. 7. 29. 10:40