[Python] ETL(Extract, Transform, Load) 각 단계의 의미
✅ ETL(Extract, Transform, Load) 각 단계의 의미ETL은 Extract, Transform, Load의 약자로, **데이터를 추출(Extract) → 변환(Transform) → 적재(Load)**하는 데이터 처리 파이프라인의 핵심 절차를 의미합니다.실무에서는 다양한 원천 데이터(파일, API, DB)를 가져와, 의미 있게 가공하고, 데이터 웨어하우스나 분석용 DB에 저장하기 위한 중간처리 전용 프로세스입니다.1. 🟡 Extract (추출)원천 데이터를 수집하는 단계CSV, API, DB, Excel, Kafka 등 다양한 소스로부터 가져옴실무 예시:공공데이터 API에서 JSON/CSV 형태로 주기적 호출운영 DB에서 특정 테이블을 시간 기준으로 덤프크롤링/스크래핑으로 웹사이트에..
2025. 5. 9.