웹 크롤링1 [python] 데이터 수집 - 웹 크롤링 📊 데이터 구분내부 데이터: 내가 직접 만든 데이터, 로컬에 저장된 파일 등외부 데이터: 웹에서 수집하거나 외부 API로 받아오는 데이터 (→ 웹 크롤링, API 요청 등 활용)🌐 웹 데이터 수집 (웹 크롤링)❗ 웹 데이터를 수집할 때는 반드시 공개된 데이터만 수집해야 함.로그인해야 접근 가능한 페이지, 저작권 있는 콘텐츠를 무단으로 긁는 건 불법일 수 있음. - 대부분의 웹사이트는 robots.txt에 크롤링 허용/비허용 경로를 명시함 https://웹사이트주소/robots.txt 확인- API가 있다면 크롤링보다 API 사용이 더 안전하고 합법적임✅ 수집 대상 예시공개된 XML, JSON, CSV 포맷 데이터공공 데이터 포털 APIHTML 페이지에서 특정 정보만 추출 ✅ 사용 기술 스택req.. 2025. 3. 25. 이전 1 다음