[python] 데이터 수집 - 웹 크롤링

 

📊 데이터 구분

• 내부 데이터: 내가 직접 만든 데이터, 로컬에 저장된 파일 등
• 외부 데이터: 웹에서 수집하거나 외부 API로 받아오는 데이터 (→ 웹 크롤링, API 요청 등 활용)

---

🌐 웹 데이터 수집 (웹 크롤링)

❗ 웹 데이터를 수집할 때는 반드시 공개된 데이터만 수집해야 함.
로그인해야 접근 가능한 페이지, 저작권 있는 콘텐츠를 무단으로 긁는 건 불법일 수 있음.

 

- 대부분의 웹사이트는 robots.txt에 크롤링 허용/비허용 경로를 명시함

   https://웹사이트주소/robots.txt 확인

- API가 있다면 크롤링보다 API 사용이 더 안전하고 합법적임

✅ 수집 대상 예시

• 공개된 XML, JSON, CSV 포맷 데이터
• 공공 데이터 포털 API
• HTML 페이지에서 특정 정보만 추출

 

 

---

✅ 사용 기술 스택

• requests: 웹 요청을 보내고 응답을 받기 위한 기본 라이브러리
• BeautifulSoup(bs4): HTML을 구조화해서 파싱하기 위한 도구
• selenium: 브라우저 자동화 도구 → 여기선 사용하지 않음 (보통 자바스크립트 기반 페이지에 필요함)

selenium 언제 사용 ?

  

    
    
    
    
  
📌 Selenium: 브라우저 자동화 도구

- 내가 원하는 데이터를 얻기 위해 **브라우저 접속/로그인/클릭/입력** 등의 자동화 필요할 때 사용
- 로그인 후 콘텐츠, 버튼 클릭해야 보이는 데이터, JS로 생성되는 데이터 등에 적합
- 단순 HTML 긁기에는 비효율적

🟢 사용하는 경우: 로그인 필요, 버튼 클릭 등 사용자 행동 필요
🔴 사용 안 하는 경우: HTML만 있거나, API로 데이터 제공되는 경우

 

 

✅ Selenium이란?

Selenium은 사람처럼 웹 브라우저를 자동으로 조작할 수 있게 해주는 도구예요.
브라우저 열기, 로그인 입력, 버튼 클릭, 페이지 이동, 정보 복사까지 모두 자동으로 할 수 있죠.

---

📌 Selenium은 언제 사용하는가?

1. 일반적인 웹 크롤러로는 안 될 때

• 로그인 후에만 접근 가능한 데이터
• 자바스크립트(JS)로 동적으로 로딩되는 콘텐츠 (ex. 스크롤해야 보이는 게시글, 버튼 누르면 열리는 정보 등)
• 데이터가 HTML에 바로 안 보이고, 버튼을 클릭해야 생기는 경우

📍 예:

네이버에 로그인해서 내 메일함을 크롤링하거나,

쇼핑몰에서 로그인 후 장바구니/구매이력 페이지에서 데이터를 얻고 싶을 때.

---

2. 사람처럼 행동해야 할 때

• 단순히 HTML 가져오는 수준이 아니라,
  버튼 클릭 → 대기 → 다음 페이지로 이동 → 폼 입력 → 제출 등의 흐름이 필요한 경우

📍 예:

설문조사 자동 제출, 상품 자동 주문, 정해진 시간에 출석체크 등

---

3. 테스트 자동화 용도

• 웹 서비스를 만들고 나서, 사람이 직접 눌러보며 테스트하는 대신,
  Selenium으로 테스트 시나리오를 짜서 자동화함

📍 예:

"회원가입 → 로그인 → 로그아웃" 전체 흐름 테스트 자동화

---

🔍 Selenium이 잘 안 맞는 상황은?

상황	대안 도구
단순히 HTML 코드만 가져오면 되는 사이트	requests, BeautifulSoup, httpx 등
API로 깔끔하게 데이터 제공하는 경우	requests + JSON 파싱
대용량 데이터를 빠르게 수집해야 할 경우	Headless 크롤러 (Scrapy, Playwright 등)

---

🧠 정리 요약

상황	Selenium 사용 여부
로그인 필요	✅ Yes
버튼 클릭/JS 로딩 필요	✅ Yes
단순 HTML 긁기	❌ No
데이터가 API로 제공됨	❌ No
사용자 테스트 시나리오 필요	✅ Yes

 

 

---

📥 수집 흐름 요약

1. requests로 HTML 요청 보내기

  

    
    
    
    
  
import requests
response = requests.get("https://example.com")

1. 정상 응답 코드 확인

  

    
    
    
    
  
response.status_code == 200  # 정상적인 응답 확인

1. BeautifulSoup으로 HTML 파싱

  

    
    
    
    
  
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')  
# HTML 텍스트를 태그 구조로 바꿔줌

---

🔍 원하는 태그 추출하기

📌 find() / find_all() 메서드

• find(): 조건에 맞는 첫 번째 태그 하나만 반환
• find_all(): 조건에 맞는 여러 태그를 리스트로 반환

✅ 태그 이름 + 속성으로 찾기

  

    
    
    
    
  
soup.find(name="div", attrs={"class": "title"})

• name: 찾고 싶은 태그 이름 (div, a, span 등)
• attrs: 속성 조건 (예: 클래스 이름, 아이디 등)

---

🏷️ 태그에서 정보 추출하기

0. 텍스트만 뽑기

태그 안의 순수 텍스트만 가져오고 싶을 때

  

    
    
    
    
  
tag.text

1. 속성값 추출하기

예: <a href="링크주소">에서 링크만 가져오고 싶을 때

  

    
    
    
    
  
tag.attrs["href"]

---

🔁 반복문으로 다수의 태그 처리

find_all()로 찾은 여러 태그에서 반복문을 돌며 원하는 정보를 수집함

  

    
    
    
    
  
results = []
for tag in soup.find_all(name="div", attrs={"class": "item"}):
    title = tag.text
    link = tag.attrs["data-url"]
    results.append([title, link])

---

🧾 데이터프레임으로 정리

Pandas의 DataFrame으로 저장하면

• 여러 개의 데이터를 행/열 구조로 정리할 수 있고
• 엑셀 저장, DB 저장, 분석 등에 활용하기 쉬움

  

    
    
    
    
  
import pandas as pd
df = pd.DataFrame(results, columns=["제목", "링크"])