Python21 [python] 데이터 수집 - 웹 크롤링 📊 데이터 구분내부 데이터: 내가 직접 만든 데이터, 로컬에 저장된 파일 등외부 데이터: 웹에서 수집하거나 외부 API로 받아오는 데이터 (→ 웹 크롤링, API 요청 등 활용)🌐 웹 데이터 수집 (웹 크롤링)❗ 웹 데이터를 수집할 때는 반드시 공개된 데이터만 수집해야 함.로그인해야 접근 가능한 페이지, 저작권 있는 콘텐츠를 무단으로 긁는 건 불법일 수 있음. - 대부분의 웹사이트는 robots.txt에 크롤링 허용/비허용 경로를 명시함 https://웹사이트주소/robots.txt 확인- API가 있다면 크롤링보다 API 사용이 더 안전하고 합법적임✅ 수집 대상 예시공개된 XML, JSON, CSV 포맷 데이터공공 데이터 포털 APIHTML 페이지에서 특정 정보만 추출 ✅ 사용 기술 스택req.. 2025. 3. 25. [Colab] Oracle → MySQL: ngrok과 Pandas로 구현하는 외부 DB 연동 실습 가이드 🌀 ngrok란?🔑 요약:ngrok은 내 컴퓨터나 내부망에 있는 서버를 외부에서 접근할 수 있게 해주는 도구임.로컬에서 띄운 서버나, 사설망에 있는 DB 서버 등에 외부에서 접근하고 싶을 때임시로 공용 주소(도메인+포트)를 만들어주는 터널링 서비스라고 보면 됨.✅ ngrok의 핵심 개념 정리 로컬이나 내부망에서 실행 중인 서버를 외부에서 접근할 수 있도록 임시 공개 주소를 만들어주는 것이 ngrok의 가장 기본적인 기능이다. ngrok의 가장 핵심 기능은 public URL ↔ local server 연결. 실제로 ngrok http 8000 또는 ngrok tcp 1521 등을 실행하면 공개 주소가 생성됨.외부에서 요청이 들어왔지만 방화벽이나 NAT로 인해 응답을 전달할 수 없는 경우, ngrok은.. 2025. 3. 24. [Colab] Colab & Jupyter에서 !, %, %% Magic commands 완벽 정리 📘 Colab & Jupyter에서 !, %, %% 특수 명령어 Magic commands 완벽 정리─ Shell 명령어와 Magic 명령어의 차이, 사용법, 전체 리스트까지!Colab이나 Jupyter Notebook 환경에서는 일반 Python 코드 외에도 !, %, %% 같은 특수 기호를 통해터미널 명령어나 유틸 기능을 바로 실행할 수 있음.하지만 처음 쓰면 헷갈리는 부분이 많음 — 특히 !cd와 %cd, !pip와 %pip처럼기능은 비슷해 보이는데 동작 방식이 완전히 다른 명령어들이 있음.이 글에서는 이 세 가지 기호가 무엇을 의미하고, 어떻게 다르게 동작하며,언제 어떤 걸 써야 하는지 전체적으로 정리해봄.✅ 1. ! 명령어 → Shell Command Operator (쉘 명령 실행자)📌 정.. 2025. 3. 24. [Python] Python 모듈의 import 및 from import 정리 🟢 Python 모듈의 형태Python에서 모듈은 일반적으로 여러 기능을 하나의 파일에 모아 놓은 Python 코드 파일 .py 파일이지만,디렉토리(폴더)도 모듈이 될 수 있습니다.즉, Python 모듈은 다음과 같은 형태가 가능합니다.대상 설명파일module.py (일반적인 Python 파일)디렉토리(패키지)module/ (폴더, 내부에 __init__.py가 있어야 함)클래스모듈 내부의 특정 클래스 (from module import ClassName)함수모듈 내부의 특정 함수 (from module import function_name)✔ 모듈의 역할코드 재사용 (같은 기능을 여러 곳에서 사용 가능)코드 관리 (기능별로 정리 가능)유지보수 편리🟣 import vs from import 문법 정리.. 2025. 3. 19. [python] 파이썬 sequence 자료형 파이썬 sequence 자료형 sequence 자료형 : 값이 연속적으로 이어진 자료형 list tuple range str bytes bytearray 시퀀스 객체 : 시퀀스 자료형으로 만든 객체 요소 (element) : 시퀀스 객체에 들어있는 각각의 값 list1 = [1, 2, 3, 4, 5] list1 = 시퀀스 객체 1, 2, 3, 4, 5 = element l = [0, 10, 200, 3000, 40000] t = (1, 2, 3, 4, 5, 6, 7) r = range(5) s = "hello" 200 in l 40 in l 40 not in l 7 in t 4 in r 5 in r "h" in s 참고 : https://dojang.io/mod/page/view.php?id=2205 h.. 2021. 12. 19. [python] 파이썬 숫자 각 자리수 분리 파이썬 숫자의 각 자리수 분리 방법 number = 12345 num_list = list(map(int, str(number))) print(num_list) map함수 참고 : 2021.10.25 - [python] - [python] 파이썬 람다 함수 사용하기 (python lambda expression) 2021. 12. 17. 이전 1 2 3 4 다음
