본문 바로가기

Data3

[Python] ETL(Extract, Transform, Load) 각 단계의 의미 ✅ ETL(Extract, Transform, Load) 각 단계의 의미ETL은 Extract, Transform, Load의 약자로, **데이터를 추출(Extract) → 변환(Transform) → 적재(Load)**하는 데이터 처리 파이프라인의 핵심 절차를 의미합니다.실무에서는 다양한 원천 데이터(파일, API, DB)를 가져와, 의미 있게 가공하고, 데이터 웨어하우스나 분석용 DB에 저장하기 위한 중간처리 전용 프로세스입니다.1. 🟡 Extract (추출)원천 데이터를 수집하는 단계CSV, API, DB, Excel, Kafka 등 다양한 소스로부터 가져옴실무 예시:공공데이터 API에서 JSON/CSV 형태로 주기적 호출운영 DB에서 특정 테이블을 시간 기준으로 덤프크롤링/스크래핑으로 웹사이트에.. 2025. 5. 9.
[FastAPI] FastAPI에서 POST 요청 시 Content-Type 설정 ✅ FastAPI에서 POST 요청 시 Content-Type: application/json이 필요한 이유📌 주제FastAPI에 JSON 데이터를 POST할 때 Content-Type 헤더를 설정하지 않으면 발생하는 오류와 그 해결 방법🧩 문제 상황FastAPI로 만든 다음과 같은 API가 있다고 가정합니다:from fastapi import FastAPIfrom pydantic import BaseModelapp = FastAPI()class InDataset(BaseModel): targetYear: int@app.post("/predictSumQty")async def predict_tf(x: InDataset): response = totalQtySum(x.targetYear) .. 2025. 5. 7.
[Kaggle] kaggle.json 인증키 발급 ✅ kaggle.json 이란?Kaggle에서 API를 통해 데이터를 받으려면 개인 인증키가 필요합니다.이 키는 kaggle.json이라는 이름의 JSON 포맷 파일로 제공됩니다.내부에는 API 사용을 위한 username과 key가 담겨 있어요:{ "username": "your_kaggle_username", "key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"}✅ 어떻게 발급받나요?Kaggle 사이트 로그인우측 상단 프로필 클릭 → "Settings" 클릭account 탭의 "API" 섹션으로 스크롤"Create New Token" 버튼 클릭kaggle.json 파일이 자동 다운로드됨✅ 이후 Colab에서 이 파일을 업로드하는 방식Colab에서는 다음과 같이 업로드하세요:f.. 2025. 5. 2.

티스토리툴바