[Colab] Oracle → MySQL: ngrok과 Pandas로 구현하는 외부 DB 연동 실습 가이드

🌀 ngrok란?

🔑 요약:

ngrok은 내 컴퓨터나 내부망에 있는 서버를 외부에서 접근할 수 있게 해주는 도구임.
로컬에서 띄운 서버나, 사설망에 있는 DB 서버 등에 외부에서 접근하고 싶을 때
임시로 공용 주소(도메인+포트)를 만들어주는 터널링 서비스라고 보면 됨.

---

✅ ngrok의 핵심 개념 정리 

• 로컬이나 내부망에서 실행 중인 서버를 외부에서 접근할 수 있도록 임시 공개 주소를 만들어주는 것이 ngrok의 가장 기본적인 기능이다.
  •  ngrok의 가장 핵심 기능은 public URL ↔ local server 연결.
  •  실제로 ngrok http 8000 또는 ngrok tcp 1521 등을 실행하면 공개 주소가 생성됨.
• 외부에서 요청이 들어왔지만 방화벽이나 NAT로 인해 응답을 전달할 수 없는 경우, ngrok은 그 막힌 경로를 우회해서 응답을 주고받을 수 있게 도와준다.
  • 일반적으로 로컬 서버는 공인 IP가 없거나 포트가 막혀 있어서 외부에서 직접 접근 불가능.
  •  ngrok은 자신의 서버(공인 IP)를 통해 요청을 받고, 내 서버로 터널링해 전달함.
• 내부 서버와 외부 네트워크 사이에 안전한 터널을 형성해주는 것이 ngrok의 핵심 역할 중 하나다.
  •  ngrok은 TLS(암호화된 채널)를 통해 보안 터널링을 제공함.
  • 내부와 외부 간 통신을 암호화된 안전한 연결로 유지해줌.
• ngrok은 외부 요청을 대신 받아 내부 서버에 전달하고, 내부의 응답도 다시 외부로 전달해주는 일종의 중계자 또는 대리 서버처럼 작동한다.
  • 이게 바로 reverse proxy(역방향 프록시)의 개념임.
  • ngrok 서버가 중계 서버 역할을 하며, 외부 사용자는 ngrok 서버를 통해 접속함.
• 웹 요청뿐 아니라 데이터베이스 접속과 같은 TCP 요청도 ngrok을 통해 외부에서 내부로 안전하게 전달할 수 있다.
  • ngrok은 http, tcp, tls 프로토콜을 지원함.
  • TCP 포트(예: 1521, 3306)도 ngrok tcp 포워딩으로 외부에 노출 가능.

---

✅ 언제 사용하는가?

• 로컬 웹 서버나 API를 외부 테스트 사용자에게 보여주고 싶을 때
• 클라우드에 배포하지 않은 서버를 외부에서 접근하게 하고 싶을 때
• 외부 DB (MySQL, Oracle 등)에 로컬 환경에서 접속하고자 할 때
• 웹훅(webhook), 슬랙, 결제 API 같은 외부 서비스가 내 서버로 콜백할 때
• 로컬 개발 환경을 클라이언트에게 임시로 공유하고 싶을 때

---

⚙️ ngrok 실행 프로세스 (CLI 버전)

🛠️ Step 1. ngrok 설치 및 로그인

# ngrok 공식 페이지에서 회원가입 후 토큰 복사
ngrok config add-authtoken YOUR_NGROK_TOKEN

🛠️ Step 2. 포트 열기.  포트 외부 개방

ngrok tcp 1521      # 예: Oracle DB 1521 포트 열기
ngrok http 8000     # 예: 로컬 웹서버 8000 포트 열기

실행하면 아래처럼 임시 도메인 주소와 포트가 생성됨

📌 결과 예시

Forwarding tcp://0.tcp.jp.ngrok.io:14190 → localhost:1521

 

이 주소 0.tcp.jp.ngrok.io:14190가 바로 외부에서 Oracle DB에 접속할 수 있는 주소임.
Colab에서는 이 주소를 host, port에 넣으면 됨. Oracle 연결에서 host: 0.tcp.jp.ngrok.io, port: 14190를 사용.

---

💡 Colab에서 ngrok 파이썬 라이브러리로 여는 방법 (pyngrok)

Colab에서 CLI 보다 편리한 방식

▶ 라이브러리 설치

!pip install pyngrok

▶ ngrok으로 TCP 포트 열기

from pyngrok import ngrok

# ngrok 인증 토큰 등록 (한 번만)
ngrok.set_auth_token("YOUR_NGROK_TOKEN")

# Oracle이 로컬에서 1521 포트로 열려 있다고 가정
tcp_tunnel = ngrok.connect(1521, "tcp")
print(tcp_tunnel.public_url)

출력 예시:

tcp://0.tcp.ngrok.io:14190

이걸 그대로 Oracle 연결 설정에 사용하면 됨.

---

🧩 create_engine()는 무슨 역할을 하는가?

SQLAlchemy의 create_engine()는
Python 코드에서 외부 DB 서버와 연결을 설정해주는 함수임.

즉, DB 연결을 위한 접속 정보(유저, 비밀번호, 호스트, 포트, DB명)을 이용해서
Pandas와 SQL을 연결해주는 다리 역할을 함.

한 번 연결 객체(engine)를 만들면,
pd.read_sql()이나 to_sql() 같은 기능으로 데이터를 자유롭게 주고받을 수 있음.

---

📦 Oracle → MySQL 데이터 이전 코드

1️⃣ 라이브러리 설치

!pip install -U mysql-connector-python
!pip install -U pandas
!pip install -U sqlalchemy
!pip install -U oracledb

• 각각 MySQL 연결, 데이터 처리, DB 연동, Oracle 연동에 필요한 라이브러리 설치.

---

2️⃣ Oracle 연결 및 조회

from sqlalchemy import create_engine
import pandas as pd

user = "oracle_user"
password = "oracle_pw"
host = "0.tcp.jp.ngrok.io"
port = '14190'
database = "oracle_db"

engine = create_engine(f'oracle+cx_oracle://{user}:{password}@{host}:{port}/{database}')
tableName = "EXAMPLE_TABLE"
query = f"SELECT * FROM {tableName}"
productData = pd.read_sql(query, con=engine)

✅ 설명:

• ngrok으로 열어둔 Oracle 서버에 연결
• SQLAlchemy를 이용해서 Pandas와 연동
• 테이블의 전체 데이터를 productData라는 DataFrame으로 가져옴

---

3️⃣ MySQL 연결 및 저장

myuser = "mysql_user"
mypassword = "mysql_pw"
myhost = "my.mysql.host"
myport = '3306'
mydatabase = "mysql_db"

myengine = create_engine(f'mysql+mysqlconnector://{myuser}:{mypassword}@{myhost}:{myport}/{mydatabase}')
tableName = "MY_TARGET_TABLE"
productData.to_sql(name=tableName, con=myengine, if_exists="append", index=False)

✅ 설명:

• MySQL 서버에 연결
• 앞에서 Oracle에서 불러온 productData를 MySQL의 테이블에 저장
• if_exists="append" → 기존 테이블이 있다면 이어서 추가함 (덮어쓰기 아님)
• index=False → Pandas의 인덱스 컬럼은 저장하지 않음

---

✅ 전체 흐름 요약

• ngrok으로 Oracle 포트를 외부에 열어둠 (tcp 포트 포워딩)
• Oracle DB 포트에 대한 public 주소 생성
• Colab에서 해당 주소를 통해 Oracle에 접속
• 테이블 데이터를 Pandas의 DataFrame 형태로 불러옴
• DataFrame으로 가져온 데이터를 MySQL에 저장 (to_sql 사용)
  • DataFrame을 사용함으로써 여러 데이터베이스에서 가져온 데이터를 통합하고, 가공하거나 다른 형식으로 변환해 저장할 수 있어 유연성이 높음
• Oracle (ngrok 개방) → Colab (Pandas DataFrame) → MySQL (to_sql 저장)
  • Oracle 개방 설정 + 외부 환경에서 DB 접속 + 데이터 이전까지를 안정적으로 처리할 수 있는 실용적인 방식

---

✅ 마무리 요약

구분	설명
ngrok	로컬/내부망 서버를 외부에서 접근 가능하게 해주는 터널링 도구
create_engine()	DB 접속 정보를 이용해 Python과 외부 DB를 연결하는 함수
사용 사례	Oracle, MySQL, webhook 등 외부 연동 테스트
파이썬 실행법	pyngrok 라이브러리로 Colab 등에서 ngrok 제어 가능

---

✅ Oracle → MySQL 데이터 이전 전체 흐름 함수화 예제

from sqlalchemy import create_engine
import pandas as pd

def transfer_oracle_to_mysql(
    oracle_config: dict,
    mysql_config: dict,
    table_name: str,
    if_exists: str = "append"
):
    """
    Oracle에서 데이터를 조회해 MySQL로 저장하는 함수

    Parameters:
    - oracle_config: 오라클 접속 정보 (user, password, host, port, database)
    - mysql_config: MySQL 접속 정보 (user, password, host, port, database)
    - table_name: 테이블 이름 (조회/저장에 동일 사용)
    - if_exists: 'replace', 'append', 'fail' 중 하나
    """
    
    # 오라클 연결 엔진
    oracle_url = f'oracle+cx_oracle://{oracle_config["user"]}:{oracle_config["password"]}@{oracle_config["host"]}:{oracle_config["port"]}/{oracle_config["database"]}'
    oracle_engine = create_engine(oracle_url)

    # 데이터 조회
    query = f"SELECT * FROM {table_name}"
    df = pd.read_sql(query, con=oracle_engine)

    # MySQL 연결 엔진
    mysql_url = f'mysql+mysqlconnector://{mysql_config["user"]}:{mysql_config["password"]}@{mysql_config["host"]}:{mysql_config["port"]}/{mysql_config["database"]}'
    mysql_engine = create_engine(mysql_url)

    # 데이터 저장
    df.to_sql(name=table_name, con=mysql_engine, if_exists=if_exists, index=False)
    print(f"{table_name} 테이블 데이터를 MySQL에 저장 완료")

# ✅ 사용 예시
oracle_info = {
    "user": "oracle_user",
    "password": "oracle_pw",
    "host": "0.tcp.jp.ngrok.io",
    "port": "14190",
    "database": "oracle_db"
}

mysql_info = {
    "user": "mysql_user",
    "password": "mysql_pw",
    "host": "mysql.host.com",
    "port": "3306",
    "database": "mysql_db"
}

transfer_oracle_to_mysql(oracle_info, mysql_info, table_name="EXAMPLE_TABLE")

---

💡 함수 활용 포인트

• if_exists="append" → 기존 테이블에 이어서 저장
• replace로 바꾸면 테이블 덮어씀
• Oracle에서 MySQL로 데이터 이전 자동화에 적합
• ngrok 주소만 바꿔주면 어디서든 접속 가능