Jukang

Projects

Data collection · Pipeline · ML Modeling · Production Deployment

Data EngineeringLakehousePipeline

서울시 지하철 승하차 데이터 Lakehouse

서울 전 노선 530개 역별 일별·시간대별 승하차를 Spark + Delta Lake MERGE 증분 파이프라인으로 처리. Cloud Scheduler 매일 자동 수집 → FastAPI 서빙 End-to-End Lakehouse를 구현했습니다.

530개역 데이터
매일자동 수집
MERGE증분 파이프라인
Pipeline · Apache Spark · Delta Lake · Cloud SchedulerStorage · Google Cloud Storage (Delta Lake)Backend · FastAPIInfra · Cloud Run · Cloud Run Jobs
View Detail
멀티소스하이브리드 RAGFirestore

AI 기업 펀더멘털 분석

기업명 하나로 DART 공시·재무·주가·뉴스를 통합 수집해, 퀀트 점수와 하이브리드 RAG 기반 LLM 분석으로 투자 판단 근거를 제공합니다.

퀀트 6지표정량 스코어링
LLM 리포트정성 분석
실시간주가 연동
Data · OpenDART · FinanceDataReader · Naver NewsAI · Gemini LLM · 하이브리드 RAGBackend · FastAPI · FirestoreInfra · Cloud Run · Docker
View Detail
Fine-tuningQLoRALLM

DART 공시 전문 LLM

DART 공시 7,200건을 수집해 Gemini로 Q&A 합성, 12,996건 학습 데이터 생성. EXAONE-3.5-2.4B를 QLoRA 파인튜닝 후 LoRA merge · GCS 배포. 공시 본문을 입력하면 핵심 내용을 자연어로 요약합니다.

7,200건공시 수집
12,996건Q&A 합성
2.4B파라미터
ML · EXAONE-3.5-2.4B · QLoRA · LoRA mergeData · DART API · Gemini Q&A 합성Backend · FastAPI · transformersInfra · Cloud Run · GCS · Docker
View Detail
Fine-tuningNLPRAG

DART 공시 자동 분류기

KLUE-BERT 파인튜닝으로 금융공시 본문 1,976건을 6개 카테고리로 자동 분류. 시간 기반 hold-out 검증으로 신뢰성을 확보하고, Gemini 임베딩 + pgvector 유사 공시 검색을 통합 제공합니다.

1,976건학습 데이터
F1 0.9982024 hold-out
6클래스분류
ML · BERT (klue/bert-base · 6클래스)AI · Gemini Embedding APIBackend · FastAPIDatabase · Supabase (pgvector)Infra · Cloud Run, Docker
View Detail
OCRRAGpgvectorGemini

서울시 에너지 RAG 질의응답

에너지 PDF 보고서를 Vision OCR로 추출·정제 → 청킹 → 임베딩 → Supabase pgvector에 적재하는 RAG 파이프라인 구축. 자연어로 지역 에너지 특성을 질의응답합니다.

25개 자치구
6군집K-means
RAG자연어 Q&A
Pipeline · Vision OCR · 청킹 · 임베딩AI · Gemini Embedding APIBackend · FastAPIDatabase · Supabase (pgvector)Infra · Cloud Run, Docker
View Detail
Hypothesis TestingStatistics

서울시 PM-2.5 격차 분석

서울 25개 자치구의 녹지·공원 면적이 초미세먼지 농도에 실제로 영향을 미치는지 t-검정·ANOVA·선형회귀로 검증. 가설 3개를 통계적 유의성으로 규명합니다.

25개 자치구
가설 3개통계 검정
p<0.05유의성 확보
Analysis · Scipy · StatsmodelsVisualization · Matplotlib · SeabornData · 서울 열린데이터광장
View Detail