Personal Information
클라우드부터 MLOps까지, 기술의 연결을 고민하는 개발자 이재하입니다. 문제를 회피하지 않고 능동적으로 해결하며, 운영 효율화에 기여하는 엔지니어입니다.
On-Premise LLM, GPU 기반 클러스터 설계/운영, MLOps 파이프라인 구축/최적화 경험을 통해 고가용성, 비용 효율성, 서비스 품질 향상에 지속적인 임팩트를 만들어왔습니다.
기록과 문서화를 습관화하여 조직 내 생산성을 높이는 데도 강점을 보유하고 있습니다.
- Mobile : +82) 10-2817-1060
- Email : [email protected]
- Github : github.com/ops-jaeha
Tech Skills
- Language & Framework: Python, FastAPI, LangChain, Next.js
- Cloud & Infrastructure: AWS(EKS, EC2, Lambda), GCP, Kubernetes, Terraform, Ansible
- CI/CD: Jenkins, GitOps(ArgoCD), Helm, GitHub Actions, Nexus
- ML Serving / MLOps: Kubeflow, KServe, Triton Inference Server, SageMaker, vLLM, Ollama
- Monitoring & Logging: Prometheus, Grafana, Systemd, CloudWatch
- Database: Elasticsearch, Redis, MongoDB Atlas, Tibero
Work Experience
LLOYDK
24.12.09 ~ 재직중
ML Infra Engineer & LLM Engineer
사원
한국수자원공사 도면 검색 PoC 진행
수자원 시설 도면 데이터의 검색 및 생성형 AI 기반 도면 편집 PoC 수행
Background & Problem
- 기존 가설의 한계: ‘형태가 비슷하면 유사한 도면이다’라는 가설로 도면의 전체적인 시각적 형태 / 패턴 비교 로직을 구현하였으나, 단순 형태 비교만으로는 실제 도면 간 연관성을 완벽히 판별하기 어려움
- 고객사 요구사항: ‘내부 구성요소가 비슷해야 실제 유사한 도면이다’라는 피드백을 바탕으로 도면 내 주요 텍스트 요소를 고려한 검색 로직 필요성 대두
Solution & Method
- Shape-based Drawing Search
- Image Embedding을 활용하여 도면의 시각적 패턴 및 전체 형태를 비교 / 검색하는 로직 구현
- 검색 결과를 html 형태로 시각화하여 고객사 미팅 시 데모 및 검증 자료로 활용
- Component-based Semantic Search (OCR & KNN)
- OCR 기술을 적용해 도면 내 프로젝트명, 도면 제목, 주요 구성요소 등의 텍스트 데이터 추출
- 추출된 텍스트 데이터를 임베딩하여 Elasticsearch(VectorDB)에 적재
- Elasticsearch 기반의 KNN 알고리즘을 활용해 Vector Search RAG 파이프라인 구축
Impact
- 검색 정확도 극대화: 시각적 형태뿐만 아니라 도면 내부 텍스트 구성요소까지 다각도로 고려하는 하이브리드/정밀 검색 파이프라인 구축 완료
- 고객 만족 및 사업 성과: 고객사의 의도와 피드백을 정확히 반영한 PoC 성공으로 최종 실 프로젝트 계약 수주 달성
인천국제공항공사 AI 워크스페이스 구축
폐쇄망(Air-gapped) 환경의 H200 GPU 서버 기반 AI 모델 서빙 및 전체 서비스 CI/CD 운영 인프라 구축
Background & Problem
- Network Constraint: 폐쇄망 환경 및 개발망-운영망 간 전송 속도 제약(10MB/s)으로 대용량 아티팩트 배포 지연 발생
- High Load: 고부하(1500 Vuser) 환경에서의 서비스 안정성 확보 필요
Solution & Method
- Offline Infrastructure: H200 NVLink 워크스테이션 등 전체 인프라를 위한 Local RPM Repository(CUDA, Drivers) 구축
- Deployment Optimization:
- Java/Spring: Systemd Service 기반 경량 배포로 Docker 오버헤드 제거 및 JVM 보안 리스크 최소화
- Python/FastAPI: Docker Container 기반 배포로 라이브러리/OS 의존성 충돌 방지
- Frontend/Next.js:
node_modules와 소스코드를 분리 주입하여 배포 속도 10배 단축
- Performance Engineering: vLLM 및 WAS GC 모니터링 구축, nGrinder 기반 부하 테스트 수행
Impact
- LLaMA 4 Maverick 모델 TPS 15.6 달성
- Frontend 배포 시간 10배 단축
- 1500 Vuser 기준 서비스 안정성 검증 완료
DO Solution
RAG 고도화 및 On-premise LLM 서빙 환경 구축
Background & Problem
- Hallucination: DeepSeek R1 32b 모델 도입 시 다국어(한/중/영) 혼용 답변 발생 (초기 정확도 32.2%)
- Cost Efficiency: 상용 Cloud LLM(GPT-4o) 수준의 품질 유지와 운영 비용 최적화 필요
Solution & Method
- Hybrid Translation Agent: 'Translation Agent'에만 GPT를 연동하는 파이프라인 설계로 Full GPT 대비 비용 절감
- Model Analysis: 8종 모델 정성 평가를 통해 가성비 우수 모델(DeepSeek R1 32b) 선정
- Infra Optimization: vLLM 기반 On-premise 서빙, Istio Ingress Gateway 트래픽 관리, Nexus Private Registry 도입
Impact
- 답변 정확도 32.2% → 86.7% (54.6%p 개선)
- Full Cloud LLM 대비 운영 비용 65% 절감
dob Studio
22.10.11 ~ 24.11.11 (2년 1개월)
MLDevOps
매니저
dobernetes
Hybrid(On-Prem + GKE) 환경에서 일관된 ML Inference 배포 및 Multi-Model Serving 환경 구축
Background & Problem
- OOM Issue: Multi-Model Serving 중 원인 불명의 메모리 누수(OOM)로 인한 파드 재시작 빈번 발생
- Deployment Consistency: 하이브리드 클러스터 환경에서의 배포 파이프라인 일원화 필요
Solution & Method
- Inference Platform: Kubeflow + KServe + Triton 아키텍처 구축으로 배포 일관성 확보
- Open Source Contribution: 메모리 누수 원인(io.ReadAll vs io.Copy) 분석 후 KServe 리포지토리에 PR 기여하여 문제 원천 해결 (PR #4018)
Impact
- Global Open Source(KServe) 기여를 통한 OOM 이슈 해결
- Hybrid 환경에서의 서비스 안정성 및 성능 확보
Genpickai
대규모 GPU 추론 클러스터 설계 및 배포 파이프라인 최적화
Background & Problem
- Latency: 로컬 대비 g4dn 인스턴스 추론 속도 2배 지연
- Cost: NAT Gateway를 경유한 S3 모델 다운로드 시 막대한 네트워크 비용 발생
Solution & Method
- Performance Engineering: EBS IOPS 증설 및 API 파라미터 튜닝, Disk I/O 병목 해소
- Auto Scaling: Karpenter 및 SQS 기반 커스텀 메트릭(Request 대기열) 적용으로 유연한 Scale-out 구현
Impact
- AWS 네트워크 비용 35% 절감
- 최적화를 통해 추론 시간 11% 단축
Solution & Method
- Cost-Effective Scaling: EC2 Spot Instance 기반 ASG 구성 및 SQS 대기열 기반 스케일링 정책 수립
- Environment Isolation: AWS Organization 도입으로 Prod/Dev 환경 격리 및 권한 관리 체계 수립
Impact
- 트래픽 변동에 유연한 Zero-Downtime 확장성 확보
- Spot Instance 활용으로 인프라 운영 비용 최적화
HBA
사용자 맞춤형 학습 파이프라인 최적화
Background & Problem
- Inefficiency: 1GB 이상의 무거운 Docker 이미지로 인한 구동 지연 및 유휴 EC2 자원 비용 발생
Solution & Method
- Image Optimization: Multi-Stage Build 전략으로 이미지 크기 경량화 및 레이어 최적화
- Serverless Architecture: SageMaker Training Job의 Cold Stop(Scale-to-Zero) 기능 활용 및 비동기 알림 시스템(API Gateway+Lambda) 구현
Impact
- 서버 초기 구동 시간 12.5% 단축
- EC2 On-Demand 대비 운영 비용 30% 절감
Activity
KServe Contributor
GCP Cloud Storage에서 Model 다운로드 시 모델이 메모리보다 용량이 크다면 OOM 발생