데이터 파이프라인을 새로 구축하려는 팀이라면 한 번쯤 이런 고민을 한다. 오픈소스로 직접 구축하면 라이선스 비용은 없지만 인건비가 걱정되고, 매니지드 서비스를 쓰면 편하지만 월 구독료가 부담스럽다. 결국 3년간 총비용, 즉 TCO(Total Cost of Ownership)를 놓고 비교해야 현실적인 판단이 가능하다. 이 글을 끝까지 읽으면 오픈소스와 매니지드 서비스 각각의 3년 TCO 구성 항목을 파악하고, 우리 조직에 맞는 선택 기준을 세울 수 있다.
데이터 파이프라인 TCO란 무엇이고, 왜 라이선스 비용만 보면 안 되는가
TCO의 정의와 구성 요소
TCO는 특정 솔루션을 도입하고 운영하는 데 드는 모든 비용의 합계다. 단순히 소프트웨어 구매비만 따지는 게 아니다. 인프라 비용, 인건비, 교육비, 장애 대응 비용, 마이그레이션 비용까지 포함해야 정확한 그림이 나온다.
흔히 오픈소스는 “무료”라고 생각하기 쉽다. 하지만 위키피디아의 총소유비용 문서에서도 설명하듯, 소프트웨어 자체 가격은 TCO의 일부일 뿐이다. 운영 단계에서 발생하는 간접 비용이 전체의 60~70%를 차지하는 경우도 드물지 않다.
비교의 출발점을 맞추는 방법
공정한 비교를 위해 동일한 워크로드 규모를 기준으로 삼아야 한다. 예를 들어 일일 처리 데이터 50GB, DAG 50개, 동시 실행 태스크 10개 수준의 중규모 파이프라인을 가정하면 양쪽 비용 구조를 현실적으로 산출할 수 있다. 숨은 비용 항목에 대한 상세 체크리스트는 관련 글에서 자세히 다루고 있으니 함께 참고하면 좋다.
사내 데이터 파이프라인 구축 비용, 오픈소스는 어디에 돈이 들어가는가
초기 구축 단계의 비용 구조
오픈소스 파이프라인 도구(Airflow, Prefect, Dagster 등)를 자체 서버에 설치한다고 가정해 보자. 라이선스 비용은 0원이다. 그런데 여기서부터 보이지 않는 비용이 쌓이기 시작한다.
- 클라우드 인프라 비용: 워커 노드 3대 + 메타DB + 스케줄러 서버 기준, 월 150~250만 원 수준이 일반적이다
- 엔지니어 인건비: 초기 셋업에 시니어 데이터 엔지니어 1~2명이 2~3개월간 투입되며, 이 비용만 3,000~5,000만 원에 달한다
- CI/CD, 모니터링, 알림 시스템 등 부수 인프라 구성 비용이 별도로 발생한다
운영 단계에서 누적되는 비용
구축보다 운영이 더 비싸다는 사실을 간과하는 경우가 많다. 실제 적용 사례를 살펴보면, 중견 이커머스 기업 한 곳에서 Airflow 기반 파이프라인을 3년간 운영한 결과 총비용이 약 3억 2,000만 원에 달했다. 이 중 인프라 비용은 30%, 인건비가 55%, 나머지 15%가 장애 대응 및 업그레이드 비용이었다. 엔지니어 인력 규모에 따른 인건비 산출 방법은 별도 관련 글에서 상세하게 안내하고 있다.
매니지드 서비스를 선택하면 정말 비용이 줄어들까
구독료 너머의 실제 지출 항목
AWS MWAA, Google Cloud Composer, Astronomer 같은 매니지드 서비스의 월 구독료는 보통 200~500만 원 선이다. 비싸 보인다. 그런데 자체 운영 시 필요한 전담 엔지니어 인건비를 빼면 이야기가 달라진다.
매니지드 서비스의 3년 TCO 구성을 보면 구독료가 전체의 65~75%를 차지한다. 나머지는 DAG 개발 인력비와 외부 연동 비용이다. 같은 규모 기준으로 3년 총비용은 약 2억 4,000만~3억 원 수준으로 산출되는 경우가 많다.
규모에 따라 역전되는 손익분기점
Google Cloud Composer 공식 가격 정책을 보면, 환경 규모가 커질수록 시간당 과금이 빠르게 증가한다. 일일 처리량이 200GB를 넘어가면 매니지드 서비스 비용이 오픈소스 자체 운영 비용을 추월하는 지점이 생긴다. 반대로 소규모 팀(엔지니어 1~2명)이라면 매니지드 서비스가 거의 항상 경제적이다.
오픈소스와 매니지드 서비스, 장단점을 균형 있게 따져보면
오픈소스의 강점과 약점
- 강점: 커스터마이징 자유도가 높고, 벤더 종속(Vendor Lock-in) 위험이 낮다. 내부 역량이 축적되면 장기적으로 비용 효율이 올라간다
- 약점: 운영 부담이 크다. 버전 업그레이드, 보안 패치, 스케일링 모두 자체 해결해야 한다. 장애 발생 시 SLA가 없으므로 비즈니스 리스크가 존재한다
매니지드 서비스의 강점과 약점
- 강점: 운영 부담이 대폭 줄어든다. 모니터링, 자동 스케일링, 보안 업데이트가 포함되어 있어 소수 인력으로도 파이프라인을 유지할 수 있다
- 약점: 월 구독료가 고정 지출로 잡히며, 특정 벤더의 생태계에 종속될 수 있다. 세밀한 튜닝이 어렵고, 서비스 중단 시 자체 대응이 불가능하다
모든 조직에 하나의 정답이 있는 것은 아니다. 팀 규모, 내부 엔지니어링 역량, 데이터 처리량, 성장 속도를 종합적으로 고려해야 한다. 단순 비용 비교만으로 결정하면 2~3년 후 후회하는 사례가 적지 않다.
3년 TCO 비교 시 반드시 확인해야 할 체크리스트
비용 산정 프레임워크
많은 사람이 처음에는 소프트웨어 비용과 서버 비용만 비교한다. 하지만 현실적인 TCO 비교를 위해서는 아래 항목을 빠짐없이 산정해야 한다.
- 인프라 비용(서버, 스토리지, 네트워크): 오픈소스는 직접 관리, 매니지드는 구독료에 포함
- 인건비: 구축 인력 + 운영 인력 + 온콜 대응 인력. 오픈소스 운영 시 최소 1.5~2명의 전담 엔지니어가 필요한 반면, 매니지드 서비스는 0.5명 수준으로 줄어든다
- 기회비용: 파이프라인 운영에 투입된 엔지니어가 다른 프로젝트에 기여하지 못하는 손실
- 장애 비용: 다운타임 동안의 매출 손실과 복구 인건비
의사결정 매트릭스 활용법
미국 NIST의 TCO 모델 가이드에서는 정량 비용과 정성 요소를 함께 평가하는 매트릭스를 권장한다. 비용 항목별로 3년 누적액을 산출한 뒤, 운영 리스크·확장성·팀 역량 같은 정성 요소에 가중치를 부여해 점수화하면 보다 객관적인 비교가 가능하다. 오픈소스와 매니지드 중 어떤 기준으로 선택해야 하는지에 대한 상세 가이드는 관련 글에서 깊이 있게 다루고 있다.
실무에서는 스프레드시트에 12개월 단위로 비용을 입력하고, 36개월 누적 그래프를 그려보는 것만으로도 상당히 명확한 결론이 나온다. 핵심은 빠뜨리는 항목 없이 모든 비용을 테이블 위에 올려놓는 것이다.
결론
오픈소스 파이프라인의 3년 TCO는 인건비 비중이 압도적으로 높고, 매니지드 서비스는 구독료 중심으로 비용이 구성된다. 중소 규모 조직에서는 매니지드 서비스가, 대규모 처리와 내부 역량을 갖춘 조직에서는 오픈소스가 유리한 경우가 많다. 다만 단순 가격 비교가 아닌, 인건비·기회비용·장애 비용까지 포함한 전체 TCO를 산출해야 올바른 판단이 가능하다.
오늘 당장 할 수 있는 첫 걸음은, 현재 파이프라인 운영에 투입되는 인력의 시간을 한 주간 기록해 보는 것이다. 그 데이터가 TCO 산정의 가장 정확한 출발점이 된다. 더 구체적인 도구별 특징 비교나 도입 사례가 궁금하다면 이 시리즈의 다른 글도 함께 살펴보길 권한다.