데이터 파이프라인 구축 프로젝트의 예산서를 보면 서버 비용, 라이선스료, 초기 개발 인건비가 깔끔하게 정리되어 있다. 그런데 실제 운영에 들어가면 예상치 못한 비용이 하나둘 튀어나온다. 총소유비용(TCO) 산정에서 인프라와 인건비만 계산하고 끝내는 조직이 많은데, 실제 적용 사례를 살펴보면 초기 견적 대비 30~60% 이상 비용이 초과되는 경우가 드물지 않다.
이 글을 읽고 나면 TCO 산정 시 반드시 점검해야 할 숨은 비용 항목들을 체크리스트로 확보할 수 있다. 견적서에 빠진 항목이 없는지, 지금 바로 대조해보자.
많은 사람이 처음에는 “서버 비용이 얼마냐”부터 묻는다. 하지만 그보다 먼저 TCO의 시간 범위를 정해야 한다. 1년, 3년, 5년 중 어떤 기간으로 볼 것인지에 따라 포함되는 비용 항목 자체가 달라진다. 3년 TCO 기준이라면 클라우드 약정 할인, 인력 이직에 따른 재채용 비용, 메이저 버전 마이그레이션 비용까지 시야에 넣어야 한다.
Gartner가 제시하는 IT TCO 프레임워크에서는 비용을 직접 비용(하드웨어, 소프트웨어, 인건비)과 간접 비용(다운타임, 생산성 저하, 기회비용)으로 구분한다. 오픈소스와 매니지드 서비스의 3년 TCO를 비교하는 방법은 관련 글에서 자세히 다루고 있으니, 여기서는 양쪽 모두에 공통으로 적용되는 숨은 비용 항목에 집중한다.
클라우드 환경에서 가장 자주 간과되는 항목이 이그레스(egress) 비용이다. AWS 기준 리전 간 데이터 전송에 GB당 $0.02, 인터넷으로의 전송에는 GB당 $0.09가 부과된다. 하루 100GB씩 외부로 데이터를 내보내는 파이프라인이라면 연간 전송 비용만 약 $3,285에 달한다. 견적서에 컴퓨팅과 스토리지만 적고 네트워크 비용을 빠뜨리는 사례가 실무에서 빈번하게 발생한다.
파이프라인이 돌아가는지 감시하는 시스템도 비용이다. Datadog, New Relic 같은 APM 도구는 호스트당 월 $15~$30 수준이고, 로그 수집량에 따라 추가 과금된다. 자체 구축하더라도 Prometheus + Grafana 클러스터 운영에 인프라 비용과 관리 공수가 들어간다.
체크포인트: 모니터링 도구의 월 비용을 별도 라인으로 TCO에 포함했는가? 로그 보관 기간(30일 vs 1년)에 따른 스토리지 증가분을 반영했는가?
데이터 엔지니어 채용 비용은 대부분 반영한다. 그런데 이직률까지 계산에 넣었는가? 통계청 자료를 참고하면 IT 업종의 연간 이직률은 약 15~20% 수준이다. 한 명이 빠지면 채용에 2~4개월, 온보딩에 1~3개월이 소요된다. 그 기간 동안 나머지 팀원의 업무 과부하와 파이프라인 장애 대응 지연은 숫자로 잡기 어렵지만 분명한 비용이다.
엔지니어 인력 규모와 인건비 산출 기준은 시리즈의 별도 글에서 상세히 다루고 있다.
Airflow 1.x에서 2.x로 넘어갈 때 DAG 구조를 전면 수정해야 했던 조직이 적지 않다. 오픈소스 도구는 메이저 버전 업그레이드 시 호환성 깨짐(breaking changes)이 발생할 수 있고, 이 마이그레이션에 투입되는 공수는 통상 2~8주 분량의 엔지니어 시간이다. 매니지드 서비스도 가격 정책 변경이나 기능 지원 중단 같은 리스크가 있으므로, 전환 비용을 TCO에 예비비로 편성해두는 것이 현실적이다.
개인정보보호위원회의 규정에 따라 개인정보를 처리하는 파이프라인이라면 암호화, 접근 제어, 감사 로그 보관이 필수다. 이를 위한 KMS 키 관리 비용, WAF 설정, 정기 보안 감사 용역비가 별도로 발생한다. 규모에 따라 연간 수백만 원에서 수천만 원까지 차이가 크다.
프로덕션과 동일한 스테이징 환경을 유지하는 비용을 빠뜨리는 경우가 많다. “개발 서버는 작게 쓰니까 괜찮겠지”라고 생각하지만, 데이터 파이프라인의 테스트는 실제 데이터 볼륨에 가까운 환경이 아니면 의미가 떨어진다. 프로덕션 인프라의 30~50% 규모를 상시 운영하는 것이 일반적이며, 이 비용이 연간으로 누적되면 무시할 수 없는 금액이 된다.
주의: 모든 조직에 동일한 체크리스트가 적용되지는 않는다. 데이터 규모, 규제 환경, 팀 구성에 따라 중요도가 달라지므로 자사 상황에 맞게 우선순위를 조정해야 한다.
지금 사용 중인 TCO 산정서를 꺼내서 위 7가지 항목이 별도 라인으로 잡혀 있는지 대조해보자. 빠진 항목이 있다면 대략적인 금액이라도 추가하는 것만으로 예산 초과 리스크를 크게 줄일 수 있다. 오픈소스와 매니지드 서비스 중 어떤 방식이 적합한지 판단하려면 시리즈의 선택 기준 가이드를 함께 참고하면 도움이 된다.
노후 준비의 첫걸음은 현재 내가 보유하고 있는 국민연금의 정확한 금액을 아는 것입니다.매달 급여에서 보험료가 차감되지만,…
대중교통을 자주 이용하는 청소년들에게 교통비는 큰 부담으로 작용할 수 있습니다.청소년후불교통카드는 잔액이 부족해도 후불로 이용할 수…
대중교통을 자주 이용하는 분들은 교통비지원 제도를 적극적으로 활용하는 것이 좋습니다.정부와 지방자치단체는 교통비 부담을 줄이기 위해…