AI 보조 개발 확산과 멀티 데이터베이스 전환 배경
기존 웹 아키텍처는 거대한 데이터베이스 클러스터 1~2개에 커넥션 풀을 붙여 운영하는 방식이 일반적이었습니다. 그러나 최근 AI 보조 개발과 바이브 코딩 플랫폼이 확산되면서 애플리케이션 설계 모델에 뚜렷한 변화가 나타나고 있습니다. 사용자, 애플리케이션, 프리뷰 배포 환경, 테넌트마다 소형 데이터베이스를 독립적으로 개별 할당하는 멀티 데이터베이스 모델에 대한 수요가 빠르게 늘고 있습니다.
클라우드플레어는 이러한 흐름에 맞춰 SQLite 기반의 관리형 서버리스 데이터베이스 D1의 컨트롤 플레인을 개편했습니다. 핵심 과제는 수백만 개의 소형 데이터베이스를 운영하면서도 중앙 병목으로 인해 쿼리 지연이 발생하지 않도록 제어 체계를 확장하는 것이었습니다. 실제로 OpenAI의 ChatGPT Sites는 대시보드 지표와 리더보드, 댓글 기능 등을 사용자 환경에 구현하기 위해 D1을 채택해 프로덕션 환경에서 운용하고 있습니다.
550만 개 돌파와 일일 활성 DB 18배 성장의 지표
클라우드플레어가 2026년 10월 8일 기준으로 집계해 발표한 지표에 따르면, 삭제되지 않고 유지 중인 실 데이터베이스 수는 550만 개를 넘어섰습니다. 이는 최근 1년간 15배, 최근 2년간 65배에 달하는 성장 추세입니다. 또한 특정 시점을 기준으로 동시 활성 상태를 유지하는 데이터베이스 규모는 수십만 개에 이르는 것으로 나타났습니다.
하루에 최소 1회 이상 SQL 쿼리를 실행한 데이터베이스로 정의되는 일일 활성 데이터베이스 수치 역시 최근 1년 사이에 18배 증가했습니다. 대규모 플랫폼들이 D1을 기반으로 서비스를 구축하기 시작하면서 시스템 확장 요구가 가속화되었습니다. 이에 따라 단일 중앙 클러스터에 의존하던 전통적인 방식을 넘어, 대규모 소형 데이터베이스 인스턴스를 중앙 병목 없이 지연 없이 지원할 수 있는 새로운 아키텍처가 필요해졌습니다.
쿼리 핫 패스에서 중앙 DB 조회를 분리한 아키텍처
클라우드플레어가 공개한 D1 아키텍처의 핵심 원칙은 데이터 플레인 작업, 즉 쿼리 실행 경로인 핫 패스에서 중앙 단일 부품 조회를 배제하는 것입니다. D1의 개별 데이터베이스는 독립된 1개의 SQLite 기반 Durable Object에 의해 구동됩니다. 사용자가 쿼리를 실행할 때 중앙 DB 조회를 방지하기 위해 데이터베이스 라우팅 정보를 전역 분산 키-값 저장소인 Workers KV에 캐싱하여 엣지에서 대상 Durable Object로 즉시 접근하도록 구성했습니다.
반면 데이터베이스 생성, 삭제, 목록 조회 같은 컨트롤 플레인 작업은 Hyperdrive를 경유해 중앙 데이터센터의 PostgreSQL 클러스터로 연결됩니다. 이때 조회 작업은 복제본 캐시를 활용하고 쓰기 작업은 기본 노드로 분기합니다. 쿼리 처리는 프록시 역할을 하는 Eyeball Worker가 전담해 자동 재시도, 에러 격리, 관측성을 일원화하며, 개별 Durable Object는 30초 주기로 하트비트를 보내 최신 상태와 계정 사용량 한도를 동기화합니다.
격리 아키텍처의 실무 적용점과 검증된 기술적 한계
D1의 아키텍처는 유저나 테넌트별로 소규모 데이터베이스를 대량 생성해 격리해야 하는 서버리스 마이크로 데이터베이스 워크로드에 명확한 실무적 이점을 제공합니다. 중앙 데이터베이스의 커넥션 고갈을 피하면서 개별 인스턴스를 신속하게 할당할 수 있고, 엣지 캐싱 레이어를 활용해 라우팅 병목을 최소화함으로써 전역 분산 환경에서 일관된 접근 구조를 구현할 수 있습니다.
그러나 이 모델을 엔터프라이즈의 모든 워크로드에 일반화하기에는 명확한 기술적 한계가 존재합니다. 각 데이터베이스가 단일 Durable Object 상의 SQLite로 완전히 분리되어 작동하기 때문에, 여러 테넌트의 데이터를 교차 조회하는 크로스 조인이나 분산 트랜잭션 처리가 지원되지 않습니다. 또한 대규모 단일 RDBMS 수준의 집중 부하를 단일 데이터베이스에서 처리해야 하는 시나리오의 경우, 경량 격리 모델 특성상 구조적인 한계에 부딪힐 수 있습니다.
활성 지표의 기준 해석과 인프라 도입 시 고려사항
엔지니어링 팀은 클라우드플레어가 발표한 550만 개라는 수치와 성장 지표를 해석할 때 기준 설정을 객관적으로 살펴볼 필요가 있습니다. D1에서 활성 데이터베이스의 기준은 '당일 최소 1회 이상 SQL 쿼리를 실행한 DB'로 정의되어 있습니다. 따라서 전체 550만 개 데이터베이스 중 실제 프로덕션 환경에서 지속적으로 높은 트랜잭션을 발생시키는 고부하 데이터베이스가 어느 정도 비중을 차지하는지는 별도로 공개되지 않았습니다.
따라서 실무 개발팀은 D1 도입 시 자사 서비스의 데이터 접근 패턴을 정확히 평가해야 합니다. 프리뷰 환경, 사용자별 격리 저장소, 세션 기반 애플리케이션 등 소형 데이터베이스 다수를 분리 운용하는 시나리오에는 높은 적합성을 보입니다. 반면 전역적인 트랜잭션 일관성과 대규모 복합 쿼리가 요구되는 핵심 시스템의 경우, D1 단독 구성보다는 중앙 집중형 RDBMS와의 역할 분담을 고려하는 하이브리드 설계가 실무적으로 안전합니다.
출처
Cloudflare Blog의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Under the hood, off the hot path: How D1 scales to millions of databases (새 창)
