Apache Spark용 NVIDIA cuDF 통합 확대… 에이전틱 AI 환경서 대용량 데이터 처리 병목 해소
EDB(지사장 김희배)는 NVIDIA GPU 가속 기술을 활용해 ‘아파치 스파크(Apache Spark)’의 대규모 데이터 처리 속도를 획기적으로 높여주는 ‘아파치 스파크용 NVIDIA cuDF(NVIDIA cuDF for Apache Spark)’와의 통합을 확대한다고 4월 3일 밝혔다.
이번 통합을 통해 기존 CPU 기반으로 처리되던 대용량 데이터 분석 작업을 GPU로 전환함으로써, Postgres 기반 분석 성능을 NVIDIA AI 인프라 환경에서 대폭 향상시킬 수 있게 됐다고 업체 측은 전했다.
최근 기업 환경에서는 자율적으로 업무를 수행하는 AI 에이전트가 확산되면서, 방대한 데이터를 실시간으로 처리해야 하는 요구가 빠르게 증가하고 있다. 그러나 데이터가 여러 시스템에 분산돼 있는 구조와 비효율적인 분석 파이프라인, 증가하는 보안 및 거버넌스 요구는 기업의 주요 제약 요인으로 지목된다.
EDB는 이러한 환경에서 NVIDIA cuDF for Apache Spark를 Postgres 통합 플랫폼에 내재화함으로써, 대규모 데이터 처리 속도와 보안 요구를 동시에 충족할 수 있도록 지원한다. 이를 통해 기업은 데이터 이동을 최소화하면서도 AI 에이전트를 안정적으로 운영할 수 있는 단일 고속 데이터 플랫폼을 구축할 수 있다는 설명이다.
IDC 데빈 프랫 리서치 디렉터는 “AI 에이전트가 실제 업무를 수행하는 환경에서는 데이터가 여러 플랫폼 간 이동할수록 속도 저하와 비용 증가가 발생한다”며, “EDB Postgres AI는 GPU 가속 기술을 통해 이러한 문제를 줄이고, 대규모 AI 운영 환경을 지원할 수 있는 기반을 제공한다”고 말했다.
이번 기능은 EDB Postgres AI(EDB PG AI)를 통해 제공된다. 해당 플랫폼은 기업 내부 환경에서 데이터를 완전히 통제할 수 있도록 설계된 AI 플랫폼으로, 온프레미스 환경에서 AI 모델을 직접 실행하거나 인터넷과 분리된 폐쇄망에서도 운영이 가능하다. 이를 통해 금융, 공공 등 높은 보안 요구를 가진 산업에서도 활용할 수 있다.
또한 NVIDIA 기반 기술을 통해 AI가 기업 내부 데이터를 실시간으로 검색하고 활용할 수 있도록 지원하며, 데이터 분석과 AI 활용을 동시에 수행할 수 있는 구조를 갖춘 것이 특징이다.
EDB에 따르면 GPU 가속 기반 인터랙티브 애널리틱스를 통해 기존 수 시간 이상 소요되던 테라바이트(TB) 단위 데이터 분석을 수 초 내 처리할 수 있으며, 3TB 이상의 대용량 데이터 분석 속도는 기존 대비 최대 50~100배 향상된다.
이와 함께 여러 분석 작업을 동시에 수행하더라도 성능 저하 없이 독립적으로 실행할 수 있으며, Apache Iceberg 기반 데이터 관리 구조를 통해 데이터 레이크와 웨어하우스를 통합 관리하고 보안 정책을 일관되게 적용할 수 있다는 설명이다.
EDB는 이러한 기술을 통해 기업들이 생성형 AI 실험 단계를 넘어 실제 업무에 AI 에이전트를 적용하는 단계로 전환할 수 있을 것으로 보고 있다. EDB의 ‘Sovereignty Matters’ 연구에 따르면, AI 에이전트를 실제 업무에 적용한 기업은 전체의 13% 수준에 불과하지만, 이들 기업은 투자 대비 수익이 5배 높고 더 많은 업무를 자동화하고 있는 것으로 나타났다.
EDB 퀘이스 타라키 CTO는 “GPU 가속 기술은 단순한 속도 향상을 넘어, 예측 가능한 성능과 데이터 통제, 안정적인 운영 환경을 함께 제공해야 한다”며, “EDB PG AI는 이러한 요구를 충족하며 실제 업무 환경에서 안정적으로 작동하는 데이터 플랫폼을 구현한다”고 밝혔다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
