VAST 데이터 플랫폼, 기업 RAG 활용 사례를 위한 기능 강화
VAST 데이터, 엑사바이트 규모의 RAG AI 워크로드를 위한 플랫폼 업데이트
VAST 데이터는 HPC, 고급 분석 및 빅데이터 활용 사례를 처리할 수 있는 통합 플랫폼을 조용히 구축하고 있습니다. 오늘 발표된 VAST 데이터 플랫폼 엔진의 주요 업데이트는 기업들이 엑사바이트 규모의 검색 증강 생성(RAG) AI 워크로드를 실행할 수 있도록 지원합니다.
약 10년 전 SSD가 주류가 되고 NVMe over Fabric이 발명되었을 때, VAST 데이터의 창립자들—Renen Hallak, Shachar Fienblit, Jeff Denworth—은 엑사바이트 수준의 고성능 컴퓨팅(HPC)을 위한 데이터 스토리지를 재설계할 기회를 포착했습니다. 기존 클라우드 기반 플랫폼을 HPC 영역으로 확장하려는 시도 대신, 그들은 DASE(Disaggregated and Shared Everything) 방식을 통해 완전히 새로운 접근법을 선택했습니다.
VAST 데이터 플랫폼의 첫 번째 요소는 VAST DataStore로, 구조화 및 비구조화 데이터를 위한 대규모 확장 가능한 객체 및 파일 스토리지를 제공합니다. 이어서 Apache Iceberg와 유사한 데이터 레이크하우스 기능을 제공하는 테이블 스토어 역할의 DataBase가 출시되었습니다. DataEngine은 데이터에 대한 함수 실행 기능을 제공하며, DataSpace는 클라우드에서 엣지까지 데이터 저장, 검색 및 처리를 위한 글로벌 네임스페이스를 제공합니다.
VAST DataBase는 2019년에 멀티 프로토콜 파일 및 객체 스토어로 생성되었습니다. (출처: VAST 데이터)
오늘 VAST 데이터는 세 가지 새로운 기능으로 플랫폼을 강화했습니다:
- 벡터 검색 및 검색 지원
- 서버리스 트리거 및 함수
이러한 기능은 기업의 새로운 RAG 요구 사항을 충족하는 데 도움이 될 것이라고 VAST 데이터 제품 부사장 Aaron Chaisson은 설명합니다.
"우리는 기본적으로 데이터베이스를 확장하여 벡터를 지원하고, 이를 에이전트 쿼리나 챗봇 쿼리에 사용할 수 있게 했습니다," Chaisson은 말합니다. "여기서 아이디어는 기업 고객이 데이터를 모델 제작자에게 제공하거나 모델을 미세 조정하지 않고도 데이터를 활용할 수 있도록 돕는 것입니다."
은행, 병원, 소매업체와 같은 기업 고객들은 데이터가 여러 곳에 분산되어 있어 RAG 파이프라인용으로 조합하고 사용하기 어려운 경우가 많습니다. VAST 데이터의 새로운 트리거 기능은 고객이 추론 사용 사례를 위해 데이터를 통합하는 데 도움이 됩니다.
"데이터가 우리 데이터 스토어에 도달하면, 이벤트가 트리거되어 Nvidia NIM을 호출하고... 저장된 데이터를 가져와 AI 작업을 위한 벡터화된 상태로 변환합니다."
VAST 데이터 플랫폼에서 직접 벡터를 생성하고 저장함으로써 고객이 별도의 벡터 데이터베이스를 사용할 필요가 없어집니다.
"이제 엑사바이트 규모의 벡터를 전체 시스템에 걸쳐 단일 데이터베이스에 저장할 수 있습니다," Chaisson은 말합니다. "데이터베이스를 확장하기 위해 서버와 메모리를 추가할 필요 없이, 수백 개의 노드로 구성될 수 있는 전체 시스템 크기로 확장할 수 있습니다."
세 번째 발표인 행 및 열 수준 권한을 통한 세분화된 접근 제어 지원은 모든 데이터를 안전하게 유지하는 것을 목표로 합니다. 이 모든 기능을 VAST 플랫폼 내에 유지하면 제3자 도구를 사용하여 권한을 관리하는 것에 비해 고객에게 특정 보안 이점을 제공합니다.
"역사적으로 발생했던 문제는 파일을 벡터화할 때 보안이 함께 이동하지 않는다는 것입니다," Chaisson은 설명합니다. "소스 파일에 대한 권한이 없어야 하는 사람이 벡터와 데이터 청크에 실수로 접근할 수 있게 될 수 있습니다. 이제 우리 솔루션에서는 파일의 보안을 변경하면 벡터의 보안도 변경되며, 전체 데이터 체인에 걸쳐 단일 통합 원자 보안 컨텍스트가 보장됩니다. 이는 AI와 관련된 많은 거버넌스 및 규제 준수 과제를 충족하는 데 훨씬 더 안전합니다."
VAST 데이터는 다음 주 GTC 2025 컨퍼런스에서 이러한 기능을 선보일 예정입니다.
카테고리:
AI/ML/DL, 클라우드, 데이터 분석, 소매, 소프트웨어, 스토리지
태그:
AI, 빅데이터, GTC, HPC, VAST 데이터, VAST 데이터 플랫폼