호환성 높은 Arrow-native 드라이버를 통한 레이크하우스 분석
핸드는 CPU 오버헤드를 최소화하여 열 형식 데이터를 이동하기 위해 참조에 따라 배치를 기록하며, Delta Lake와 Apache Iceberg를 분석 도구에 연결합니다. DeltaForge는 Windows 및 기타 데스크탑용 ADBC 드라이버를 제공하며, 번들된 Power BI 커넥터와 Python, R, C에 대한 언어 바인딩을 포함합니다. 주요 장점은 낮은 대기 시간, 제로 복사 전송 및 객체 저장소에서의 직접 테이블 접근으로, Spark를 실행하지 않고 대형 레이크하우스 테이블을 쿼리하는 데이터 엔지니어와 BI 분석가를 목표로 하고 있습니다.
드라이버는 열 형식 데이터에 대해 Arrow-native, 제로 복사 전송을 제공합니다
DeltaForge ADBC 드라이버는 레코드 배치를 참조로 클라이언트 애플리케이션에 전달하여 행 지향 변환 오버헤드를 제거하고 데이터를 열 형식 메모리에 유지합니다. 이 드라이버는 Delta Lake와 Apache Iceberg 테이블 형식을 읽고 쓰며, Python, R 또는 C 클라이언트에 Arrow 레코드 배치로 데이터를 제공합니다. 행 버퍼 대신 열 배치가 필요한 워크플로우의 경우, 이는 추출 중 지연 시간을 줄이고 CPU 사용량을 감소시킵니다.
로컬에서 네이티브 SQL 엔진을 실행하여 외부 클러스터 의존성을 줄입니다
이 드라이버는 JVM 또는 Spark 의존성을 우회하는 SQL 엔진을 포함하고 있어, 쿼리를 관리 클러스터가 아닌 로컬 하드웨어나 기존 VM에서 실행할 수 있습니다. DeltaForge는 특정 작업 부하에 대해 표준 .NET ODBC 드라이버보다 13배 이상 빠른 벤치마크 속도를 광고하며, 이는 조직이 분석을 위해 별도의 Spark 클러스터를 유지 관리하는 것을 피하고자 하는 사용 사례를 지원합니다.
설치 및 BI 통합은 직접적이지만 기술적 설정을 가정합니다
Windows에서 드라이버는 서명된 MSI로 제공되며 WinGet을 통해 사용할 수 있고, 데스크톱용 Power BI 맞춤 커넥터도 함께 제공됩니다. 설치는 시스템 관리자에게 간단하지만, 커넥터를 기업 BI 파이프라인에 통합하려면 스토리지(S3, ADLS 또는 로컬 디스크)에 대한 접근을 구성하고 레이크하우스 테이블 레이아웃을 이해해야 합니다. ADBC 표준 바인딩을 통해 개발자는 자격 증명과 엔드포인트가 설정된 후 코드를 통해 드라이버를 호출할 수 있습니다.
운영 안전성과 시스템 영향은 고처리량 분석 요구와 일치합니다
이 드라이버는 객체 저장소에서 테이블을 직접 읽고 클러스터 메타데이터 작성을 피하여 활성 컴퓨팅 클러스터에 대한 의존성을 제거합니다. 배치를 참조로 전달하고 JVM 오버헤드를 피하기 때문에, 대규모 내보내기 중 행 기반 드라이버에 비해 CPU 및 메모리 압력이 감소합니다. 롤백 또는 스냅샷 안전성이 필요한 환경에서는 이러한 보호 조치를 드라이버 자체가 아닌 스토리지 또는 테이블 계층에서 관리해야 합니다.
레이크하우스 스토리지에 대해 쿼리를 실행할 수 있는 팀에 가장 적합; 대표 데이터에서 테스트하는 것이 좋습니다
DeltaForge ADBC 드라이버는 Spark 클러스터를 운영하지 않고 Delta Lake 또는 Iceberg 테이블에 대한 고속 액세스가 필요한 데이터 엔지니어 및 BI 팀을 위한 실용적인 옵션입니다. 더 빠른 데이터 전송과 낮은 로컬 CPU 사용을 기대할 수 있지만, 이를 통합하려면 스토리지 레이아웃 및 액세스 제어에 대한 지식이 필요합니다. 프로덕션에 배포하기 전에 데이터 세트의 복사본에서 쿼리를 테스트하여 권한 및 리소스 사용을 검증하세요. 추천합니다.
