vaex

SKILL.md

Vaex is a high-performance Python library designed for lazy, out-of-core DataFrames to process and visualize tabular datasets that are too large to fit into RAM. Vaex can process over a billion rows per second, enabling interactive data exploration and analysis on datasets with billions of rows.

Vaex provides six primary capability areas, each documented in detail in the references directory:

Load and create Vaex DataFrames from various sources including files (HDF5, CSV, Arrow, Parquet), pandas DataFrames, NumPy arrays, and dictionaries. Reference references/coredataframes.md for:

사용 가능한 RAM을 초과하는 대규모 테이블 형식 데이터 세트(수십억 행)를 처리하고 분석하는 데 이 기술을 사용하세요. Vaex는 코어 외부 DataFrame 작업, 지연 평가, 빠른 집계, 빅 데이터의 효율적인 시각화 및 대규모 데이터 세트에 대한 기계 학습에 탁월합니다. 사용자가 대규모 CSV/HDF5/Arrow/Parquet 파일로 작업해야 하거나, 대규모 데이터 세트에 대해 빠른 통계를 수행하거나, 빅 데이터의 시각화를 생성하거나, 메모리에 맞지 않는 ML 파이프라인을 구축해야 하는 경우에 적용하세요. 출처: jackspace/claudeskillz.

원본 보기