vaex

SKILL.md

Vaex is a high-performance Python library designed for lazy, out-of-core DataFrames to process and visualize tabular datasets that are too large to fit into RAM. Vaex can process over a billion rows per second, enabling interactive data exploration and analysis on datasets with billions of rows.

Vaex provides six primary capability areas, each documented in detail in the references directory:

Load and create Vaex DataFrames from various sources including files (HDF5, CSV, Arrow, Parquet), pandas DataFrames, NumPy arrays, and dictionaries. Reference references/coredataframes.md for:

Verwenden Sie diese Fähigkeit zum Verarbeiten und Analysieren großer tabellarischer Datensätze (Milliarden Zeilen), die den verfügbaren RAM überschreiten. Vaex zeichnet sich durch Out-of-Core-DataFrame-Operationen, verzögerte Auswertung, schnelle Aggregationen, effiziente Visualisierung großer Datenmengen und maschinelles Lernen für große Datenmengen aus. Wenden Sie es an, wenn Benutzer mit großen CSV-/HDF5-/Arrow-/Parquet-Dateien arbeiten, schnelle Statistiken zu umfangreichen Datensätzen erstellen, Visualisierungen großer Datenmengen erstellen oder ML-Pipelines erstellen müssen, die nicht in den Speicher passen. Quelle: jackspace/claudeskillz.

Original anzeigen