vaex

SKILL.md

Vaex is a high-performance Python library designed for lazy, out-of-core DataFrames to process and visualize tabular datasets that are too large to fit into RAM. Vaex can process over a billion rows per second, enabling interactive data exploration and analysis on datasets with billions of rows.

Vaex provides six primary capability areas, each documented in detail in the references directory:

Load and create Vaex DataFrames from various sources including files (HDF5, CSV, Arrow, Parquet), pandas DataFrames, NumPy arrays, and dictionaries. Reference references/coredataframes.md for:

Utilisez cette compétence pour traiter et analyser de grands ensembles de données tabulaires (des milliards de lignes) qui dépassent la RAM disponible. Vaex excelle dans les opérations DataFrame hors cœur, l'évaluation paresseuse, les agrégations rapides, la visualisation efficace du Big Data et l'apprentissage automatique sur de grands ensembles de données. Appliquez-le lorsque les utilisateurs doivent travailler avec des fichiers CSV/HDF5/Arrow/Parquet volumineux, effectuer des statistiques rapides sur des ensembles de données volumineux, créer des visualisations de Big Data ou créer des pipelines ML qui ne tiennent pas en mémoire. Source : ovachiever/droid-tings.

Voir l'original