vaex

SKILL.md

Vaex is a high-performance Python library designed for lazy, out-of-core DataFrames to process and visualize tabular datasets that are too large to fit into RAM. Vaex can process over a billion rows per second, enabling interactive data exploration and analysis on datasets with billions of rows.

Vaex provides six primary capability areas, each documented in detail in the references directory:

Load and create Vaex DataFrames from various sources including files (HDF5, CSV, Arrow, Parquet), pandas DataFrames, NumPy arrays, and dictionaries. Reference references/coredataframes.md for:

このスキルは、使用可能な RAM を超える大規模な表形式データセット (数十億行) の処理と分析に使用します。 Vaex は、コア外の DataFrame 操作、遅延評価、高速集計、ビッグデータの効率的な視覚化、および大規模なデータセットでの機械学習に優れています。ユーザーが大規模な CSV/HDF5/Arrow/Parquet ファイルを操作する必要がある場合、大規模なデータセットの高速統計を実行する必要がある場合、ビッグ データの視覚化を作成する必要がある場合、またはメモリに収まらない ML パイプラインを構築する必要がある場合に適用します。 ソース: ovachiever/droid-tings。

原文を見る