spice-acceleration

Data acceleration materializes working sets of data locally, reducing query latency from seconds to milliseconds. Hot data gets materialized for instant access while cold data remains federated.

Unlike traditional caches that store query results, Spice accelerates entire datasets with configurable refresh strategies and the flexible compute of an embedded database.

| Small datasets (<1 GB), max speed | arrow | In-memory, lowest latency | | Medium datasets (1-100 GB), complex SQL | duckdb | Mature SQL, memory management | | Large datasets (100 GB-1+ TB), analytics | cayenne | Built on Vortex (Linux Foundation), 10-20x faster scans | | Point lookups on large datasets | cayenne | 100x faster random access vs Parquet |

データをローカルで高速化し、1 秒未満のクエリ パフォーマンスを実現します。データ アクセラレーションの有効化、エンジン (Arrow、DuckDB、SQLite、Cayenne) の選択、更新モードの構成、保持ポリシーの設定、スナップショットの作成、インデックスの追加、またはデータセットの具体化を行うときに使用します。 ソース: spiceai/skills。