Lance untuk multimodal AI data storage
2026-11-14 · #AI #TechReview

Lance adalah open lakehouse format yang menyimpan images, videos, embeddings, dan tabular data secara bersamaan. Format ini mempercepat random access hingga 100 kali lipat dibandingkan Parquet sekaligus mendukung hybrid vector dan full-text search langsung di object storage. SDK Python dan Rust-nya kompatibel dengan Pandas, DuckDB, serta Polars.
Cocok untuk membangun retrieval-augmented generation pipelines yang butuh fast random access saat training. Masalahnya, proyek ini masih berkembang pesat sehingga deployment mixed rentan mengalami compatibility issues. Pin stable storage versions dengan cermat agar tidak terjadi konflik versi.
sumber: github.com/lance-format/lance
my other side: setyadi.com
$ cd ~/
$ cat comments/ (0)