标签：Lake

Delta Lake实战：那些年我踩过的坑

Delta Lake是Databricks开源的存储框架，在数据湖之上提供ACID事务、Schema演进、时间旅行等功能，这几年很火。我们团队两年前开始用Delta Lake做数据湖架构，从调研测试到生产大规模使用，踩了很多坑。本文分享实战中踩过的坑和解决方案，包括小文件问题、Schema演进、系统集成、时间旅行、并发…

Delta Lake最佳实践：我总结了这些经验

Delta Lake是Databricks开源的存储层框架，在Parquet之上，提供了ACID事务、Schema演进、时间旅行、UPSERT/DELETE/MERGE等功能，解决了数据湖的很多痛点，最近几年非常火。我在项目中，用Delta Lake，已经有一年多了，踩了很多坑，也总结了很多经验。本文分享Delta L…

Delta Lake：踩坑总结与实战经验

最近在项目中用Delta Lake做数据湖，踩了不少坑，也积累了一些实战经验。本文总结Delta Lake的核心概念、常见坑点、性能优化、最佳实践等内容，结合实际项目中的经验，给打算用Delta Lake的朋友一些参考。

Delta Lake性能优化实战：从慢到快

Delta Lake是构建在数据湖之上的开源存储层，提供ACID事务、Schema管理等能力。但是用不好的话，性能可能比直接用Parquet还慢。本文是我在实际项目中对Delta Lake进行性能优化的实战经验，包括小文件合并、数据分区、Z-Order优化、数据跳过、Vacuum清理等多个方面。每一项优化都有具体的操作…