标签：数据湖

用了三年数据湖Iceberg，我才明白这些道理

三年前我们团队开始在生产环境使用Apache Iceberg作为数据湖表格式。这三年里踩了很多坑，也积累了不少经验。本文不做入门科普，只分享使用三年后才真正明白的道理，包括架构设计、性能优化、运维治理、团队协作等方面的实战经验。

数据湖Iceberg踩坑记：那些让我熬夜的问题

我们在数据湖中引入了Apache Iceberg，本以为能解决数据管理的问题，结果踩了很多坑。本文记录了我们在使用Iceberg过程中遇到的各种问题，包括小文件问题、Schema演进、并发写入、性能问题等，以及每个问题的排查过程和解决方案。如果你也在用或者打算用Iceberg，希望这些踩坑经验能帮你少走弯路。

数据湖 vs Go 1.15/1.16：到底该选哪个

数据湖和Go语言看起来是两个不相关的东西，但在构建数据处理系统时，它们是两个关键的技术选型：数据存储架构用数据湖还是数据仓库？后端处理用Go 1.15还是升级到Go 1.16？本文从实际项目出发，对比这两个技术选型的优劣，帮你做出适合自己的选择。