标签：Spark

用了三年Spark大数据，我才明白这些道理

Apache Spark是目前最流行的大数据计算框架之一，我用Spark做大数据处理也有三年了。这三年来，我用Spark做过数据清洗、特征工程、机器学习、实时计算等各种任务，踩了很多坑，也总结了很多经验。本文是我使用Spark三年的一些感悟和总结，包括性能调优、内存管理、数据倾斜处理、稳定性保障等方面的经验和教训。如果…

Spark大数据：踩坑总结与实战经验

用Spark做大数据处理有几年了，从最开始的入门到现在的深入，踩了不少坑。本文总结Spark大数据处理中常见的坑和对应的解决方案，包括数据倾斜、Shuffle调优、内存管理、序列化、性能调优等方面的实战经验。这些坑很多人都会遇到，希望我的总结能帮你少走弯路，提升Spark作业的性能和稳定性。

Spark大数据进阶：这些技巧你可能不知道

上一篇文章，我推荐了一些Spark大数据工具，很多朋友反馈说，很有帮助。但也有朋友说，工具是有了，但Spark的性能优化和进阶用法，还是不太清楚。今天，就来聊聊Spark大数据的进阶技巧，这些技巧，可能很多人都不知道，但掌握了之后，能让你的Spark程序，跑得更快、更稳、更高效。

Spark大数据工具推荐：提升效率的利器

Spark作为目前最流行的大数据计算框架，生态越来越完善，周边工具也越来越多。用好这些工具，可以大大提升Spark开发和运维的效率。今天，推荐一些我在日常工作中经常使用的Spark大数据工具，包括开发工具、调试工具、监控工具、数据处理工具等，每一个都是提升效率的利器，希望对大家有所帮助。

Spark大数据迁移实战：从旧系统到新系统

最近负责了一个大数据迁移项目，把旧的Hadoop MapReduce系统，迁移到新的Spark系统。整个过程，踩了很多坑，也积累了很多经验。今天，分享一下这次大数据迁移的实战经验，包括迁移前的准备、迁移的步骤、数据校验、性能调优、遇到的问题和解决方案，希望对正在做大数据迁移的朋友有所帮助。

Spark大数据从入门到放弃，我经历了什么

学Spark大数据已经有一段时间了，从最开始的兴致勃勃，到中间的踩坑无数，再到后来差点放弃，最后终于坚持下来，做出了一些成果。这段经历，真的是五味杂陈。今天，把我学习和使用Spark的经历分享出来，包括我踩过的坑、遇到的困难、以及最后总结的经验，希望能帮助正在学Spark的朋友。

无人机大疆Spark对比评测：谁才是真旗舰

我玩无人机也有两三年了，从最早的入门机，到后来的中端机，再到现在的大疆Spark，前前后后用过好几台无人机，算是对消费级无人机市场有一些自己的了解和体会。最近经常有朋友问我，想入门航拍，买哪款无人机好，大疆Spark值不值得买，和同价位的其他无人机比怎么样，谁才是真旗舰。今天就来写一篇大疆Spark的对比评测，结合我自…

无人机大疆Spark用了一个月，真实体验分享

一个月前，我入手了一台大疆Spark无人机，这是大疆的入门级掌上无人机，主打的是便携、智能、易用，适合新手和普通消费者。用了一个月，飞了几十次，拍了不少照片和视频，对这台无人机有了比较深入的了解，今天就来分享一下我的真实使用体验，聊聊这台无人机的优点和缺点，聊聊它的实际表现，适合什么样的人买，以及购买和使用的一些建议，…