Spark优化总结总结含泪实操,含数据格式/数据倾斜/算子优化/Join优化/参数调优等
1.数据格式 一般运行Spark都是跑一些数据量特别大的数据,为了保证内存被合理化、完整化使用,提议少用封装数据结构. 1. 对象 尽量少使用对象,由于每个对象都有对象头、引用等额外信息,很占用内存空...
对对联求下联？上联：食月观歌舞
我把月饼从模具里磕出来那一刻，就知道今晚八成又看不见月亮——云层厚得能掐出水，像谁把棉被盖在天上。可那又怎样？灶台上的油正慢慢渗进饼皮，六个小时后它们会自己变亮，像被月光偷偷吻过。去年村里来了批城里娃...