生产Spark Executor Dead快速剖析

Veröffentlicht am | Bearbeitet am | in | Aufrufe:

问题现象

通过Spark UI查看Executors，发现存在Executor Dead的情况

enter description here

进一步查看dead Executor stderr日志，发现如下报错信息：

enter description here

解决过程

打开GC日志，配置如下
1
2
--conf "spark.executor.extraJavaOptions= -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps"
--conf "spark.driver.extraJavaOptions= -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps"
打开exeutor gc日志，发现一直在full gc，几乎每秒1次，基本处于拒绝服务状态

enter description here

至此找到问题原因，executor内存不够导致dead，调大executor内存即可 ，所以排错方法定位很重要！