Spark发布了最新的版本spark-2.4.2
根据官网介绍,此版本对于使用spark2.4的用户来说帮助是巨大的
版本介绍
Spark2.4.2是一个包含稳定性修复的维护版本。 此版本基于Spark2.4维护分支。 我们强烈建议所有2.4用户升级到此稳定版本。
显著的变化
- SPARK-27419:在spark2.4中将spark.executor.heartbeatInterval设置为小于1秒的值时,它将始终失败。 因为该值将转换为0,心跳将始终超时,并最终终止执行程序。
- 还原SPARK-25250:可能导致作业永久挂起,在2.4.2中还原。
详细更改
BUG
issues | 内容摘要 |
---|---|
[ SPARK-26961 ] | 在Spark Driver中发现Java死锁 |
[ SPARK-26998 ] | 在Standalone模式下执行’ps -ef’程序进程,输出spark.ssl.keyStorePassword的明文 |
[ SPARK-27216 ] | 将RoaringBitmap升级到0.7.45以修复Kryo不安全的ser / dser问题 |
[ SPARK-27244 ] | 使用选项logConf = true时密码将以conf的明文形式记录 |
[ SPARK-27267 ] | 用Snappy 1.1.7.1解压、压缩空序列化数据时失败 |
[ SPARK-27275 ] | EncryptedMessage.transferTo中的潜在损坏 |
[ SPARK-27301 ] | DStreamCheckpointData因文件系统已缓存而无法清理 |
[ SPARK-27338 ] | TaskMemoryManager和UnsafeExternalSorter $ SpillableIterator之间的死锁 |
[ SPARK-27351 ] | 在仅使用空值列的AggregateEstimation之后的错误outputRows估计 |
[ SPARK-27390 ] | 修复包名称不匹配 |
[ SPARK-27394 ] | 当没有任务开始或结束时,UI 的陈旧性可能持续数分钟或数小时 |
[ SPARK-27403 ] | 修复updateTableStats以使用新统计信息或无更新表统计信息 |
[ SPARK-27406 ] | 当两台机器具有不同的Oops大小时,UnsafeArrayData序列化会中断 |
[ SPARK-27419 ] | 将spark.executor.heartbeatInterval设置为小于1秒的值时,它将始终失败 |
[ SPARK-27453 ] | DSV1静默删除DataFrameWriter.partitionBy |
改进
issues | 内容摘要 |
---|---|
[ SPARK-27346 ] | 松开在ExpressionInfo的’examples’字段中换行断言条件 |
[ SPARK-27358 ] | 将jquery更新为1.12.x以获取安全修复程序 |
[ SPARK-27479 ] | 隐藏“org.apache.spark.util.kvstore”的API文档 |
工作
issues | 内容摘要 |
---|---|
[ SPARK-27382 ] | 在HiveExternalCatalogVersionsSuite中更新Spark 2.4.x测试 |