Veröffentlicht am | Bearbeitet am | in

现象描述

1
2
3
4
5
6
7
8
9
10
11
val acc = sc.accumulator(0, “Error Accumulator”)
val data = sc.parallelize(1 to 10)
val newData = data.map(x => {
  if (x % 2 == 0) {
 accum += 1
}
})
newData.count
acc.value
newData.foreach(println)
acc.value

上述现象，会造成acc.value的最终值变为10

Weiterlesen »

Veröffentlicht am | Bearbeitet am | in

1.背景

本人(若泽数据J哥)的媳妇，是个漂亮的妹子，同时也是一枚爬虫&Spark开发工程师。

前天，她的公司MySQL(阿里云ECS服务器)，由于磁盘爆了加上人为的修复，导致各种问题，然后经过2天的折腾，终于公司的大神修复不了了。于是就丢给她了，顺理成章的就丢给我了。我想说，难道J哥这么出名吗？那为了在妹子面前不能丢我们真正大佬的神技，于是乎我就很爽快接了这个MySQL故障恢复，此次故障的是一个数据盘，1T。
这时的我，说真的并没有意识到，此事是如此的繁杂，特此写此博文记录一下，毕竟J哥我年纪也大了。

PS:
这里吐槽一下，并没有周日全备+周1~周6增量备份机制哟，不然恢复就爽歪歪了。

Weiterlesen »

Veröffentlicht am | Bearbeitet am | in

学习路径

Weiterlesen »

Veröffentlicht am | Bearbeitet am | in

思路 & 需求

参考IntAccumulatorParam的实现思路（上述文章中有讲）：

1
2
3
4
5
6
7
trait AccumulatorParam[T] extends AccumulableParam[T, T] {
  def addAccumulator(t1: T, t2: T): T = {
    // addInPlace有很多具体的实现类
    // 如果想要实现自定义的话，就得实现这个方法
    addInPlace(t1, t2)
  }
}
Weiterlesen »