Veröffentlicht am | Bearbeitet am | in

当Spark程序在运行时，会提供一个Web页面查看Application运行状态信息。是否开启UI界面由参数spark.ui.enabled(默认为true)来确定。下面列出Spark UI一些相关配置参数，默认值，以及其作用。

enter description here

本文接下来分成两个部分，第一部分基于Spark-1.6.0的源码，结合第二部分的图片内容来描述UI界面在Spark中的实现方式。第二部分以实例展示Spark UI界面显示的内容。

Weiterlesen »

Veröffentlicht am | Bearbeitet am | in

之前呢，我们详细地分析了DAGScheduler的执行过程，我们知道，RDD形成的DAG经过DAGScheduler，依据shuffle将DAG划分为若干个stage，再由taskScheduler提交task到executor中执行，那么执行task的过程，就需要调度器来参与了。

Spark调度器主要有两种模式，也是大家耳熟能详的FIFO和FAIR模式。默认情况下，Spark是FIFO（先入先出）模式，即谁先提交谁先执行。而FAIR（公平调度）模式会在调度池中为任务进行分组，可以有不同的权重，根据权重来决定执行顺序。

那么源码中是怎么实现的呢？

Weiterlesen »

Veröffentlicht am | Bearbeitet am | in

前面介绍了大概的使用语句，接下来讲解基本的功能点的实现。

SQL语句的解析(解析部分为开源项目flinkStreamSQL内容，直接拿过来用)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
CREATE TABLE SocketTable(
    word String,
    valuecount int
)WITH(
    type='socket',
    host='hadoop-sh1-core1',
    port='9998',
    delimiter=' '
);
create SINK console(
)WITH(
    type='console',
    outputmode='complete'
);
insert into console select word,count(*) from SocketTable group by word;
Weiterlesen »