博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
第18课:Spark Streaming中空RDD处理及流处理程序优雅的停止
阅读量:6407 次
发布时间:2019-06-23

本文共 613 字,大约阅读时间需要 2 分钟。

hot3.png

本期内容:

1,Spark Streaming中的空RDD处理

2,Spark Streaming程序的停止

 

StreamingContext的stop方法,是立即停止,不会等待处理完已接收到的数据的。是否再调用stop方式时停止SparkContext可以通过spark.streaming.stopSparkContextByDefault这个参数来设置。

    在stop方法中,调用scheduler的stop方法,判断是否停止SparkContext。

    在JobScheduler的stop方法中,先调用receiverTracker的stop方法,再调用jobGenerator的stop方法,然后根据是否需要等待数据处理完,分别调用jobExecutor的awaitTermination方法,等待时间为2s或1h,最后调用listenerBus和eventLoop的stop方法。

 

    在调用StreamingContext的start方法时,其实已经注册了构造函数stopOnShutdown。

 

    在stopOnShutdown方法中,还会调用stop方法,其中可以配置spark.streaming.stopGracefullyOnShutdown来使得是否需要在停止Spark Streaming时处理完已接收到的数据。

 

转载于:https://my.oschina.net/u/928448/blog/689166

你可能感兴趣的文章
基础数据类型之字典
查看>>
第七次作业
查看>>
Oracle中NVARCHAR2与VARCHAR2的区别
查看>>
php debug
查看>>
iOS 之 Core Data实践 1
查看>>
简单使用游标插入数据
查看>>
爬虫与多线程
查看>>
day06-python元祖
查看>>
as3字型的使用
查看>>
JavaScript 中 !==和 != 的区别
查看>>
CKEDITOR 默认最大化
查看>>
sonar环境的搭建
查看>>
[开源]在iOS上实现Android风格的控件Toast
查看>>
python endswith和startwith
查看>>
c# 如何中List<object>中去掉object对象中的重复列数据?
查看>>
8086 汇编指令速查手册
查看>>
Ubuntu构建LVS+Keepalived高可用负载均衡集群【生产环境部署】
查看>>
站长福利:网站内容设置扫码打赏后才能看啦!
查看>>
温州动车事故中受伤的“我”,还好吗?
查看>>
lvm实现快速备份文件及数据库,lvm快照原理
查看>>