spark streamming 运行一轮就停了

写了一个spark streamming 程序

总是只运行一轮就停.

把逻辑简化到最简单: 把输入存到redis.

        // 具体处理过程
        messages.filter(DirectLog::_logTypeFilter)
                .foreachRDD((rdd)->{
                    rdd.foreachPartition((partitionOfRecords)->{
                        RedisUtil lru = LoggingRedisUtil.getInstance();
                        partitionOfRecords.forEachRemaining((t2)->{
                            String log = t2._2();
                            lru.rpush(TimeHelper.sysStartTime, log);
                        });
                    });
                });

还是不行.

也没有报错, redis 里的数据也不增加.

================ 华丽的分割线  ===========

加上了句 

sparkConf.set("spark.rpc.netty.dispatcher.numThreads","2");

问题解决了

原文地址:https://www.cnblogs.com/fadedlemon/p/11738725.html