Spark- 常见问题

记录spark使用中常见问题

SparkSQL

日期解析时用到SimpleDateFormat， SimpleDateFormat是线程不安全的。可以使用 FastDateFormat

如：

import org.apache.commons.lang3.time.FastDateFormat

// 输入文件日期时间格式
// [10/Nov/2018:00:01:02 +0800]
val YYYYMMDDHHMM_TIME_FORMAT = FastDateFormat.getInstance("dd/MMM/yyyy:HH:mm:ss Z", Locale.ENGLISH)