spark client 配置lzo

spark-env.sh 配置

添加如下配置
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/hadoop-3.1.1.3.1.4.0-315/lib/native/
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/hadoop/hadoop-lzo-0.4.15-cdh5.14.2.jar

拷贝以下文件倒/opt/hadoop-3.1.1.3.1.4.0-315/lib/native/目录 
libgplcompression.a
libgplcompression.la
libgplcompression.lai
libgplcompression.so
libgplcompression.so.0
libgplcompression.so.0.0.0

目前测 lzo类库，在hadoop 2.6 跟3上都可以使用

改行去放羊