一、sqoop简介
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
总之Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。
二、环境介绍
系统：Centos 6.5
Hadoop：Apache，2.7.3
Mysql：5.1.73
JDK：1.8
由于sqoop2不稳定，所有sqoop版本选择了1.4.7。
三、sqoop安装
1. 下载，解压到指定目录
wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar –xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz –C /opt
2. 修改配置文件sqoop-env.sh
在sqoop/conf目录下有一个文件sqoop-env-template.sh，把它复制为sqoop-env.sh并修改
cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
#Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/opt/hadoop-2.7.3 #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.3 #set the path to where bin/hbase is available export HBASE_HOME=/opt/hbase #Set the path to where bin/hive is available export HIVE_HOME=/opt/hive #Set the path for where zookeper config dir is #export ZOOCFGDIR=
上面的内容要按照实际情况修改，另外，你还装了Zookeeper则最后一句也要配置。
3. 配置环境变量
我是自己的测试机，又是root用户，所以我直接改~/.bashrc：
export SQOOP_HOME=/opt/sqoop export PATH=$PATH:${SQOOP_HOME}/bin export CLASSPATH=$CLASSPATH:${SQOOP_HOME}/lib
然后让配置文件生效：
source ~/.bashrc
4. 复制相关依赖包$SQOOP_HOME/lib
主要复制下面两个文件，mysql驱动如果没有自己下一个。
cp ./mysql-connector-java-5.1.30/mysql-connector-java-5.1.30-bin.jar ${SQOOP_HOME}/lib cp $HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.3.jar ${SQOOP_HOME}/lib
5. 修改$SQOOP_HOME/bin/configure-sqoop
注释掉HCatalog，Accumulo检查(除非你准备使用HCatalog，Accumulo等HADOOP上的组件)
##Moved to be a runtime check in sqoop. #if[ ! -d "${HCAT_HOME}" ]; then # echo "Warning: $HCAT_HOME does notexist! HCatalog jobs will fail." # echo 'Please set $HCAT_HOME to the root ofyour HCatalog installation.' #fi #if[ ! -d "${ACCUMULO_HOME}" ]; then # echo "Warning: $ACCUMULO_HOME does notexist! Accumulo imports will fail." # echo 'Please set $ACCUMULO_HOME to the rootof your Accumulo installation.' #fi #Add HCatalog to dependency list #if[ -e "${HCAT_HOME}/bin/hcat" ]; then # TMP_SQOOP_CLASSPATH=${SQOOP_CLASSPATH}:`${HCAT_HOME}/bin/hcat-classpath` # if [ -z "${HIVE_CONF_DIR}" ]; then # TMP_SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH}:${HIVE_CONF_DIR} # fi # SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH} #fi #Add Accumulo to dependency list #if[ -e "$ACCUMULO_HOME/bin/accumulo" ]; then # for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*accumulo.*jar |cut -d':' -f2`; do # SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn # done # for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*zookeeper.*jar |cut -d':' -f2`; do # SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn # done #fi
6. 测试与mysql的连接
首先确保mysqld在运行：
service mysqld start
然后测试是否连通：
sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P
输入密码后如果能显示你mysql上的数据库则表示已经连通。
四、参考
（完）