Hbase(补充)

1、用sqoop 从mysql数据库导入数据到hbase时:

可以用 sqoop list-databases --connect jdbc:mysql://192.168.1.152:3306/ --username sqoop --password sqoop 测试是否可以连接到mysql数据库

2、hbase 命令时，无法删除打错的命令，解决办法：option——session options——Terminal——Enulation——选择Linux。可以按住Ctrl +回车键删除

3、CRT 修改字体大小：option——session options——Terminal——Appearance——Front （修改背景颜色是current color scheme）

4、sqoop导入数据从mysql到hbase时，mysql中的数据类型可以使基本数据类型，不能是二进制类型的，导入hbase后，都以字节数组存储

5、创建一个列簇压缩格式为snappy的表： create 'CarData', { NAME => 'car', COMPRESSION => 'SNAPPY' }

6、如果修改表压缩格式为snappy：

disable 'test'

alter 'test', NAME => 'f', COMPRESSION => 'snappy'

NAME即column family，列族。HBase修改压缩格式，需要一个列族一个列族的修改。而且这个地方要小心，别将列族名字写错，或者大小写错误。因为这个地方任何错误，都会创建一个新的列族，且压缩格式为snappy。当然，假如你还是不小心创建了一个新列族的话，可以通过以下方式删除：

alter 'test', {NAME=>'f', METHOD=>'delete'}

enable 'test'

major_compact 'test'

describe 该表，验证是否生效

7、hbase 过滤时：

scan.setTimeRange() 方法是左闭右开，根据数据的入库时间过滤

8、spark 从hbase 根据列值过滤器过滤出数据形成RDD：

   val conf = new SparkConf().setAppName("daycount")
//      .setMaster("local")
    val sc = new SparkContext(conf)
    val hbaseConf = HBaseConfiguration.create()
    val tablename = " "
    val sca=new Scan()
    val filter1=new SingleColumnValueFilter(Bytes.toBytes("gps"),
      Bytes.toBytes("GPSTime"),
      CompareOp.LESS,
      new BinaryComparator(Bytes.toBytes(getTodayZero_time)))
    filter1.setFilterIfMissing(true)
    val filter2=new SingleColumnValueFilter(Bytes.toBytes("gps"),
      Bytes.toBytes("GPSTime"),
      CompareOp.GREATER_OR_EQUAL,
      new BinaryComparator(Bytes.toBytes(getYesTZero_time)))
    filter2.setFilterIfMissing(true)
    val filterArr=new util.ArrayList[Filter]()
    filterArr.add(filter1)
    filterArr.add(filter2)
    val filterlist=new FilterList(FilterList.Operator.MUST_PASS_ALL,filterArr)
    sca.setFilter(filterlist)
 hbaseConf.set("hbase.zookeeper.quorum", "        ")
    hbaseConf.set("hbase.zookeeper.property.clientPort", "2181")
//    hbaseConf.set("hbase.zookeep.znode.parent", "/hbase")
//    hbaseConf.set("hbase.master", "   ")
    hbaseConf.set(TableInputFormat.INPUT_TABLE, tablename)
    hbaseConf.set(TableInputFormat.SCAN,convertScanToString(sca))
    val hBaseRDD = sc.newAPIHadoopRDD(hbaseConf, classOf[TableInputFormat],
      classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
      classOf[org.apache.hadoop.hbase.client.Result])