今天发布一个以前的想法，以前在做hadoop的文件上传的时候，当时老师说的是使用hadoop当作存储的类似MySQL的数据库，老师也说了这样做没必要，但也是让我们这样用，也就是将数据存到HDFS中实现信息管理系统，我这里做的是当时的想法，就是在HDFS中和MySQL一样创建几个文本文档当作数据表，然后每一行存信息，以此实现增删改查类似于MySQL，我当时也查找了一些文章，于是我当时按照我的理解将其封装成了方法使用，虽然最后老师又换了题目，但还是记录下：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;
import java.awt.*;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class HDFSMethod {
private static FileSystem fs;
private static void init() throws URISyntaxException, IOException, InterruptedException{
Configuration configuration = new Configuration();
configuration.set("dfs.replication","1");
// FileSystem fs = FileSystem.get(new
URI uri=new URI("hdfs://hadoop102:8020");
String user="wang";
fs = FileSystem.get(uri, configuration,user);
}
private static void close() throws IOException {
// 3 关闭资源
fs.close();
}
public void HDFSUpFile(String MyPath,String HdfsPath)throws IOException, URISyntaxException, InterruptedException{
init();
//参数1：是否删除本地的 参数二：是否覆盖已有同名的 参数三：原文件路径 参数四：目的路径
fs.copyFromLocalFile(false,true,new Path(MyPath),new Path(HdfsPath));
close();
}
public void HDFSInsert(String FPath,String oneitem)throws IOException, URISyntaxException, InterruptedException{
init();
Path path = new Path(FPath);
FSDataOutputStream fos = fs.append(path);
fos.write((oneitem+"\n").getBytes());
fos.close();
close();
}
//删除的方法在参数中在加入一个List的Bean类，然后循环执行写入的语句，遇到要删除的索引就不写入完成删除,把每一个Bean类都写一个对应的删除方法
//在参数中在加入一个Bean类用来存储数据减少读取次数
//在参数中在加入一个Bean类用来存储数据减少读取次数
//在参数中在加入一个Bean类用来存储数据减少读取次数
public void HDFSDelete(String FPath, int num)throws IOException, URISyntaxException, InterruptedException{
init();
Path path = new Path(FPath);
FSDataOutputStream fos = fs.create(path,true);
fos.write("待输入\n".getBytes());
fos.close();
close();
}
//修改的方法要在参数中再加入一个Bean类，然后循环执行写入的语句，遇到要修改的索引就是用第三个参数代表修改后的语句的，把每一个Bean类都写一个对应的修改方法
//在参数中在加入一个Bean类用来存储数据减少读取次数
//在参数中在加入一个Bean类用来存储数据减少读取次数
//在参数中在加入一个Bean类用来存储数据减少读取次数
public void HDFSChange(String FPath,int num,String ChangeStr)throws IOException, URISyntaxException, InterruptedException{
init();
Path path = new Path(FPath);
FSDataOutputStream fos = fs.create(path,true);
fos.write("待输入\n".getBytes());
fos.close();
close();
}
//查找所有的方法方法类型转换成Bean类，用来返回不同的读取，把每一个Bean类都写一个与之对应的查找所有的方法
public void HDFSFindAll(String FPath)throws IOException, URISyntaxException, InterruptedException{
init();
Path path = new Path(FPath);
FSDataInputStream fis = fs.open(path);
int len = 0;
byte[] buf = new byte[4096];
while ((len = fis.read(buf)) != -1){
System.out.println(new String(buf, 0, len));
}
fis.close();
close();
}
//查找某一条的方法根据需要在读取到每一行的时候进行判断，如果符合要求就将其加入到Bean的list中，把每一个精确查询的要求都写一个方法
public void HDFSSelect(String FPath,String need)throws IOException, URISyntaxException, InterruptedException{
init();
Path path = new Path(FPath);
FSDataInputStream fis = fs.open(path);
int len = 0;
byte[] buf = new byte[4096];
while ((len = fis.read(buf)) != -1){
System.out.println(new String(buf, 0, len));
}
fis.close();
close();
}
public void con()throws URISyntaxException, IOException, InterruptedException {
init();
close();
}
/*
init();
close();
*/
public List<PeopleBean> ShowAllPeople() throws URISyntaxException, IOException, InterruptedException {
List<PeopleBean> list=new ArrayList<>();
init();
Path path = new Path("/manage1/people.txt");
FSDataInputStream fis = fs.open(path);
BufferedReader d = new BufferedReader(new InputStreamReader(fis));
String line;
while ((line = d.readLine()) != null) {
PeopleBean bean=null;
String[] AS=line.split(" ");
bean=new PeopleBean(AS[0],AS[1],Integer.parseInt(AS[2]));
list.add(bean);
}
d.close();
fis.close();
close();
return list;
}
public void DelOnePeople(int num)throws URISyntaxException, IOException, InterruptedException {
List<PeopleBean> list=new ArrayList<>();
init();
Path path = new Path("/manage1/people.txt");
FSDataInputStream fis = fs.open(path);
BufferedReader d = new BufferedReader(new InputStreamReader(fis));
String line;
while ((line = d.readLine()) != null) {
PeopleBean bean=null;
String[] AS=line.split(" ");
bean=new PeopleBean(AS[0],AS[1],Integer.parseInt(AS[2]));
list.add(bean);
}
d.close();
fis.close();
list.remove(num);
FSDataOutputStream fos = fs.create(path,true);
for(int i=0;i<list.size();i++) {
fos.write((list.get(i).getName()+" "+list.get(i).getSex()+" "+list.get(i).getAge()+"\n").getBytes());
}
fos.close();
close();
}
}