第1步：输出单个文件中的前 N 个最常出现的英语单词。
功能1：输出文件中所有不重复的单词，按照出现次数由多到少排列，出现次数同样多的，以字典序排列。
功能2： 指定文件目录，对目录下每一个文件执行统计的操作。
功能3：指定文件目录，是会递归遍历目录下的所有子目录的文件进行统计单词的功能。
功能4：输出出现次数最多的前 n 个单词，
例如， 提示统计统计前多少名：输入10。 就是输出最常出现单词的前 10 名。 当没有指明数量的时候，我们默认列出所有单词的频率。
第2步：第二步: 支持 stop words
在一本小说里， 频率出现最高的单词一般都是 "a", "it", "the", "and", "this", 这些词， 可以做一个 stop word 文件 （停词表）， 在统计词汇的时候，跳过这些词。 我们把这个文件叫 "stopwords.txt" file.
第三步: 想看看常用的短语是什么， 怎么办呢？
先定义短语："两个或多个英语单词， 它们之间只有空格分隔". 请看下面的例子：
hello world //这是一个短语
hello, world //这不是一个短语
同一频率的词组， 按照字典序来排列。
第四步：把动词形态都统一之后再计数。
想找到常用的单词和短语，但是发现英语动词经常有时态和语态的变化，导致同一个词，同一个短语却被认为是不同的。 怎么解决这个问题呢？
假设我们有这样一个文本文件，这个文件的每一行都是这样构成：
动词原型 动词变形1 动词变形2... ，词之间用空格分开。
e.g. 动词 TAKE 有下面的各种变形：take takes took taken taking
我们希望在实现上面的各种功能的时候，有一个选项， 就是把动词的各种变形都归为它的原型来统计。
功能 支持动词形态的归一化
package piao;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.IOException;
import java.io.PrintStream;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;
class letter
{
private char l;
private int count;
public char getL() {
return l;
}
public void setL(char l) {
this.l = l;
}
public int getCount() {
return count;
}
public void setCount(int count) {
this.count = count;
}
public letter() {};
public letter(char l,int count)
{
this.l=l;
this.count=count;
}
}
class word
{
private String value;
private int count;
public String getValue() {
return value;
}
public void setValue(String value) {
this.value = value;
}
public int getCount() {
return count;
}
public void setCount(int count) {
this.count = count;
}
public word() {};
public word(String value,int count)
{
this.value=value;
this.count=count;
}
}
public class Piao {
public static void main(String[] args)throws FileNotFoundException, IOException {
// TODO 自动生成的方法存根
Interface();
Scanner scan=new Scanner(System.in);
System.out.println("请选择：");
int num=scan.nextInt();
while(num!=0)
{
switch(num)
{
case 1:LetterList();break;
case 2:WordList();break;
case 3:System.out.println("输入数量n");int n=scan.nextInt();WordList(n);break;
}
Interface();
System.out.println("请选择：");
num=scan.nextInt();
}
}
public static void Interface()//主界面
{
System.out.println("1:统计字母数量及占比");
System.out.println("2:统计单词数量及占比");
System.out.println("3:统计前n个单词数量及占比");
System.out.println("按0退出");
}
public static void LetterList()throws FileNotFoundException, IOException//统计字母
{
File file=new File("F:/java开发/piao.txt");
BufferedReader br=new BufferedReader(new FileReader(file));
FileOutputStream out=new FileOutputStream("F:/java开发/jieguo.txt");
PrintStream p=new PrintStream(out);//文件写入流
String s;
int i=0;
double b=0;
int j=0;
double sum=0;
int count=0;
s=br.readLine();
char [] strArr1 = s.toCharArray();//转化为单个字符
for(i=0;i<strArr1.length;i++)
{
if(strArr1[i]!=' '||strArr1[i]!=','||strArr1[i]!='.')
sum++;
}//求全部字母数
for(char ch='a';ch<'z';ch++)
{
count=0;//计数器
for(i=0;i<strArr1.length;i++)
{
if(ch==strArr1[i]||strArr1[i]==ch-32)
count++;
}
if(count!=0)
b=count/sum;
System.out.print("字符中"+ch+"有"+count+"个");
System.out.println("占比："+String.format("%.2f", b));
}
}
public static void WordList()throws FileNotFoundException, IOException//统计单词
{
File file=new File("F:/java开发/piao.txt");
File file2=new File("F:/java开发/notuse.txt");
BufferedReader br=new BufferedReader(new FileReader(file));
BufferedReader br2=new BufferedReader(new FileReader(file2));
FileOutputStream out=new FileOutputStream("F:/java开发/jieguo.txt");
PrintStream p=new PrintStream(out);//文件写入流
String s;
String ss;
int i=0;
double b=0;
int j=0;
List<String> list=new ArrayList<String>();
double sum=0;
int count=0;
s=br.readLine();
ss=br2.readLine();
String []s1=s.split(" ");//以空格为分割划分每个单词
String []s2=ss.split(" ");
word []w=new word[s1.length];
for(i=0;i<s1.length;i++)
{
count=0;
for(j=0;j<s1.length;j++)
{
if(s1[i].equals(s1[j]))
{
count++;
}
}
w[i]=new word(s1[i],count);
}
word temp=new word();
for(i=0;i<s1.length;i++)
{
for(j=0;j<s1.length-1;j++)
{
if(w[j].getCount()<w[j+1].getCount())
{
temp=w[j];
w[j]=w[j+1];
w[j+1]=temp;
}
}
}
list.add(w[0].getValue());
for(i=0;i<w.length;i++)
{
boolean bool=true;
for(int m=0;m<s2.length;m++)
{
if(w[i].getValue().equals(s2[m]))
{
bool=false;
}
}
if(list.contains(w[i].getValue()))
continue;
else
{
if(bool)
{
System.out.println(w[i].getValue()+":"+w[i].getCount());
}
list.add(w[i].getValue());
}
}
}
public static void WordList(int n)throws FileNotFoundException, IOException//统计单词
{File file=new File("F:/java开发/piao.txt");
BufferedReader br=new BufferedReader(new FileReader(file));
FileOutputStream out=new FileOutputStream("F:/java开发/jieguo.txt");
PrintStream p=new PrintStream(out);//文件写入流
String s;
int i=0;
double b=0;
int j=0;
List<String> list=new ArrayList<String>();
double sum=0;
int count=0;
s=br.readLine();
String []s1=s.split(" ");//以空格为分割划分每个单词
word []w=new word[s1.length];
for(i=0;i<s1.length;i++)
{
count=0;
for(j=0;j<s1.length;j++)
{
if(s1[i].equals(s1[j]))
{
count++;
}
}
w[i]=new word(s1[i],count);
}
word temp=new word();
for(i=0;i<s1.length;i++)
{
for(j=0;j<s1.length-1;j++)
{
if(w[j].getCount()<w[j+1].getCount())
{
temp=w[j];
w[j]=w[j+1];
w[j+1]=temp;
}
}
}
list.add(w[0].getValue());
int nn=0;
for(i=0;i<s1.length;i++)
{
if(nn<n)
{
if(list.contains(w[i].getValue()))
continue;
else
{
System.out.println(w[i].getValue()+":"+w[i].getCount());
list.add(w[i].getValue());
nn++;
}
}
else
break;
}
}
}