NLP的文本分类过程中,大多会统计文章的词频,这是分类的重要依据之一。词频是由一个pair组成的,word是key
frequece是value。用什么方法统计最好,当然是map。用vector,list也可以实现,但是它们基于关键字的检索效率没有
map高,map一般是用rb-Tree实现的,查找效率是O(log(n)),list,vector都是线性的,查找复杂度是O(n)。
先上代码。
header
#ifndef _WORD_FREQUENCE_
#define _WORD_FREQUENCE_
#include <map>
#include <iostream>
#include <string>
using std::map;
class WordFrequence{
public:
WordFrequence(): file_name_(NULL){}
WordFrequence(char *file_name): file_name_(file_name){
LoadFromFile();
ReplaceSymbol();
parse();
}
private:
char *file_name_;
char *text;
map<std::string, int> word_frequence_map_;
void parse();
void ReplaceSymbol();
void LoadFromFile();
bool IsWhiteChar(const char chr);
friend std::ostream& operator<<(std::ostream& os, const WordFrequence& wf);
};
#endif
cpp
#include "word_frequence.h"
#include <string>
#include <iostream>
#include <fstream>
#include <map>
const char *symbols = "~!@#$%^&*()_+-=[]\\{}|:\";',./<>?";
const int MAX_SIZE = 100000;
bool WordFrequence::IsWhiteChar(const char chr){
switch (chr){
case '\t':
case '\r':
case '\n':
case ' ':
case '\0':
return true;
default:
return false;
}
}
void WordFrequence::LoadFromFile(){
std::ifstream is(file_name_, std::fstream::in);
if(!is)
std::cerr<<"error: can't open file: "<<"["<<file_name_<<"]"<<std::endl;
text = new char[MAX_SIZE];
is.read(text, MAX_SIZE);
}
void WordFrequence::parse(){
word_frequence_map_.clear();
int index=0;
int count = strlen(text);
std::string str;
while(index < count){
for(int i=index; i<=count; ++i){
if(IsWhiteChar(text[i])){
int len=i-index + 1;
char *p = new char[len];
memcpy(p, text+index, i-index);
p[len-1] = '\0';
str=p;
++word_frequence_map_[str];
index = i+1;
while(IsWhiteChar(text[index]))
++index;
break;
}
}
}
}
void WordFrequence::ReplaceSymbol(){
int j=0;
while(*(text+j) != '\0'){
for(int i=0; i<strlen(symbols); ++i){
if(*(text+j)==symbols[i])
*(text+j)=' ';
}
j++;
}
}
std::ostream& operator<<(std::ostream& os, const WordFrequence& wf){
os<<"word\t\tfrequence"<<std::endl;
os<<"-----------------------"<<std::endl;
std::map<std::string, int>::const_iterator i_begin = wf.word_frequence_map_.begin();
std::map<std::string, int>::const_iterator i_end = wf.word_frequence_map_.end();
while(i_begin != i_end){
os<<""<<i_begin->first<<"\t\t"<<i_begin->second<<""<<std::endl;
++i_begin;
}
return os;
}
#include <iostream>
#include "word_frequence.h"
using namespace std;
int main(int argc, char* argv[])
{
WordFrequence wf("d:\\test.txt");
return 0;
}
实现的方式很简单,首先把从文件里load出text,然后去掉里面的符号,最后扫描一遍文件,遇着单词就塞到map
里面.
++word_freq_map["word"];
这句话太好用了。一句话实现插入map,如果有就增加value,如果没有就插入。
这个程序简单训练了一下map容器的使用方法,也用到文件的读取。注意ostream open以后一定要判断open
成功了没有。ostream有几种读取方式,有格式化的>>读取,也有getline这种一行读取的,也有getchar这种一个字符
读一次的。也有read这种一次读一大段二进制的。读的时候一定要对文件内容有先验知识。
如果一次读的数据量很大,建议read来读取,效率很高,用循环读取可能效率很低。