最近自己动手写了一个中文分词器，没有什么高深的算法，就是基于词库匹配的一个简单程序。
该分词器支持中英文混合词，像“大s” ，“小3” 什么的，只要自己的词库有这个词，他就能分出来。
这个分词原理是正向最大匹配，不过只有简单消除歧义。
个人觉得消除歧义的话，只适合部分句子，有时候消除歧义反而会让有些正常语句分出不好的结果来。
该程序没有做过多消除歧义，个人觉得消除歧义这种方法对于一个通用的分词器作用很大。
如果你的分词器是用来针对某个领域的话，消除歧义不建议使用，如果你了解分词原理并对消除歧义测试结果做过大量测试的话，你会发现这点。（这只代表我个人观点，不喜勿喷）
现在开始介绍下该分词器：
分词原理 ： 假如有这么一句话 "你好，我是TomcatTD"
程序接收到这句话后，会从左到右依次读取，遇到标点符号的话截断，出现的每个词都和词库进行比较，如果词库里没有这个词，则取下个字开头的词
例子
你
你好
你好，
，
我
我是
TomcatTD
如果你词库里有 ”你好“，“我是” 这两个词的话
他就会分出来
最后结果是： 你好 ， 我是 TomcatTD
如果是“大s的妈妈病了”
只要你在词库里添加 “大s” “妈妈” “病了”
就会分出 “大s 的 妈妈 病了”
