mmseg不处理标点和空格么？

发现标点和空格都出现在分词结果中，不太确定是不是应该这样。

这些你都可以设置stopwords

stopwords 是什么啊

看帮助文档中的说明

给个link吧，我在mmseg的源代码里搜了半天根本就没找到和stopword相关的任何东西。

stopwords不是mmseg的

mmseg是忠实的切分，他不抛弃任何人

知道了，谢谢。

我正在把libmmseg移植到recoll(http://www.lesbonscomptes.com/recoll/)，现在碰到的问题就是mmseg把标点也输出，我想在mmseg里面把中、英文标点都过滤掉，这样感觉比mmseg输出后再比较、过滤效率高点，但是读mmseg的代码还没有头绪，不知哪位大拿能指点一二。

那你可以先切分，在最终输出结果阶段，做一个全局替换，把所有的标点符号都替换掉即可；

否则提前去掉，可能影响分词准确性的

我不是提到最前去掉，我的猜想是这样，mmseg肯定是要利用标点的，天然的分割符号，不可能不用，我只是要在mmseg输出一个个token的时候把标点过滤掉不输出，因为这时候还在mmseg里面，应该会比较容易，我认为这时候还应该保留着tag的信息。

如果我等mmseg输出之后再过滤，我就要重做一遍mmseg做过的事情，这种重复劳动效率太低了。全局替换应该没那么简单，中文标点分布在unicode table不同地方，我看到了mmseg是用table, map来映射的，我自己替换也得做这个表，太不值得了。