自主技术

我们的分词和词性标注系统，针对这些社会媒体的特殊性行进了特别处理。         

东西 总体来说，中文的分词和词性标注比英文要困难得多。这些困难主要体现在：歧义的情形（如“和服”、“产品和服务”、“东和服装”）；未登录词的处理（如新 产品名、人名等专有名词）；处理标准一致的判定（如“吃饭”和“洗澡”是当成一个词还是两个词）。在社会媒体中，中文的分词和词性标注包含了更多的挑战：

• 随着社会媒体的发展，热衷网络交流的用户逐步形成一些社会媒体特有的表达和词汇(Internet Slang)。例如，“这东东粉pp”、“酱紫”(“这东西很漂亮”、“就这样子”）在论坛中是很时尚的说法。并且，和传统语言相比，这些新词汇和新表达的涌现“超速度”。
• 多语言和符号的混杂。文字中穿插表情符号和图形，在年轻人发布的日志和博客中非常流行。微软空间和腾讯博客，提供了有趣的图片和动画集，让用户来表达他们的心情和感受。这些图片和动画，所表达的含义甚至比语言更丰富和传神。与此同时，中英文夹杂，缩写也变得十分普遍。lol，orz等新词汇在社会论坛中所代表的含义，远远超出简单的几个字所能表达，并且很多这样的符号和语言后面都有一个故事。例如，中文论坛最近很流行的“囧”就是由日本引进的，并且跟orz大有渊源（“囧rz”）。像Windows和iPhone这样代表产品和品牌的词汇，很多用户都直接采用，它们的中文名称很多人反而不熟悉。

这些因素表明，网络语言中有很多传统的分词和词性标注程序不能处理的情形。 我们的分词和词性标注系统，针对这些社会媒体的特殊性行进了特别处理。 在现有公共分词和词性标注语料库的基础上，我们专门收集了大量的典型网络文章， 重新训练了分析和词性标注的语言模型。 因此，能够很好地处理很有“个性”的网络文章。