符号同义词

最后一节内容我们来阐述下怎么对符号进行同义词处理，这和我们前面讲的同义词处理不太一样。符号同义词 是用别名来表示这个符号，以防止它在分词过程中被误认为是不重要的标点符号而被移除。

虽然绝大多数情况下，符号对于全文搜索而言都无关紧要，但是字符组合而成的表情，(((“emoticons”)))或许又会是很有意义的东西，甚至有时候会改变整个句子的含义，对比一下这两句话：

  • 我很高兴能在星期天工作。
  • 我很高兴能在星期天工作 :( （注：难过的表情）

标准 （注：standard）分词器或许会简单地消除掉第二个句子里的字符表情，致使两个原本意思相去甚远的句子变得相同。

我们可以先使用{ref}/analysis-mapping-charfilter.html[映射]字符过滤器，在文本被递交给分词器处理之前，把字符表情替换成符号同义词 emoticon_happy 或者emoticon_sad ：

  1. PUT /my_index
  2. {
  3.   "settings": {
  4.     "analysis": {
  5.       "char_filter": {
  6.         "emoticons": {
  7.           "type": "mapping",
  8.           "mappings": [ (1)
  9.             ":)=>emoticon_happy",
  10.             ":(=>emoticon_sad"
  11.           ]
  12.         }
  13.       },
  14.       "analyzer": {
  15.         "my_emoticons": {
  16.           "char_filter": "emoticons",
  17.           "tokenizer":   "standard",
  18.           "filter":    [ "lowercase" ]
  19.           ]
  20.         }
  21.       }
  22.     }
  23.   }
  24. }
  26. GET /my_index/_analyze?analyzer=my_emoticons
  27. I am :) not :( (2)

<1> 映射 过滤器把字符从 => 左边的格式转变成右边的样子。

<2> 输出： i 、 am 、 emoticon_happy 、 not 、 emoticon_sad 。

很少有人会搜 emoticon_happy 这个词，但是确保类似字符表情的这类重要符号被存储到索引中是非常好的做法，在进行情感分析的时候会很有用。当然，我们也可以用真实的词汇来处理符号同义词，比如： happy 或者 sad 。

提示： 映射 字符过滤器是个非常有用的过滤器，它可以用来对一些已有的字词进行替换操作，你如果想要采用更灵活的正则表达式去替换字词的话，那你可以使用{ref}/analysis-pattern-replace-charfilter.html[ pattern_replace ]字符过滤器。