模式分析器

原文链接 : https://www.elastic.co/guide/en/elasticsearch/reference/5.3/analysis-pattern-analyzer.html（修改该链接为官网对应的链接）

译文链接 : http://www.apache.wiki/display/Elasticsearch/analysis-pattern-analyzer.html（修改该链接为 ApacheCN 对应的译文链接）

贡献者 : @您的名字，ApacheCN，Apache中文网

pattern analyzer 使用正则表达式将文本拆分为词语。 正则表达式应该不是token本身匹配 token separators 。 正则表达式默认为\ W +（或所有非字符字符）。

Beware of Pathological 正则表达式

pattern analyzer 使用java正则表达式

一个严重的正则表达式可能会运行得非常慢，甚至会抛出一个StackOverflowError，并导致它正在运行的节点突然退出。

阅读更多关于pathological正则表达式和如何避免它们。

定义

它包括：

分词器

词语过滤器

输出实例

  1. POST _analyze
  2. {
  3.   "analyzer": "pattern",
  4.   "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  5. }

上述的句子将产生以下的词语：

  1. [ the, 2, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

配置

pattern analyzer 接受以下参数：

pattern Java正则表达式默认为\ W +。

flags Java正则表达式标志。 标志应分开管道，例如“CASE_INSENSITIVE | COMMENTS”。

lowercase 是否应该降低条件？ 默认为true。

stopwords 预定义的 stop 词列表，如english或包含停止词列表的数组。 默认为\ none。

stopwords_path 包含停止词的文件的路径。

有关stop word配置的更多信息，请参阅Stop Token Filter。

配置实例

在这个例子中，我们配置了模式分析器来分割非字符字符或下划线（\ W | _）的电子邮件地址，并将结果缩小：

  1. PUT my_index
  2. {
  3.   "settings": {
  4.     "analysis": {
  5.       "analyzer": {
  6.         "my_email_analyzer": {
  7.           "type":      "pattern",
  8.           "pattern":   "\\W|_", 
  9.           "lowercase": true
  10.         }
  11.       }
  12.     }
  13.   }
  14. }
  16. POST my_index/_analyze
  17. {
  18.   "analyzer": "my_email_analyzer",
  19.   "text": "John_Smith@foo-bar.com"
  20. }

1>当将模式指定为JSON字符串时，模式中的反斜杠需要转义。

上述的句子将产生以下的词语：

  1. [ john, smith, foo, bar, com ]

CamelCase 分词器

以下更复杂的示例将 CamelCase 文本分成token：

  1. PUT my_index
  2. {
  3.   "settings": {
  4.     "analysis": {
  5.       "analyzer": {
  6.         "camel": {
  7.           "type": "pattern",
  8.           "pattern": "([^\\p{L}\\d]+)|(?<=\\D)(?=\\d)|(?<=\\d)(?=\\D)|(?<=[\\p{L}&&[^\\p{Lu}]])(?=\\p{Lu})|(?<=\\p{Lu})(?=\\p{Lu}[\\p{L}&&[^\\p{Lu}]])"
  9.         }
  10.       }
  11.     }
  12.   }
  13. }
  15. GET my_index/_analyze
  16. {
  17.   "analyzer": "camel",
  18.   "text": "MooseX::FTPClass2_beta"
  19. }

上述的句子将产生以下的词语：

  1. [ moose, x, ftp, class, 2, beta ]

上面的正则表达式比较容易理解为：

  1.   ([^\p{L}\d]+)                 # swallow non letters and numbers,
  2. | (?<=\D)(?=\d)                 # or non-number followed by number,
  3. | (?<=\d)(?=\D)                 # or number followed by non-number,
  4. | (?<=[ \p{L} && [^\p{Lu}]])    # or lower case
  5.   (?=\p{Lu})                    #   followed by upper case,
  6. | (?<=\p{Lu})                   # or upper case
  7.   (?=\p{Lu}                     #   followed by upper case
  8.     [\p{L}&&[^\p{Lu}]]          #   then lower case
  9.   )