跳转至

Lucene 语法使用方法

Lucene 简介

Lucene 是 Apache 软件基金会 4 jakarta 项目组的一个子项目，是一个开放源代码的全文检索引擎工具包。 Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

Lucene 语法

Lucene 的语法搜索格式允许您以灵活的方式构建搜索查询，以满足不同的搜索需求。以下是 Lucene 的语法搜索格式的详细说明：

关键字查询

要通过 Lucene 语法实现多个关键字的查询，您可以使用布尔逻辑操作符来组合多个关键字。Lucene 支持以下几种操作符：

  1. AND 操作符

    • 使用  AND  或  &&  来表示逻辑与关系。
    • 例如： term1 AND term2  或  term1 && term2

  2. OR 操作符

    • 使用  OR  或  ||  来表示逻辑或关系。
    • 例如： term1 OR term2  或  term1 || term2

  3. NOT 操作符

    • 使用  NOT  或 `` 来表示逻辑非关系。
    • 例如： term1 NOT term2  或  term1 -term2

  4. 引号

    • 您可以将一个短语括在引号中以进行精确匹配。
    • 例如： "exact phrase"

举例

  1. 指定字段

    field1:keyword1 AND (field2:keyword2 OR field3:keyword3) NOT field4:keyword4

    解释如下：

    • 查询字段  field1  必须包含关键字  keyword1 。
    • 同时，字段  field2  必须包含关键字  keyword2  或字段  field3  必须包含关键字  keyword3 。
    • 最后，字段  field4  不得包含关键字  keyword4 。

  2. 不指定字段

    keyword1 AND (keyword2 OR keyword3) NOT keyword4

    解释如下：

    • 查询关键字  keyword1  必须存在于任意可搜索的字段中。
    • 同时，关键字  keyword2  必须存在或关键字  keyword3  必须存在于任意可搜索的字段中。
    • 最后，关键字  keyword4  不得存在于任意可搜索的字段中。

模糊查询

在 Lucene 中，模糊查询可以通过波浪号 ~ 来实现近似匹配。您可以指定一个编辑距离来限制匹配的相似度程度。

term~

在上述示例中， term 是要进行模糊匹配的关键字。

请注意以下几点：

  • 波浪号  ~  后面可以指定一个可选的参数，用于控制模糊查询的相似度。
  • 参数值范围为 0 到 2 之间，其中 0 表示完全匹配，1 表示一次编辑操作（如增加、删除或替换字符）内可以匹配，2 表示两次编辑操作内可以匹配。
  • 如果不指定参数值，默认使用 0.5 作为相似度阈值。
  • 模糊查询将返回与给定关键字相似的文档，但会有一定的性能开销，特别是对于较大的索引。

通配符

Lucene 支持以下两种通配符查询：

  1. * 通配符： * 用于匹配零个或多个字符。

    例如， te*t  可以匹配 "test"、"text"、"tempest" 等。

  2. ? 通配符： ? 用于匹配单个字符。

    例如， te?t  可以匹配 "test"、"text" 等。

举例说明

te?t

在上述示例中， te?t 表示匹配以 "te" 开头，接着是一个任意字符，然后以 "t" 结尾的词。这种查询可以匹配例如 "test"、"text"、"tent" 等。

需要注意的是，问号只能代表一个字符，如果想要匹配多个字符或者是可变长度的字符，可以使用星号 * 进行多字符通配符匹配。 另外，问号不会匹配空字符串。

总结一下，Lucene 语法中的问号 ? 用作单字符通配符，表示匹配任意一个字符。通过在搜索关键字中使用问号，您可以进行更灵活和具体的模式匹配。

范围查询

Lucene 语法支持范围查询，您可以使用方括号 [ ] 或花括号 { } 来表示范围。以下是范围查询的示例：

  1. 包含边界的范围查询：

    • 方括号  [ ]  表示闭区间，包含边界值。
    • 例如： field:[value1 TO value2]  表示  field  的取值范围从  value1  到  value2 （包含两者）。

  2. 排除边界的范围查询：

    • 花括号  { }  表示开区间，排除边界值。
    • 例如： field:{value1 TO value2}  表示  field  的取值范围在  value1  和  value2  之间（不包含两者）。

  3. 省略边界的范围查询：

    • 可以省略一个或两个边界值来指定无限范围。
    • 例如： field:[value TO ]  表示  field  的取值范围从  value  到正无穷， field:[ TO value]  表示  field  的取值范围从负无穷到  value 。

    Note

    请注意，范围查询只适用于能够进行排序的字段类型，如数字、日期等。同时，确保在查询时将边界值正确地指定为字段的实际值类型。 如果您希望在整个索引中进行范围查询而不指定特定字段，可以使用通配符查询 * 来代替字段名。

举例说明

  1. 指定字段

    timestamp:[2022-01-01 TO 2022-01-31]

    这将检索 timestamp 字段在 2022 年 1 月 1 日到 2022 年 1 月 31 日之间的数据。

  2. 不指定字段

    *:[value1 TO value2]

    这将在整个索引中搜索取值范围从 value1 到 value2 的文档。

Insight 常用关键字

容器日志

  • kubernetes.container_image: 容器镜像名称
  • kubernetes.container_name: 容器名称
  • kubernetes.namespace_name: 命名空间名称
  • kubernetes.pod_name: Pod 名称
  • log: 日志内容
  • time: 日志时间戳

主机日志

  • syslog.file: 日志文件路径
  • syslog.host: 主机名称
  • log: 日志内容

如果你想要精确匹配某个特定的值，可以在关键字后加入 .keyword 后缀，例如 kubernetes.container_name.keyword。

示例

  1. 查询指定 Pod 中指定容器的日志

    kubernetes.pod_name.keyword:nginx-pod AND kubernetes.container_name.keyword:nginx
    2. 查询 Pod 名称中包含 nginx-pod 的容器日志

    kubernetes.pod_name:nginx-pod

评论