Elasticsearch-数据建模实例

最新推荐文章于 2025-07-03 03:52:11 发布
原创 最新推荐文章于 2025-07-03 03:52:11 发布 · 2.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch

本文详细介绍了Elasticsearch的数据建模过程，包括功能需求与性能需求的平衡，字段类型的选取如Text与Keyword的区别，以及如何针对搜索、分词、聚合和排序进行字段设置。此外，还讨论了存储优化，如字段存储与_source的使用，并给出了图书索引的实例，展示了如何应对需求变更。最后，提到了Mapping参数的重要设置，以确保高效的数据管理和检索。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

什么是数据建模

数据建模: 功能需求 + 性能需求

如何对字段进行建模

字段类型

字段类型 Text VS Keyword

字段类型:结构化数据

搜索及分词

聚合及排序

额外的存储 

一个数据建模的实例

优化字段设定

需求变更

查询图书:解决字段过大引发的性能问题

Mapping字段的相关设置

什么是数据建模

  • 数据建模,是创建数据模型的过程

    • 数据建模是对真实世界进行抽象描述的一种工具和方法,实现对现实世界的映射.

      • 博客/作者/用户评论

    • 三个过程:概念模型=>逻辑模型=>数据模型(第三范式)

      • 数据模型:结合具体的数据库,在满足业务读写性能等需求的前提下,确定最终的定义

数据建模: 功能需求 + 性能需求

如何对字段进行建模

  • 确定字段类型--->是否需要搜索及分词--->是否需要聚合及排序--->是否需要额外的存储

字段类型

字段类型 Text VS Keyword

  • Text

    • 用于全文本字段,文本会被Analyzer分词

    • 默认不支持聚合分析及排序.需要设置fielddata为true

  • Keyword

    • 用于id,枚举及不需要分词的文本.例如电话号码,email地址,手机号码,邮政编码,性别等

    • 适用于Filter(精确匹配),Sorting和Aggregations

  • 设置多字段类型

    • 默认会为文本类型设置成text,并且设置一个keyword的子字段

    • 在处理认类语言时,通过增加"英文","拼音"和"标准"分词器,提高搜索结构

字段类型:结构化数据

  • 数值类型

    • 尽量选择贴近的类型.例如可以用byte,就不要用long

  • 枚举类型

    • 设置为keyword.即便是数字,也应该设置成keyword.获取更加好的性能

  • 其他

    • 日期 /布尔 / 地理信息

搜索及分词

  • 如不需要检索,排序和聚合分析

    • Enable设置成false

  • 如不需要检索

    • index设置成false

  • 对需要检索的字段,可以通过如下配置,设定存储粒度

    • index_options /Norms : 不需要归一化数据时,可以关闭

聚合及排序

  • 如不需要检索,排序和聚合分析

    • Enable设置成false

  • 如不需要排序或者聚合分析功能

    • Doc_values / fielddata设置成false

  • 更新频繁,聚合查询频繁的keyword类型的字段

    • 推荐将eager_global_ordinals设置成true

额外的存储 

  • 是否需要专门存储当前字段数据

    • Store设置成true,可以存储该字段的原始内容

    • 一般结合_source的enabl为false时候使用

  • Disable_source:节约磁盘(source的信息不需要在磁盘上做一个保存);适用于指标型数据(指标型文档不需要做任何的更新操作)

    • 一般先考虑增加压缩比

    • 无法看到_source字段,无法做Reindex,无法Update

一个数据建模的实例

优化字段设定

  • 图书索引
    • 书名:支持全文和精确匹配
    • 简介:支持全文
    • 作者:精确值
    • 发行日期:日期类型
    • 图书封面:精确值(因为没有必要对封面进行搜索所以可以有额外的设置:(1)如果index设置为false,不支持搜索,支持Terms聚合;(2)如果将enabled设为false,则无法进行搜索和聚合分析)

#添加数据,dynamic Mapping
PUT books/_doc/1
{
  "title": "Mastering ElasticSearch 5.0",
  "description": "Master the searching, indexing, and aggregation features in ElasticSearch Improve users’ search experience with Elasticsearch’s functionalities and develop your own Elasticsearch plugins",
  "author": "Bharvi Dixit",
  "public_date": "2017",
  "cover_url": "https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}

#查看Maping
GET books/_mapping

 #手动设置mapping:"index": false则不能通过该字段进行索引，数据还是会出现在_source中
PUT books
{
  "mappings": {
    "properties": {
      "author": {
        "type": "keyword"
      },
      "cover_url": {
        "type": "keyword",
        "index": false
      },
      "description": {
        "type": "text"
      },
      "public_date": {
        "type": "date"
      },
      "title": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 100
          }
        }
      }
    }
  }
}

#Cover URL index 设置成false，无法对该字段进行搜索
POST books/_search
{
  "query": {
    "term": {
      "cover_url": {
        "value": "https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
      }
    }
  }
}

#Cover URL index 设置成false，依然支持聚合分析
POST books/_search
{
  "aggs": {
    "cover": {
      "terms": {
        "field": "cover_url",
        "size": 10
      }
    }
  }
}

 

需求变更

  • 新需求:增加图书内容的字段.并要求被搜索同时高亮显示

  • 新需求会导致 _source 的内容过大(造成大量的存储空间的占用,数据在网络间传输的开销)

    • Source Filtering只是传输给客户端时进行过滤,Fetch数据时,ES节点还是会传输 _source中的数据

  • 解决办法

    • 关闭_source

    • 然后将每个字段的"store"设置成true(数据被额外的存储在ES当中)

查询图书:解决字段过大引发的性能问题

  • 返回结果不包含 _source字段

  • 对于需要显示的信息,可以在查询中指定"stored_fields"

  • 禁止_source字段后,还是支持使用highlightsAPI,高亮显示content中匹配的相关信息

 #重现设定mapping文件,新增 Content字段。数据量很大。选择将Source 关闭
PUT books
{
  "mappings": {
    "_source": {
      "enabled": false
    },
    "properties": {
      "author": {
        "type": "keyword",
        "store": true
      },
      "cover_url": {
        "type": "keyword",
        "index": false,
        "store": true
      },
      "description": {
        "type": "text",
        "store": true
      },
      "content": {
        "type": "text",
        "store": true
      },
      "public_date": {
        "type": "date",
        "store": true
      },
      "title": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 100
          }
        },
        "store": true
      }
    }
  }
}


PUT books/_doc/1
{
  "title": "Mastering ElasticSearch 5.0",
  "description": "Master the searching, indexing, and aggregation features in ElasticSearch Improve users’ search experience with Elasticsearch’s functionalities and develop your own Elasticsearch plugins",
  "content": "The content of the book......Indexing data, aggregation, searching.    something else. something in the way............",
  "author": "Bharvi Dixit",
  "public_date": "2017",
  "cover_url": "https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}

#查询结果中 source不包含数据
POST /books/_search 

 #搜索，通过store 字段显示数据，同时高亮显示 conent的内容
POST books/_search
{
  "stored_fields": ["title","author","public_date"],
  "query": {
    "match": {
      "content": "searching"
    }
  },

  "highlight": {
    "fields": {
      "content":{}
    }
  }
}

Mapping字段的相关设置

  • Mapping parameters | Elasticsearch Guide [8.1] | Elastic

    • Enabled -设置成false,仅作存储,不支持搜索和聚合分析(数据保存在_source中)

    • index -是否被倒排索引,设置成false,无法被搜索,但还是支持aggregation,并出现在_source中

    • Norms -如果字段用来做过滤和聚合分析,可以关闭,节约存储

    • Doc_values -是否启用doc_values,用于排序和聚合分析

    • Field_data -如果要对text类型启用排序和聚合分析,fielddata需要设置成true

    • Store -默认不存储,数据默认存储在_source

    • Coerce -默认开启,是否开启数据类型的自动切换 (例如,字符串转数字)

    • Multifields 多字段特性

    • Dynamic -true / false /strict 控制Mapping的自动更新

详解Elasticsearch数据建模：实例讲解与实战技巧
yonggeit的博客
11-29 334
ES数据建模实例讲解与实战技巧一级目录二级目录三级目录 一级目录 二级目录 三级目录
Power BI——数据建模案例分析
weixin_44790641的博客
01-10 9569
一、概念： 从多个表格、多个来源的数据中，根据不同的维度，不同的逻辑来聚合分析数据；而提取数据的前提是要将这些数据表建立关系，这个建立关系的过程就是数据建模。 二、案例： 比如有个电子产品专卖店，销售产品有三类：手机、电脑、平板，每一类又分别来自三个品牌：小米、苹果、三星，那么这个店销售的产品共计 9 个，其销售明细也是记录这些产品每天的销售数据， 为了能分析每个品牌的销售金额，或者分析每个产品类别的销售情况，其实还应该设计个 产品明细表以及对应的品牌表和种类表，像这样的： 分析以上4个表的关系：品牌表
数据建模例子
u011424431的专栏
08-14 1900
模拟网上购书系统 有
数据建模那点事儿
weixin_34258782的博客
02-05 1642
2019独角兽企业重金招聘Python工程师标准>>> ...
数据建模案例
hsl971105的博客
10-28 1882
需求：数据量亿级、日增量千万级 1、 如何快速的查询任意一天的 日累积、月累积、季累积、年累积的交易额 2、 如何快速的查询任意一天的 日累积、月累积、季累积、年累积的交易用户数 ODS：增量抽取数据 CREATE TABLE ods_order_info_di ( userid STRING COMMENT '用户ID', order_id STRING COMMENT '订单ID', order_date STRING COMMENT '订单日期', pay_amt
elasticsearch(20) 数据建模
m0_37139189的博客
11-02 228
1、文件系统数据构造 PUT /fs {   "settings": {     "analysis": {       "analyzer": {         "paths": {            "tokenizer": "path_hierarchy"         }       }     }   } } path_hierarchy tokenizer讲解 /
Elasticsearch-27.数据建模实例he数据建模最佳实践
飘然渡沧海的博客
04-12 1307
Elasticsearch 数据建模实例 什么是数据建模？ 数据建模（Data modeling）， 是创建数据模型的过程 数据模型是对真实世界进⾏抽象描述的⼀种⼯具和⽅法，实现对现实世界的映射 博客 / 作者 / ⽤户评论 三个过程：概念模型 => 逻辑模型 => 数据模型（第三范式） 数据模型：结合具体的数据库，在满⾜业务读写性能等需求的前提下，确定最终的定义 数据建模：功能需求 + 性能需求 如何对字段进⾏建模 字段类型：Text v.s Keyword Tex
ElasticSearch之数据建模
wang0907的博客
03-22 1740
数据建模是对真实数据的一种抽象，最终映射为计算机形式的表现。1：概念模型2：逻辑模型3：数据模型。
ArcGIS桌面工具--矢量数据导入elasticsearch
11-27
利用`elasticsearch`库，我们可以创建一个Elasticsearch客户端实例，与ES集群建立连接。 3. 将GeoDataFrame转换为GeoJSON： 在将数据写入Elasticsearch之前，需要将其转换为GeoJSON格式，因为Elasticsearch能够...
Elasticsearch数据建模实例
weixin_40809179的博客
11-26 1043
DELETE books #Index 一本书的信息 PUT books/_doc/1 { "title":"Mastering ElasticSearch 5.0", "description":"Master the searching, indexing, and aggregation features in ElasticSearch Improve users’ search experience with Elasticsearch’s functionalities and deve..
Elasticsearch 与 Python 整合：使用 Elasticsearch-py 进行开发
最新发布
2502_91592937的博客
07-03 768
本指南系统解析 Elasticsearch 与 Python 的整合开发，覆盖从基础概念到高级实践的全生命周期。通过理论框架（分布式系统原理、倒排索引数学模型）、架构设计（客户端-集群交互模型）、实现机制（连接配置、DSL查询、批量API）、实际应用（日志分析、数据检索）及高级考量（安全、扩展、伦理）的分层阐述，为开发者提供从入门到专家的完整知识体系。核心包含生产级代码示例、可视化交互图及真实场景案例，助力高效构建 Elasticsearch 驱动的 Python 应用。高效交互。
MVC数据建模例子
幻影寒狼
08-21 1712
一.Database First 用”ADO.NET实体数据模型“生成模型 例题1 public ActionResult Index() { m_user user = new m_user() { email = "[email protected]",
Elasticsearch系列---数据建模实战
黄鹰的专栏
04-25 539
概要 本篇以实际案例为背景，介绍不同技术组件对数据建模的特点，并以ES为背景，介绍常用的联合查询的利弊，最后介绍了一下文件系统分词器path_hierarchy和嵌套对象的使用。 数据模型对比 实际项目中，电商平台系统常见的组合Java、Mysql和Elasticsearch，以基础的部门-员工实体为案例。 JavaBean类型定义 如果是JavaBean类型，会这样定义 public class...
ElasticSearch数据建模
weixin_45370502的博客
05-22 247
ElasticSearch数据建模
elasticsearch数据建模
紫一
07-07 474
类似于mysql数据库主外键，三范式 ，先根据条件查询到主键，再根据主键查询到对应的数据 PUT /website/users/1 { "name" : "小鱼儿", "email" : "[email protected]", "birthday" : "1997-08-03" } PUT /website/blog/1 { "title"
Elasticsearch数据建模
Tyshawn的博客
01-21 458
本文基于Elasticsearch7.x 前置知识: Elasticsearch Mapping Elasticsearch 如何处理存在关联关系的数据? 什么是数据建模(Data Modeling)? 数据建模是创建数据模型的过程, 数据模型是对真实世界进行抽象描述的一种工具和方法, 实现对现实世界的映射. 在实际开发中, 我们的数据都是存储在MySQL中, Elasticsearch数据建...
官方开源软件Elasticsearch 2020-6.3.2版本发布
标签 "elasticsearch" 是一个流行的大数据处理工具，它主要用于搜索引擎，但不限于此功能。Elasticsearch是基于Apache License 2.0协议发布的开源软件，它是Elastic Stack的核心组件之一。Elastic Stack还包括了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值