数据分析与决策技术丛书 Elasticsearch技术解析与实战 朱林　编著 ISBN：978-7-111-55327-4 本书纸版由机械工业出版社于2016年出版，电子版由华章分社（北京华章图文信息有限公司，北京奥维 博世图书发行有限公司）全球范围内制作与发行。 版权所有，侵权必究 客服热线：+ 86-10-68995265 客服信箱：service@bbbvip.com 官方网址：www.hzmedia.com.cn 新浪微博 @华章数媒 微信公众号 华章电子书（微信号：hzebook） 目录 前言 第1章　Elasticsearch入门 1.1　Elasticsearch是什么 1.1.1　Elasticsearch的历史 1.1.2　相关产品 1.2　全文搜索 1.2.1　Lucene介绍 1.2.2　Lucene倒排索引 1.3　基础知识 1.3.1　Elasticsearch术语及概念 1.3.2　JSON介绍 1.4　安装配置 1.4.1　安装Java 1.4.2　安装Elasticsearch 1.4.3　配置 1.4.4　运行 1.4.5　停止 1.4.6　作为服务 1.4.7　版本升级 1.5　对外接口 1.5.1　API约定 1.5.2　REST介绍 1.5.3　Head插件安装 1.5.4　创建库 1.5.5　插入数据 1.5.6　修改文档 1.5.7　查询文档 1.5.8　删除文档 1.5.9　删除库 1.6　Java接口 1.6.1　Java接口说明 1.6.2　创建索引文档 1.6.3　增加文档 1.6.4　修改文档 1.6.5　查询文档 1.6.6　删除文档 1.7　小结 第2章　索引 2.1　索引管理 2.1.1　创建索引 2.1.2　删除索引 2.1.3　获取索引 2.1.4　打开/关闭索引 2.2　索引映射管理 2.2.1　增加映射 2.2.2　获取映射 2.2.3　获取字段映射 2.2.4　判断类型是否存在 2.3　索引别名 2.4　索引配置 2.4.1　更新索引配置 2.4.2　获取配置 2.4.3　索引分析 2.4.4　索引模板 2.4.5　复制配置 2.4.6　重建索引 2.5　索引监控 2.5.1　索引统计 2.5.2　索引分片 2.5.3　索引恢复 2.5.4　索引分片存储 2.6　状态管理 2.6.1　清除缓存 2.6.2　索引刷新 2.6.3　冲洗 2.6.4　合并索引 2.7　文档管理 2.7.1　增加文档 2.7.2　更新删除文档 2.7.3　查询文档 2.7.4　多文档操作 2.7.5　索引词频率 2.7.6　查询更新接口 2.8　小结 第3章　映射 3.1　概念 3.2　字段数据类型 3.2.1　核心数据类型 3.2.2　复杂数据类型 3.2.3　地理数据类型 3.2.4　专门数据类型 3.3　元字段 3.3.1　_all字段 3.3.2　_field_names字段 3.3.3　_id字段 3.3.4　_index字段 3.3.5　_meta字段 3.3.6　_parent字段 3.3.7　_routing字段 3.3.8　_source字段 3.3.9　_type字段 3.3.10　_uid字段 3.4　映射参数 3.4.1　analyzer参数 3.4.2　boost参数 3.4.3　coerce参数 3.4.4　copy_to参数 3.4.5　doc_values参数 3.4.6　dynamic参数 3.4.7　enabled参数 3.4.8　fielddata参数 3.4.9　format参数 3.4.10　geohash参数 3.4.11　geohash_precision参数 3.4.12　geohash_prefix参数 3.4.13　ignore_above参数 3.4.14　ignore_malformed参数 3.4.15　include_in_all参数 3.4.16　index参数 3.4.17　index_options参数 3.4.18　lat_lon参数 3.4.19　fields参数 3.4.20　norms参数 3.4.21　null_value参数 3.4.22　position_increment_gap参数 3.4.23　precision_step参数 3.4.24　properties参数 3.4.25　search_analyzer参数 3.4.26　similarity参数 3.4.27　store参数 3.4.28　term_vector参数 3.5　动态映射 3.5.1　概念 3.5.2　_default_映射 3.5.3　动态字段映射 3.5.4　动态模板 3.5.5　重写默认模板 3.6　小结 第4章　搜索 4.1　深入搜索 4.1.1　搜索方式 4.1.2　重新评分 4.1.3　滚动查询请求 4.1.4　隐藏内容查询 4.1.5　搜索相关函数 4.1.6　搜索模板 4.2　查询DSL 4.2.1　查询和过滤的区别 4.2.2　全文搜索 4.2.3　字段查询 4.2.4　复合查询 4.2.5　连接查询 4.2.6　地理查询 4.2.7　跨度查询 4.2.8　高亮显示 4.3　简化查询 4.4　小结 第5章　聚合 5.1　聚合的分类 5.2　度量聚合 5.2.1　平均值聚合 5.2.2　基数聚合 5.2.3　最大值聚合 5.2.4　最小值聚合 5.2.5　和聚合 5.2.6　值计数聚合 5.2.7　统计聚合 5.2.8　百分比聚合 5.2.9　百分比分级聚合 5.2.10　最高命中排行聚合 5.2.11　脚本度量聚合 5.2.12　地理边界聚合 5.2.13　地理重心聚合 5.3　分组聚合 5.3.1　子聚合 5.3.2　直方图聚合 5.3.3　日期直方图聚合 5.3.4　时间范围聚合 5.3.5　范围聚合 5.3.6　过滤聚合 5.3.7　多重过滤聚合 5.3.8　空值聚合 5.3.9　嵌套聚合 5.3.10　采样聚合 5.3.11　重要索引词聚合 5.3.12　索引词聚合 5.3.13　总体聚合 5.3.14　地理点距离聚合 5.3.15　地理散列网格聚合 5.3.16　IPv4范围聚合 5.4　管道聚合 5.4.1　平均分组聚合 5.4.2　移动平均聚合 5.4.3　总和分组聚合 5.4.4　总和累计聚合 5.4.5　最大分组聚合 5.4.6　最小分组聚合 5.4.7　统计分组聚合 5.4.8　百分位分组聚合 5.4.9　差值聚合 5.4.10　分组脚本聚合 5.4.11　串行差分聚合 5.4.12　分组选择器聚合 5.5　小结 第6章　集群管理 6.1　集群节点监控 6.1.1　集群健康值 6.1.2　集群状态 6.1.3　集群统计 6.1.4　集群任务管理 6.1.5　待定集群任务 6.1.6　节点信息 6.1.7　节点统计 6.2　集群分片迁移 6.3　集群节点配置 6.3.1　主节点 6.3.2　数据节点 6.3.3　客户端节点 6.3.4　部落节点 6.4　节点发现 6.4.1　主节点选举 6.4.2　故障检测 6.5　集群平衡配置 6.5.1　分片分配设置 6.5.2　基于磁盘的配置 6.5.3　分片智能分配 6.5.4　分片配置过滤 6.5.5　其他集群配置 6.6　小结 第7章　索引分词器 7.1　分词器的概念 7.2　中文分词器 7.3　插件 7.3.1　插件管理 7.3.2　插件安装 7.3.3　插件清单 7.4　小结 第8章　高级配置 8.1　网络相关配置 8.1.1　本地网关配置 8.1.2　HTTP配置 8.1.3　网络配置 8.1.4　传输配置 8.2　脚本配置 8.2.1　脚本使用 8.2.2　脚本配置 8.3　快照和恢复配置 8.4　线程池配置 8.5　索引配置 8.5.1　缓存配置 8.5.2　索引碎片分配 8.5.3　合并 8.5.4　相似模块 8.5.5　响应慢日志监控 8.5.6　存储 8.5.7　事务日志 8.6　小结 第9章　告警、监控和权限管理 9.1　告警 9.1.1　安装 9.1.2　结构 9.1.3　示例 9.1.4　告警输出配置 9.1.5　告警管理 9.2　监控 9.2.1　安装 9.2.2　配置 9.3　权限管理 9.3.1　工作原理 9.3.2　用户认证 9.3.3　角色管理 9.3.4　综合示例 9.4　小结 第10章　ELK应用 10.1　Logstash 10.1.1　配置 10.1.2　插件管理 10.2　Kibana配置 10.2.1　Discover 10.2.2　Visualize 10.2.3　Dashboard 10.2.4　Settings 10.3　综合示例 10.4　小结 附录　Elasticsearch　5.0的特性与改进 前言 Elasticsearch是目前全球最受欢迎的全文搜索引擎。初识Elasticsearch是在2012年的一个项目中，当 时Elasticsearch还是0.19.0版本，但是功能已经比较强大，只是接口稍微有点复杂。到了2015年年初，公 司开发了一款日志分析产品，它实时不间断地采集用户网络中各种不同系统的日志，然后从中分析系统 的安全情况、系统情况、业务情况。最初所有的数据都存储在MySQL中，随着日志的不断增加， MySQL搜索速度越来越慢。后来在更换技术架构选型的时候又想到了Elasticsearch，这个时候 Elasticsearch已经是1.6.0版本了。我们对此进行了简单的测试，在上亿条的数据搜索中很多都在一秒内完 成，在上亿条的数据中进行统计分析大多也是在秒级完成，它展示了强大实力。我们顺势就把 Elasticsearch整合到了现在的产品中，取得了很好效果。到了2016年3月的时候，Elasticsearch发布了2.3.0 版本，各方面更加成熟，我们的产品又再一次升级到这个新版本上。 Elasticsearch产品的更新变化非常快，在我们开发研究的过程中基本上找不到新版本的中文资料，目 前市场上介绍Elasticsearch的中文书籍都是在版本1.0左右，甚至更早，这些书的很多内容尤其是开发接 口相关的部分都已经过时，没有办法在新版本中使用。所以我们开发的过程中基本上都是研究官方文 档，有时候甚至研究它的源码才能解决问题。在接口选择的时候我们在HTTP JSON接口和Java接口中做 了取舍，我们当时分析HTTP JSON接口最终还是要转换成Java接口，不如直接使用Java接口，一是效率 可能更高，二是在部署实施的时候减少一个端口，三是对后续的升级更有利，比如后续增加权限认证 等。但这些东西都没有资料，我们基本上都是研究系统源码来克服的。在后续