ElasticSearch（后续简称ES）在企业中的经常使用可以说是十分宽泛了，那么ES究竟是什么呢？咱们学习ES能做到哪些事件呢？接上去我将用几篇文章详细聊一聊ES。

ES是一款高性能的散布式搜索引擎，当然外面产生的高性能、散布式曾经是怪罪不怪了，因此咱们的重点是在搜索引擎上方。提到搜索引擎必需不生疏，像百度、谷歌，它们都提供了自己的搜索引擎，咱们每天都会在上方查找各种各样的消息。

因此：经过输入指定的关键字（关键词）来失掉与之相关的消息，这个环节称之为搜索。并且搜索是不分场所的，除了百度、谷歌提供的搜索引擎之外，咱们还可以在各种上搜索，比如你在京东app上输入小提琴，那么点击确认之后会给你前往与小提琴无关的商品消息，这也是搜索。

而支持搜索的工具便是搜索引擎，它担任依据用户输入的关键字婚配出与之相关的消息，而后前往给用户，所以搜索引擎就是支持用户搜索的一个工具。

那么都有哪些工具支持搜索呢，其实说白了只需是支持字符串婚配的都可以，但能否满足不同的业务场景、以及保障初级别的搜索效率就两说了。

经常使用数据库做搜索

显然数据库是支持搜索的，毕竟它是专门用来存储数据的，其中也蕴含了数据剖析。比如数据库中有一张表担任存储商品消息，我要查问外面一切名字蕴含"洗发水"的商品对应的id，那么就可以这么做：

SELECTproduct_idFROMproductWHEREproduct_nameLIKE'%洗发水%';

很显著这么做是正确的，但是要拿数据库来做搜索引擎则是不适宜的。由于由于业务场景的不同，会带来两个疑问：

因此用数据库成功搜索是不靠谱的，性能会十分差。

全文检索和Lucene

既然数据库不适宜专门用于搜索，那什么工具适宜呢？当然是咱们要聊的ES。只不过在详细引见ES之前，咱们须要先说一下什么是全文检索，以及Lucene。

首先全文检索（或许说全文搜索）也是一种搜索，只不过它和数据库中经常使用like不同，全文检索经常使用了倒排索引的技术，它分为两步：

间接说的话不容易了解，咱们举例说明，假定数据库中有一张表game。

图片

假定要搜索type字段蕴含"校园"或许"恋情"的记载，这个时刻显然须要全表扫描。假设库外面有上千万条记载，那么就须要扫描上千万次，且每次扫描的范围都是所有的字符。此外这里指定了多个关键词，每个关键词都要含糊婚配一遍。

SELECTid,nameFROMgameWHEREtypeLIKE'%校园%'ORtypeLIKE'%恋情%';

很显著这种SQL在type字段比拟大的时刻，其性能会十分差。

因此咱们须要建设倒排索引，由于这里要基于type字段做查问，那么就对type字段的每一个文本启动拆分，失掉多个关键词，而后再建设关键词到id的映射。

图片

经过对文本启动拆分，咱们看到type字段蕴含"亲情"的有id为1、2、3的记载，蕴含"夏日"的有id为2、3的记载，所以每一个关键词都和蕴含该关键词的记载的id做了一个映射。

搜索的时刻，雷同也会对关键词、或许说要搜索内容启动拆分，失掉更多的关键词，而后去婚配。假定咱们想要依据"校园恋情"启动查找，那么会拆分红"校园"和"恋情"，而后间接就能失掉1、3、4、5，再依据id查找就可以了。

之前是逐行遍历去确定记载，如今是先依据关键词来确定id，而构建的关键词到id的映射便是倒排索引。所以咱们也可以发现，并不是说经常使用了ES之后就不须要数据库了。由于数据库表的字段或许十分多，咱们不会对每一个字段都建设倒排索引，而是只针对那些须要经过关键词婚配的字段，将该字段的每一行都拆分红一个个的关键词，而后再把一切的关键词组合起来，建设它们到id之间的映射（倒排索引）。

因此在建设倒排索引后，行数反而会增多（假设大局部词都不一样的话），比如原来的数据有100万行，但是拆分进去的关键词有200万个，那么在建设倒排索引之后也会有200万行。但咱们无法能真的搜索200万次，有或许咱们搜索一次性就找到对应的id了，由于在倒排索引中婚配的是关键词。

当然搜索一次性是现实状况，也或许是十次、一百次，因此就须要设计一个好的搜索算法以及适宜的数据组织结构来使得查问次数最小化，而算法如何设计显然不是咱们须要操心的。并且在倒排索引中启动关键词婚配也和数据库的like不一样，前者只须要婚配单词即可，效率要比后者高很多。

以上便是全文检索以及倒排索引，还是很好了解的。而后再来说说Lucene，其实Lucene就是一个Jar包，外面封装了很多建设倒排索引、以及搜索相关的算法。假设你经常使用言语的话，那么只须要引入这个Jar包，而后基于Lucene提供的API启动开发即可。经过Lucene咱们就可以对已有的数据建设索引，Lucene会在本地磁盘上方组织数据的索引结构。

什么是ElasticSearch

了解了上方的内容之后，再来看ES就繁难多了。咱们说Lucene它封装了相似于搜索引擎的性能，但它是部署在单机上方的，假设数据量十分大、须要多机存储的话该怎样办呢。首先咱们能想到的是把数据扩散存储在多机上，而后每台机器各有一个Lucene。

上方的做法看似处置了数据量的疑问，但其实面前还有很多缺点，比如：

显然上述这几点都是疑问，都要在思考的范围内。由于任何框架，假设须要多机部署，那么之间就应该具有相互通讯的性能，相互协调，彼此作为一个全体、像单机一样对外提供服务。

所以ES就应运而生，它是基于Lucene成功的一个搜索引擎，雷同经常使用Java言语编写。但是经过ES可以让全文搜索变得愈加繁难，由于Lucene须要你有比拟深的检索相关的常识，比拟复杂，而ES将这种复杂暗藏了起来，让用户可以经过RESTfulAPI启动查问。

不只如此，ES不只仅是为了检索繁难而封装的Lucene，它还处置了散布式的疑问。由于Lucene只是一个库，假构想支持多机部署，那么你须要额外做很多的上班。而ES把这些所有处置了，比如：

因此什么是ES咱们就说完了，说白了ES就是一个基于Lucene成功的搜索引擎，并且支持高可用、可伸缩、散布式。每个节点之上都部署一个ES，多个节点独特对外提供服务，至于节点之间如何协调ES外部曾经帮咱们做好了，无需咱们关心。

此外，只管咱们不时说ES是一个搜索引擎，但其实ES不只可以用来搜索，还可以用来做数据剖析。比如电商网站经过ES选取"百褶裙"销量最高的十个商家，资讯网站经过ES选取访问量最高的几篇文章等等，显然此时在失掉数据的同时也随同着数据剖析。因此ES是一个散布式的搜索和数据剖析引擎，能够启动全文检索、结构化检索、数据剖析，以及对海量数据启动凑近实时的处置。

当然置信很多人都听过ELK，是用来搭建日志剖析平台的。其中E就是这里的ElasticSearch，L是Logstash，K是Kibana。

咱们前面也会触及到ELK。上方总结一下ES的特点：

ElasticSearch的外围概念

关于ES，有几个专业术语，咱们须要提早了解一下。

Cluster：集群，蕴含多个节点，当然也可以只蕴含一个节点。

Node：集群中的一个节点，每个节点都有一个称号（自动随机调配），节点的称号还是比拟关键的，尤其是在口头运维治理操作的时刻。

Index：索引，对应的数据库。

Type：类型，对应MySQL的表。

Document：文档，对应MySQL表中的一条记载，ES的一个Document就相似于一条JSON数据。当然每条JSON数据可以有多个字段，而后字段在ES中被称为Field，对应MySQL中的Column。

shard：单台机器无法存储少量数据，ES可以将一个索引中的数据切分为多个shard，散布在多台主机上存储。有了shard就可以横向裁减，存储更多的数据，让搜索和操作散布到多台主机上去口头，优化吞吐性能。每个shard都是一个LuceneIndex，说白了就是Index的一个切片。

replica：任何一个主机都有或许由于缺点而宕机，形成shard失落，因此可以为每一个shard创立多个replica正本。replica可以在shard缺点时提供备用服务，保障数据不失落，此外多个replica还可以优化搜索操作的吞吐量和性能。

自动状况下，每个Index会被切分红5个shard（建设索引时设置，设置后不能修正），被称为primaryshard。每个primaryshard自动会有一个replicashard（可以随时修正）。繁难说的话，每个Index自动会被分红5个shard，每个shard会有一个replica。

因此在概念上，ES和相关型数据库还是有一些独特之处的。

图片

须要留意的是，随着ES的开展，Type的概念逐渐在弱化，由于全文索引的目标是建设关键词到id的映射，所以Type和全文索引的概念是抵触的。在ES6.x中，曾经规则一个Index下只能蕴含一个Type，而到ES7.x时，Type的概念就被齐全移除了。

装置ElasticSearch

上方来装置ES，这里我经常使用的是云主机，操作系统是7。由于ES是基于Java言语编写的，所以实践上在装置ES之前要先装置JDK，但ES从8.x开局曾经自带JDK了，因此咱们就不须要再独自装置了。

而后去ES官方下载相应的装置包，这里我下载的是最新版8.11.3，而后上行到主机，并解压到/opt目录中。当然，假设你的节点上装置了，那么也可以基于容器启动。

图片

装置成功，而后看一下ES的主目录，是不是很相熟呢。一切Java编写的大数据组件都是相似的，每个目录作用如下：

而后外面还有一个jdk目录，也就是Java环境，所以即使以后的系统没有装置，也是没相关的。

上方咱们启动ES，不过启动之前须要修正一下性能文件config/elasticsearch.yml。

#ES自动只准许本机访问，将其修正为0.0.0.0network.host:0.0.0.0#端口默以为9200http.port:9200

而后再创立用户，由于ES要求不能以root用户启动，因此咱们要创立一个用户，并赋予它相关权限。

#创立一个组esgroupaddes#创立一个用户es，并关联到组es中useraddes-ges#赋予它ES目录的操作权限chownes:es/opt/elasticsearch-8.11.3/-R

上方切换用户，进入ES目录中，输入bin/elasticsearch启动ES。假设你性能了环境变量，那么间接输入elasticsearch就行。

但假设你启动时发现报了上方这个错，那么说明空间无余。

图片

此时应该修正config/jvm.options性能文件。

#设置JVM的初始内存为1G，此值可以与-Xmx相反#防止每次渣滓回收成功后JVM从新调配内存-Xms1g#设置JVM最大可用内存为1G-Xmx1g

而后再来启动ES，自动是以前台启动的。但假设你发现输入一堆日志消息后，进程又分开了，并且最后输入了ERROR:Elasticsearchexitedunexpectedly,withexitcode78。那么你须要切换回root用户，而后口头如下命令：

sysctl-wvm.max_map_count=262144

而后再关上/etc/security/limits.conf，并在外面追加如下内容。

eshardnofile65536essoftnofile65536

这里的es就是刚才创立的用户，假设你创立的用户不叫es，那么记得修正。

完事之后，再切换回es用户，再次启动，会发现启动成功。而后咱们测试一下，阅读器中输入，看看能否前往内容。

但是很可怜，会发现无法访问，并且ES会输入如下内容：

图片

这是由于ES自动只准许经过HTTPS访问，假构想支持HTTP，那么须要再次修正性能文件。

关上config/elasticsearch.yml，在外面性能如下内容：

#能否须要用户名明码，这里改成falsexpack.security.enabled:false#能否开启SSL认证，这里将enabled给改成false#否则只准许https恳求，而http恳求会被拒绝xpack.security.http.ssl:enabled:truekeystore.path:certs/http.p12

而后从新启动ES，此时再访问ip:9200就没有疑问了，会前往如下内容。

图片

前往了一条JSON，咱们说ES的Document（文档）就相似于一条JSON，其字段就是Field。而后外面的name字段示意节点称号，cluster_name示意集群称号，这些都可以经过性能文件elasticsearch.yml启动修正，至于其它字段就见名知意了。

到目前为止，整个ES算是启动成功了，但目前是前台启动，咱们须要改成后盾启动。

bin/elasticsearch-d

只须要在开头加一个-d即可。

小结

到目前为止，咱们就引见了什么是ES，以及它处置了什么疑问。而后了解了它的外围概念，以及装置方式。

elasticsearch系统是什么

elasticsearch系统是什么？Elasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。 Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。 Kibana使您能够以交互方式探索、可视化和分享对数据的见解，并管理。 Elasticsearch是索引、搜索和分析魔法发生的地方。 Elasticsearch为所有类型的数据提供近乎实时的搜索和分析。 无论您拥有结构化或非结构化文本、数字数据还是地理空间数据，Elasticsearch都能以支持快速搜索的方式高效地存储和索引它。 您可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式。 随着您的数据和查询量的增长，Elasticsearch的分布式特性使您的部署能够随之无缝增长。

elasticsearch 是开源的吗

Elasticsearch是什么 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。 它可以在很短的时间内存储，搜索和分析大量的数据。 它通常作为具有复杂搜索场景情况下的核心发动机。 我们举几个例子来说明Elasticsearch能做什么？ 当你经营一家网上商店，你可以让你的客户搜索你卖的商品。 在这种情况下，你可以使用Elasticsearch来存储您的整个产品目录和库存信息，为客户提供精准搜索，可以为客户推荐相关商品。 当你想收集日志或者交易数据的时候，要分析和挖掘这些数据，寻找趋势，统计，总结，或异常。 在这种情况下，你可以使用LogStash 或者其他工具来进行收集数据，当这些数据存储到Elasticsearch中 。 你可以搜索和汇总这些数据，找到任何你感兴趣的信息。 当你运行一个价格提醒的平台，可以给客户提供一些规则，如我有兴趣购买一个特定的电子设备，当商品的价格在未来一个月内的价格低于多少钱的时候通知我。 在这种情况下，你可以把供应商的价格，把他们定期存储到Elasticsearch中，使用定时器过滤的能力来匹配客户的需求，当查询到价格低于客户设定的值后给客户发送一条通知。 当你有商业智能分析的需求时，你希望快速调查，分析和可视化，并有大量的数据（千万条记录）的时候。 在这种情况下，你可以使用Elasticsearch来存储你的数据，然后用Kibana建立自定义的仪表板或者任何你熟悉的语言开发展示界面，您可以使用Elasticsearch的聚合功能来执行复杂的商业智能与数据查询。 对于码农来说，比较有名的案例是github，gihtub 的搜索是基于 Elasticsearch 构建的，在 /search 页面，你可以检索项目、用户、issue、pull request，还有代码。 共有 40-50个 索引库，分别用于索引网站需要跟踪的各种数据。 虽然只索引项目的主分支(master)，但这个数据量依然巨大，20亿索引文档，30TB的索引文件。 Elasticsearch的核心概念 下面介绍Elasticsearch的几个核心概念，准实时索引(Near Realtime)，集群(cluster),节点(node), 索引(index),类型(type),文档(document),分片和复制(shards Replicas)。 准实时索引(Near Realtime)Elasticsearch是准实时搜索平台。 这意味着有轻微的延迟（通常为1秒）就可以从入库建索引文件到已经进行关键字搜索。 集群(cluster)集群是由一个或多个节点组成，对外提供服务，对外提供索引和搜索功能。 在所有节点，一个集群有一个唯一的名称默认为“Elasticsearch”。 此名称是很重要的，因为每个节点只能是群集的一部分，当该节点被设置为相同的名称时，就会自动加入群集。 当需要有多个集群的时候，要确保每个集群的名称不能重复，否则，节点可能会加入错误的群集。 请注意，一个节点只能加入一个集群。 此外，您还可以拥有多个独立的集群，每个集群都有其不同的集群名称。 例如，在开发过程中，你可以建立开发集群库和测试集群库，分别为开发，测试服务。 节点(node)一个节点是一个逻辑上独立的服务，它是群集的一部分，可以存储数据，并参与集群的索引和搜索功能。 就像集群一样，一个节点也有唯一的名字，默认是一个随机的和机器相关的名称，在启动的时候分配。 如果你不想要的默认值，你可以定义任何你想要的节点名。 这个名字在管理中很重要，在网络中Elasticsearch群集通过节点名称进行管理和通信。 一个节点可以被配置为加入一个特定的群集。 默认情况下，每个节点会加入名为Elasticsearch的集群中，这意味着如果你在网络上启动多个节点，如果网络畅通，他们能彼此发现并自动加入一个名为Elasticsearch的集群中。 在一个单一的集群中，你可以拥有多个你想要的节点。 当网络没有集群运行的时候，只要启动任何一个节点，这个节点会默认生成一个新的集群，这个集群会有一个节点。 索引(index)索引是有点结构的文档集合。 例如，可以有一个客户数据的索引，另一个是产品目录的索引，还有一个订单数据的索引。 一个索引是一个名称（必须是全部小写），这个名字是用来指在执行索引、搜索、更新和删除操作时对文档的索引。 在一个单一的集群中，您可以定义多个你想要的索引。 类型(type)在索引中，可以定义一个或多个类型。 类型是索引的逻辑分区。 在一般情况下，一种类型被定义为具有一组公共字段的文档。 例如，让我们假设你运行一个博客平台，并把所有的数据存储在一个索引中。 在这个索引中，您可以定义一个类型为用户数据，另一种类型为博客数据，另一种类型的数据。 文档(document)文档是可以被索引的基本单位。 例如，你可以有一个的客户文档，有一个产品文档，还有一个订单的文档。 文档是以JSON（JavaScript Object Notation）格式存储的。 在一个索引中，您可以存储多个的文档。 请注意，虽然在一个索引中有多分文档，但这些文档的结构是一致的，并在第一次存储的时候指定。 分片(shards)一个索引可以存储很大的数据，这些空间可以超过一个节点的物理存储的限制。 例如，十亿个文档占用磁盘空间为1TB。 仅从单个节点搜索可能会很慢，还有一台物理机器也不一定能存储这么多的数据。 为了解决这一问题，Elasticsearch将索引分解成多个分片。 当你创建一个索引，你可以简单地定义你想要的分片数量。 每个分片本身是一个全功能的、独立的单元，可以托管在集群中的任何节点。 分片主要有两个很重要的原因是：1、它允许你水平分割扩展你的数据。 2、它允许你分配和并行操作（可能在多个节点上）从而提高性能和吞吐量这些很强大的功能对用户来说是透明的，你不需要做什么操作，系统会自动处理。 复制(Replicas)复制是一个非常有用的功能，不然会有单点问题。 当网络中的某个节点出现问题的时候，复制可以对故障进行转移，保证系统的高可用。 因此，Elasticsearch允许你创建一个或多个拷贝，你的索引分片就形成了所谓的副本或副本分片。 复制是重要的，主要的原因有：1、它提供了高可用性，当节点失败的时候不受影响。 需要注意的是，一个复制的分片不会存储在同一个节点中。 2、它允许您扩展您的搜索量，提高并发量，因为搜索可以在所有副本上并行的执行。 总结一下，每个索引可以拆分成多个分片。 索引可以复制零个或者多个分片。 一旦复制，每个索引就有了主分片和复本分片。 分片的数量和副本的数量可以在创建索引时定义。 当创建索引后，你可以随时改变副本的数量，但你不能改变分片的数量。 默认情况下，每个索引分配5个分片和1个副本，这意味着你的集群节点至少要有两个节点，你将拥有5个主要的分片和5个副本分片共有10个分片。