ElasticSearch
版本 ElasticSearch 7.6.1
讲解初级阶段 ELK的 E 和 K
Why?
为什么要用ElasticSearch
原来SQL实现模糊查询时%xxx%
,如果是大数据,就十分慢!可以使用索引!
ElasticSearchL:就是用来做搜索的!(百度、Github、淘宝电商)
Lucene
是一套信息检索工具包!jar包不包含所所引起系统!
包含的:索引结构!读写索引的工具!排序,搜索规则..工具类!
ElasticSearch是基于Lucene做了一些封装和增强。上手简单
ElasticSearch vs Solr 总结
1、es基本是开箱即用(解压就可以用!),非常简单。Solr安装略微复杂一丢丢!
2.Solr利用Zookeeper进行分布式管理,而Elasticsearch自身带有分布式协调管理功能。
3、Solr支持更多格式的数据,比如JSON、XML、CSV,而Elasticsearch仅支持json文件格式。
4、Solr 官方提供的功能更多,而 Elasticsearch 本身更注重于核心功能,高级功能多有第三方插件提供,例如图形化界面需要kibana友好支撑-!
5、Solr 查询快,但更新索引时慢(即插入删除慢),用于电商等查询多的应用;
·ES建立索引快(即查询慢),即实时性查询快,用于facebook新浪等搜索。
· Solr是传统搜索应用的有力解决方案,但Elasticsearch更适用于新兴的实时搜索应用。
6、Solr比较成熟,有一个更大,更成熟的用户、开发和贡献者社区,而Elasticsearch相对开发维护者较少,更新太快,学习使用 成本较高。
ElasticSearch概述
Elaticsearch,简称为es,es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
据国际权威的数据库产品评测机构DB Engines的统计,在2016年1月,ElasticSearch已超过Solr等,成为排名第一的搜索引擎类应用。
历史:
多年前,一个叫做Shay Banon的刚结婚不久的失业开发者,由于妻子要去伦敦学习厨师,他便跟着也去了。在他找工作的过程中,为了给妻子构建一个食谱的搜索引擎,他开始构建一个早期版本的Lucene.
直接基于Lucene工作会比较困难,所以Shay开始抽象Lucene代码以便java程序员可以在应用中添加搜索功能。他发布了他的第一个开源项目,叫做“Compass”。
后来Shay找到一份工作,这份工作处在高性能和内存数据网格的分布式环境中,因此高性能的、实时的、分布式的搜索引擎也是理所当然需要的。然后他决定重写Compass库使其成为一个独立的服务叫做Elasticsearch.
第一个公开版本出现在2010年2月,在那之后Elasticsearch已经成为Github上最受欢迎的项目之一,代码贡献者超过300人。一家主营Elasticsearch的公司就此成立,他们一边提供商业支持一边开发新功能,不过Elasticsearch将永远开源且对所有人可用。
Shay的妻子依旧等待着她的食谱搜索…
谁在用:
谁在使用:
1、维基百科,类似百度百科,全文检索,高亮,搜索推荐/2(权重)
2、The Guardian (国外新闻网站),类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论)+社交网络数据(对某某新闻的相关看法),数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈(好,坏,热门,垃圾,鄙视,崇拜)
3、Stack Overflow(国外的程序异常讨论论坛),IT问题,程序的报错,提交上去,有人会跟你讨论和回答,全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案
4、 GitHub (开源代码管理),搜索上千亿行代码
5、电商网站,检索商品
6、日志数据分析,logstash采集日志,ES进行复杂的数据分析,ELK技术,elasticsearch+logstash+kibana
7、商品价格监控网站,用户设定某商品的价格闻值,当低于该崗值的时候,发送通知消息给用户,比如说订阅牙膏的监控,如果高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买
10.0%
8、BI系统,商业智能,Business Intelligence。比如说有个大型商场集团,B1,分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成,产出相关的数张报表,**区,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领,开一个新商场。ES执行数据分析和挖掘,Kibana进行数据可视化
9、国内:站内搜索(电商,招聘,门户,等等),IT系统搜索(OA,CRM,ERP,等等),数据分析(ES热门
的一个使用场景)
说明ElasticSearch还是非常重要的!
架构选择
什么时候选 es?
什么时候选 solr?
什么时候选 luence?
安装
这里介绍的是Windows版的安装
1 安装ES
需要安装JDK1.8或以上版本
解压
- bin 启动文件
- config 配置文件
- log4j2 口志配置文件
- java虚拟机相关的配置
- jvm.options
- libelasticsearch.yml elasticsearch 的配置文件! 默认 9200端口!跨域!
- logs 相关jar包
- 日志!
- modules 功能模块
- plugins 插件!
es是比较占内存的,假如怕内存不足的,开源修改这个文件:elasticsearch-7.10.1\config\jvm.options
1 | # Xms represents the initial size of total heap space |
然后在 elasticsearch-7.10.1\config\elasticsearch.yml
文件底下增加两句话,解决跨域问题
1 | #注意 ‘:’后面是有空格的,需要符合yml的格式 |
访问 :http://localhost:9200/ 结果如下:
1 | { |
2 安装 ES head
Github下载:https://github.com/mobz/elasticsearch-head
解压
运行命令
1 | npm install |
访问 :http://localhost:9100/ 结果如下:
如果在控制台出现,就是由于上面es的跨域配置没有配,或者没有重启
3 创建索引
随便写一个索引名称,我写的是hopestation
暂时把索引当成一个数据库,创界成功后显示
建议只把head当做一个数据展示工具!后面的查询在 Kibana里做
ELK
不太理解 先占坑
Kibana安装
下载地址:https://www.elastic.co/cn/downloads/kibana
解压后的目录
运行 kibana-7.10.1-windows-x86_64\bin\kibana.bat
默认是英文界面,我用谷歌翻译了一下
测试工具有:
postman、curl、head、谷歌浏览器插件,但还是推荐Kibana
来输入命令测试一下:
接着上面那个图,点击 独自探索,然后选择 DevTool
输入命令,运行
汉化
修改 kibana-7.10.1-windows-x86_64\config\kibana.yml
最下面一段话 配置语言
1 | # Specifies locale to be used for all localizable strings, dates and number formats. |
在运行了的程序后,我们再通过head来查看一下,es的情况
也就是说ES默认就是集群,而集群名称就是 elasticsearch
集群名称
核心概念
ES是面向文档的,同时一切都是 JSON 格式
DB | ES |
---|---|
数据库(database) | 索引(indexs) |
表(tables) | types (慢慢会被弃用,可能8.0开始) |
rows | documents |
columns | fileds |
在es中:
es(集群)中可以包含多个索引(数据库),每个索引可以包含多个类型(表),每个类型下又包含多个 文档(行),每个文档中又包含多个字段(列)
1 物理设计:
es在后台把每个索引划分成多个分片,每个分片可以在集群汇总
2 逻辑设计:
一个索引类型中,包含多个文档,比如说文档1,文档2。当我们索引一篇文档时,可以通过这样的一各顺序找到它:索引 -> 类型 -> 文档ID,通过这个组合我们就能索引到某个具体的文档。注意:ID不必是整数,实际上它是个字符串。
3 文档
之前说elasticsearch是面向文档的,那么就意味着索引和搜索数据的最小单位是文档,elasticsearch中,文档有几个 重要属性:
- 自我包含,一篇文档同时包含字段和对应的值,也就是同时包含key:value!
- 可以是层次型的,一个文档中包含自文档,复杂的逻辑实体就是这么来的!(就是一个JSON对象,fastjson可以自动转换)
- 灵活的结构,文档不依赖预先定义的模式,我们知道关系型数据库中,要提前定义字段才能使用,在elasticsearch中,对于字段是非常灵活的,有时候,我们可以忽略该字段,或者动态的添加一个新的字段。
尽管我们可以随意的新增或者忽略某个字段,但是,每个字段的类型非常重要,比如一个年龄字段类型,可以是字符 串也可以是整形。因为elasticsearch会保存字段和类型之间的映射及其他的设置。这种映射具体到每个映射的每种类型,这也是为什么在elasticsearch中,类型有时候也称为映射类型。
4 类型
类型是文档的逻辑容器,就像关系型数据库一样,表格是行的容器。 类型中对于字段的定义称为映射,比如 name 映 射为字符串类型。 我们说文档是无模式的,它们不需要拥有映射中所定义的所有字段,比如新增一个字段,那么elasticsearch是怎么做的呢?elasticsearch会自动的将新字段加入映射,但是这个字段的不确定它是什么类型,elasticsearch就开始猜,如果这个值是18,那么elasticsearch会认为它是整形。但是elasticsearch也可能猜不对,所以最安全的方式就是提前定义好所需要的映射,这点跟关系型数据库殊途同归了,先定义好字段,然后再使用,别整什么幺蛾子。
5 索引
索引是映射类型的容器,elasticsearch中的索引是一个非常大的文档集合。索引存储了映射类型的字段和其他设置。然后它们被存储到了各个分片上了。我们来研究下分片是如何工作的。
物理设计:节点和分片如何工作
一个集群至少有一个节点,而一个节点就是一个elasricsearch进程,节点可以有多个索引默认的,如果你创建索引,那么索引将会有个5个分片(primary shard,又称主分片)构成的,每一个主分片会有一个副本(replica shard,又称复制分片)
IK分词器安装
分词:即把一段中文或者别的划分成一个个的关键字
也是windows的安装
https://github.com/medcl/elasticsearch-analysis-ik
1 下载后解压,然后使用进入解压目录执行,maven打包
1 | mvn clean package -DskipTests |
2 进入target—>release:是一个压缩包,然后解压
3 放入插件目录
接下来需要重启ES
要保证IK分词器,和ES的版本支持,不然会出现ES闪退,无法打开的情况
1 | #版本不支持 异常 |
没关系修改一下,这个就好了:elasticsearch-7.10.1\plugins\ik\plugin-descriptor.properties
1 | # 'elasticsearch.version' version of elasticsearch compiled against |
使用插件命令
1 | xxx\elasticsearch-7.10.1\bin>elasticsearch-plugin list |
使用IK
1 启动es
2 启动kibana
分词:即把一段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如“我爱中国”会被分为”我”,“爱”,“中”,“过” ,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题。
IK提供了两个分词算法: ik_ smart
和ik_ max_ word
,
其中
ik_ smart
为最少切分- ik_ max_ word`为最细粒度划分!(穷尽词库的所有可能)
下面来使用kibana进行请求,感受一下结果:
1 | GET _analyze |
然后一条一条的执行。自行查看结果,如下:
但有时候我们的单词,并没有再词库了。会被拆分,那如何添加自己的词库呢?
首先ES的插件配置文件中增加配置:elasticsearch-7.10.1\plugins\ik\config\IKAnalyzer.cfg.xml
1 |
|
然后新建一个文件 elasticsearch-7.10.1\plugins\ik\config\hope.dic
内容就是你的单词,咱们先只加一个试一试
1 | 狂神说 |
然后重启,再次执行请求。就好了,so easy, too happy
就记录到这里了。
发现这篇博客总结的比我好一些 - -!