【ES三周年】请警惕 Elasticsearch 的三大坑

2023-02-24 15:10:05 来源: 腾讯云

本文主要内容如下:

搜索引擎现在是用得越来越多了,比如我们日志系统中用到的 ELK 就用到了搜索引擎 Elasticsearch(简称 ES)。

那对于搜索这种技术来说,最看重的是搜索的结果的准确性和搜索的响应时间。ES 的准确性可以通过 倒排索引算法来保证,那响应时间就需要磁盘或缓存来支持了,那么磁盘和缓存会带来哪些坑呢? ( 其实不论是分布式的,还是单机模式下的搜索引擎都会遇到这个问题。 )


(资料图片仅供参考)

一、ES 慢查询之坑

Elasticsearch 是现如今用的最广泛的搜索引擎。它是一个分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。

1.1 工作原理:

ES 的工作原理:往 ES 里写数据时,实际是写到磁盘文件,查询时,操作系统会将磁盘文件里的数据自动缓存 filesystem cache里面。如果给 filesystem cache更多的内存,尽量让内存可以容纳所有的 idx segment file索引数据文件,则搜索的时候走内存,性能较好。

ES 工作原理

坑:首先如果访问磁盘那一定很慢,而走缓存会快很多。但如果很多没用的字段数据都丢到缓存里面,则会浪费缓存的空间,所以很多数据还是存在磁盘里面的,那么大部分查询走的数据库,则会带来性能问题。

1.2 案例

ES 节点 3 台机器,每台机器 32 G 内存,总内存 96 G,给 ES JVM 堆内存是 16 G,那么剩下来给 cache 的是 16 G,总共 ES 集群的的 cache 占用内存 48 G ,如果所有的数据占据磁盘空间 600 G,那么每台机器的数据量是 200 G,而查询时,有 150 G 左右的的数据是走磁盘查询的,那么走 cache 的概率是 48 G/ 600 G = 8%,也就是说大量查询是走磁盘的。

1.3 避坑指南:

1.3.1 存储关键信息

搜索引擎避坑指南
将数据中索引字段存到 cache,比如 一行数据有 name、gender、age、city、job 字段,而检索这条数据只需要 name 和 gender 就可以查询出数据,那么 cache 就只需要存 id、name 和 gender 字段。别把所有字段都丢到 cache 里面,纯属浪费空间,资源是有限的。那剩下的字段怎么检索出来?可以把其他字段存到 mysql/hbase 里面。hbase 特点:适用于海量数据的在线存储。缺点是不能进行复杂的搜索。根据 name 和 gender 字段从 ES 中拿到 100 条数据 ( 包含 doc id ) ,然后根据 doc id 再去 hbase 中查询每个 doc id 对应的完整数据,将结果组装后返回给前端 ( 需要考虑分页的情况 ) 。

1.3.2 数据预热

将访问量高的数据或者即将访问量高的数据放到 filesystem cache 里面。每隔一段时间就从数据库访问下数据,然后同步到 filesystem cache 里面。

1.3.3 冷热分离

不常访问的数据和经常访问的数据进行隔离。比如 3 台机器存放冷数据的索引,另外 3 台存放热数据的索引。

1.3.4 避免使用关联查询

ES 中的关联查询是比较慢的,性能不佳,尽量避免使用。

二、ES 架构之坑

通常情况下,我们会使用 ES 的集群模式,在集群规模不大的情况下,性能还算可以,但如果集群规模变得很大,则会遇到集群瓶颈,也就是说集群扩大,性能提升甚微,甚至不增反降。

ES 的集群也是采用中心化的分布式架构,整个集群只有一个是 Master 节点。而它的职责非常重要:负责整个集群的元数据管理,元数据包含全局的配置信息、索引信息、节点信息,如果元数据发生改变,则需要 master 节点将变更信息发布到集群的其他节点。

另外因为 master 节点的任务处理是单线程的,所以每次处理任务时,需要等待全部节点接收到变更信息,并处理完变更的任务后,才算完成了变更任务。

那么这样的架构会带来什么问题:

响应时间问题。如果元数据发生了改变,但某节点假死,比如 JVM 的内存爆了,但是进程还活着,那么响应 master 节点的时间会非常长,今而影响单个同步信息任务的完成时间。任务恢复问题。有大量恢复任务的时候,任务需要排队,恢复时间变长。任务回调问题。任务执行完成后,需要回调大量 listener 处理元数据变更。如果分片的数据很大,则处理时间会到 10 秒级,严重影响了集群的恢复能力。

解决方案:采用 ES 的 tribe node 特性实现 ES 多集群。文中后面会介绍下 tribe node 的原理。

三、业务场景的坑

ES 的被广泛应用到多个场景,比如查询日志、查询商品资料、数据聚合等。而这些场景的需求又有非常大的差异,这也是一个坑。

场景一:前端首页搜索功能。比如搜索商品,数据实时写入的频率不高,但是读的频率很高。
场景二:日志检索的功能。日志系统中,我们一般都是 ELK 这种架构模式,对实时写入要求很高,而查询的次数其实不多,毕竟查询日志多工作还是开发和运维人员来做。
Kibana 界面
场景三:监控、分析的功能。ES 也会被运用到需要监控数据和分析数据的场景中,而这种场景又是对 ES 的内存要求比较高,因为这些分析功能是在内存中完成的,若内存出现太大的压力,则会造成系统的垃圾回收,可能出现短暂的服务抖动。

解决方案:按业务场景划分 ES 集群,同样采用 ES tribe node 功能。

四、ES Tribe Node 方案

ES tribe node 功能原理图如下所示:

有两个 ES 集群,每个集群都有多个 ES 节点。Logstash 负责日志搜集。Kibana 负责客户端查询,将查询命令传送到 ES Tribe Node。ES Tribe Node 还承担了集群管理的职责。

标签: 文件存储

【ES三周年】请警惕 Elasticsearch 的三大坑

搜索引擎现在是用得越来越多了,比如我们日志系统中用到的ELK就用到了搜索引擎Elasticsearch(简称ES)。

02-24 15:10:05

足球报:青岛海牛引进3外援搭建三叉戟,剩下两名额前后场各一人 全球热文

足球报:青岛海牛引进3外援搭建三叉戟,剩下两名额前后场各一人,中超,中甲,三叉戟,足球报,青岛海牛

02-24 12:02:54

天天速看:应用物理学专业介绍_应用物理学专业介绍描述

欢迎观看本篇文章,小升来为大家解答以上问题。应用物理学专业介绍,应用物理学专业介绍描述很多人还不...

02-24 10:25:33

精品导报_关于精品导报介绍

1、《精品导报》是石家庄日报社四报之一,创刊于1998年月10月1日。2、她是河北省第一张彩色印刷的大型生...

02-24 08:34:34

小学2年级上册应用题_小学2年级上册数学试卷-全球聚看点

1、从梯形(无所谓直不直角梯形)的任意一个角和它的对边作一线段,都能满足使它增加三个角的条件 。本文...

02-24 05:14:11

全球要闻:入秋后不要着急穿靴子,今年流行的“平头鞋”,百搭舒适还不累脚

秋天已经到来了,大家都准备好一起变美了吗?在这个季节我们不仅要把目光聚焦在各种时髦的外套和裤装上...

02-24 00:44:34

万里扬:和长江绿色发展基金签署战略合作框架协议

南方财经2月23日电,万里扬公告,和长江绿色发展投资基金合伙企业(有限合伙)签署《战略合作框架协议》...

02-23 20:48:19

河北省市场监管局部署消费品和工业品质量监管工作

2月15日,河北省市场监管局召开全省消费品和工业品质量监管工作视频会议,总结2022年全省产品质量安全监...

02-23 18:23:23

环球今头条!孝义:法治进校园,护航助成长开展“法治宣传进校园”活动

孝义:法治进校园,护航助成长开展“法治宣传进校园”活动

02-23 16:03:50

不对劲!一孩子雨夜独自走在合肥南一环

不对劲!一孩子雨夜独自走在合肥南一环

02-23 14:00:04

五红汤搭配什么效果更好|要闻速递

五红汤是生活中比较常见的一种食疗方,它里面会用到五种不同的红色食材,含有多种营养成分,可以起到很...

02-23 12:07:58

元宇宙产业核心技术待突破_快讯

“元宇宙是物理与数字世界融通作用的沉浸式互联空间,是新一代信息技术融合创新的集大成应用,承载着数...

02-23 09:48:15

美联储凌晨发布_环球要闻

美联储凌晨发布

02-23 07:47:28

国际原油期货结算价大幅收跌约3%

国际原油期货结算价大幅收跌约3%:电,国际原油期货结算价大幅收跌约3%。WTI4月原油期货收跌2 41美元,...

02-23 03:59:39

40岁王皓上任俩月很显老!看着像50岁老大爷,马龙回应大战樊振东 重点聚焦

德班世乒赛直通赛,男女单打决赛即将到来,女单是孙颖莎大战陈幸同,而男单则是马龙对阵樊振东!更尴尬...

02-22 22:54:06

全球热门:安徽省砀山县:就业援助送岗位 网络直播招贤才

砀山县:就业援助送岗位网络直播招贤才为持续深化“一改两为”,全面提升工作效能,帮助更多职工群众实...

02-22 19:48:34

史小坑的烦恼之考试破解版_史小坑的烦恼之考试 世界聚焦

1、史小坑的烦恼1考试第31-35关通关攻略详解!《史小坑的烦恼1考试》是坑爹游戏团队精心打造的一款恶搞...

02-22 18:00:45

sogouinput文件夹可以删除吗 全球头条

sogouinput是搜狗输入法,不用的话可以删除。搜狗输入法是由腾讯旗下北京搜狗信息服务有限公司2006年6月...

02-22 16:36:18

台媒:“幻影”战机起飞前两副油箱掉落,当场吓坏地勤和飞行员!

【环球网报道】据台湾中时新闻网22日消息,台空军又发生意外。一架新竹空军基地第二联队“幻影”战机,2...

02-22 15:58:15

阿坝州新型冠状病毒肺炎疫情:2月22日阿坝州疫情最新消息今天数据统计情况通报 环球最新

阿坝州新型冠状病毒肺炎疫情:2月22日阿坝州疫情最新消息今天数据统计情况通报,截至2月22日13时30分阿坝...

02-22 13:57:07

天天观热点:动画电影《深海》亮相柏林电影节:让世界看到中国动画

近日,第73届柏林国际电影节开幕,动画电影《深海》入围新生代单元。导演田晓鹏亮相《深海》的海外首映...

02-22 11:45:42

今日快看!广州外地车开四停四是怎么理解的

广州外地车开四停四的主要内容:非广州市籍中小客车(含临时号牌车辆)驶入管控区域连续行驶时间最长不得...

02-22 09:49:17

越南Vingroup与国轩高科合作,总投资2.75亿美元开建越南首座磷酸铁锂电池工厂

越南最大民营企业集团Vingroup11月18日发布声明,宣布旗下电池制造与研发公司VinESEnergySolu

02-22 07:54:54

世界新动态:“广告”标识不显著 涉嫌违反哪些法律法规?

刷App为何总“不小心”点进广告【 “广告”两字特别小 和图片融为

02-22 03:44:47

色气与可爱并存,しるばー老师的miku图纯享 part1

画师:しるばー;:;id:79211708あと半年か~id:79211708初音ミクちゃん(ハニーウィップ)作品id:8522...

02-21 23:08:32

SH特刊征稿|可持续海洋能源

可持续海洋能源SustainableOceanEnergies特刊简介AboutSOE-海洋为休闲和可再生能源提供了无限的机会。尽...

02-21 19:57:26

每日简讯:接下来的杭州,全国浪漫天花板!杭州90后从大厂离职,拍出杭州“花海”

最近,一则题为《接下来的杭州,堪称国内旅游浪漫天花板》的帖子在社交平台上火了。博主“黑毛不紧张”...

02-21 18:06:40

这期开什么码2020_今期开什么码免费|天天播报

1、应该是虎,虎的属相寄语是,人生就像战场。2、不是你死便是我活,以上由知道团队为你解答,望参考。...

02-21 16:52:00

亚泰集团2月21日盘中涨幅达5%

以下是亚泰集团在北京时间2月21日14:53分盘口异动快照:2月21日,亚泰集团盘中涨幅达5%,截至14点53分,...

02-21 15:02:09

快看点丨新款宝马5系即将上市,几何形智能激光大灯+Nappa真皮座椅,豪华

新款宝马5系即将上市,几何形智能激光大灯+Nappa真皮座椅,豪华在国内豪华中大型轿车市场上德系BBA旗下...

02-21 12:44:38

大话西游之大圣娶亲经典语录 大圣娶亲经典台词-当前速递

1、以前有一份真诚的感情摆在我面前,但是我没有珍惜,等到了失去的时候才后悔莫及,尘世间最痛苦的事莫...

02-09 10:49:04

【全球快播报】华微电子2月9日快速上涨

以下是华微电子在北京时间2月9日10:30分盘口异动快照:2月9日,华微电子盘中快速上涨,5分钟内涨幅超过2...

02-09 10:28:31

世界简讯:伟星股份:2月7日接受机构调研,招商证券、景顺长城基金等多家机构参与

2023年2月9日伟星股份(002003)发布公告称公司于2023年2月7日接受机构调研,招商证券刘丽、景顺长城基...

02-09 09:25:36

天天看点:A·维查姆森

1、A·维查姆森(AndresThorVilhjalmsson),冰岛足球运动员。2、现效力球队是:阿古雷利

02-09 07:59:45

纳入MSCI意味着什么?MSCI中国A股指数被纳入股票影响是什么?

纳入MSCI意味着什么?MSCI中国A股指数被纳入股票影响是什么?,MSCI编制的指数相当于为大型机构选股,股...

02-09 06:33:50

新建区气象台发布暴雨蓝色预警信号【IV级/一般】_当前快讯

新建区气象台发布暴雨蓝色预警信号【IV级 一般】

02-09 03:57:23

清蒸鲍鱼的家常做法 环球快播报

鲍鱼足名贵的海珍品之一,味道鲜美,营养丰富,被誉为海洋软黄金清蒸鲍鱼怎么做才会好吃呢?下面是学习啦...

02-09 02:45:02

2月8日基金净值:富国中证红利指数增强A最新净值0.935,跌0.43%

2月8日,富国中证红利指数增强A最新单位净值为0 935元,累计净值为3 047元,较前一交易日下跌0 43%。...

02-09 01:29:09

纽曼的父亲_艾曼纽的女儿 环球关注

1、罗温·艾金森百科名片英国喜剧泰斗罗温 艾金森(RowanAtkinson),他在英国可是号称有1850万观众。2

02-08 23:11:51

【世界独家】女人绝经后怎样保养

绝经是女性必经的阶段,但是大多数女性对绝经都是听之任之。这种做法绝对是不可行的。美国专家建议,在...

02-08 22:49:20

新赛季三级联赛计划4月相继开幕 中超正式取消U23政策

三湘都市报·新湖南客户端2月7日讯(文 视频全媒体记者叶竹)7日上午,中国足协和中足联筹备组在香河国...

02-08 21:17:20

重点聚焦!soulmate点亮奖励需要多少句话_soulmate点亮奖励

1、1、互相关注,经常聊天,慢慢地soulmate的字母就会被点亮。2、以上就是【soulmate点亮奖励需要多少句

02-08 19:54:18

米发糕的家常做法怎么做好吃_环球报道

米发糕是我国传统的大米发酵面点,做法简单又好吃,是很不错的家常点心。下面一起来看看米发糕的做法介...

02-08 19:18:11

全球关注:开学倒计时!黄浦这些假期充电、阅读好去处,伴你共迎新学期~

这几天,不少小朋友都迎来了“开学倒计时”。如何在假期末迅速找回学习状态?如何利用最后的寒假时光寓...

02-08 17:35:27

日本手信是什么意思_手信是什么意思

1、手信里面的这个信字主要是指而信手捎来的意思,没有事前准备。2、其实手信是非常有历史缘由的,他是...

02-08 16:51:09

顺治皇帝福临为何要废后

顺治帝名为爱新觉罗福临,是清朝的第三位皇帝,那么福临为何废后?下面是学习啦小编为你收集整理的福临为...

02-08 15:50:43

用钱折爱心戒指_怎么用钱折戒指_全球热讯

1、先把准芭蕉王准备的钱的长边折起来,1厘米左右。2、长边对折后,将钱沿中心对折,使两边对齐,露出对...

02-08 14:44:48

鉴别玉镯的真假小窍门_假玉手镯的鉴别方法 观速讯

1、真假玉器的鉴别玉器可分为软玉和硬玉两种,硬玉又名翡翠。2、从化学成分来看,软玉是含钙、镁和铁的...

02-08 13:21:38

当前报道:最新五年级上册数学解方程练习题

最新五年级上册数学解方程练习题求方程中未知数的值的 过程,叫做解方程。以下是小编搜索整理的一份最...

02-08 11:55:44

2月12日起北京首钢园冰雪汇即将停业通知_全球微动态

2月12日起北京首钢园冰雪汇即将停业通知因我市气温逐渐升高,不具备持续造雪条件,为保证游客到首钢园冰...

02-08 11:13:26

足球报:青岛海牛引进3外援搭建三叉戟,剩下两名额前后场各一人 全球热文
天天速看:应用物理学专业介绍_应用物理学专业介绍描述
精品导报_关于精品导报介绍
小学2年级上册应用题_小学2年级上册数学试卷-全球聚看点
全球要闻:入秋后不要着急穿靴子,今年流行的“平头鞋”,百搭舒适还不累脚
万里扬:和长江绿色发展基金签署战略合作框架协议
河北省市场监管局部署消费品和工业品质量监管工作
环球今头条!孝义:法治进校园,护航助成长开展“法治宣传进校园”活动
不对劲!一孩子雨夜独自走在合肥南一环
五红汤搭配什么效果更好|要闻速递
元宇宙产业核心技术待突破_快讯
美联储凌晨发布_环球要闻
国际原油期货结算价大幅收跌约3%
40岁王皓上任俩月很显老!看着像50岁老大爷,马龙回应大战樊振东 重点聚焦
全球热门:安徽省砀山县:就业援助送岗位 网络直播招贤才
史小坑的烦恼之考试破解版_史小坑的烦恼之考试 世界聚焦
sogouinput文件夹可以删除吗 全球头条
台媒:“幻影”战机起飞前两副油箱掉落,当场吓坏地勤和飞行员!
阿坝州新型冠状病毒肺炎疫情:2月22日阿坝州疫情最新消息今天数据统计情况通报 环球最新
天天观热点:动画电影《深海》亮相柏林电影节:让世界看到中国动画
今日快看!广州外地车开四停四是怎么理解的
越南Vingroup与国轩高科合作,总投资2.75亿美元开建越南首座磷酸铁锂电池工厂
世界新动态:“广告”标识不显著 涉嫌违反哪些法律法规?
色气与可爱并存,しるばー老师的miku图纯享 part1
SH特刊征稿|可持续海洋能源
每日简讯:接下来的杭州,全国浪漫天花板!杭州90后从大厂离职,拍出杭州“花海”
这期开什么码2020_今期开什么码免费|天天播报
亚泰集团2月21日盘中涨幅达5%
快看点丨新款宝马5系即将上市,几何形智能激光大灯+Nappa真皮座椅,豪华
大话西游之大圣娶亲经典语录 大圣娶亲经典台词-当前速递
【全球快播报】华微电子2月9日快速上涨
世界简讯:伟星股份:2月7日接受机构调研,招商证券、景顺长城基金等多家机构参与
天天看点:A·维查姆森
纳入MSCI意味着什么?MSCI中国A股指数被纳入股票影响是什么?
新建区气象台发布暴雨蓝色预警信号【IV级/一般】_当前快讯
清蒸鲍鱼的家常做法 环球快播报
2月8日基金净值:富国中证红利指数增强A最新净值0.935,跌0.43%
纽曼的父亲_艾曼纽的女儿 环球关注
【世界独家】女人绝经后怎样保养
新赛季三级联赛计划4月相继开幕 中超正式取消U23政策
重点聚焦!soulmate点亮奖励需要多少句话_soulmate点亮奖励
米发糕的家常做法怎么做好吃_环球报道
全球关注:开学倒计时!黄浦这些假期充电、阅读好去处,伴你共迎新学期~
日本手信是什么意思_手信是什么意思
顺治皇帝福临为何要废后
用钱折爱心戒指_怎么用钱折戒指_全球热讯
鉴别玉镯的真假小窍门_假玉手镯的鉴别方法 观速讯
当前报道:最新五年级上册数学解方程练习题
2月12日起北京首钢园冰雪汇即将停业通知_全球微动态
全球视讯!IPv4网络向IPv6网络过渡中的互连互通技术要求
X 广告
资讯
X 广告

Copyright ©  2015-2022 亚洲畜牧网版权所有  备案号:豫ICP备20022870号-9   联系邮箱:553 138 779@qq.com