用了Elasticsearch,一口气上5T

怎么快速学习Java

回复

arno 回复了问题 • 1 人关注 • 2 个回复 • 254 次浏览 • 2020-02-19 21:32 • 来自相关话题

潜心一技、做到极致!——Elastic认证工程师之路

laoyang360 发表了文章 • 5 个评论 • 1197 次浏览 • 2020-02-07 13:43 • 来自相关话题

2020年2月3日我参加Elastic认证工程师考试,2020年2月5日中午得到认证结果:通过考试。


Snipaste_masaioke.png



趁热打铁,将Elastic认证工程师考试相关内容、经验教训等和盘而出,希望对后续参加考试的同学有所帮助。

1、Elastic工程师有什么用?

An Elastic Certified Engineer possesses the skills and is able to perform the tasks necessary to build a complete Elasticsearch solution, including the ability to install, configure, and manage Elasticsearch clusters, index data into those clusters, and query and analyze the indexed data. To obtain this certification, the candidate completed a series of challenging, real-world, hands-on tasks within three hours performed on a collection of Elasticsearch clusters.

通过后,授予的徽章下方会有如上一段话。

Elastic认证工程师拥有构建完整的Elasticsearch解决方案的技能。包含:包括部署、配置和管理Elasticsearch集群;将数据索引到这些集群中以及查询和分析索引数据的能力。
为了获得此认证,候选人在三个小时内在多个Elasticsearch集群实战完成了一系列具有挑战性的实任务。

2、中国有多少人考过了这个考试?

截止2019年12月7日,中国的Elastic认证工程师只有21位。全球:550位。

我在参加大会后晚上的总结文章中提到:

  • 很震撼、很稀缺。
  • 思考:从经济学角度,稀缺就意味着;同时稀缺也意味着机会

    3、我为什么要考?

    我非常喜欢赢在中国的主题曲“在路上”(刘欢演唱、张瑞敏 /王利芬等作词)。

    "那一天, 我不得已上路

    为不安分的心, 为自尊的生存

    为自我的证明......“。

    这首歌是创业者的励志歌曲,对学生、上班族同样适用。

    不知道你是否和我一样,在人生的道路上,或多或少总有那么几个人说不行。

  • 你上学时,他说你学习不行;
  • 你工作了,他说你技术不行;
  • 你搞ES了,他说你水平不行;
  • 你写博客了,他说你是嘴炮;
  • 你负责产品了,他说你协调不行;
  • 你带团队了,他说你管理不行;
    ......

    最好的办法,就是不理会外界的看法,做好自己认为对的东西、坚持自己的坚持!

    但除了不理会,我更会以以下的方式激励自己:

    1949年9月21日,伟大领袖毛主席在中国人民政治协商会议第一次全体会议上发表的开幕词中提到:
  • 让那些内外反动派在我们面前发抖吧!
  • 让他们去说我们这也不行那也不行吧!
  • 中国人民的不屈不挠的努力。
  • 必将稳步地达到自己的目的。

    考取Elastic认证考试不为别的,就是为了证明自己

    4、Elasticsearch认证考什么?

    一图胜千言。


    Elastic认证考试考纲.png




    5、怎么准备Elastic认证考试?

    5.1 站在巨人的肩上

    先别着急上手,先做足提前工作,看看别人是如何通过的?

    一定要有全球视野,国内通过经验分享,线上的有:wood大叔、魏彬老师(中国第一位)、阮一鸣老师、腾讯云慕容兄、XX快运的一技术大佬等。

    线下的有杭州站的一次meetup分享、2019开发者大会的7位大佬的面对面交流分享。

    国外的论坛、社区、博客等也有很多分享,要一并关注。

    别人的宝贵的经验、教训能节省我们不少时间。

    举例1:做足考试前的准备工作。

  • 考试的书桌或者办公桌要除了电脑、键盘、鼠标外没有任何其他物品。
  • 如果是笔记本电脑,不要有外接显示器。
  • 准备有包含和自己注册考试名字拼音一致的证件(护照或港澳通行证),身份证需要提前邮件申请报备才可以。
  • 提前检查摄像头确保好使,考试期间摄像头要全程打开、桌面要全程共享。
    提前做足准备,避免考试的时候忙乱,影响考试节奏。

    举例2:15分钟的检查环节,通过chat对话框进行,对方全是英文。

    应试者是可以发中文的。
    这是开发者大会听到的经验。我考试直接用上了,英文敲的毕竟有点费劲,对方不懂中文,但是有谷歌翻译,一样保证可以顺畅的沟通。
    主要是节省宝贵的考试时间。

    举例3:提前准备好VPN。


    Snipaste_2020-02-07_13-38-47.png



    网络不通,复习的再好也会有很大的挫败感。
    我自己考试提前准备了vpn,但考到一半,vpn出故障,直接本地网络连接的,那个卡啊,苦的一逼,直接掉线5次+

    5.2 熟悉考纲

    明白不考什么、考什么很重要。

    大家都知道:Elastic公司发展迅猛,早已由单个的Elasticsearch发展为ELK Stack。

    包含但不限于:Elasticsearch、kibana、logstash、beats等。

    但,Elasticsearch认证考试只考Elasticsearch,不考logstash、beats、kibana等。

    kibana还得算个例外,基于xpack构建多用户、权限设置可以命令行实现,但通过kibana更快捷,考试可不可以直接kibana操作呢。

    这个问题,我提前做了邮件咨询、回复如下:

    Snipaste_2020-02-07_13-39-02.png




    要熟悉到什么程度呢?
    对着考纲,把要考的知识点分布的官方文档的位置,能O(1)时间找出来

    5.3 刻意学习Elastic官方文档

    单纯的看文档的确很枯燥、容易困,所以,要刻意练习。

    如何刻意学习?

    5.3.1 搭建有随手可得的集群环境。

  • 方式一:本机docker集群(三节点)。
  • 方式二:买云服务器。
    我是买的云服务器,2核4GB,最多部署二个节点。足够,很多多节点任务,2节点演练也可以。

    不建议:本地windows环境搭建集群。

    原因:考试时centos7的环境。windows和linux毕竟不完全一致。

    要模拟,就是近实战环境模拟。

    5.3.2 平时遇到任何Elastic问题,先从文档找答案。

  • 1、考试环境是7.2版本,默认最新7.5+,需要切换下版本。
    版本不一样,文档结构是不一样的。

  • 2、刻意熟悉文档。
    注意:考试除了官方文档,不允许google等任何第三方文档的。

    遇到问题,通过google、stackoverflow、elastic论坛找答案固然很快,
    但,这样少了一次熟悉文档的机会。

  • 3、官方文档支持搜索,但万不得已,不建议用。

    原因1:官方文档的搜索不好用。

    原因2:熟悉文档结构后,直接锁定目标比搜索要快很多。

    5.3.3 一定要动手敲

    一定要动手敲!一定要动手敲!一定要动手敲!
    重要的事情说三遍!

    看一遍,不等于理解了。

    理解了,不等于会实战了。

    只有实战+理解了,考试才有信息和把握。

    考试时kibana环境,平时:head插件、cerebro、postman都可以配置集群。

    但,我们从平时就使用kibana dev-tool实现。

    做到:平时如考试、考试如平时。

    5.4 熟悉考试题型

    不考:选择题、填空题、问答题、原理题。

    全部都是英文实战题。

  • 题型一、实战部署题。

    举例:冷热集群架构部署。


    Snipaste_2020-02-07_13-39-11.png



  • 题型二、实战DSL题。

    举例:满足给定条件的自定义模板、自定义查询、聚合、reindex+script等。

    Snipaste_2020-02-07_13-39-19.png




    6、Elastic认证经验、教训

    6.1 备好vpn

    血淋淋教训告诉你:如果条件允许,建议备两套美国线路的vpn。

    我自己深有体会,网络不好,自己会着急,很无助但没有任何解决办法。

    所以,工作要做在平时。

    6.2 不打无准备之仗

    按照考纲、考点刷文档、通过kibana实践。

    考试试题中规中矩,没有很复杂的难题,但切记要做最充分的准备。

    确保每个知识点自己kibana都敲过3遍以上。

    部分点如:批量写入文档、查询、聚合、自定义Mapping常规操作,建议熟悉到不用翻文档,直接能敲出来。

    6.3 盲点、疑点可能就是考点

    不要有知识盲区,因为:任何你的知识盲区,都可能是考点

    把工作做在平时,模棱两可的点,提前识别到,提前解决了,考试就剩下:
    复制、黏贴、修改、提交过程了。

    举例:上文提到的基于kibana配置用户角色。

    举例:most_fields, best_fields, cross_fileld的核心区别?

    6.4 考试常规技巧依然适用

  • 第一:进入考试环境后,先看一下有几个集群。

    我考试时候是4个集群,1个四节点,其他3个单节点。

    因为:集群环境是你后面所有操作的前置条件。

  • 第二:通读一遍考题。
    目的1:是识别一下,哪些自己熟悉、哪些不熟悉。

    建议:先易后难、先简后繁

    目的2:知道哪些单节点环境,哪些多节点。

    建议:先搞定单节点的,多节点集群的留到最后。

  • 第三:会多少,写多少。

    我猜测考试会按点给分的,最后给出一个考试过的线(待核实)。

    但,空着肯定是不行的。

    7、Elastic认证常见问题

    征集了一些大家最关心问题,梳理总结如下。

    7.1 我英语太烂了,看不懂考题怎么办?

    第一:英语四级就基本没问题能看懂题目,没有六级、考研的长难句,都是中规中矩试题,不复杂。

    第二:平时看文档尝试关掉翻译。

    第三:去年开发者大会,有个分享嘉宾说他考试时候开了谷歌翻译,也过了。

    第三点没有求证,我建议可以发个邮件给考试组问一下,如果允许那就更好了,避免了理解歧义导致实战出错。

    7.2 试错成本太高了,400美金肉疼,怎么办?

    的确,真心肉疼。

    提醒:多关注一下官方的活动。

  • 活动一:买一赠一活动。

    也就是说:购买一次考试,赠送一次补考机会,补考1年内有效。

  • 活动二:75折扣活动。

    去年下半年截至2020年1月31日有75折活动,能省100美金。

    所以,做好充分准备争取一次过很重要。

    7.3 认证考试有题库吗?

    官方没有提供。

    不过国内阮一鸣老师做了总结、国外一德国博士也做了总结。

    我都做了一遍并梳理出答案。欢迎留言交流。

    7.4 很难考吗?

    有一定难度。体现在两个层面。

  • 第一:好多考点,平时我们不见得常用。

    举例:自定义分析部分的同义词synonym filter、跨集群搜索、多机架分片均衡分配。

  • 第二:考试多少会设置一点点障碍。

    我本次考试的4个集群全都没有启动,需要自己按条件部署后启动。

  • 第三:考试时间3个小时。

    10-12道题,在熟悉文档的前提下,每个题目都需要争分夺秒、分秒必争。

    7.5 考取认证有什么用?

    第一:Elastic总部官方认可。

    来自Elastic官方的认可,不容小觑。是对你实践能力的认可。

    第二:含金量高

  • Elastic官方、社区大佬wood大叔、极客时间阮一鸣老师都强调过这个证书含金量很高。

  • 他不同于工信部的软考、PMP考试考的是理论能力、理解能力,全国每年几万人甚至十几万人都能通过,甚至在校大学生背背也能通过,

    Elastic认证没有实践过几乎100%通不过的

    第三:“升职加薪”。
  • 如果你考虑换工作,可以作为很好的敲门砖。
  • 如果你是面试官,应聘者通过认证,基础的Elastic实战问题说明已经非常熟练了,极大的提高你的招聘质量。
  • 如果你是职场人士或在校学生族,熟悉考点的过程也是你加强Elastic认知的过程。

    最强大脑Dr魏在得到的课程中提到:"认知科学成果表明,提取记忆过程,特别是用考试作为手段的提取方式,不仅有学习的作用,甚至比简单的重复学习效果更好。”

    7.6 一次通过的吗?

    很遗憾,我也不是一次性通过的。

  • 2019年7月份考过一次,当时只简单过了一遍文档,很多地方没有实际敲过,考试一紧张,11道题只完成8道。
    没过总结的原因无非两字:不熟。其他都是借口。

  • 2019年12月7日参加完Elastic开发者大会后,很有触动,又开始重新准备考试,侧重实战。

    7.7 有没有可参考的复习计划?

    2019年下半年,杭州的一次meetup分享很受用,我按照他的表格做了知识点的梳理和大致实践规划。

    Snipaste_2020-02-07_13-39-31.png




    大致分三个阶段。

  • 阶段1:熟悉官方文档。

    官方文档+案例敲一遍,相关数据可以使用kibana提供的3种数据集。

    这个时候遇到的任何问题自己解决不了,都可以抛出来中英文社区讨论,直到彻底懂了。

  • 阶段2:真题模拟,记录不熟的知识点。

    我记录的一些核心点如下:


    <br /> (1)parent/child<br /> <br /> (2)nested<br /> <br /> (3)script+ingest pipeline<br /> <br /> (4)function_score<br /> <br /> (5)dis_max, multi_fields(cross fields, most_fields, best_fields)<br /> <br /> (6)security+role<br /> <br /> (7)search template<br /> <br /> (8)cross cluster search<br /> <br /> (10)custom analyzer<br /> <br /> (11)shard allocation<br /> <br /> (12)cluster diagnose <br /> <br /> (13)backup restore<br /> <br /> (14)hot-ware deployment<br /> <br /> (15)mapping muti-fields<br /> <br /> (16)settings+analyzer+<br /> <br /> (17)update+search+reindex script<br /> <br /> (18) template+alias<br />


  • 阶段3:查缺补漏,重点突击。

    基础已经基本熟悉了,对于第二阶段发现的问题,细节再过一遍文档,查缺补漏,确保万无一失。

  • 阶段4:迎战考试。

    快速翻文档和1-3环节技术点,多过几遍。能o(1)时间找到文档位置。

    以上三个过程,全环节都需要实战演练。

    1-3阶段可以放慢速度,求稳、求准。

    第4阶段适度进展,迎战考试,确保没有遗漏,确保能最快时间定位文档。

    7.8 这次考了哪些题?

    1、terms聚合分析

    2、跨集群检索

    3、4节点跨集群分片副本感知分配

    5、用户角色、用户名密码指定

    6、动态模板template

    7、reindex+ingest pipeline

    8、检索+提升评分权重

    9、自定义mapping+multi-fields

    10、检索+排序+高亮+等

    这次考试好几个题目的题干都很长

    7.9 你考试花了多长时间?

  • 2019年12月8日重新定下目标考试,2020年2月3日参加考试。
  • 期间只有晚上10点到12点左右有时间。临考前2天准备了2个整天。
  • 中间有别的事情+春节,断过几天。

    7.10 平时工作那么忙、哪有时间考试?

  • 的确,这是大家通病。年底都忙,过年也忙。
  • 自己挤时间,我为了准备考试,12月8日——2月5日,朋友圈彻底关闭、一切新闻客户端彻底删除。不狠一把,你都不知道自己有多厉害!
  • 期间也有想放弃的时候,就听一下俞敏洪一分钟励志演讲,管用!新东方的励志语录也萦绕在耳边“坚持下去不是因为我很坚强,而是我别无选择”。
  • 特殊期间,正是提升内功的绝佳时机。看别的只会让你焦虑和恐慌,做好自己就是对国家的贡献。
  • 如果你平时工作中就一直使用Elasticsearch,可以平时的时候刻意注意熟悉实践文档。我看腾讯大佬们的分享都很轻松,不用我写的这么“悲壮”。

    8、考过了就牛逼了吗?

    大错特错,考试说白了只能证明你文档熟+实践能力强。
    并不能说明你底层原理熟悉+源码熟悉,离大佬还差十万八千里。
    真正的大佬是:

  • 以medcl等大佬为代表的Elastic原厂技术团队;
  • 以wood大佬+阮一鸣等大佬为代表的大厂企业级实战派;
  • 以魏彬等大佬为代表的咨询专家团队;
  • 以张超等大佬为代表的源码原理派。

    多向他们学习和求经,能获益良多。

    9、小结

    著名相声表演艺术家常宝华曾这样评价侯宝林大师:“在他面前,我就像不会(说相声)似的”。

    我认为这句话对技术人员一样受用。技术的道路上,我们要谨记这句话。

  • 一方面:新技术层出不穷,不要抱残守缺,要拥抱变化。同时注意底层原理大多是相通的,要深挖,不要浮于表面

  • 另一方面:保持对技术的敬畏和好奇之心,热爱自己的热爱、坚持自己的坚持。

    专研技术的同时要多向身边或者网上的牛人学习。一个人可能走得更快,但一群人走得更远

    文章标题的来源自偶像俞敏洪老师公众号对粉丝的回复:


    和大家共勉!

    潜心一技、做到极致。

    和你一起,死磕Elastic!

ES 6.4.3 X-PACK 启用安装配置

zqc0512 发表了文章 • 6 个评论 • 6395 次浏览 • 2018-11-15 09:27 • 来自相关话题

由于 ES开源了X-PACK代码,现在6.4.3版本与6.3以及以下的有变化
我基于最新的版本整理了下启用X-PACK功能。坑比较多,给我的感觉与searchguard 搞得越来越像了……
比较坑的是 transport(9300) 必须要用SSL…… 大家注意下。 6比5复杂多了……
 
Configure each node to:
Required: Enable TLS on the transport layer.
Recommended: Enable TLS on the HTTP layer.

 
参考:
https://www.elastic.co/guide/e ... .html
  1. ES 设置
  2. 配置 TLS/SSL
  3. 配置ES(x-pack认证)
  4. 启动ES
  5. 配置密码
  6. 配置kibana

 1 Elasticsearch.yml 文件添加内容
xpack.security.enabled: true
2 .1生成CA证书
./elasticsearch-certutil ca
2.2 生成客户端证书
./elasticsearch-certutil cert --ca
2.3ES启用SSL配置文件
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: xxx.p12
xpack.security.transport.ssl.truststore.path: xxx.p12
2.4 keystore 添加内容
./elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
3启用相关功能


xpack.monitoring.enabled: true
xpack.graph.enabled: true
xpack.ml.enabled: true
xpack.security.enabled: true
xpack.watcher.enabled: true
xpack.security.authc.accept_default_password: false
xpack.security.transport.ssl.enabled: true
xpack.monitoring.collection.cluster.stats.timeout: 30m
xpack.monitoring.collection.index.stats.timeout: 30m
xpack.monitoring.collection.index.recovery.active_only: true
xpack.monitoring.collection.index.recovery.timeout: 30m
xpack.monitoring.history.duration: 3650d


4 启动ES
./elasticsearch -d 每台
5配置密码
./elasticsearch-setup-passwords
 6汉化kibana 这玩意我还没有整理完,5差不多搞完了。
7开始浪

6版本
无标题1.png

5版本

无标题4.png


无标题2.png


无标题3.png

有没包装查询中心兄dei~来唠个五块钱儿的嗑儿呗

laoyang360 回复了问题 • 7 人关注 • 5 个回复 • 1168 次浏览 • 2018-10-02 22:06 • 来自相关话题

Elasticsearch 移除 type 之后的新姿势

medcl 发表了文章 • 0 个评论 • 11903 次浏览 • 2018-05-03 15:41 • 来自相关话题

随着 7.0 版本的即将发布,type 的移除也是越来越近了,在 6.0 的时候,已经默认只能支持一个索引一个 type 了,7.0 版本新增了一个参数 include_type_name ,即让所有的 API 是 type 相关的,这个参数在 7.0 默认是 true,不过在 8.0 的时候,会默认改成 false,也就是不包含 type 信息了,这个是 type 用于移除的一个开关。

让我们看看最新的使用姿势吧,当 include_type_name 参数设置成 false 后:

  • 索引操作:PUT {index}/{type}/{id}需要修改成PUT {index}/_doc/{id}
  • Mapping 操作:PUT {index}/{type}/_mapping 则变成 PUT {index}/_mapping
  • 所有增删改查搜索操作返回结果里面的关键字 _type 都将被移除
  • 父子关系使用 join 字段来构建


    ```

    创建索引

    PUT twitter
    {
    "mappings": {
    "_doc": {
    "properties": {
    "type": { "type": "keyword" },
    "name": { "type": "text" },
    "user_name": { "type": "keyword" },
    "email": { "type": "keyword" },
    "content": { "type": "text" },
    "tweeted_at": { "type": "date" }
    }
    }
    }
    }

    修改索引

    PUT twitter/_doc/user-kimchy
    {
    "type": "user",
    "name": "Shay Banon",
    "user_name": "kimchy",
    "email": "shay@kimchy.com"
    }

    搜索

    GET twitter/_search
    {
    "query": {
    "bool": {
    "must": {
    "match": {
    "user_name": "kimchy"
    }
    },
    "filter": {
    "match": {
    "type": "tweet"
    }
    }
    }
    }
    }

    重建索引

    POST _reindex
    {
    "source": {
    "index": "twitter"
    },
    "dest": {
    "index": "new_twitter"
    }
    }
    ```

    相关链接:

  • [removal-of-types](https://www.elastic.co/guide/e ... to80)
  • [#15613](https://github.com/elastic/ela ... 435920)
  • [join filed](https://www.elastic.co/guide/e ... n.html)

本人小白一个 哪位大佬告诉我怎么赢日志的时间作为kbiana的时间戳

chao 回复了问题 • 3 人关注 • 1 个回复 • 1198 次浏览 • 2018-03-27 10:05 • 来自相关话题

springboot 项目启动 报Failed to load plugin class [org.elasticsearch.xpack.XPackPlugin]]

ZacReno 回复了问题 • 2 人关注 • 1 个回复 • 5475 次浏览 • 2018-07-16 19:14 • 来自相关话题

Docker 社区版中 Kubernetes 开启

well 发表了文章 • 0 个评论 • 1603 次浏览 • 2018-03-07 14:11 • 来自相关话题

Docker 社区版从 17.12 版本开始已经提供了对 Kubernetes 的支持。但是由于其安装过程依赖的镜像服务在国内访问很不稳定,很多朋友都无法配置成功。阿里提供了一个简单的工具帮助大家开启 Docker 社区版的Kubernetes 功能

开启 Kubernetes 从 Docker 官方站点下载并安装 Docker for Mac 或 Docker for Windows

在 Docker -> Preferences ... 中,配置 registry mirror 为 https://registry.docker-cn.com

具体步骤参考: https://github.com/wellpeng/k8s-for-docker-desktop
 

Elastic 中文社区运维监控实战 (2) - 总体方案

medcl 发表了文章 • 0 个评论 • 2250 次浏览 • 2018-02-01 21:18 • 来自相关话题

接上一篇:[Elastic 中文社区运维监控实战 (1) - 序](https://elasticsearch.cn/article/470)

本文为系列文章第二篇,主要介绍如何把 Elastic 中文社区的网站服务器监控起来,对有同样想了解如何使用 Elastic Stack 来做运维监控的同学,可以作为一个很好的参考和入门资料,学习门槛定义为入门级。

本节内容


在深入到具体的监控指标收集的细节之前,今天先主要介绍一下 Elastic 中文社区的总体方案。这样我们在动手之前会有一个总体的思路和对所用工具有一个大致的了解。



## 技术选型

> 工欲善其事必先利其器

前面已经提到我们要对服务器进行各项性能指标的监控以及日志的监控。

看起来很复杂,因为有很多信息需要收集。
好在我们有 Elastic Stack,使用它们来作为我们的监控工具,整个工作就变得简单了,我们结合我们社区监控的这个场景,具体来看的话,需要的工具主要是如下几个:

* 监控数据存储:[Elasticsearch](https://www.elastic.co/cn/products/elasticsearch)

Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。简单易用,用户众多,性能优良,久经考验,支持单节点部署到虚拟机,并可随着业务增长无缝伸缩扩容至上千个节点规模的集群,PB 级别数据也不在话下。

日志数据和指标监控数据都能放,通过集中式存储所有的这些时序型数据,可以快速方便的对这些数据进行分析和关联,实在是排障运维和性能调优的不二选择,你如果还不知道 Elasticsearch,那我只能说你真的是 out 了。

* 日志数据收集:[Filebeat](https://www.elastic.co/cn/products/beats/filebeat)

Elastic Beats 家族的一员,Go 语言编写,轻量级,无依赖,这样就可以很方便的完成收集端的部署,所以如果你的场景和我一样, 可以优先使用 Filebeat 代替 Logstash 来收集日志,当然如果有日志的进一步加工,可以让 Filebeat 把数据发送给 Logstash,然后 Logstash 处理完之后再发送给 Elasticsearch。

Filebeat 使用很灵活,可以指定你的日志路径来进行收集,还可以对数据进行预过滤,对于一些常见的监控需求,Filebeat 以模块的方式替你打包好了一切,如:日志路径配置、解析规则、机器学习的任务,甚至还自带 Dashboard,简单几个操作,就可以完成从数据收集到最终可视化分析的所有工作。

* 指标数据收集:[Metricbeat](https://www.elastic.co/cn/products/beats/metricbeat)

我们这次需要监控的服务器都是一些常规的指标,而 Metricbeat 刚好都支持这些指标的收集,你说这不巧了不是。

Metricbeat 同样也是 Elastic Beats 家族的一员,同样也是开源的。定位是一个轻量级的监控指标采集器,采用 Go 语言编写,同样提供的是一个很小的无依赖的二进制文件包,能够收集服务器(Linux、Windows、Mac)本身的运行指标,如: CPU 使用率、内存、文件系统、磁盘 IO 和网络 IO 统计数据等,还能获取服务器上面的各项服务的运行指标,常见的如: Apache、NGINX、MongoDB、MySQL、PostgreSQL、Prometheus、Redis 等都有直接支持,并且内置了 Elasticsearch 索引和 mapping 设置,以及 Ingest pipeline 设置,还提前预置了不少 Kibana 的 Dashboard,开箱即用、即分析。

* 数据分析展现:[Kibana](https://www.elastic.co/cn/products/kibana)

和 Elasticsearch 工作的最佳拍档,结合 Elasticsearch 的实时分析能力,可以非常方便的对各种数据进行搜索和分析,你可以灵活的自定义的各种图形展现和 Dashboard,不用编写一行代码,即可进行数据分析,除了分析,还整合了 Elastic Stack 的各个产品的管理功能,作为 Elastic Stack 的图形交互终端。

除了上面这些工具,后续我们还可以考虑使用 [Auditbeat](https://www.elastic.co/cn/products/beats/auditbeat) 来收集服务器的安全行为日志,使用 [Heartbeat](https://www.elastic.co/cn/products/beats/heartbeat) 来监控各个服务的端口是否正常,我们先完成基本的监控之后,再慢慢将这些加上。

可以看到,我们没有用到 [Logstash](https://www.elastic.co/cn/products/logstash),是的,这个规模的监控,可以不考虑 Logstash,这样我们可以做到架构简单和足够的轻量级。

上面列的这些软件都是 [Elastic](https://www.elastic.co) 家族的产品,并且都是开源的,所有的源码都在:https://github.com/elastic/

## 部署方案

在收集数据之前,我们需要明确我们数据放在哪里,毫无疑问,所有的数据都将放在 Elasticsearch 里面,不过 Elasticsearch 不能部署在 Elastic 中文社区的这台服务器上面,一个是资源的限制,另外一个是基于安全的考虑,如果 Elastic 社区的服务器挂了,数据不光收不到,连什么时候挂的都不知道。所以我们需要把 Elasticsearch 服务搭建在别的地方,有多种选择:

* 使用 [Elastic Cloud](https://www.elastic.co/cn/cloud),很方便就能开通,缺点国内访问速度慢,暂时还没开放机器学习的功能。
* 使用[阿里云的 Elasticsearch](https://data.aliyun.com/product/elasticsearch),Elastic 官方合作伙伴,国内唯一包含 X-Pack 的完整功能的 Elasticsearch 云服务,国内访问速度快。
* 自己搭建的 Elasticsearch 集群。

使用[阿里云的 Elasticsearch](https://data.aliyun.com/product/elasticsearch) 无疑很方便,不过我家里刚好有一台服务器,型号 HP Gen8,16GB 内存,上面运行了 SmartOS,跑几个 zone 很轻松,每天用来备份社区的数据库,再来起一个 Elasticsearch 服务也很方便,通过路由器将内网 IP 映射出去,让社区服务器将监控数据发送到这台服务器上面来,安全上面,需要保证这台服务器不被黑客攻击,需要做一些必要的访问控制,可以使用 X-Pack 的身份验证,结合 IP 白名单功能,只允许内网和 Elastic 中文社区服务器的 IP 访问。

我们将之命名为:Ops Center,方便后面招呼。

可以看到,Elastic 社区服务器除了启动 Filebeat 和 Metricbeat 之外,不需要额外做什么服务器本身的设置。

这里画一个简单的部署拓扑图,方便理解:

deploy2.png


今天主要写到这里,后面将具体介绍它们的安装部署过程。

Elastic 中文社区运维监控实战 (1) - 序

medcl 发表了文章 • 1 个评论 • 2288 次浏览 • 2018-01-25 21:47 • 来自相关话题



本文为系列文章第一篇,主要介绍如何把 Elastic 中文社区的网站服务器监控起来,对有同样想了解如何使用 Elastic Stack 来做运维监控的同学,可以作为一个很好的参考和入门资料,学习门槛定义为入门级。

首先,我们要监控的网站,也就是大家现在正在访问的 Elastic 官方中文社区,网址:[elasticsearch.cn](https://elasticsearch.cn/),这个网站基于开源的 [WeCenter](https://github.com/wecenter/wecenter/) 搭建,开发语言是 PHP,后端数据库是 MySQL,目前只有一台服务器,由 [ConvertLab](http://convertlab.com/) 友情无偿赞助,大写的赞!再次感谢!

服务器部署环境是 Ubuntu 16.04.2,部署了以下服务及软件:

  • Nginx - Http 反向代理,不要介绍了吧
  • PHP-FPM - 一个常用的 PHP FastCGI 管理
  • Elasticsearch - Elasticsearch 服务,用于社区的垂直搜索服务 [Elastic 情报局](https://index.elasticsearch.cn) 服务
  • GOPA - 可以说是为社区而写的,一个轻量级的爬虫,用于爬取 Elatic 周边相关相关资料,创建索引存放到 Elasticsearch 里面,提供垂直搜索服务,[代码地址](https://github.com/infinitbyte/gopa)
  • Grok Debugger - 一个 Java 的 Grok pattern 调试服务,方便大家调试 Grok 日志解析规则,访问地址:[grok.elasticsearch.cn](http://grok.elasticsearch.cn/)

    服务器上所有的财产就这些了,一个平淡无奇的网站,基本上所有的东西都能公开访问到,这个网站的目的就是为所有 Elastic 爱好者服务的,供大家交流和沟通的专属平台,所以请各位黑客大侠不要再扫描和攻击啦,画一个简单的拓扑图如下所示:

    topology.png



    作为一个合格的网管,除了重启服务器之外,还必须要保证网站的正常运行,所以了解网站的运行情况就变成了一个需要解决的首要问题,我们可以先把任务具体列一下:

  • 网站是否正常访问,各项服务有没有挂
  • 网站访问情况如何,用户访问速度如何
  • 网站访客统计分析,访客相关数据分析
  • 服务器的各项指标,详细指标监控分析
  • 服务器的各项服务,日志集中分析处理
  • 服务器是否很安全,有没有黑客来造访
  • 数据是否安全备份,有没有定期测试过

    实在编不下去了(话说对的还蛮齐),说人话就是监控起服务器的各项指标和收集服务的日志,然后出几个分析的 Dashboard,监控报警整起来。

    我们这次需要用到的工具主要就是 Elastic Stack 啦,Elastic Stack 包括 Elasticsearch、Logstash、Beats 和 Kibana,版本都用最新的 6.x,再结合我们实际的数据和实际的需求,在后面的文章里面,我会具体介绍它们是什么以及如何使用。

    今天先写到这里,明天写监控指标的收集,此系列文章暂且定为需要 100 期完成。(开个玩笑,哈哈)。

请问在elastic官网论坛上如何将DSL语句粘贴成文本框

laoyang360 回复了问题 • 2 人关注 • 1 个回复 • 1013 次浏览 • 2018-01-08 19:49 • 来自相关话题

ELK能进行数据运算后统计吗?

living 回复了问题 • 5 人关注 • 3 个回复 • 2027 次浏览 • 2017-12-05 15:39 • 来自相关话题

那家公司或者团队有基于ELK实现SIEM的项目经验?

回复

fengdasima 发起了问题 • 1 人关注 • 0 个回复 • 2005 次浏览 • 2017-10-31 10:22 • 来自相关话题

关于complete suggest的使用疑问

回复

wc_learning_ES 发起了问题 • 0 人关注 • 0 个回复 • 2399 次浏览 • 2017-07-14 17:48 • 来自相关话题

请教新手学习Elastic进阶路径

medcl 回复了问题 • 7 人关注 • 3 个回复 • 3828 次浏览 • 2017-05-26 18:56 • 来自相关话题