概述

随着数字科技的飞速发展和信息量的爆炸性增长，搜索引擎已成为我们获取信息的首选途径之一，典型的代表厂商如 Google。然而，随着用户需求的不断演变，传统的搜索技术已经无法满足人们对信息的实时性、个性化和多样性的需求。

在企业内部，这种需求更加显著。随着企业数字化转型的持续深化，非结构化数据正日益成为各类组织数据增长的主要来源，也是数据体系中至关重要的组成部分，蕴含着巨大的价值。如何高效地存储和利用非结构化数据的重要性也日益凸显。企业需要更高效地管理和检索内部的海量数据，以支持业务决策和运营需求。

据 IDC 数据预计，到 2025 年，80%的数据将是非结构化数据；而根据 Gartner 的数据显示，从 2019 年到 2024 年，非结构化数据容量预计将增加两倍。然而，目前非结构化数据面临着表现形式多样、管理复杂性高、价值挖掘难度大等诸多挑战。传统的数据库系统往往无法满足企业对实时性和多样性的搜索需求，为了解决这些挑战，以自动分词、倒排索引、相关度计算、向量检索引擎等技术为核心构建的搜索型数据库应运而生。这些数据库自上世纪 90 年代诞生以来不断发展演进，正在成为数据库领域中不可或缺的一个重要分支。

什么是搜索型数据库？

搜索型数据库早期又称全文数据库，或者企业搜索引擎，是一种专门用于存储和管理大规模文本数据，并支持高效的文本搜索和信息检索的数据库系统，不过随着技术不断发展和应用场景日益丰富，目前搜索型数据库不仅仅可以处理长文本数据，也可以处理常见的数值、日期等结构化数据，IP、地理位置信息、图片、音视频等非结构化数据，搜索型数据库的应用范畴不断拓展，正在由支撑业务系统检索加速、IT 运维可观测性、聚合查询分析等向多场景、多模态数据搜索方向发展。

典型的搜索数据库一般具有以下特点：

1. 灵活的索引能力：搜索数据库能够处理多种类型的数据，包括文本、图像、音频、视频等非结构化数据。它们采用自动分词、倒排索引等技术，能够高效地处理不同格式和类型的数据，提供灵活的搜索和检索功能。
2. 高效的查询性能：搜索数据库具有高效的查询处理能力，能够快速索引和检索大规模的数据。借助优化的索引结构和查询算法，搜索数据库能够在短时间内准确地返回与查询相关的结果，提高用户的搜索效率，常用于解决关系型数据库的高并发检索需求。
3. 支持复杂的搜索功能：搜索数据库提供多样化的搜索功能，包括全文检索、模糊搜索、精确搜索、范围搜索、向量搜索、地理信息检索等。用户可以根据不同的需求和场景，灵活地选择和组合不同的搜索功能，以获取符合期望的搜索结果。
4. 高性能和可扩展性：搜索数据库具有高性能和可扩展性的特点，能够处理大规模数据和高并发访问。它们采用分布式架构和并行计算技术，实现了水平扩展，能够满足不断增长的数据量和用户访问量的需求。

综上所述，搜索数据库具有处理非结构化数据、实时搜索和更新、多样化的搜索功能、个性化推荐和智能搜索、高性能和可扩展性、全面的搜索结果展示等特点，是处理大规模数据和提供高效搜索服务的重要工具。

搜索型数据库的应用场景

搜索型数据库在各行各业都有广泛的应用，以下是一些典型的应用场景：

1. 零售和电商：在零售和电商行业，搜索型数据库被广泛应用于产品搜索和推荐系统中。通过搜索功能，顾客可以轻松查找所需商品，而个性化推荐系统则可以根据用户的搜索历史和行为习惯推荐相关的产品，提高购物体验和交易转化率。
2. 医疗保健：在医疗保健行业，搜索型数据库被用于医学文献检索、疾病诊断和药物搜索等方面。医生和研究人员可以利用搜索功能找到相关的医学文献和研究成果，帮助诊断疾病和制定治疗方案。
3. 金融服务：在金融服务行业，搜索型数据库被用于金融数据检索、市场分析和投资决策等方面。投资者可以通过搜索功能查找相关的金融数据和市场资讯，帮助他们做出更加准确的投资决策。
4. 制造业：在制造业中，搜索型数据库被用于生产过程监控、质量控制和故障诊断等方面。工程师可以利用搜索功能查找相关的生产数据和技术资料，帮助他们解决生产中的问题和挑战。
5. 媒体和娱乐：在媒体和娱乐行业，搜索型数据库被用于内容检索、版权管理和用户推荐等方面。用户可以通过搜索功能查找感兴趣的新闻、音乐和视频等内容，而个性化推荐系统则可以根据用户的搜索历史和偏好推荐相关的内容。
6. 教育和培训：在教育和培训行业，搜索型数据库被用于学习资源检索、课程管理和学习分析等方面。学生和教师可以利用搜索功能查找相关的学习资源和课程内容，而学习分析系统则可以分析学生的搜索行为和学习表现，为教学提供参考和支持。
7. IT 运维可观测性：通过搜索型数据库，可以实时监控系统的运行状况、性能指标和日志数据，帮助运维团队及时发现和解决系统故障、性能问题和异常情况，确保系统的稳定运行。
8. 安全监测和威胁检测：利用搜索型数据库对系统的安全日志进行审计和监控，监测用户的访问行为和系统操作，及时发现异常行为和安全事件。同时，搜索型数据库还可以与威胁情报数据集成，对内部日志数据进行关联分析，快速识别并应对各种安全威胁和攻击行为，保障系统和数据的安全。

综上所述，搜索型数据库在各行各业都发挥着重要作用，数据规模从 GB 到 PB 不等，体现在生活中的方方面面，为用户提供了高效、准确和个性化的信息搜索和检索服务，推动了各行业的发展和进步。随着搜索技术的不断创新和发展，搜索型数据库在各行业中的应用将会越来越广泛，并持续为用户带来更加便捷和智能的搜索体验。

搜索型数据库的发展历程

搜索型数据库的发展历程可以概括如下四个阶段：

1. 起步阶段（1990 年代）：搜索数据库的雏形开始于上世纪 90 年代，当时以全文检索为主要技术手段，最初用于文档检索和网络搜索。典型代表包括 AltaVista、Excite 等。
2. 技术突破（2000 年代）：随着互联网的快速发展，搜索数据库开始应用于更多领域，如电子商务、社交网络等。Lucene、Sphinx 等开源搜索引擎的出现推动了搜索技术的进步。
3. 商业化发展（2010 年代）：搜索数据库进入商业化阶段，以 Elasticsearch 等为代表的商业搜索引擎崭露头角。企业开始大规模应用搜索数据库来管理和检索大量数据。

4. 智能化转型（2020 年代）：随着人工智能技术的发展，搜索数据库逐渐向智能化转型，开始引入机器学习、自然语言处理等技术，提供个性化推荐和智能搜索服务。同时，搜索数据库也在更多领域得到应用，如医疗保健、金融服务等。

   综上所述，搜索数据库经历了从起步阶段到技术突破、商业化发展再到智能化转型的发展历程，表明了其在信息检索领域的重要性和不断演进的趋势，不并断推动着搜索技术的进步和应用范围的扩展。随着人工智能技术的不断成熟，搜索数据库将会在智能化、个性化等方面取得更大的进步，为用户提供更加优质的搜索体验。

搜索型数据库的发展情况

搜索型数据库市场上已经有不少成熟的产品和厂商，但是总的来说，搜索型数据库的界限范围有点模糊，当然其他数据库也有同样的问题，有很多数据库既是文档数据库，又是多模态数据库，还是向量数据库等等，而常见的搜索型数据库主要诞生于：

• 由搜索引擎内核库发展而来的搜索数据库，如 Elasticsearch
• 由其他数据库扩展而来的搜索数据库，如 Postgres Full-Text Search
• 从零开始整体设计的搜索数据库：如 INFINI Pizza

通过流行的 DB-Engines 的搜索引擎排行榜，可以初探国外主流的搜索型数据库的流行趋势，如下图：

可以看到 Elastic 公司的 Elasticsearch 还是依旧保持强悍，自从 Elasticsearch 十多年前掀翻了 Splunk 的桌子，硬生生的在日志领域杀出一条新路，随后大杀四方，碾压整个搜索行业，霸榜至今。Elastic 商业化增长稳健，2023 年收入超过 10 亿美金。

OpenSearch 是由 AWS 发起的 Elasticsearch 开源分支，起因是由于 Elastic 针对云厂商采取的协议变更为 Elastic+SSPL，OpenSearch 基于 Apache 2.0 协议的 Elasticsearch 7.10 版本衍生而来，目前也具备了一定的用户基础。

Splunk 是一款用于搜索、监控和分析大规模机器生成的数据的软件平台，主要用于日志和安全分析领域，属于商业闭源产品。2023 年中被思科（Cisco） 以 230 亿美元现金收购，瞬间刷爆朋友圈。另外有意思的是，前四名除了 Splunk，底层都是 Lucene 内核。

MarkLogic 成立于 2001 年，自我定位是一个 NoSQL 多模态数据库厂商，也是商业闭源软件，生态成熟但是系统过于复杂，学习曲线较陡， 2023 年初被 Progress Software 以 3.55 亿美元收购算是一个比较好的结局。

当然了，除了榜上的这些产品，还有很多优秀的挑战者正摩拳擦掌，跃跃欲试。如下面的这些项目： vespa、Rockset、Doris，Clickhouse、quickwit、Pinot、SingleStore、qdrant、milvus、algolia、meilisearch、typesense、Manticore Search 等等。这些项目不一定都是自己定位是搜索型数据库，有侧重在 AI 领域的，有侧重在实时分析领域的等等，可谓各有千秋，不过都具备一定的搜索和分析能力，不出意外，基本上每家都要号称吊打 Elasticsearch 一番。

国内搜索型数据库的发展情况

搜索型数据库已经成为企业事实上的重要基础设施，而国内搜索型数据库的发展近些年也是开始得到重视，2023 年初，由中国信通院云计算与大数据研究所牵头，依托中国通信标准化协会大数据技术标准推进委员会，联合拓尔思、极限科技、星环科技等 30 余家企业编制的《搜索型数据库技术要求》正式出炉，该标准已成为行业内搜索型数据库技术选型和产品开发的风向标，极限科技的 INFINI Easysearch 率先通过了该标准。

墨天轮社区也开辟了搜索型数据库的排行榜，共有 6 家企业的产品上榜：

国内搜索型数据库的市场还在起步阶段，厂商和可选的产品也还比较少，不过随着市场的成熟，相信未来将迎来一波高速的发展。

搜索型数据库的趋势前瞻

技术在演变，场景在演变，数据也在演变，搜索数据库领域的发展也呈现出多个显著的趋势，这些趋势将进一步推动搜索技术的演进和应用范围的扩展。笔者观测到的主要的发展趋势包括以下方向供参考：

1. 趋势一：实时搜索与分析

• 实时搜索是搜索数据库领域的一个重要发展趋势，业务应用都在朝实时方向演进，用户对信息的即时性需求不断增加，要求搜索结果能够及时反映最新的数据和内容。

• 实时搜索技术通过实时索引和实时更新机制，能够实现快速的数据检索和更新，提供与时俱进的搜索结果，满足用户对信息的即时性需求。

• 目前以 Lucene 为内核的搜索型数据库基本上都只能做到 NRT（近实时）搜索，并且频繁更新带来的挑战和资源的浪费比较高，如果能做到更高效的实时性，可以大大提升用户的搜索体验和实时决策能力。

2. 趋势二：多模态混合搜索

• 多模态搜索是指在搜索过程中同时考虑多种信息形式，如文本、图像、视频等，以提高搜索结果的准确性和全面性。

• 这种技术能够通过分析和理解多种信息形式之间的关联性，为用户提供更加全面、丰富的搜索结果，适用于需要综合不同媒体形式的搜索场景。

• 现实世界的数据越来越复杂化，非结构化数据的利用的场景也越来越多，多模态可以为业务提供更加灵活的分析和探索能力，混合搜索的能力非常具有吸引力。

3. 趋势三：AI 智能语义搜索

• 大模型、AI 智能搜索技术的探索可谓是一日千里，通过利用人工智能技术来实现搜索过程中的智能化、语义化和个性化，结合自然语言处理、机器学习等技术分析用户意图，提供更加智能、个性化的搜索服务。

• 随着大模型的兴起，搜索数据库开始采用像 RAG（Retriever-Reader for Generative Question Answering）这样的大型预训练模型来提升搜索的效果。RAG 模型结合了检索器和阅读器的功能，能够实现更加准确和全面的搜索结果，为用户提供更加智能和个性化的搜索服务。

• 搜索型数据库可谓是 AI 落地最好的是试验田，Elasticsearch 通过拥抱 AI 和大模型，目前股价又重回巅峰，可喜可贺。

4. 趋势四：云原生、存算分离、Serverless

• 随着云计算技术的发展，搜索数据库正逐渐向云原生架构转变。云原生搜索数据库利用容器化、微服务架构等技术，实现了更高的灵活性、可扩展性和容错性，为企业提供了更加稳定和高效的搜索服务，并且成本更低，更加弹性。

• 存算分离是搜索数据库发展的另一重要趋势。通过将存储与计算分离，搜索数据库可以更好地适应数据存储和计算需求的变化，提高系统的性能和效率。存算分离技术使得搜索数据库能够实现更高的并发访问和更快的数据处理速度，为用户提供更加流畅和稳定的搜索体验。

• Serverless 提供开箱即用的体验，成本更低，使用更加灵活，也是目前很多搜索服务提供商正在积极探索的方向。

5. 趋势五：增强现实搜索

• 随着增强现实技术的发展，尤其是 Apple 发布的头戴式 Vision Pro，一部革命性的空间运算设备，将数位内容无缝融入实体世界，而搜索技术也将逐渐与增强现实相结合，为用户提供更加直观和沉浸式的搜索体验。增强现实搜索能够将搜索结果与现实世界相结合，结合 AI 技术为用户提供更加个性化和便捷的搜索服务，这是一个全新的领域，也意味着巨大的机会。

6. 趋势六：现代硬件的高效利用

• 现代硬件及软件运行环境已发生翻天覆地的变化， 片上计算，边缘计算，FPGA，DPU，GPU，一台设备几百核上 TB 内存已经成为现实，可运行之上的软件却还是停留在几十年前的架构。 如 Elasticsearch 其核心 Lucene（及类似实现） 是在 1997 建立的，距今已有 27 年了，虽然也在与时俱进，但是部分架构和设计理念已不具备先进性。

• 在现代的硬件上采用更先进的算法，更新的数据结构、更新的设计理论，利用最新的 CPU 指令集，向量化，批处理，充分发挥多核、大内存和 SSD 的优势，从而达到更高的效率，更低的成本，去解决之前不可能实现的问题，大有可为，也是下一代引擎需要关注的方向。

随着各类数据库功能的边界越来越模糊，应用场景高度交叉重叠，市场竞争也变得白热化，不过笔者认为垂直领域的搜索型数据库机会还是很大，而想做大而全的数据库产品已经没有太多的市场生存空间，一定要在垂直领域有特别专注的地方，我们 INFINI Labs 正在基于 Rust 研发的下一代搜索引擎 INFINI Pizza，就侧重于面向终端用户场景，解决海量数据更新情况下，同时满足高并发和低延迟的核心业务实时检索需求。

总结

综上所述，搜索数据库领域正处于快速发展的阶段。随着互联网数据量的不断增长和用户需求的不断变化，搜索数据库技术将不断创新和进步，以满足用户对信息获取的更加即时、个性化和多样化的需求。未来，随着人工智能技术的进一步发展和应用，搜索数据库将会变得更加智能化、普及化和多样化，为用户提供更加高效、准确和个性化的搜索服务，推动互联网信息的更加便捷获取和利用。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

原文：https://infinilabs.cn/blog/2024/the-technological-development-and-future-trends-of-search-oriented-databases/

近日，极限数据（北京）科技有限公司（简称：极限科技）新获得一项国家发明专利授权，专利名为 “搜索数据库的正排索引处理方法、装置、介质和设备”，专利号：ZL 2024 1 0479400.9，授权日为 2024 年 6 月 21 日，标志着极限科技在数据库搜索技术领域的自主创新能力再次得到国家级认可。

创新技术，提升搜索效率

该专利的核心创新点在于将正排索引与倒排索引在逻辑上进行分离，通过专门设计的正排索引结构，实现了文档的高效写入。这种创新方法不仅提高了搜索过程的灵活性，而且使得正排索引结构能够支持实时搜索，避免了传统搜索技术中必须等待数据落盘后才能进行搜索的限制，从而显著提升了搜索效率。

自主研发，持续创新

极限科技自成立以来，始终坚持自主研发和技术创新的道路。公司的研发团队由一批经验丰富的工程师组成，他们在数据库技术、搜索引擎和大数据处理等领域拥有深厚的专业知识和实践经验。此次专利的获得，是极限科技在自主研发道路上的又一重要里程碑，展现了公司在技术创新方面的持续努力和卓越成就。

行业领先，未来可期

极限科技的这项发明专利不仅为公司带来了技术上的突破，也为整个行业的发展提供了新的思路和方向。随着大数据时代的到来，高效的搜索技术对于信息的快速获取和处理至关重要。极限科技的这一创新成果，有望推动相关行业的技术进步，为用户带来更加流畅和精准的搜索体验。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

原文：https://infinilabs.cn/blog/2024/news-20240622/

在数字化浪潮席卷全球的今天，INFINI Labs 深刻认识到开源项目和教育机构在技术创新与人才培养中的核心作用。因此，我们郑重推出全新升级的免费许可证计划，旨在全球范围内为开源社区和教育界提供有力支持，共同推动软件生态的繁荣与进步。

一、产品实力与荣誉

1.INFINI Pizza：实时搜索的新纪元

• 在第十三届“数据技术嘉年华”（DTC2024）上，INFINI Labs 发布了划时代的搜索引擎——INFINI Pizza，标志着搜索型数据库迈入实时搜索的新纪元。
• INFINI Pizza 凭借先进的设计理念与架构，以及独有的专利技术，实现了对海量数据的无限伸缩，提供高效、准确的实时数据搜索能力

2.行业标杆案例

• INFINI Labs 荣获中国信通院大数据“星河”标杆案例，其中移动云搜索数据库案例更是荣选为数据库标杆案例。
• 该案例基于移动云 Easysearch 数据库，通过创新的多集群协同模式，实现了数据高性能存取，展现出极高的经济价值与社会价值。

3.国家发明专利认可

• INFINI Labs 的多项自主研发技术获得国家发明专利授权，这些成果彰显了公司在大数据领域的技术实力与创新精神。

二、品牌与行业地位

• INFINI Labs 作为搜索型数据库产品领域的领军企业，积极参与行业标准的制定与推动。

• 其核心产品 INFINI Easysearch 荣获信通院首批可信搜索型数据库产品证书，再次印证了公司在行业中的领先地位。

三、产品介绍

1. INFINI Easysearch：作为 Elasticsearch 的国产化替代方案，提供高度兼容性与卓越性能，满足企业级需求。

2. INFINI Console：轻量级多集群、跨版本搜索基础设施统一管控平台，助力企业高效管理搜索集群。

3. INFINI Gateway：专为 Elasticsearch 打造的高性能应用网关，提供丰富的功能特性与卓越性能。

4. INFINI Loadgen：支持多种搜索引擎的轻量级压测工具，为企业提供强大的数据加载与测试能力。

5. INFINI Pizza：引领实时搜索时代的新星，为企业提供高效、准确的实时数据搜索解决方案。

四、免费许可证计划

1.教育机构学术许可证

• 面向全球公立或私立学校、职业学校、大学等教育机构，提供非商业用途的软件使用许可。

• 有效期一年，符合条件的教育机构可继续申请。

2.开源项目许可证

• 面向非商业开源项目开发者，要求项目拥有活跃社区并在其官网添加 INFINI Labs 的链接。

• 许可证免费，有效期一年，符合条件的项目可继续申请。

五、申请方式

符合条件的开源项目和教育机构可通过访问 INFINI Labs 官方网站，轻松提交申请，我们将尽快审核并回复。

申请链接：https://infinilabs.cn/community

六、结语

INFINI Labs 以全新升级的免费许可证计划为契机，与全球开源社区和教育界携手合作，共同推动软件生态的创新与发展。让我们共同迎接更加美好的未来！

七、关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

原文：https://infinilabs.cn/blog/2024/infini-labs-for-open-source-education-the-free-license-program-upgrades/

极限网关在好未来的最佳实践案例，轻松扛住日增百 TB 数据的流量，助力 ES 从物理机到云原生架构的改造，实现了流控、请求分析、安全管理、无缝迁移等场景。一次完美的客户体验~

背景

物理机架构时代

2022 年，好未来整个日志 Elasticsearch 拥有数十套服务集群，几百台物理机。这么多台机器耗费成本非常高，而且还要花费很大精力去维护。在人力资源有限情况下，存在非常多的弊端，运行成本高，不仅是机器折旧还有机柜等费用。

流量特征

这是来自某个业务线，如下图 1，真实流量，潮汐性非常明显。好未来有很多条业务线，几乎跟这个趋势都一致的，除了个别业务有“续报”、“开课”等活动特殊情况。潮汐性带来的问题就是高峰期 CPU、内存资源是可以消耗很高；低峰期资源使用量非常低，由于是物理架构，这些资源无法给其他业务线共享。

降本增效-容器化改造原动力

日志服务对成本的空前的压力促使我们推进 Elasticsearch 进行架构改造；如何改造，改造成什么样子，这两个问题一直是推进改造原动力。业界能够同时对水平扩展和垂直扩展就是 K8S，我们开始对 Elasticsearch 改造成能在 K8S 上运行进行探索，从而提升 CPU、内存利用率。

物理机时代，没办法把资源动态的扩缩，动态调配，资源隔离，单靠人力操作调度成本太高，几乎无法完成；集群对内存资源需求要比 CPU 资源大很多，由于机器型号配置是固定的，无法“定制”，这也会导致成本居高不下。所以，无论从那个方面来讲，容器化优势非常明显，既能够优化成本，也能够降低运维复杂度。

ES 容器化改造

进行架构升级重点难点- API 服务

改造过程，我们遇到了很多问题，比如容器 ES 版本和物理机 ES 版本不一致，如何让 ES API 能够兼容不同的 ES 版本，由于版本的不兼容，导致无法直接使用原有的 tribenode 进行服务，怎么提供一个高可用的 Elasticsearch API 服务。我们考虑到多个方面，比如使用官方推荐的 proxy 模式、第三方服务等进行选择，经过多方面对比，选择了极限网关 进行 tribenode 替换。

原始 ES API 服务痛点

• API 访问没有流量控制
• 可观测性差，而且稳定性一般
• 版本兼容性差

物理机时代 API 架构

在物理机时代 ES 集群，API 架构如图 2，可以明显看到 tribe node 对所有 ES 集群的“侵入性”是非常大的，这就带来了很多问题，比较严重的就是单个集群对 ES tribenode 的影响和版本升级带来的不兼容问题。

混合时代 API 架构

通过图 3，我们可以看到，极限网关对于版本兼容性很好，能够适配不同的版本。因此，最终选择极限网关作为下一代 ES API 服务方。

里程碑：全部 ES 集群容器化

在 2023 年 3 月份，通过 Elastic 官方 ECK 模式，完成全部日志 ES 集群容器化改造，拥有数百节点，1PB+ 数据存储，每日新增数据 100T 左右。紧接着，除了日志服务外，同时支持了好未来多条业务线。

极限网关实践

下面主要讲述了，为什么选择极限网关，以及极限网关在好未来落地、应用这些内容。

为什么选择极限网关？

学习成本低

我们可以从文档中看到极限网关，其架构简洁，语法简单，直观易懂。学习成本比较低，上手非常快，对新手友好。

性能强悍

经过压测，发现极限网关速度非常快，且针对 Elasticsearch 做了非常细致的优化，能成倍提升写入和查询的速度。

安全性高

支持多种认证方式，最简单的账号密码认证，可以给自定义多个账户密码，大大简化了 Elasticsearch 的安全设置，同时，还可以支持 LDAP 安全验证。

跨版本支持

我们容器化改造过程需要兼容不同版本的 Elasticsrearch，极限网关针对不同的 Elasticsearch 版本做了兼容和针对性处理，能够让业务代码无缝的进行适配，后端 Elasticsearch 集群版本升级能够做到无缝过渡，降低版本升级和数据迁移的复杂度，非常匹配我们的业务场景。

灵活可扩展

可灵活对每个请求进行干预和路由，支持路由的智能学习，内置丰富的过滤器，通过配置动态修改每个请求的处理逻辑，也支持通过插件来进行扩展，满足我们对流量的控制，尤其是限流、用户、IP 等这些功能非常实用。

启用安全策略-为 API 服务保驾护航

痛点

在升级之前使用 tribe 作为 API 服务提供后端，几乎相当于裸奔，没有任何认证策略；另外，tribe 本身的稳定性也有问题，官方在新版本逐渐废弃这种 CCS（跨集群搜索），期间出现多次服务崩溃。

极限网关解决问题

极限网关通过，“basic_auth” 插件，提供最基本的安全校验，使用起来非常方便；同时，极限网关提供 LDAP 插件，可以接入公共的 LDAP 服务，对所有的访问用户进行校验，安全策略对所有的用户生效，不用担心因为 IP 问题泄漏数据等。

强大的过滤功能

在使用 ES 集群过程中，许多场景，需要对请求进行控制、限制等操作。在这方便，感受到了极限网关强大的产品力。比如下面的两个场景

对异常流量进行限流

• 支持对 IP 限流
• 支持对 hostname 限流
• 支持 header 限流

对异常用户进行封禁

当 Elasticsearch 是通过 Basic Auth 或者 LDAP 方式来进行身份认证的时候，request_user_filter 过滤器可用来按请求的用户名信息来进行过滤。操作起来也非常简单，只需要 request_user_filter 这一个过滤器。

- request_user_filter:
    include:
        - "elastic"
    exclude：
        - "Ryan"

总结来讲，主要有这些方面的功能：

优秀的可观测性

痛点

改造前经常为看不到直观的数据指标感到头疼，查看指标需要多个地方同时打开，去筛选，查找，非常繁琐，付出的成本非常大。为此，大家都再考虑如何优化这种情况，无奈优先级比较低，一直没有真正的投入时间去优化这块。

完美解决

使用了极限网关，通过收集请求日志，非常清晰的收集到想要的数据，具体如下：

• 总体方面：
  • 流量曲线
  • 状态码占比
  • 缓存统计
  • 每台网关请求流量
• 细节方面：
  • 打印每次请求语句
  • 可以查看请求到具体 ES 节点流量
  • 可以查看过滤器的列表

通过下图，我们可以从管理视角直观的看到各种信息，这对于管理员来讲，省时省力，方便快捷。

意外收获：无缝迁移业务 Elasticsearch 上云

由于前期日志业务上云，受到非常好的反馈，多个业务线期望能够上云上服务，达到降本增效的目的。

支持双写

数据可以通过极限网关同时写入两个 ES 集群，能够保障数据完全一致，安全可靠。

无缝切换

切换很丝滑，影响非常小，能够让外界几乎感受不到服务波动。

通过使用极限网关，自建 ES 集群可以无缝的迁移上云，在整个迁移的过程中，两套集群通过网关进行了解耦，在迁移的过程中还能实现版本的无缝升级，极大降低了迁移成本，提高迁移效率，多次验证服务稳定可靠。

极限网关流量概览

这是其中一套极限网关的流量统计。用这部分数据进行巡检，一目了然，做到全局的掌控，提高感知力度。

极限网关使用总结

极限网关提供一系列高性能和高可靠性的网关服务。使用这样的服务给我们带来以下好处：

1. 可观测性好：极限网关可以动态的对 Elasticsearch 运行过程中请求进行拦截和分析，通过指标和日志来了解集群运行状态，这些指标可以用于提升性能和业务优化。
2. 增强安全性：包含先进的安全机制，如 basicauth、LDAP 等支持，保护用户数据不受未授权访问和各种网络威胁的侵害。
3. 高稳定性：通过冗余设计和故障转移机制，极限网关能够确保网络服务的高可用性，即使在某些组件发生故障时也能保持服务不中断，单版本最长服务超过 15 个月。
4. 易于管理：通过提供 INFINI Console 简洁直观的管理界面，让用户能够轻松配置和监控网络状态，提升管理效率。
5. 客户支持：良好的客户服务支持可以帮助用户快速解决使用过程中遇到的问题，提供专业的技术指导。

综上所述，极限网关为用户提供了一个高速、安全、稳定且易于管理的 ES 网关，适合对网络性能有较高要求的个人和企业用户。

未来规划

第一阶段，完成了日志 ES 集群，所有集群的容器化改造，合并，成功的把成本降低了 60%以上。这期间积累了丰富容器化经验，为业务 ES 集群上容器做了良好的铺垫；成本优势和运维优势吸引越来越多的业务接入到容器化 ES 集群。

提升 ES 集群效能--新技术应用&&版本升级

• 极限科技官方推荐的 Easysearch 在压缩率，查询速度等等方面有很多的优势，通过长时间的测试稳定性，新特性，对比云原生的 ES 集群，根据测试结果，给“客户”提供多种选择，这也是工作重点之一。
• 我们当前使用的 ES 版本是 6.8，已经远远落后于官方版本，今年我们计划在选择合适的集群升级 ES 版本，拥抱更多官方提供的特性。

混合（多）云架构支持

随着越来越多的 ES 集群在机房的 K8S 集群部署，这里资源出现了紧张局面。 我们尝试在云上部署自建 ES 集群，弥补机房资源有限，无法大规模扩容，同时能够支持多活场景，满足更多客户的不同需求。混合云主要实现以下几种能力：

1、扩缩容：满足不同业务灵活适配

混合（多）云部署，可以让负载内部私有云 ES，同时部署到公有云，提升扩展 IT 基础设施不仅局限于 CPU、内存，还有存储。比如某一个业务要做活动，预估流量“大爆发”，需要提前准备大规模资源，在机房内根本来不及采购扩容支持，然而在公有云上就能很方便扩容、缩容。在云上搭建 ES 集群，设置满足需求的数量、容量、配置，配合极限网关路由策略，精准的把控流量流向。

2、灾备：紧急情况快速部署，恢复 ES 集群读写

当机房级别大规模故障，部分业务实现了多活，单一的机房故障不会影响其服务能力，而此时比如日志查看等仍有需求，为了满足这部分“客户”需求，可以在云上 K8S 集群，快速搭建 ES 集群，恢复日志读写功能。

参考文档：

• https://infinilabs.cn/docs/latest/gateway
• https://www.elastic.co/guide/en/cloud-on-K8S/current/K8S-overview.html

作者：张华勋，前新浪 CDN 研发，工作主要涉及 Mysql、MongoDB、Redis、Elasticsearch、流量调度等组件和系统，以及运维自动化、平台化等工作。现就职于好未来。

关于好未来

好未来（NYSE：TAL）是一家以内容能力与科技能力为基础，以科教、科创、科普为战略方向，助力人的终身成长，并持续探索创新的科技公司。 好未来的前身学而思成立于 2003 年，2010 年在美国纽交所正式挂牌交易。好未来以“爱与科技助力终身成长”为使命，致力成为持续创新的组织。更多参见：https://www.100tal.com/

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn