1. 什么？还能用helm在k8s里装ELK？(需要梯子)
https://medium.com/%40davis.an ... 11076
2. 一组用来生成学习辅助对话的prompt
https://quail.ink/op7418/p/bao ... ci-ku
 
3. （目前最好的）AI 歌曲生成器
https://app.suno.ai/create/
 
编辑：斯蒂文
更多资讯：http://news.searchkit.cn
 

1、图详解ElasticSearch 原理+实战知识点
https://blog.csdn.net/weixin_3 ... 46906
2 从源码角度剖析 Elasticserach 段合并调优策略
https://blog.itpub.net/70027827/viewspace-2979219/
3、技术神秘化的去魅：Sora关键技术逆向工程图解
https://zhuanlan.zhihu.com/p/687928845


编辑：yuebancanghai
更多资讯：http://news.searchkit.cn

1.LLMs遇见SQL：通过自然语言处理彻底改变数据查询
https://levelup.gitconnected.c ... 7f043
2.构建RAG知识图谱
https://learn.deeplearning.ai/ ... ments
3.重新构想基于AI的平台工程(1): AI开发工具和平台的探秘之旅
https://mp.weixin.qq.com/s/NTzNnBG4D6wrVvcGD8xWnA
4.电商场景下 ES 搜索引擎的稳定性治理实践
https://mp.weixin.qq.com/s/fAgAgWWYJbbfcGGx1BpLsw
5.MultiHop-RAG 介绍（需要梯子）
https://cobusgreyling.medium.c ... 4eeda

编辑：Se7en  
更多资讯：http://news.searchkit.cn

相信最近大家都已经听过Easysearch的名头，成功拿下了墨天轮搜索型数据库的榜首！什么？您不知道？那我再给您介绍下：
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
相信看完了上面您已经对使用Easysearch有了想法，不要想，行动！我将带领您在windows环境中使用[Easysearch](https://infinilabs.com/download/?product=easysearch)，有几种安装方法可供选择！

方法一：使用Docker

对于已在Windows系统上安装了Docker的用户来说，通过Docker安装Easysearch是最直接高效的方法。接下来我将介绍Docker部署Easysearch的方法，如果没有安装Docker请跳过！

Docker 环境下使用 Easysearch

在使用 Docker 运行 Easysearch 之前，请确保已进行系统调优并安装好Docker服务，且Docker服务正常运行。

最快方式：启动临时的docker容器，可以从前台查看到admin的初始密码

<br /> bash
docker run --name easysearch -p 9200:9200 dockerproxy.com/infinilabs/easysearch:latest
```

个性配置

从宿主机挂载数据目录及日志目录，并配置jvm内存为512m。

1. 在宿主机上创建目录
   <br /> bashCopy code<br /> sudo mkdir -p /data/easysearch/{data,logs}<br />
   
   
2. 修改目录权限
   ```
   bashCopy code
   

   容器内es用户的uid为602，通过调整宿主机的目录权限，确保在容器内部es用户有权限读写挂载的数据卷
   

   sudo chown -R 602.602 /data/easysearch
   ```
   
   

3. 后台运行容器
   <br /> bashCopy code<br /> docker run -d --restart always -p 9200:9200 \<br /> -e ES_JAVA_OPTS="-Xms512m -Xmx512m" \<br /> -v /data/easysearch/data:/app/easysearch/data \<br /> -v /data/easysearch/logs:/app/easysearch/logs \<br /> --name easysearch --hostname easysearch \<br /> dockerproxy.com/infinilabs/easysearch:latest<br />
   
   
4. 查看初始密码
   ```
   bashCopy code
   

   由于以上容器是后台启动，需要通过日志找出admin的初始密码
   

   docker logs easysearch 2>/dev/null | grep -w Usage
   ```
   

   容器启停
   

   
   

5. 启动容器
   <br /> bashCopy code<br /> docker start easysearch<br />
   
   
6. 停止容器
   <br /> bashCopy code<br /> docker stop easysearch<br />
   后续验证工作，请继续查看安装指南。
   

   方法二：不使用HTTPS安装Easysearch
   

   在某些情况下，您可能需要或者偏好不通过HTTPS方式进行安装。这种方法需要您手动下载并设置Easysearch及其依赖。
   

   步骤1：下载并安装Easysearch
   

   首先，手动下载 Easysearch 并将其解压到您希望的安装目录。
   

   步骤2：下载并安装JDK
   

   
   

7. 手动下载[JDK](https://release.infinilabs.com ... 64.zip)安装包。
   
8. 将JDK解压到Easysearch安装目录下。
   
9. 将解压出来的JDK目录重命名为jdk。
   

   步骤3：修改Easysearch配置
   

   鉴于Windows默认不包含openssl，生成证书可能较为困难。您可以通过修改config/easysearch.yml文件来绕过证书验证：
   <br /> security.enabled: false<br />
   

   方法三：通过git-for-windows安装
   

   对于喜欢使用命令行的用户，可以通过安装git-for-windows，利用bash环境来执行安装命令。
   

   步骤1：安装Easysearch
   

   通过以下在线脚本命令安装Easysearch：
   <br /> bashCopy code<br /> curl -sSL <a href="http://get.infini.cloud" rel="nofollow" target="_blank">http://get.infini.cloud</a> | bash -s -- -p easysearch -d /d/opt/easysearch<br />
   

   步骤2：下载并安装JDK
   

   
   

10. 使用curl命令将JDK下载到指定目录：
    <br /> bashCopy code<br /> curl -# <a href="https://release.infinilabs.com/easysearch/jdk/zulu17.42.19-ca-jdk17.0.7-win_x64.zip" rel="nofollow" target="_blank">https://release.infinilabs.com ... 4.zip</a> -o /d/opt/jdk.zip<br />
    
    
11. 解压JDK文件，并将解压后的目录重命名为jdk。
    <br /> bashCopy code<br /> cd /d/opt/easysearch && unzip -q /d/opt/jdk.zip<br /> mv zulu* jdk<br />
    

    步骤3：设置JAVA_HOME环境变量
    

    配置JAVA_HOME环境变量，以确保Easysearch能正确找到JDK。
    <br /> bashCopy code<br /> export JAVA_HOME=/d/opt/easysearch/jdk<br />
    

    步骤4：初始化证书、密码和插件
    

    执行以下命令，初始化所需的配置：
    <br /> bashCopy code<br /> bin/initialize.sh<br />
    

    步骤5：运行Easysearch
    

    最后，使用以下命令启动Easysearch：
    <br /> bashCopy code<br /> bin/easysearch.bat<br />
    通过以上任一方法，您都应该能够成功在Windows系统上安装并运行Easysearch。请选择最适合您的需求和环境的安装方法。
    请根据Easysearch和JDK的最新版本，适时更新上述命令和下载链接。接下来，请继续完成验证工作。
    

    验证工作
    

    为了保证Easysearch数据安全，初始化脚本会为admin用户生成随机的密码，如果使用Docker运行Easysearch或执行初始化脚本时同意记录初始密码到日志文件，则可在Docker日志文件或logs/initialize.log中找到admin用户对应的初始化密码。
    由于初始脚本会自动覆盖集群上次使用的证书及内置的admin用户密码，请勿多次运行！如果您忘记了初始密码，可以通过内置的证书来进行密码重置。
    ```
    bashCopy code
    

    根据初始化脚本生成的随机密码访问 Easysearch 的 REST API
    

    curl -ku admin:xxx https://localhost:9200
    ```
    也可以在浏览器中输入网址 https://localhost:9200/，即可验证Easysearch是否完成启动。推荐使用[INFINI Console](https://infinilabs.com/docs/latest/console/)来进行集群管理，功能更加强大和方便。
    注：各类客户端及周边工具，如 Logstash、Filebeat 请使用7.10.2 oss版本来连接Easysearch。并打开config/easysearch.yml中的配置项elasticsearch.api_compatibility: true
    
    如果你已经按照上面的步骤完成了安装，那么接下来请尽情的使用Easysearch吧！如果在安装过程中出现了问题的请私聊我！对了，希望在其他环境中部署Easysearch的也可以查询我们的安装指南，上面有详细的安装步骤！祝你好运！
    

1. 在debian里怎么搭ELK？（需要梯子）
https://medium.com/%40filippor ... 24d3a
2. 用aws lambda搭一个数据写入pipeline吧（需要梯子）
https://medium.com/%40samb333/ ... 7de9a
3. agi动画所用的技术概览
https://diffusionpilot.blogspo ... .html
编辑：斯蒂文
更多资讯：http://news.searchkit.cn
 

1、干货满满丨万字超全 ElasticSearch 监控指南
https://mp.weixin.qq.com/s/C7D8AHMzRQUxTjTarftYfw
2 什么时候该使用Elasticsearch?
https://zhuanlan.zhihu.com/p/656780550
3、Elasticsearch SQL查询解析
https://blog.csdn.net/weixin_4 ... 39780


编辑：yuebancanghai
更多资讯：http://news.searchkit.cn

AI 绘画发展史

在谈论 Stable Diffusion 之前，有必要先了解 AI 绘画的发展历程。

早在 2012 年，华人科学家吴恩达领导的团队训练出了当时世界上最大的深度学习网络。这个网络能够自主学习识别猫等物体，并在短短三天时间内绘制出了一张模糊但可辨识的猫图。尽管这张图片很模糊，但它展示了深度学习在图像识别方面的潜力。


到了 2014 年，加拿大蒙特利尔大学的谷歌科学家 Ian Goodfellow 提出了生成对抗网络 GAN 的算法，这一算法一度成为 AI 生成绘画的主流方向。GAN 的原理是通过训练两个深度神经网络模型——生成器 Generator 和判别器 Discriminator ，使得生成器能够生成与真实数据相似的新数据样本，并且判别器可以准确地区分生成器生成的假样本和真实数据。GAN 的核心思想是博弈，生成器试图欺骗判别器，而判别器则努力辨别真伪，二者相互对抗、相互协作，最终实现高质量的数据生成效果。

2016 年，基于 GAN 的第一个文本到图像模型 GAN-INT-CLS 问世，证明了 GAN 在从文本生成图像方面的可行性，为各类基于 GAN 的有条件图像生成模型的涌现打开了大门。然而，GAN 在训练过程中很容易出现不稳定或崩溃的情况，因此难以大规模应用。

同年 10 月，NVIDIA 提出了 ProgressiveGAN，通过逐渐增加神经网络规模生成高分辨率图像，从而降低了模型训练难度并提高了生成质量，为后来的 StyleGAN 的崛起铺平了道路。

2017 年，谷歌发表了著名论文《Attention Is All You Need》，提出了 Transformer 结构，随后在自然语言处理领域大放异彩；虽然 Transformer 是为了解决自然语言处理问题而设计的，但它在图像生成领域也显示了巨大的潜力。2020 年，他们又提出了 ViT 概念，尝试用 Transformer 结构替代传统的卷积神经网络 CNN 结构在计算机视觉中的应用。

2020 年出现了转折。加州大学伯克利分校提出了众所周知的去噪扩散概率模型 DDPM，简化了原有模型的损失函数，将训练目标转变为预测当前步添加的噪声信息，极大降低了训练难度，并将网络模块由全卷积网络替换为 Unet，提升了模型的表达能力。

2021 年 1 月，OpenAI 发布了基于 VQVAE 模型的 DALL-E 和 CLIP 模型 Contrastive Language-Image Pre-Training，它们分别用于文本到图像生成和文本与图像之间的对比学习。这让 AI 似乎第一次真正“理解”了人类的描述并进行创作，激发了人们前所未有的对 AI 绘画的热情。2021 年 10 月，谷歌发布的 Disco Diffusion 模型以其惊人的图像生成效果拉开了扩散模型的时代序幕。

2022 年 2 月，由一些开源社区的工程师开发的基于扩散模型的 AI 绘图生成器 Disco Diffusion 推出。从那时起，AI 绘画进入了快速发展的轨道，潘多拉魔盒已然打开。Disco Diffusion 相比传统的 AI 模型更加易用，研究人员建立了完善的帮助文档和社群，越来越多的人开始关注它。同年 3 月，由 Disco Diffusion 核心开发人员参与开发的 AI 生成器 MidJourney 正式发布。MidJourney 选择搭载在 Discord 平台，借助聊天式的人机交互方式，使得操作更加简便，而且无需复杂的参数调节，只需向聊天窗口输入文字就可以生成图像。

更重要的是，MidJourney 生成的图片效果非常惊艳，以至于普通人几乎无法分辨出其生成的作品是否是由 AI 绘制的。在 MidJourney 发布 5 个月后，美国科罗拉多州博览会的艺术比赛评选出了结果，一幅名为《太空歌剧院》的画作获得了第一名，然而其并非人类画师的作品，而是由名为 MidJourney 的人工智能创作的。


当参赛者公布这幅作品是由 AI 绘制时，引发了许多人类画家的愤怒和焦虑。

2022 年 4 月 10 日，之前提到的 OpenAI 的 DALL·E 2 发布了。无论是 Disco Diffusion 还是 MidJourney，细心观察后仍然能够看出其是由 AI 生成的，但 DALL·E 2 生成的图像已经无法与人类作品区分开了。

Stable Diffusion

2022 年 7 月 29 日，由 Stability.AI 公司研发的 Stable Diffusion 的 AI 生成器开始内测。人们发现用它生成的 AI 绘画作品质量堪比 DALL·E 2，而且限制更少。Stable Diffusion 的内测共分 4 波，邀请了 15000 名用户参与，仅仅十天后，就有一千七百万张图片通过它生成。最关键的是，Stable Diffusion 的开发公司 Stability AI 秉承着开源的理念，“AI by the people，for the people”，这意味着任何人都可以在本地部署自己的 AI 绘画生成器，真正实现了每个人“只要你会说话，就能够创造出一幅画”。开源社区 HuggingFace 迅速适配了它，使得个人部署变得更加简单；而开源工具 Stable-diffusion-webui 则将多种图像生成工具集成在一起，甚至可以在网络端微调模型、训练个人专属模型，备受好评，在 GitHub 上获得了 3.4 万颗星，使得扩散生成模型彻底走出了大型服务，向个人部署迈进。

2022 年 11 月，Stable Diffusion 2.0 发布，新版本生成的分辨率提高了四倍，生成速度也更快。

Stable Diffusion 基于 Latent Diffusion Models，将最耗时的扩散过程放在低维度的潜变量空间，大大降低了算力需求以及个人部署门槛。它使用的潜空间编码缩减因子为 8，换句话说，图像的长和宽被缩减为原来的八分之一，例如一个 512512 的图像在潜空间中直接变为 6464，从而节省了 64 倍的内存！在此基础上，Stable Diffusion 还降低了性能要求。不仅可以快速（以秒计算）生成一张细节丰富的 512512 图像，而且只需一张英伟达消费级的 8GB 2060 显卡。如果没有这个空间压缩转换，它将需要一张 512GB 显存的超级显卡。按照显卡硬件的发展规律，消费者至少需要 8-10 年的时间才能享受到这类应用。这个算法上的重要迭代使得 AI 作画提前进入了每个人的生活。

在本文中，我们探讨了 Stable Diffusion 的发展历程以及对其的介绍。如果你同样是 AI 绘画的爱好者，欢迎和我一起交流探讨。未来，我将持续更新这个系列，分享 Stable Diffusion 的教程以及其他 AI 绘画软件的教学内容。如果您喜欢这些内容，欢迎关注我们！感谢您的阅读，期待在下一期再与您相见！


背景

Elasticsearch 这些年来在搜索领域一直是领头羊。国内也有非常多的企业在使用 Elasticsearch 来做查询搜索、数据分析、安全分析等等。甚至一些很重要的行业、系统都在使用 Elasticsearch。在使用 Elasticsearch 的道路上狂飙的时候，我们也观察到了一些问题：

1. Elasticsearch 不再是开源软件了。
   
2. Elastic 公司退出了中国直销市场，不提供本土化支持了。
   
3. 国家对信创、自主可控的战略化布局。
   
4. 国际形势从合作共赢到自闭对垒。
   
5. Elasticsearch 软件本身安全问题频发。
   
6. Elasticsearch 软件在性能、稳定性和扩展性方面存在很大的提升空间。
   
   基于以上这些问题，推出一个 Elasticsearch 国产化解决方案就很有必要了。我们的解决方案是推出一款名为 Easysearch 的软件，作为 Elasticsearch 国产化替代 。
   出发点是在兼容原 Elasticsearch 软件的基础之上，完善更多的企业级功能，同时提高产品的性能、稳定性和扩展性。
   下面我将从几个方面简单介绍下 Easysearch 软件。
   

   兼容性
   

   支持原生 Elasticsearch 的 DSL 查询语法，原业务代码无需调整。
   支持 SQL ，方便熟悉 SQL 的开发人员上手分析数据。
   兼容 Elasticsearch 的 SDK。
   兼容现有索引存储格式。
   支持冷热架构和索引生命周期，真正做到无缝衔接。
   

   功能增强
   

   提供企业级的安全管理，可对接 LDAP、AD 认证。
   重构分布式架构，保持稳定的同时，能支持更大规模的数据。
   在不降低性能的同时，实现更高压缩比的数据压缩，直接节省磁盘 40% 以上。
   支持 KNN、异步搜索、数据脱敏、可搜索快照、审计等企业级功能。
   

   容灾
   

   支持基于 CDC 的集群复制技术，实现同版本间的容灾。
   支持基于请求双写的复制技术，实现跨版本容灾。
   

   信创
   

   全面适配国产 CPU、操作系统，并获得厂家认证。
   
   

   迁移方案
   

   支持原索引存储格式，可通过快照备份直接恢复到 Easysearch 集群。
   提供迁移工具，直接可视化操作迁移数据。
   
   简单的介绍就到这里了，更多信息请访问：[https://www.infinilabs.com/products/easysearch](https://www.infinilabs.com/products/easysearch/)
   

   最后
   

   如有需要请联系我，让我们一起位祖国的信创事业添砖加瓦。