![](https://image.hackertalk.net/pub/nR9RO7-jbA4YX2)

黑客说 2.0 已经整体迁移完毕，搜索是一个很重要的入口，但目前搜索功能还是残废状态，主要原因是现在实现的方案太复杂、效果太差，我直接关闭了。

整理下来搜索方案有几种（成本从低到高排序）：

1. postgresql/mysql 全文搜索（0$）
2. SaaS 版：类似 algolia 的搜索服务（0-15$/month）
3. 自部署 elasticsearch + DB sync（50$/month）
4. OpenAI embedding API + vector database/self hosted faiss（100-200$/month）
5. 托管版 es（aws opensearch/aliyun search）（200$/month）
6. 无服务器：aws opensearch serverless（700$/month）
7. 自主设计搜索系统：多模态、多路召回、用户反馈系统等（10000$/month）

### 早期尝试

Hackertalk 最早的搜索版本是用阿里云的 elasticsearch + 数据同步实现的，机器成本大概每月 200$，每次改动 table 都要重建索引，重新同步，维护成本很高，由于我没有深度优化 es，搜索质量也不行，后来项目越来越多，每个都要这样做，运维成本太高了，于是打算切换方案，自部署 es 的方案因为维护成本更高，从始至终都没考虑过。

之后尝试 mysql nlp 全文搜索，效果实在太差，分词方式不友好，定制能力差，在 2.0 切换到 pg 之后尝试类似的方式，效果预计有所提升，需要不少开发工作，还在观望中。

### SaaS + AI

algolia 的服务也不错，成本低，只需要对接 API 即可，开发方便，但语义搜索能力还不是很满意，猜测背后是用 es 集群做的多租户模式 + 少量改进。

在 chatGPT 火起来之后，因为 gpt 模型的语义理解能力很强，我也考虑用 OpenAI embedding API + 向量数据库实现搜索功能，embedding API 的成本非常低（一次性），成本都在向量数据库上，方案简洁，实现简单，最终效果非常惊艳，语义搜索效果很好，错别字、近义词匹配的很不错，这是我最能接受的方案，缺点是向量数据库还不够好用，SaaS 版成本还是太高，今年向量数据库也是一个很火的创业方向，预计之后会有明显的成本下降。

### Serverless

AWS 的 Opensearch Serverless 版本也是一个很大的亮点，SDK 好用质量高，实现简洁，但启动成本较高，最少 4 个 OCU（可以多项目共享），700$/month，至少上线 5 个搜索项目才能体验到明显的成本下降。

最后一种需要一支搜索团队才能实现，不是我能够搞定的，不考虑。以上就是一些搜索方案的尝试，Hackertalk 之后应该会在 4、6 中选一种实现。

搜索功能的实现成本有多高？

## 下载地址

https://lucene.apache.org/core/downloads.html

## 设置 CLASSPATH

下载最新的 Lucene 发行版，然后将其解压到工作目录。

您需要四个 JAR：Lucene JAR、queryparser JAR、通用分析 JAR 和 Lucene 演示 JAR。您应该在解压档案时创建的 core/ 目录中看到 Lucene JAR 文件——它应该被命名为 lucene-core-{version}.jar。您还应该在 queryparser、analysis/common/ 和 demo/ 下分别看到名为lucene-queryparser-{version}.jar、 lucene-analysis-common-{version}.jar和lucene-demo-{version}.jar的文件。

将所有这四个文件放在您的 Java CLASSPATH 中。

## 索引文件

让我们建立一个索引！假设您已正确设置 CLASSPATH，只需键入：

```bash
$java org.apache.lucene.demo.IndexFiles -docs {path-to-lucene}
```

这将生成一个名为index的子目录 ，其中包含所有 Lucene 源代码的索引。

要搜索索引类型：

```bash
$java org.apache.lucene.demo.SearchFiles
```

系统将提示您进行查询。输入乱码或编造的词（例如：“superca lifragilisticexpialidocious”）。您会看到 lucene 源代码中没有任何加工结果。现在尝试输入单词“string”。那应该返回一大堆文件。结果将在每十个结果处翻页，并询问您是否想要更多结果。

## 源码位置

此处讨论的文件直接链接到此文档中：

* IndexFiles.java：创建 Lucene 索引的代码。
* SearchFiles.java：用于搜索 Lucene 索引的代码。

## 索引文件

IndexFiles类创建了一个 Lucene 索引。让我们看看它是如何做到这一点的。

main()方法解析命令行参数，然后为实例化做准备 IndexWriter，打开 a Directory，实例化StandardAnalyzer and IndexWriterConfig。

`-index` 命令行参数的值是应该存储所有索引信息的文件系统目录的名称。如果使用-index命令行参数中给出的相对路径调用IndexFiles，或者如果未给出-index命令行参数，导致使用默认的相对索引路径“ index ”，则将创建索引路径作为当前工作目录的子目录（如果它不存在）。在某些平台上，索引路径可能创建在不同的目录中（例如用户的主目录）。

`-docs` 命令行参数值是包含要索引的文件的目录的位置。

`-update` 命令行参数告诉 IndexFiles如果索引已经存在，则不要删除它。当`-update`没有给出时，IndexFiles将在索引任何文档之前首先清除 slate。

IndexWriterDirectory 使用 Lucene 将信息存储在索引中。除了 我们正在使用的实现之外，还有其他几个可以写入 RAM、数据库等的Directory子类。FSDirectory

LuceneAnalyzer 正在处理将文本分解为索引标记（也称为术语）的管道，并且可以选择对这些标记执行其他操作，例如向下大小写、同义词插入、过滤掉不需要的标记等。我们使用的分析器是StandardAnalyzer，它使用创建标记Unicode 标准附件#29中指定的 Unicode 文本分割算法中的分词规则; 将标记转换为小写；然后过滤掉停用词。停用词是常见的语言单词，例如文章（a、an、the 等）和其他可能对搜索价值较低的标记。应该注意的是，每种语言都有不同的规则，您应该为每种语言使用适当的分析器。Lucene 当前为许多不同的语言提供分析器（请参阅lucene/analysis/common/src/java/org/apache/lucene/analysis下的 javadocs ）。

IndexWriterConfig 实例包含IndexWriter的所有配置。例如，我们根据-update命令行参数的值设置此处使用的OpenMode 。

再往下看，在 IndexWriter 实例化之后，您应该会看到 indexDocs() 代码。这个递归函数爬取目录并创建Document对象。Document只是一个数据对象，用于表示文件中的 文本内容以及它的创建时间和位置。这些实例被添加到IndexWriter中。如果 给出-update命令行参数， IndexWriterConfig OpenMode将设置为OpenMode.CREATE_OR_APPEND，而不是将文档添加到索引中，IndexWriter将 更新通过尝试查找具有相同标识符的已编入索引的文档（在我们的例子中，文件路径用作标识符），它们在索引中；如果存在，将其从索引中删除；然后将新文档添加到索引中。

## 搜索文件

`SearchFiles` 类非常简单。它主要与 `IndexSearcher`, `StandardAnalyzer`, （也用于IndexFiles类）和QueryParser. 查询解析器由一个分析器构成，该分析器用于以与解释文档相同的方式解释查询文本：查找单词边界、向下大小写和删除无用的单词，如“a”、“an”和“the”。该 Query对象包含 QueryParser传递给搜索器的结果。请注意，也可以在Query 不使用查询解析器的情况下以编程方式构造丰富的对象。查询解析器只是将 Lucene 查询语法解码为相应的 Query对象。

`SearchFiles`使用 IndexSearcher.search(query,n)返回 TopDocs最大 n次命中的方法。结果打印在页面中，按分数（即相关性）排序。

## 使用向量嵌入

除了索引和搜索文本之外，IndexFiles 和 SearchFiles 还可以索引和搜索从该文本派生的数字向量，称为“嵌入”。此演示代码使用GloVe项目提供的预计算嵌入，这些嵌入位于公共领域。这里的字典是完整 GloVe 数据集的一小部分。它只包含玩具数据集中出现的单词，绝对不适合生产使用！如果您使用此代码为更大的文档集创建向量索引，则索引器将抛出异常，因为需要更完整的嵌入集才能获得合理的结果。

Apache Lucene - 构建和安装基本演示

原本用ELK来做微服务日志分析与访问统计，维护成本太高了

Graylog相对简化一丢丢

有没有ELK的轻量级替代方案？

由浅入深学习ES的书籍有没有推荐的？