向量数据库入门教程：手把手学习 Milvus 与 Qdrant 实战操作

安装准备#

首先，确保你的系统已安装Docker和Docker Compose。如果尚未安装，可以通过以下命令安装：

1
sudo apt-get update
2
sudo apt-get install docker.io docker-compose

下载 Milvus 配置文件#

Milvus 提供了标准的 Docker 配置文件，我们可以从官方 GitHub 仓库获取。运行以下命令下载配置文件：

1
git clone https://github.com/milvus-io/milvus.git
2
cd milvus/deploy/docker

启动 Milvus 服务#

在 docker 目录下，执行以下命令启动 Milvus 服务：

1
docker-compose up -d

此命令会启动 Milvus 的多个组件，包括 Milo（元数据服务）、Chroma（向量存储引擎）和 GrpcServer（RPC 接口）。

连接 Milvus 服务#

启动完成后，我们可以通过 Python SDK 或 REST API 连接到 Milvus 服务。以 Python SDK 为例，安装依赖后，使用以下代码连接：

1
from pymilvus import connections
2
connections.connect(host='localhost', port='19530')

配置参数说明#

Milvus 的配置主要集中在 docker-compose.yml 文件中，包含如下关键参数：

• milvus-standalone: 指定 Milvus 服务名称
• ports: 映射宿主机端口
• environment: 设置环境变量，如 ETCD_ENDPOINTS、MAX_CONNECTIONS 等
• volumes: 挂载持久化数据目录 通过调整这些参数，可以进一步优化 Milvus 的性能和稳定性。例如，增大 MAX_CONNECTIONS 可以提高并发处理能力，而调整 ETCD_ENDPOINTS 可以增强集群容错性。 通过上述步骤，我们已经成功完成了 Milvus 的安装和基础配置。接下来，我们将介绍 Qdrant 的安装和配置过程。

安装准备#

确保系统中已安装 Docker 和 Docker Compose。如果没有安装，可以使用以下命令进行安装：

1
sudo apt update
2
sudo apt install docker.io docker-compose

下载 Qdrant 配置文件#

Qdrant 提供了官方的 Docker 配置文件，我们可以从其 GitHub 仓库获取。运行以下命令下载配置文件：

1
git clone https://github.com/Qdrant/qdrant.git
2
cd qdrant/docker

启动 Qdrant 服务#

在 docker 目录下，执行以下命令启动 Qdrant 服务：

1
docker-compose up -d

此命令将启动 Qdrant 的核心组件，包括 API Server、Storage Engine 和 Indexer。

连接 Qdrant 服务#

启动完成后，我们可以通过 REST API 或 gRPC 连接到 Qdrant 服务。以 REST API 为例，可以使用以下命令测试连接：

1
curl http://localhost:6334/v1/health

若返回 {"status": "ok"}，则表示 Qdrant 已成功启动。

配置参数说明#

Qdrant 的配置主要集中在 docker-compose.yml 文件中，包含如下关键参数：

• qdrant: 指定 Qdrant 服务名称
• ports: 映射宿主机端口（默认为 6334）
• environment: 设置环境变量，如 QDRANT__STORAGE__DATA_PATH、QDRANT__INDEX__TYPE 等
• volumes: 挂载持久化数据目录 通过调整这些参数，可以优化 Qdrant 的性能和稳定性。例如，设置 QDRANT__STORAGE__DATA_PATH 可以指定数据存储路径，而调整 QDRANT__INDEX__TYPE 可以选择不同的索引类型，如 HNSW 或 Flat。 通过上述步骤，我们已经成功完成了 Qdrant 的安装和基础配置。接下来，我们将进入向量数据的存储与管理实践。

创建集合（Collection）#

在 Milvus 中，集合（Collection）是存储向量数据的基本单位。每个集合可以包含多个向量，并支持自定义字段和索引类型。以下是一个使用 Milvus Python SDK 创建集合的示例：

1
from pymilvus import Collection, FieldSchema, CollectionSchema, DataType
2
# 定义字段
3
id_field = FieldSchema(name="id", dtype=DataType.INT64, is_primary=True)
4
vector_field = FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=768)
5
# 创建集合
6
schema = CollectionSchema(fields=[id_field, vector_field])
7
collection = Collection(name="my_collection", schema=schema)

在 Qdrant 中，集合称为 Collection，创建时需指定 vector dimension 和 index parameters。以下是一个使用 Qdrant Python Client 创建集合的示例：

1
from qdrant_client import QdrantClient
2
from qdrant_client.models import VectorParams, Collection
3
client = QdrantClient("localhost", port=6334)
4
# 创建集合
5
client.create_collection(
6
    collection_name="my_collection",
7
    vectors_config=VectorParams(size=768, distance="Cosine")
8
)

插入向量数据#

在 Milvus 中，插入向量数据需要使用 insert() 方法，并提供 ID 和 向量值。以下是一个插入单个向量的示例：

1
import numpy as np
2
# 生成随机向量
3
data = [
4
    [1, 2, 3, ...],  # 假设是768维向量
5
]
6
# 插入向量
7
collection.insert(data)

在 Qdrant 中，插入向量数据使用 upsert() 方法，并提供 payload 和 vector。以下是一个插入单个向量的示例：

1
import numpy as np
2
# 生成随机向量
3
vector = np.random.rand(768).tolist()
4
# 插入向量
5
client.upsert(
6
    collection_name="my_collection",
7
    points=[
8
        {
9
            "id": 1,
10
            "vector": vector,
11
            "payload": {"label": "example"}
12
        }
13
    ]
14
)

更新与删除向量#

在 Milvus 中，更新向量数据需要使用 update() 方法，并提供 filter 条件。以下是一个更新特定向量的示例：

1
# 更新向量
2
collection.update(
3
    filter="id == 1",
4
    data={"vector": [4, 5, 6, ...]}
5
)

在 Qdrant 中，更新向量数据使用 upsert() 方法，同时也可以通过 delete() 删除特定向量。以下是一个删除向量的示例：

1
# 删除向量
2
client.delete(collection_name="my_collection", points_selector={"ids":
3

4
[1]})

通过以上步骤，我们已经掌握了 Milvus 和 Qdrant 中向量数据的存储与管理方法。接下来，我们将深入探讨 Milvus 的向量搜索与索引优化。

向量搜索机制#

Milvus 支持多种向量搜索方式，包括 近似最近邻搜索（ANN） 和 精确搜索。其中，ANN 是最常用的方法，它通过索引结构减少搜索时间，而不牺牲太多精度。 Milvus 支持的索引类型包括 HNSW（Hierarchical Navigable Small World）、IVF-PQ（Inverted File with Product Quantization）和 FAISS 等。每种索引类型都有其适用场景，例如：

• HNSW：适用于高维向量数据，具有较好的搜索速度和精度。
• IVF-PQ：适用于大规模数据集，能够有效降低内存消耗。
• FAISS：适用于密集向量数据，具有较高的搜索效率。

索引优化策略#

为了提升搜索性能，Milvus 提供了多种索引优化策略。以下是几种常见优化方法：

1
from pymilvus import Index
2
# 创建 HNSW 索引
3
index = Index(collection, index_type="HNSW", params={"ef": 100})
4
index.build()

1
# 添加过滤条件
2
results = collection.search(
3
    anns_field="vector",
4
    queries=[[1.2, 3.4, 5.6]],
5
    limit=10,
6
    filter="label == 'example'"
7
)

实际应用#

在实际应用中，Milvus 的向量搜索与索引优化常用于 推荐系统、图像检索、自然语言处理 等场景。例如，在推荐系统中，可以通过向量搜索找到与用户历史行为相似的物品，从而提供个性化推荐。 通过以上优化策略，可以显著提升 Milvus 的搜索性能，满足不同应用场景的需求。接下来，我们将介绍 Qdrant 的向量搜索与性能调优。

向量搜索机制#

Qdrant 支持多种向量搜索方式，包括 近似最近邻搜索（ANN） 和 精确搜索。其中，ANN 是最常用的方法，它通过索引结构大幅减少搜索时间，同时保持较高的精度。 Qdrant 支持的索引类型包括 HNSW（Hierarchical Navigable Small World）和 Flat（完全遍历）。每种索引类型适用于不同的场景：

• HNSW：适用于高维向量数据，具备良好的搜索速度和精度。
• Flat：适用于小规模数据集，提供更高的搜索精度，但搜索速度较慢。 此外，Qdrant 还支持 过滤条件 和 分页查询，这使得开发者可以灵活地控制搜索结果。

性能调优策略#

为了提升 Qdrant 的搜索性能，可以采取以下优化策略：

1
from qdrant_client import QdrantClient
2
from qdrant_client.models import VectorParams, Collection
3
client = QdrantClient("localhost", port=6334)
4
# 创建集合并设置索引参数
5
client.create_collection(
6
    collection_name="my_collection",
7
    vectors_config=VectorParams(size=768, distance="Cosine"),
8
    index_params={
9
        "hnsw": {
10
            "ef_search": 100
11
        }
12
    }
13
)

1
# 添加过滤条件
2
results = client.search(
3
    collection_name="my_collection",
4
    query_vector=[1.2, 3.4, 5.6],
5
    limit=10,
6
    filter={"payload.label": "example"}
7
)

实际应用#

Qdrant 的向量搜索和性能调优常用于 推荐系统、图像检索、自然语言处理 等场景。例如，在推荐系统中，可以通过向量搜索找到与用户历史行为相似的物品，从而提供个性化推荐。 通过以上优化策略，可以显著提升 Qdrant 的搜索性能，满足不同应用场景的需求。接下来，我们将对 Milvus 和 Qdrant 进行实战对比分析。

1. 性能对比#

2. 功能对比#

3. 部署复杂度对比#

4. 适用场景对比#

5. 实际案例对比#

案例1：电商平台推荐系统

• Milvus：适用于海量商品数据的向量检索，支持高并发请求，适合大型电商平台。
• Qdrant：适合中小型平台，部署简单，能够快速实现推荐功能。 案例2：图像检索系统
• Milvus：支持高维图像向量的高效检索，适合大规模图像库。
• Qdrant：适合图像数量较少的场景，能够快速返回结果。 通过以上对比分析可以看出，Milvus 和 Qdrant 各有优劣，开发者应根据具体需求选择合适的技术方案。