Skip to content

Milvus 进阶 ​

进阶 ​

索引与度量类型 ​

索引是 Milvus 高效搜索的核心。没有索引,搜索会非常慢。

  • index_type: 索引类型, "AUTOINDEX"自动选择最适合的算法。
  • metric_type: 度量类型,用于计算向量间的相似度。

常用向量索引类型介绍

向量索引类型是否支持动态插入是否支持 GPU特点
IVF_FLAT✅✅基于聚类的倒排索引,精度高,速度较快
HNSW✅❌图结构索引,高召回率,低延迟,内存占用较高
DISKANN✅❌基于 SSD 的图索引,适合超大规模(十亿级)向量
AUTOINDEX✅✅Milvus 自动选择最优索引(基于数据规模等)

度量类型定义了如何计算两个向量之间的“距离”或“相似度”。

度量类型相似性距离值的特征相似性距离值范围
L2值越小表示相似度越高。[0, ∞)
IP值越大,表示相似度越高。[-1, 1]
COSINE数值越大,表示相似度越高。[-1, 1]

一致性级别 ​

Milvus 支持四种一致性级别,核心区别在于查询时需要等待多久才能看到最新写入的数据。

级别核心语义数据新鲜度延迟倾向适用场景
Strong最强保证:任何读取都能看到之前所有已提交的写入。最高可能较高,需等待最新数据复制完成对数据一致性要求极高,且能接受一定延迟的场景。
Bounded (默认)有界滞后:读取可能落后于最新写入,但滞后时间在一个可配置的窗口内(默认通常为几秒)。较高平衡大多数生产环境,在数据新鲜度和吞吐量之间取得平衡。
Session会话保证:在同一个客户端会话中,读取总能立即看到该会话自己之前的写入。取决于会话低需要确保用户能立即看到自己操作结果的场景(如“写后读”)。
Eventually最终一致性:不保证数据新鲜度,查询节点返回本地已有数据,可能读到旧数据。最低最低,无需等待对查询延迟极度敏感,且能容忍过时结果的场景。

可以在 创建 Collection 时 设置集合级默认级别,也可以在 执行 Search 或 Query 时 为单次请求临时指定级别。

python
client.create_collection(
    collection_name="my_collection",
    schema=schema,
    consistency_level="Bounded"  # 可选:Strong, Bounded, Session, Eventually
)

# 在 query 中指定
res = collection.query(
    expr="id > 0",
    consistency_level="Strong"
)

# 在 search 中指定
res = collection.search(
    data=[query_vector],
    anns_field="vector",
    param={"metric_type": "L2", "params": {"nprobe": 10}},
    limit=10,
    consistency_level="Session"
)

Milvus 数据库与集合 ​

数据库与集合 ​

在 Milvus 向量数据库中,Database(数据库) 和 Collection(集合) 是两个核心的逻辑组织单元。

概念说明
Database逻辑隔离的命名空间,用于组织多个 Collection。类似于传统关系型数据库中的“数据库”。 • 一个 Milvus 实例可包含多个 Database。 • 不同 Database 中的 Collection 名可以重复。 • 支持用户权限控制(Milvus 2.2+)。
Collection存储向量及其标量字段的数据结构,相当于“表”。 • 定义了 Schema(字段类型、维度、主键等)。 • 可创建索引、插入数据、执行搜索。 • 可进一步划分为 Partition(分区) 以提升查询效率。

数据库使用场景 ​

何时使用 多个 Database:适用于强逻辑隔离或多租户场景:

  • 跨 Database 无法直接 JOIN 或联合查询;管理开销略增。
场景说明
多租户 SaaS 应用每个客户/租户拥有独立 Database,实现数据隔离、权限控制和资源配额管理。
环境隔离dev / staging / prod 环境使用不同 Database,避免互相干扰。
业务域隔离如“金融知识库”、“医疗问答”、“客服对话”等完全独立的业务线,彼此无交叉查询需求。
权限与安全要求高需要为不同团队分配不同 Database 的读写权限(配合 RBAC)。

Database 设计原则

  • 少而精:除非有明确隔离需求,否则优先使用单 Database + 多 Collection。
  • 命名规范:如 rag_prod, tenant_123, research_lab。
  • 权限最小化:通过 CREATE USER + GRANT 控制 Database 级访问(Milvus 2.3+ RBAC)

集合使用场景 ​

何时使用 多个 Collection(在同一 Database 内):适用于同一业务域内不同数据类型或用途的场景

  • 同 Database 内 Collection 可统一管理,便于元数据关联或应用层融合检索。
场景说明
不同文档类型如 pdf_chunks、faq_pairs、product_descriptions,嵌入模型或分块策略不同。
不同嵌入模型同一批文本用 bge-large 和 e5-mistral 分别生成向量,存入不同 Collection 用于 A/B 测试。
冷热数据分离hot_docs(高频访问) vs archive_docs(低频),可配置不同索引策略。
多模态数据图像向量(dim=512)和文本向量(dim=1024)因维度不同必须分 Collection。

Collection 设计原则

  • Schema 一致性:同一 Collection 内所有实体必须遵循相同字段定义。
  • 避免过度拆分:若多个数据源可共用同一嵌入模型和查询逻辑,应合并到一个 Collection,用 metadata 字段(如 JSON 或 category 字段)区分来源。
  • 利用 Partition(分区)替代 Collection 拆分:
    • 如果只是按时间(如 2024_q1, 2024_q2)或类别(news, blog)划分,且查询常带过滤条件,优先使用 Partition。
    • Partition 共享索引和 Schema,管理更轻量,查询时可指定 partition_names 提升效率。
python
# 创建分区
collection.create_partition("finance")
collection.create_partition("tech")

# 查询时指定分区
collection.search(..., partition_names=["finance"])

典型企业架构示例 ​

shell
Milvus Cluster
├── Database: rag_prod
│   ├── Collection: knowledge_base_v1
│   │   ├── Partition: hr_policy
│   │   ├── Partition: it_manual
│   │   └── Partition: finance_guide
│   └── Collection: user_embeddings  # 用户行为向量,维度不同
│
├── Database: tenant_alpha
│   └── Collection: private_docs
│
└── Database: research_dev
    └── Collection: experiment_emb_bge

Milvus 最佳实践 ​

向量归一化 ​

向量归一化应在 Milvus 中处理,而不是在 Xinference 或 Ollama

  • Milvus 官方文档明确指出:使用 COSINE 度量时,无需预先归一化向量,Milvus 会自动处理。
  • Xinference 或 Ollama:仅用于调用 BGE-M3 获取原始 embedding 向量(不做归一化)。

数据预处理与嵌入 ​

文本分块策略

  • 语义分块优于固定长度分块:使用基于句子边界、段落结构或语义连贯性的分块方法(如 LangChain 的 RecursiveCharacterTextSplitter 或 LlamaIndex 的节点解析器)。
  • 保留上下文信息:对相邻块做重叠(overlap),避免关键信息被切断。

嵌入模型选择

  • 使用统一、高质量的嵌入模型,如需多语言支持,选择多语言嵌入模型。
  • 在整个系统生命周期中保持嵌入模型版本一致,避免向量空间漂移。

Milvus 集群架构与部署 ​

部署模式选择

  • 生产环境推荐使用 Milvus 分布式部署(通过 Milvus Operator 或 Helm Chart on Kubernetes)。
  • 组件解耦:Standalone 模式仅适合开发/测试;生产应使用 Cluster 模式(包含 etcd、MinIO/Pulsar/Kafka、多个 QueryNode/DataNode 等)。

资源规划

  • 根据向量规模、QPS、延迟要求估算所需内存、CPU 和存储。
  • 向量维度 × 向量数量 × 4 字节 ≈ 原始向量内存占用(float32)。
  • 索引构建会额外消耗内存(如 IVF_FLAT 约 2x 原始大小)。

查询与检索优化 ​

混合检索(Hybrid Search)

  • 结合向量相似度 + 元数据过滤
  • 利用 RRF(Reciprocal Rank Fusion)或 Weighted Score Fusion 融合多路召回(如关键词 + 向量)。
python
collection.search(
    data=[query_emb],
    anns_field="embedding",
    param={"metric_type": "COSINE", "params": {"nprobe": 10}},
    limit=10,
    expr='category == "finance" and publish_time > 1700000000'  # 标量过滤
)

动态调整 top-k 与 nprobe

  • 高精度场景:增大 nprobe(IVF)或 ef(HNSW)
  • 低延迟场景:减小参数,牺牲部分召回率