外观
Milvus 进阶
进阶
索引与度量类型
索引是 Milvus 高效搜索的核心。没有索引,搜索会非常慢。
index_type: 索引类型,"AUTOINDEX"自动选择最适合的算法。metric_type: 度量类型,用于计算向量间的相似度。
常用向量索引类型介绍
| 向量索引类型 | 是否支持动态插入 | 是否支持 GPU | 特点 |
|---|---|---|---|
| IVF_FLAT | ✅ | ✅ | 基于聚类的倒排索引,精度高,速度较快 |
| HNSW | ✅ | ❌ | 图结构索引,高召回率,低延迟,内存占用较高 |
| DISKANN | ✅ | ❌ | 基于 SSD 的图索引,适合超大规模(十亿级)向量 |
| AUTOINDEX | ✅ | ✅ | Milvus 自动选择最优索引(基于数据规模等) |
度量类型定义了如何计算两个向量之间的“距离”或“相似度”。
| 度量类型 | 相似性距离值的特征 | 相似性距离值范围 |
|---|---|---|
L2 | 值越小表示相似度越高。 | [0, ∞) |
IP | 值越大,表示相似度越高。 | [-1, 1] |
COSINE | 数值越大,表示相似度越高。 | [-1, 1] |
一致性级别
Milvus 支持四种一致性级别,核心区别在于查询时需要等待多久才能看到最新写入的数据。
| 级别 | 核心语义 | 数据新鲜度 | 延迟倾向 | 适用场景 |
|---|---|---|---|---|
| Strong | 最强保证:任何读取都能看到之前所有已提交的写入。 | 最高 | 可能较高,需等待最新数据复制完成 | 对数据一致性要求极高,且能接受一定延迟的场景。 |
| Bounded (默认) | 有界滞后:读取可能落后于最新写入,但滞后时间在一个可配置的窗口内(默认通常为几秒)。 | 较高 | 平衡 | 大多数生产环境,在数据新鲜度和吞吐量之间取得平衡。 |
| Session | 会话保证:在同一个客户端会话中,读取总能立即看到该会话自己之前的写入。 | 取决于会话 | 低 | 需要确保用户能立即看到自己操作结果的场景(如“写后读”)。 |
| Eventually | 最终一致性:不保证数据新鲜度,查询节点返回本地已有数据,可能读到旧数据。 | 最低 | 最低,无需等待 | 对查询延迟极度敏感,且能容忍过时结果的场景。 |
可以在 创建 Collection 时 设置集合级默认级别,也可以在 执行 Search 或 Query 时 为单次请求临时指定级别。
python
client.create_collection(
collection_name="my_collection",
schema=schema,
consistency_level="Bounded" # 可选:Strong, Bounded, Session, Eventually
)
# 在 query 中指定
res = collection.query(
expr="id > 0",
consistency_level="Strong"
)
# 在 search 中指定
res = collection.search(
data=[query_vector],
anns_field="vector",
param={"metric_type": "L2", "params": {"nprobe": 10}},
limit=10,
consistency_level="Session"
)Milvus 数据库与集合
数据库与集合
在 Milvus 向量数据库中,Database(数据库) 和 Collection(集合) 是两个核心的逻辑组织单元。
| 概念 | 说明 |
|---|---|
| Database | 逻辑隔离的命名空间,用于组织多个 Collection。类似于传统关系型数据库中的“数据库”。 • 一个 Milvus 实例可包含多个 Database。 • 不同 Database 中的 Collection 名可以重复。 • 支持用户权限控制(Milvus 2.2+)。 |
| Collection | 存储向量及其标量字段的数据结构,相当于“表”。 • 定义了 Schema(字段类型、维度、主键等)。 • 可创建索引、插入数据、执行搜索。 • 可进一步划分为 Partition(分区) 以提升查询效率。 |
数据库使用场景
何时使用 多个 Database:适用于强逻辑隔离或多租户场景:
- 跨 Database 无法直接 JOIN 或联合查询;管理开销略增。
| 场景 | 说明 |
|---|---|
| 多租户 SaaS 应用 | 每个客户/租户拥有独立 Database,实现数据隔离、权限控制和资源配额管理。 |
| 环境隔离 | dev / staging / prod 环境使用不同 Database,避免互相干扰。 |
| 业务域隔离 | 如“金融知识库”、“医疗问答”、“客服对话”等完全独立的业务线,彼此无交叉查询需求。 |
| 权限与安全要求高 | 需要为不同团队分配不同 Database 的读写权限(配合 RBAC)。 |
Database 设计原则
- 少而精:除非有明确隔离需求,否则优先使用单 Database + 多 Collection。
- 命名规范:如
rag_prod,tenant_123,research_lab。 - 权限最小化:通过
CREATE USER+GRANT控制 Database 级访问(Milvus 2.3+ RBAC)
集合使用场景
何时使用 多个 Collection(在同一 Database 内):适用于同一业务域内不同数据类型或用途的场景
- 同 Database 内 Collection 可统一管理,便于元数据关联或应用层融合检索。
| 场景 | 说明 |
|---|---|
| 不同文档类型 | 如 pdf_chunks、faq_pairs、product_descriptions,嵌入模型或分块策略不同。 |
| 不同嵌入模型 | 同一批文本用 bge-large 和 e5-mistral 分别生成向量,存入不同 Collection 用于 A/B 测试。 |
| 冷热数据分离 | hot_docs(高频访问) vs archive_docs(低频),可配置不同索引策略。 |
| 多模态数据 | 图像向量(dim=512)和文本向量(dim=1024)因维度不同必须分 Collection。 |
Collection 设计原则
- Schema 一致性:同一 Collection 内所有实体必须遵循相同字段定义。
- 避免过度拆分:若多个数据源可共用同一嵌入模型和查询逻辑,应合并到一个 Collection,用
metadata字段(如 JSON 或 category 字段)区分来源。 - 利用 Partition(分区)替代 Collection 拆分:
- 如果只是按时间(如
2024_q1,2024_q2)或类别(news,blog)划分,且查询常带过滤条件,优先使用 Partition。 - Partition 共享索引和 Schema,管理更轻量,查询时可指定 partition_names 提升效率。
- 如果只是按时间(如
python
# 创建分区
collection.create_partition("finance")
collection.create_partition("tech")
# 查询时指定分区
collection.search(..., partition_names=["finance"])典型企业架构示例
shell
Milvus Cluster
├── Database: rag_prod
│ ├── Collection: knowledge_base_v1
│ │ ├── Partition: hr_policy
│ │ ├── Partition: it_manual
│ │ └── Partition: finance_guide
│ └── Collection: user_embeddings # 用户行为向量,维度不同
│
├── Database: tenant_alpha
│ └── Collection: private_docs
│
└── Database: research_dev
└── Collection: experiment_emb_bgeMilvus 最佳实践
向量归一化
向量归一化应在 Milvus 中处理,而不是在 Xinference 或 Ollama
- Milvus 官方文档明确指出:使用
COSINE度量时,无需预先归一化向量,Milvus 会自动处理。 - Xinference 或 Ollama:仅用于调用 BGE-M3 获取原始 embedding 向量(不做归一化)。
数据预处理与嵌入
文本分块策略
- 语义分块优于固定长度分块:使用基于句子边界、段落结构或语义连贯性的分块方法(如 LangChain 的
RecursiveCharacterTextSplitter或 LlamaIndex 的节点解析器)。 - 保留上下文信息:对相邻块做重叠(overlap),避免关键信息被切断。
嵌入模型选择
- 使用统一、高质量的嵌入模型,如需多语言支持,选择多语言嵌入模型。
- 在整个系统生命周期中保持嵌入模型版本一致,避免向量空间漂移。
Milvus 集群架构与部署
部署模式选择
- 生产环境推荐使用 Milvus 分布式部署(通过 Milvus Operator 或 Helm Chart on Kubernetes)。
- 组件解耦:Standalone 模式仅适合开发/测试;生产应使用 Cluster 模式(包含 etcd、MinIO/Pulsar/Kafka、多个 QueryNode/DataNode 等)。
资源规划
- 根据向量规模、QPS、延迟要求估算所需内存、CPU 和存储。
- 向量维度 × 向量数量 × 4 字节 ≈ 原始向量内存占用(float32)。
- 索引构建会额外消耗内存(如 IVF_FLAT 约 2x 原始大小)。
查询与检索优化
混合检索(Hybrid Search)
- 结合向量相似度 + 元数据过滤
- 利用
RRF(Reciprocal Rank Fusion)或Weighted Score Fusion融合多路召回(如关键词 + 向量)。
python
collection.search(
data=[query_emb],
anns_field="embedding",
param={"metric_type": "COSINE", "params": {"nprobe": 10}},
limit=10,
expr='category == "finance" and publish_time > 1700000000' # 标量过滤
)动态调整 top-k 与 nprobe
- 高精度场景:增大
nprobe(IVF)或ef(HNSW) - 低延迟场景:减小参数,牺牲部分召回率