Chat with Milvus #24 回顾-Milvus 数据管理

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

戳这里看完整视频实录

这次 Milvus 线上问答, 我们请到了 Milvus 的老莫老师来与我们分享 Milvus 的数据管理机制。因观众需求,本次视频中的 PPT 也已上传到示说网上,欢迎有需要的朋友们点击左下角的 ”阅读原文“ 下载!下面我们就来稍稍剧透一下~ 

 

| 基本概念

集合、分区和段的关系如下所示:

Metadata 元数据:

不管是分区还是段,都只是数据在物理存储中的组织形式。Milvus 进行查询操作时,必须要获知各个数据文件在物理存储上的位置以及状态信息,包括所属集合、包含的实体条数、文件的大小、全局唯一的标识、以及创建日期等等。我们将这些信息称为元数据。此外,元数据还包含集合以及分区的信息,包括集合名称、集合维度、索引类型、分区标签等等。

| 存储操作

客户端通过调用 insert 接口来插入数据,单次插入的数据量不能大于 256 MB。插入数据的流程如下:

小数据段过多会导致查询性能低下。为了避免此问题,Milvus 会在需要的时候触发后台段合并任务,即把小数据段合并成新的数据段,并删除小数据段、更新元数据。其中,新数据段的大小不低于 index_file_size。合并操作的触发时机如下:

查询请求队列 & 查询合并:

建议大家多多利用 milvus.io 官网文档,如果有任何问题,欢迎加入 Milvus 交流群与我们交流喔!

| 欢迎加入 Milvus 社区

github.com/milvus-io/milvus | 源码

milvus.io | 官网

milvusio.slack.com | Slack 社区

zhihu.com/org/zilliz-11/columns | 知乎

zilliz.blog.csdn.net | CSDN 博客

space.bilibili.com/478166626 | Bilibili