图形商标近似检索-知擎者的 Milvus 实践

✏️  作者介绍:

王杰,知擎者数据挖掘算法工程师 

 

应用背景

知擎者是一个商标大数据智能应用平台,以商标数据为核心,结合企业大数据、法律大数据、营销大数据等,提供基础业务处理、商标预警监测、案件智能挖掘、数据情报分析等服务,为知产服务者提效赋能。知擎者不断协助知产服务者改变传统业务处理模式,创建智慧服务新体系,拓展更多业务机会,以达到知产服务者快速盈利和品牌建设的目标。 

近年来,品牌文化大力发展,文字商标的注册随之越发饱和,申请难度越来越大。因此,越来越多国人开始转向图形商标申请。 

图形商标的申请及监测在代理人(知产服务者)确权业务中占比越来越大。代理人(知识产权服务者)对图形商标查询和监测的需求越发强烈。为此,知擎者提供以图搜图功能,协助代理人快速检索近似图形商标。 

知擎者已有近两千万的图形商标图片数据。根据这些数据和卷积神经网络 VGG16 模型,我们训练出图片特征提取模型,用于提取图片的特征向量。为了快速将全量图片数据转化成特征向量数据,我们将特征提取模型及代码分别布置在多台服务器上,通过请求 flask 获取任务以实现图片数据同步处理,快速获取特征向量。最后,由于 Milvus 只能单点上传数据且在数据上传时会同步建立向量索引,所以我们将特征向量归纳起来统一插入到 Milvus。 

尼斯分类(International (Nice) Classification of Goods and Services),由世界知识产权组织(WIPO)提供,将商品和服务分为 45 个类别,用于区分商标适用范围[1]。为帮助用户提取不同类别的图形商标图片,我们以类别为分区标签将特征向量数据分区存储在 Milvus 中。用户只需在客户端上传图片,程序内部会自动通过同一个模型提取特征向量,从 Milvus 中查找近似向量的 id, 获取对应的近似图片。最后,程序会进一步筛选官方给定的图片内容形容词、图形商标类别以及 Milvus 返回的近似得分等,将结果返回给客户端。

 

图片特征向量提取:卷积神经网络 VGG 16 模型

卷积神经网络 VGG16 模型是一种图片分类模型,具有简洁易懂、快速精确等优点,能够适应各种图片尺寸。图片传入模型变化分类如下图所示: 

VGG16 模型顾名思义是共有 16 个层的卷积神经网络。VGG 各种级别的结构都采用了 5 段卷积,每一段具有一个或多个卷积层。同时,每一段卷积的尾部都连接着一个最大池化层以缩小图片尺寸。每一段卷积内的卷积核数量一致,越靠后的卷积核数量越多 64-128-256-512-512[2]。VGG16 的所有卷积核都是 3*3 格式,池化层均选用 2*2 的池化核,因此能够保留更多图片信息。确定向量模型后,我们通过 Python、Tensorflow 、Keras 等 Python 模块完成了图片特征向量模型训练。 

 

图片特征向量检索:Milvus 向量相似度搜索引擎

我们在获取特征向量后需要从海量数据中快速检索近似的特征向量。通过百度、知乎等信息渠道,我们了解到 Milvus 和 Faiss 两种工具。对比后我们发现 Milvus 比起 Faiss 整体更加便捷。安装 Milvus 时,我们只需要通过 Docker 拉取镜像,更改几个相应的参数便能快速完成安装。Milvus 官网提供包含 Python、Java、Golang、RESTful、C++ 等多个平台详细而直观的 API 供学习使用,因此十分便于上手。此外,Milvus 还支持通过多种索引检索近似向量,官网上还附有详细的索引介绍。总体而言,Milvus 操作便捷,对用户十分友好,适用于需要控制开发成本的项目。

Milvus v0.10.3 架构如下图所示 [3]: 

 

效果展示

结合了 Milvus 的知擎者以图搜图功能已经正式上线。目前该功能运行稳定,检索效率可以满足正常使用。效果如下图所示: 

我们团队仍会持续进行功能优化,解决例如图形商标颜色区分、文字商标干扰等问题。 

 

总结

随着商标注册量逐年增长,图形商标作为企业品牌核心,其近似检索也会变得越发重要。知擎者团队将不断优化以图搜图功能。当前,文本、图像、音频等非结构化数据呈爆炸式增长。将非结构化数据通过 Embedding 技术映射成多维向量后再进行检索已成为趋势。Milvus  是一款开源的分布式向量相似度搜索引擎,具有高性能、易部署等特性。Milvus 能极大节省项目开发成本,显著提升系统检索性能,从而满足各种技术和业务需求。知擎者将会时刻关注 Milvus 的优化,在未来更丰富的业务场景中与 Milvus 再度合作。 

 

参考资料 

1. 尼斯分类:

https://web.archive.org/web/20170831234900/http://web2.wipo.int/classifications/nice/nicepub/en/fr/edition-20170101/taxonomy/class-7/?pagination=no&lang=en&mode=flat&explanatory_notes=show&basic_numbers=show

2. 卷积神经网络 Vgg16 :

https://blog.csdn.net/qq_34823656/article/details/92410152 

3. Milvus官方文档:

https://milvus.io/cn/docs/v0.10.3/overview.md 

4. 知擎者官网:

https://zqz510.com/ 

 

更多 Milvus 用户案例

· 基于语义向量的内容召回和短文本分类的错误查找-搜狐的 Milvus 实战

· 贝壳找房基于Milvus的向量搜索实践(三)

· 基于 Milvus 构建的近似最近邻(ANN)搜索引擎

· 我的机器人新同事

 

欢迎加入 Milvus 社区

github.com/milvus-io/milvus | 源码

milvus.io | 官网

milvusio.slack.com | Slack 社区

zhihu.com/org/zilliz-11| 知乎

zilliz.blog.csdn.net | CSDN 博客

space.bilibili.com/478166626 | Bilibili

已标记关键词 清除标记