Pinterest 使用什么搜索逻辑来搜索图像?

在 Pinterest 上搜索图片有两种不同的方式。第一种是通过输入搜索文本来搜索图像的传统方式,另一种是 Pinterest 视觉搜索,即查找与您的图像相似的其他图像。
按文本搜索



对于更传统的“文本搜索”场景,Pinterest 可能使用类似于 Google 图片搜索或 Bing 图片搜索的方法。在非常高的层次上,它归结为两个步骤:
索引:收集与图钉关联的所有文本,并创建一个将其映射回图钉的索引。在 Pinterest 的案例中,与 pin 相关联的文本包括 pin 标题、pin 描述、评论,以及通过 CNN 对 pin 图像进行的对象检测。索引通常在创建或更新引脚时完成
检索和排名:给定一个搜索文本,找到所有与搜索文本匹配的图钉。然后使用排名算法对所有匹配的引脚进行排名。排名算法结合了诸如 pin 的受欢迎程度/质量、与搜索文本的匹配程度、与用户的相关性等特征。
Pinterest 有一些涉及“按文本搜索”的博客文章,您可以在此处阅读:
建立一个平台来理解搜索查询
打造全新的本地化搜索体验
搜索指南的背后
Pinterest 视觉搜索



视觉搜索是指使用图像或图像的一部分来查找相似的图像。 Pinterest 工程博客有一些关于他们的视觉搜索系统的细节。
引入一种在 Pinterest 上进行视觉搜索的新方法
我们视觉搜索系统的核心是我们如何表示图像……我们使用深度学习来学习强大的图像特征,利用我们由 Pinners 策划的数十亿 Pins 的丰富注释数据集。然后可以使用这些特征来计算任意两张图像之间的相似度分数……
为了找到 Pin 的视觉相似结果,我们考虑给定特征与数十亿其他特征的相似度得分。为了有效地完成这项任务,我们构建了一个分布式索引和搜索系统(使用开源工具),它允许我们扩展到数十亿张图像,并在几分之一秒内找到数千个视觉上相似的结果。我们将在不久的将来发布一篇论文,描述我们在使用深度学习功能构建大规模视觉搜索系统方面的发现。有关我们之前工作的更多信息,请参阅我们的 KDD’15 论文。
视觉搜索允许人们使用图像进行搜索….我们优化视觉相似性,而不仅仅是复制以帮助 Pinner 发现确切的结果,以及可能在样式、图案或形状上相似的意外结果。
参考论文有很多关于旧系统的细节。例如。 CNN 的广泛使用以及它们如何将对象检测分解为两步任务:首先使用文本/社交特征找出图像的标签,然后在这些标签中进行对象识别。