按图搜索让搜索变得更加简单直观,但这背后其实是算法和计算能力的革新。

一图胜千言

来源:环球企业家  |  作者:朱旭冬  |  阅读:

搜索引擎已经出现将近20年了,虽然在这个过程中搜索引擎能提供的内容已经发生了翻天覆地的变化,但主流的搜索方法几乎没有任何改变。无论是搜索一家餐馆、一个景点还是一个人,打开任何搜索引擎页面之后,用户的第一步都是输入的关键词。

为了简化输入,部分搜索引擎已经推出的语音搜索,然后将语音转化成文字,让用户只需要说话就能解决输入的问题。这一点在移动设备上尤其受欢迎,因为在移动设备上打字比在PC上要困难的多。但究其本质,这依然是基于关键词产生的搜索行为。

但是,很多时候人们在搜索的往往是自己并不知道的东西,比如某种植物、某个景点或者某件服装,这时候用户往往很难想出一个合适的关键词。

正是基于这样的考虑,最擅长利用搜索引擎盈利的谷歌推出了按图搜索,让用户可以上传图片进行搜索—这可以说是搜索的一大变革,因为搜索引擎第一次由匹配文字信息变成了匹配图片的特征。

这项搜索变革,谷歌的中国团队做出了很大贡献。谷歌技术总监李钢江告诉《环球企业家》,按图搜索的大部分功能都是由谷歌在上海的团队完成的。如果把谷歌的图像搜索看成独立的搜索引擎,它的搜索量排名全球第四,这也说明人们搜索图片的需求非常大,也需求更好的图像搜索的方法。

早在2009年,谷歌就推出了相似图像搜索,可以根据一张图片寻找出相似的图片,比如可以通过某位明星的一张照片,找到这位明星的很多其他照片。但是,按图搜索能做的更多:

—用户可以上传一张某个景点的照片,就能发现更多和这个景点有关的信息,比如景点的名称、介绍等。因为在这个时候,用户上传的图片就是输入的关键词,谷歌会根据这个关键词给出搜索结果;

—用户可以搜索一位网上匿名网友的头像,如果对方用的是网上的图片而非真实头像,搜索结果里就会出现大量原图的信息;

—用户还可以上传某件服饰的照片,谷歌会自动判断用户搜索的意图就是希望购买这件服饰,于是搜索结果里会出现大量有这件服饰在售的网站。

其实用户对按图搜索这些功能的需求已经存在了很长时间,而且核心算法在李钢江上大学的时候就已经存在,但真正要投入商用还需要很多调整。在学术上和商用最大的不同在于数据量,在实验室里,按图搜索的图片库通常只有几百张图片,而整个互联网的图片有几百亿张,如此大的数量级跨越,就要对算法进行很大的改进。

布林的鼓励

在发布按图搜索之前,谷歌已经为此做了大量的准备。在谷歌推出图像搜索之初,谷歌就已经推出了 Image Label,让用户为图片加上描述;2009年谷歌又对图像搜索做了很大的改进,包括对图片按色彩、纹理进行分类、相似图像搜索等;2010年谷歌又推出了手机应用 Google Goggles,只要给某种具有统一特点的产品拍照就能知道这款产品的信息。

大约一年前,谷歌正式开始按图搜索的研发。谷歌产品经理李珲表示,启动这么大的一个项目需要很大的勇气。图片的处理比文字处理最大的不同是,图片包含更多的信息量,因此也需要很大的储存空间和很强的计算能力。据李钢江计算,在按图搜索的算法已经固定的情况下,假定有一千亿张图片,提取一张图片的特征只要花0.1秒的时间,就算有一千台服务器不停的算,把这千亿张图片处理完也需要115天。这样大规模的计算可能只有谷歌才能完成。

对于用户新上传用来搜索的图片,如果这张图片已经存在于谷歌的图片库里,那么谷歌就能马上给出相应的搜索结果。如果这是用户新拍的一张照片,那么谷歌就会首先从这张照片上提取成千上万的特征值,然后将这些特征值和谷歌图片库里的照片进行比对,最后返回搜索结果—而且这个过程也会控制在一秒钟之内。

对计算机来说,要找出相同的图片并不难,难在要找出相似的图片,比如经过不同处理的同一张照片或者同一个人的不同照片。如果用户用一位名人的照片进行搜索,而搜索结果都是这位明星的同一张照片,这对于用户来说并没有什么价值。所以谷歌会确保搜索结果第一屏最多只出现三张完全相同的照片,另外都是这位明星的其他照片。尤其对人的搜索,谷歌会提高出现人脸照片的权重,但是如果一张照片上出现了多个人脸,这样的照片又往往会被降权。

李珲还记得第一次去谷歌总部山景城演示按图搜索这款产品时的情景。当时谷歌网页搜索的产品总监 Johanna Wright 直接在现场用自己的一张图片进行了测试,搜索结果里出现了她的 Facebook 主页,因为这张照片就是她在 Facebook 上的头像。另一位高管 Jack Menzel 也尝试了自己的头像,同样得到了满意的搜索结果。“这就像一个里程碑一样。”李珲事后回忆说。

谷歌上海的工程师黄燕来是一名摄影高手,对摄影有很深的研究。一张照片会因为使用的镜头、焦距、曝光时间、光圈等产生完全不同的效果,于是他希望将照片的EXIF参数引入图像搜索。

经过调查,黄燕来和李珲发现有7%的用户都希望谷歌增加这个功能。在研究了用户的搜索关键词后,他们也发现了很多可以用EXIF信息搜索到更准确的图片的例子,比如用户搜索夜景图片的时候就可以选择光线较暗而非输入“夜景”—这种对图片的过滤也更加自然,而且上传夜景照片到互联网上的人也不会把每张照片都打上“夜景”的标签。

当时谷歌已经在图像搜索结果页上推出了由中国工程师陈立捷开发的按颜色过滤图片的功能,谷歌联合创始人谢尔盖·布林(Sergey Brin)看到后鼓励图像搜索团队,说“做的很好,这是个很有用的功能”。于是有工程师告诉他谷歌图像搜索团队还在开发基于EXIF信息的搜索。但是如果将EXIF信息都添加到图片的索引库中,又会增加很大的数据量,当时他们正犹豫是否选择一部分EXIF参数加入索引库。布林建议他们开发出真正强大的系统,不用花太多时间挑选这个参数,而是支持任意EXIF参数的搜索。“布林的话给了中国工程师很大鼓舞。”李珲表示。

对于按图搜索这款产品,李钢江和李珲认为就目前的功能而言,已经可以打90分。但是如果从一款完美解决各种图像搜索问题的产品角度考虑,李钢江觉得它还不及格。“整合全球信息,使人人皆可访问并从中受益”是谷歌的使命,在整合图片信息并使之便于搜索的路上,用户对谷歌还可以有更多期待。 

Tags:  谷歌 图片