谷歌是如何做到让计算机自动围绕照片讲故事的

2014年07月21日 16:20 次阅读 稿源:网易科技 条评论

随着智能手机的兴起,人们拍下的照片越来越多,不过他们却鲜少花心思去整理它们。针对这种情况,谷歌在Google+上打造了一款名为Stories的工具,来帮助人们将照片整理成一个个的故事。国外媒体近日撰文指出,这一任务对人们来说很容易,但要让计算机自动操作却极为困难。那谷歌的团队究竟是怎么将Stories打造出来的呢?

访问购买:

百度网盘SVIP+网易严选10个月+百度文库年卡 到手仅199

谷歌是如何做到让计算机自动围绕照片讲故事的

以下是文章主要内容:

看似容易的任务

在谷歌内部,一小团队在试图解决一个对普通人来说轻而易举,但对于全球数据最多的公司却极其困难的问题:讲故事。

谷歌想要解决一个我们都明白的问题。人们在手机上拍了无数张照片,实际上却不怎么处理它们。有一部分被精选出来发送到Instagram上,大部分还是被积压在手机相册,拍下来之后就几乎“不见天日”。

“你一趟旅行下来拍了300张照片,但没有东西帮助你好好整理下它们。”谷歌社交网络工程师约瑟夫·斯马尔(Joseph Smarr)说道,“想想人们处理那些照片的方式,主要就是不进行任何的分享。第二大处理方式是分享一小部分到诸如Instagram的社交网络。而最糟糕的是,他们将所有的300张照片全扔到一个相册里。这对于围绕照片讲故事毫无意义,它们只不过是一堆照片,就像是单调乏味的鼓声。”

因此,斯马尔和他的同事——产品设计师布雷特·利德(Brett Lider)和用户体验设计师Clement Ng——给自己定了一项任务。他们想要打造会有韵律且流畅的、带来“真正的讲故事”感觉的软件。

他们的解决方案是Google+很棒的照片工具的一部分,提供给所有的谷歌用户。该产品名为Stories,它可自动将用户上传的照片整理成故事。

你可能觉得这很容易,但那是因为你是人。赋予机器感知故事和位置的能力绝非易事,即便可以动用谷歌掌握的所有用户信息。

The Atlantic 近日采访了Stories的开发团队,了解产品开发的背后,并开始思考其对计算机理解人类的能力对人们生活的意义。

叙事性传记概念的诞生

产品早期的原型看起来跟最终的成品大径相庭。

最初,斯马尔和利德开发出了某种更似个人成绩报告单的东西——只是编撰出一堆数据。2012年5月的一个设计模型展示了利德的签到和徒步旅行数据、与人的互动和喜欢的音乐。它相当全面具体地显示了一个人的信息,而且信息都是经过精心巧妙的选择和整理的。该理念在于,仅针对一个人打造出某种类似于Facebook动态信息(News Feed)的东西:通过算法精选出的个人信息。

但那只是产品模型。据斯马尔称,当他们开始思考可以借助谷歌所有的用户数据和所有的信息处理能力打造出什么产品来的时候,他们发现了一点:“我们的历史是嘈杂的,且不完整的。”与此同时,他们在改良他们的概念产品。他们反复研究相片。

利德展开用户小组研究,让人们谈谈他们最近拍下的10张照片。为什么拍那些相片?给谁拍?

根据人们的回答,可以将他们分成三类。第一类是给别人拍照,第二类是为了留念而拍照,而第三类是“记录冒险经历”。利德说,问他们实际上多久使用一次他们所拍的照片,“记录冒险经历”的那一类人付诸行动的比例最低。

前两类人都使用与照片相关的应用与服务,比如通讯类应用和笔记应用Evernote。

而记录冒险经历的那一类人呢?他们甚至都没有App Store应用。事实上,他们倾向于责怪自己没有去处理所拍的照片。他们说自己太懒没有给朋友传相关的照片,或者没有好好去回味欣赏那些照片。

斯马尔、利德和Clement Ng开始意识到了机会。于是利德展开更多的用户测试。他让参与的用户整理冲印出来的相片。

他就是叫他们在台面上整理好相片。大多数参与者都是从左到右按时间顺序摆放相片,他们将同一个地方拍的照片集中在一起,甚至在每一个位置相册的开头都放置相关位置的一张“定场镜头”相片。

利德意识到,这并不是相册,也不是拼贴画,而是某种叙事性传记。于是,他开始去研究叙事性传记的历史。该研究也促使他们以18世纪英国作家塞缪尔·约翰逊(Samuel Johnson)的传记作者詹姆斯·鲍斯维尔(James Boswell)的名字作为该项目的代号:Project Boswell。

利德说,“叙事性传记是19世纪开始出现的。在那之前,传记只是简单罗列些日期和‘所谓的事实’,后来名人和富人开始委托传记作家给自己撰写叙事性传记。当中最有名的传记作家便是詹姆斯·鲍斯威尔。”

“所以我们当时在想,要是我们能够大众化叙事性传记会怎么样?谷歌和科技的一大贡献在于,给普通人带来以往仅属于精英阶层的东西。因此,我们觉得,我们可以成为你的私人叙事者,成为你的个人传记作者,帮助你串联起你的生活中令人兴奋的点滴故事。”

斯马尔补充道,“我们喜欢成为帮助你追踪生活经历、记忆你去过的地方的小代理人的设想。”

“如果说Google Now是你的实时助手,”利德继续说道,“那么Boswell就是你回顾过去的助手。”

“如果说Google Now是你的助手,那么Boswell就是你的朋友。他会与你一道同行。”Clement Ng说。

于是,他们有了这么一个概念:将叙事性传记功能带给每一部智能手机。

概念执行

“接着,我们开始试图思考具体如何执行,”斯马尔说,“我们能否自动地将这些照片串联起来,挑选出最好的照片,识别它们的拍摄位置,猜测故事开始和结束的时间,并确定故事标题?”

这听起来也许很简单:结合利用智能手机的数据和照片来串联故事。假如用户将照片上传给谷歌,当中一部分是通过智能手机拍摄的,谷歌会从中获取位置数据、视觉线索和时间指示。

不过,有些照片是来自没有GPS功能的相机,有的照片日期戳是错误的,有的位置数据不正确。

“你面临的就是这样的数据流,有时候数据太多,有时候数据偏少,有时候数据很全,有时候却很不完整,而你要做的就是试图去搞懂它们。”斯马尔说道。

倒有三种对Boswell机器人很有帮助的信号。首先是照片的地理标记,即那些标示人的确切位置的照片。其次是Google Now或者谷歌地图数据,它们可带来用户去过的地方方面的信息。最后一个信号最酷:该团队能够通过对特定路标进行机器视觉分析来推断用户的位置。例如,如果你去了纽约,且给著名的熨斗大厦拍了照片,那谷歌就能识别出它所知道的地标,标记出该位置,即便照片是用不支持嵌入位置元数据的相机拍摄的。

Stories还有一些值得一提的细节。首先,照片是从左到右排列的,根据利德的研究,这样符合人们翻阅剪贴簿的方式。从移动设备上看,一系列的照片进行了全景和缩放处理,底下附有标题以及一支鼓励进行个性化处理的小编辑铅笔。

对于识别出的每一个位置,Stories都会加上一张该位置的环形图片;它与谷歌相链接,因此用户或者他们的故事分享对象都可以专门就行程中的相关景点研究一番。

手机上的那些照片在滚动浏览的时候还带有一点“晃动感”。这是很不错的效果,或许也符合谷歌的“material design”设计理念。感觉它们是放在某种跟屏幕背景不是完全齐平的东西上,如此一来强化了翻阅剪贴簿的感觉。

与照片尺寸与形状完全一致的Instagram不同,Stories使用各种不同的尺寸与形状的照片。它上面还有动画效果。“背后的理念是,让你觉得它们是出自人的双手,而非机器。”Clement Ng说道。

它确实可带来那种感觉,确实能够给一款并非十全十美的产品带来助力。虽然有时候谷歌生成的故事不如预期,或者包含不匹配的照片,但那些个性化的小故事相比普通的软件产品还是更能引起共鸣。人们或许会体谅Boswell的不足。至少它有努力去围绕大家或许意义不大的经历生成故事。

“我们在试图呈现人们的经历的精华部分,”斯马尔指出,“相比单纯地给用户复述数据,提炼出精华部分要更加困难。”

对文章打分

谷歌是如何做到让计算机自动围绕照片讲故事的

1 (25%)
已有 条意见

    最新资讯

    加载中...

    今日最热

    加载中...

    热门评论

      Top 10

      招聘


      Advertisment ad adsense googles cpro.baidu.com
      created by ceallan