击碎次元壁！ Google 发布 3D 全息通话黑科技，视频通话要被颠覆了
2022-10-18 18:43:59 Author: 爱范儿(查看原文) 阅读量:9 收藏
如果你的异地恋对象过生日，你会怎么给他/她庆祝？
发一段微信消息？单纯的文字好像略显冰冷。
打一通电话？真切的情感似乎释放得不够彻底。
拨一个视频电话？总有点看得见碰不着的缺失感。
这个时候，我们总会想：如果能够第一时间出现在对方的身旁，那就最好了。
然而，多啦 A 梦的任意门对于 21 世纪的人类科技来说还是过于超前，但先别急着气馁，至少现在我们已经可以传送一个虚拟的自己到对方的面前。
什么？你以为我又要讲玄之又玄的元宇宙了？
我所说的可不是一个没有脚的漫画卡通化身，而是与你长得几乎一模一样，并且全息立体的「你」。
与「真人」对话
在去年的 5 月 Google I/O 大会上，Google 的 CEO Sundar Pichai 发布了可以不需要依靠头戴设备就能实现 3D 全息视频通话项目—— Project Starline。
Project Starline 是 Google 内部高度保密的实验项目之一，根据 Google 的研究员透露，项目小组在 6 年前就已经开始做相关的技术研究，一直到 2021 年才向公众发布，而在此之后又沉寂了几乎一整年。
就在人们以为这是 Google 又一「画大饼」项目时，Project Starline 在最近邀请了包括 The Verge 在内的媒体和合作伙伴前往实验室亲身体验。
The Verge 编辑 Jay Peters 在体验后感叹称，这是他迄今体验过最真实的一次虚拟现实交互，「感觉就像是科幻小说照进了现实」。
人类通讯手段一直紧跟信息技术的发展在不断升级。从古早的电报文到电话、再到视频通话，人类传递信息的维度不断升级，信息传递的及时性和内容也在不断提高。
如果以这两个维度作为发展的坐标轴的话，我们不难想象，通讯技术的下一个阶段将会涵盖声音、影像、空间位置等更丰富的内容，并能以几乎无延迟的方式瞬时传输。
在很多科幻电影中，科幻创作者认为全息立体影像通话便是符合这一定义的下一代通信手段。
也就是说，继人类成功地把熟悉的人脸带到身边之后，下一步就是把「本人」带来现场。
于是乎，Project Starline 项目应运而生。
Project Starline 的产品管理总监 Andrew Nartker 在接受媒体采访时提到，他们在通信技术方面取得的突破，能让用户与世界各地的人们变得更加亲密，彼此之间的联系也更加紧密。
从 Project Starline 的装置外表来看，它似乎和「3D」「全息影像」等高科技词汇不太沾边——要知道在科幻电影里，主角们都是通过一个充满未来感的金属圆形底座进行全息立体投影通话，与之相比，Project Starline 更像是一个精致一点的梳妆台。
当 Project Starline 的大屏亮起时，迟到的科技感才慢慢地铺陈开来。
Jay Peters 称，Project Starline 就像是一块具有魔法的窗户，将两间房间连在了一起，坐在他对面的谷歌研究员看起来和真人的高度、长相几乎一致，当他递过来一个苹果时，他甚至能通过画面上的阴影感受到近似真实世界的空间距离感。
这像是一场发生在同一张桌子上的面对面交流，其拟真程度几乎让人忘了两间测试房实际上相隔甚远。
之所以用「拟真」来形容这场别开生面的会谈（你平时一定不会听到有人说视频通话里的人长得好逼真），是因为画面终端显示的画面其实并非是单纯的影像画面，而是根据图像、深度等信息重新渲染的「虚拟人」，而这是营造超现实临场感的关键。
3D 的秘密
将真人虚拟化为什么反而会更加真实？要理解这个问题先要从 Project Starline 的工作原理下手。
坐在这张精致「梳妆台」面前，最瞩目的莫过于这块 65 寸的大屏幕，这可不是普通的家用电视，而是一块 8K/60Hz 的 3D 光场显示器，Google 的研究员称其单眼可观测的像素密度是 Oculus Quest 等 VR 设备的两倍，可以有更精细的立体显示效果。
要让这块光场显示器显示出立体效果，就需要采集物体的深度信息。研究员在屏幕的上方和底部都安置了多个双目立体相机和红外相机，这样就能结合多角度的深度信息还原出人物的空间距离感。
在屏幕的两侧和上方还安装了多个单色跟踪摄像头，用于对人物脸部五官的实时 3D 定位，这样当人物在移动时也能精准地还原人物模型。
真人照片
渲染效果
当这些采集到的位置和画面信息传输到了接收端，系统会根据观众左右眼的位置渲染出三个深度流，与纹路流混合渲染出逼真的「虚拟人」。
这时候，当观众的眼睛位置改变，图像的位置也会跟随眼球移动做细微的位置偏转，这是传统 2D 影像所不能提供的空间真实感。
Project Starline 除了要在视觉上打破「次元壁」外，在听觉上也下了不少功夫。
在输入端，麦克风可以配合脸部追踪的数据形成具有指向性的动态波束，以实现降噪和抗干扰。在输出端，追踪系统则能定位观众的耳朵，模拟出对话的空间方位感，让声音听起来就像是屏幕中的嘴巴说出来一样。
试想一下，当你要与同事、合作伙伴举行重要的视频会议时，与会者不再需要全神贯注地盯着狭小的屏幕，眼神不用再迷离在摄像头之外，而是可以与你做自然的眼神接触，甚至能用一些肢体语言辅助表达，这样的参会体验将会是一种质的飞跃。
不过现阶段 Project Starline 距离实际应用仍然有很长一段路要走。
Wired 的编辑 Lauren Goode 在体验过 Project Starline 后表示，虽然全息视频的视觉效果在大多数时间都很棒，但当人物移动幅度过大时，原本立体的图像就会短暂变回平面，体验不甚完美。
Google 的研究员也提到，在处理形状复杂（例如蓬松的毛发、光学眼镜）或者运动物体时，时常会有错误的「伪影」出现，其团队目前正致力于提高影像处理的准确性。
除了技术上的障碍，布设一整套 Project Starline 的成本也相当高昂，昂贵的光场显示器和各种光学摄像头注定了 Project Starline 在目前只能是实验室产品，要想打入消费者市场几乎不太可能。
Andrew Nartkerct 在接受 The Verge 采访时坦诚说道，Project Starline 是一项振奋人心的全新技术，是空间交互领域的一次突破性的探索，但目前它仍很难称得上是一件「产品」。
海内存知己，天涯若比邻
那么，Project Starline 花这么大力气到底是要解决些什么呢？项目组给出的答案也很简单：让你感觉到你和一个真正的人在一起。
在过去的一年里，以 Zoom 为代表的远程会议软件在企业、学校得到了广泛的使用，人们因为各种原因分隔开，不得不通过这些视频软件协同工作，甚至组织一次难得见面，人与人之间的联系也因此被冲淡。
微软在一份关于视频会议对工作效率的影响的报告中提到，人们在视频会议中会比现实沟通更容易分心，这是人们在面对高压力的视频会议下的自然应对反应。
而能提供真人对话体验的 Project Starline，似乎能消除这种妨碍沟通的压力感。
虽然 Project Starline 布满各式各样的摄像器材，但当其工作起来后，这些冷冰冰的技术都会被参会者抛到脑后，因为这时候在他面前与之沟通坐着的是一个近乎真实的「人」。
Google 的研究员经过对比实验后发现，相比于传统视频沟通，使用 Project Starline 沟通的参会者会有更多的眼神接触和肢体语言，在沟通结束后能够回忆的内容也要多出 28%。这也许就是自然沟通的魅力。
目前 Project Starline 仅在 Google 内部给员工们做小范围的实验，Google 称从今年开始会陆续地向包括 Salesforce，WeWork，T-Mobile 在内的合作伙伴开放测试，推动人与人建立更深的联系。
Project Starline 未来会得到普及，成为 3D 时代的电话亭吗？
对于这样一个技术超前的项目来说，这个问题在目前很难给出一个定论，Project Starline 可能会成功成为一个真正的产品，也被过高的成本拖垮导致胎死腹中，甚至可能成为 Google 未来 AR、VR 技术的一部分。
但无论怎样，这种呼应人们真实需求的未来科技，值得科技圈投入更多的关注。
毕竟，在人们习惯分离的当下，没什么比亲眼见上一面更加珍贵。

1 小时建好一间房！每个人都买得起，这是什么黑科技

苹果造车方向错了？他说苹果应造电动自行车 | Feel Good 周报


文章来源: http://mp.weixin.qq.com/s?__biz=MjgzMTAwODI0MA==&mid=2652189403&idx=1&sn=950998001d01345144036c944bf2f54c&chksm=9b63a444ac142d52be98539e9dbc23625dd0aed6d8795c575aca6f296ac0f3cdd0198192bf44#rd
如有侵权请联系:admin#unsafe.sh