BLOG
September 2, 2022

AI如何将普通内容转为3D

你知道Leia采用了当今最先进的神经网络(neural networks)之一吗?它是我们创造3D图像的核心。我们的屏幕技术是3D光场的窗口,而Leia的先进计算机视觉将一切转化为3D。由于Leia的人工智能,世界上所有的2D内容都得到了巨大的升级。

因此,当我们谈论了很多关于我们的3D屏幕以及它们是如何制造的时候,Leia的计算机视觉和人工智能软件技术总监Andrii Tsarov为我们现在的处境带来了更多的背景信息--以及我们未来的前景在哪里。

"我对计算机视觉能给人类带来的东西感到兴奋,"Andrii说。"人工智能是提高生产力的又一步骤,同时也减轻了人们的负担。更重要的是,人工智能使一些领域普及化--比如计算机视觉。我们能够分析以前根本不可能的事情。现在可以用视觉信息来做,医疗技术也可以,在某些情况下,它也使艺术全民化。"

"我对计算机视觉能给人类带来什么而感到兴奋"

这样想吧。有丰富创意,但不会画画的人可以通过与计算机视觉合作来帮助他们实现。如果你在创作一部电影时遇到困难,人工智能将能够帮助加快这一创作过程,并简化它的制作方式。Andrii说,这些已经在某些层面上发生了,但随着我们走得更远,它将更容易完成--在更多的设备上。

不过,将Andrii带到Leia的是我们在计算摄影方面的进展。"他说:"这是非常令人兴奋的东西。

"这有一个鸡生蛋蛋生鸡的问题。如果没有人制作3D内容,就不会有人购买3D设备。没有人买3D设备,就没有人做内容。因此,我们正在弥合这一差距,使所有的内容都有意义"。

最明显的例子是LeiaPix转换器,它采集2D图像并增加深度,以及LeiaTube,它采集流媒体社交视频内容并将其即时转换为3D。"Andrii说:"人工智能对于提高现有内容的水平至关重要。

Leia的人工智能是如何工作的?

人工智能在寻找模式方面确实很出色。事实上,当涉及到人脸检测时,神经网络在识别人脸方面的表现甚至比普通用户更好,Andrii指出。

 

"我们训练神经网络来分析3D场景,"Andrii解释说。"我们采取实际的3D场景,神经网络看着它,并记住如何为一张图片构建这个3D场景。然后,还有人工筛查。我们审查结果,对于每一次图片中的主体被部分错误识别,我们都会进行纠正。"

因此,举例来说,我们拍摄一张戴着帽子的人的照片。帽子--或它的一部分--被错误地识别为背景的一部分,而不是主体。所以,我们需要返回去,纠正深度图,向神经网络展示它的错误。

 

为了教导神经网络,你要收集几百万张有3D信息的图片。然后把它放到分布式云中,让它学习。处理这些信息可能需要几天到几周的时间来进行一次迭代。

 

"Andrii说:"我们的网络在一次次的迭代中得到了极大的改善,以至于我们有信心说我们现在已经超越了单眼深度估计的现有技术水平他在这篇报道的其他地方提供了一些例子,说明Leia提供的结果与该领域最知名的工作(DPTLarge)相比如何。

我们的人工智能已经在将2D图像转换为3D方面取得了重大进展。对Andrii来说,明显的"神奇 "结果是,你将无法区分转换后的内容和实际在3D中创建的内容。

"用我们现在拥有的神经网络,"他说,"一些视频看起来几乎没有缺陷。有些则很接近。我们的目标是确保我们转换的所有东西看起来都是无法辨别原始来源的专业的转换。

正如人们所猜测的那样,这在很大程度上仍然是一个学习过程。例如,Andrii说,虽然人工智能在处理原创内容、卡通、电影等方面的表现令人难以置信,但在Twitch流中带有UI覆盖和多个窗口的东西,需要神经网络做更多的工作来处理。这也是目前正在努力的事情之一。

这一切是如何形成的--硬件+软件

在这个领域有许多专业的竞争对手,但据Andrii说没有直接的竞争对手。"比如说Snapchat,有很好的视频过滤器,Facebook做的那些现场照片,让它滚动和放大一点,有深度。还有一些公司做单视频到立体视频的转换......但它们都不是在线的。像我们这样的在线转换很难做,因为他们不能控制设备。"

 

现在还没有其他公司能够进行这种水平的3D转换,以及制造能够利用这种效果的屏幕。这使我们具有明显的优势,可以利用流程的每一端,知道如何最大限度地利用我们的3D光场效应。

因此,虽然我们确实拥有所有这些惊人的技术来改造2D内容,但我们也在开发更多硬件来实现所有这些技术--最值得一提的是我们最近发布的15.6显示器。

 

对于迄今为止取得的所有进展--我们还可以走得更远--Andrii说,要真正欣赏我们所取得的成就,你所需要做的就是使用LeiaTube,看看它是如何工作的。它可以实时分析2D视频,并在观看同时创建3D视频,有一天,你甚至不需要考虑它是如何制作的--只需欣赏它看起来令人惊叹的真实效果。

你在使用Leia产品的AI和计算机视觉技术吗?我们很想知道!