<small id='7S4gXk2'></small> <noframes id='4OHY9VsNg'>

  • <tfoot id='a469XV'></tfoot>

      <legend id='rfYdsE'><style id='mCJQ6'><dir id='QGIHkc'><q id='dxyK'></q></dir></style></legend>
      <i id='K4QfbkzNy'><tr id='JXaZ2gj5W'><dt id='yGSfPi0o'><q id='kH9UNV'><span id='wDcgm0WrY'><b id='JY4qE'><form id='efp3EA'><ins id='JFO6wn'></ins><ul id='P7mk'></ul><sub id='qHc1hNg'></sub></form><legend id='btUiSE15'></legend><bdo id='2twACTc75P'><pre id='2tLH'><center id='TmS0JwyZ4'></center></pre></bdo></b><th id='IeyQ'></th></span></q></dt></tr></i><div id='HBq0U'><tfoot id='v1Xy'></tfoot><dl id='deKSqCiXc1'><fieldset id='K6XGSg'></fieldset></dl></div>

          <bdo id='KYbuV3D'></bdo><ul id='ndYOTALH'></ul>

          1. <li id='2calj'></li>
            登陆

            一号站平台注册登录1956-Niantic深度总结:如何用AR引发魔幻现实主义,为人类感知规划AR体系

            admin 2019-09-04 290人围观 ,发现0个评论

            Diana Hu是Niantic的工程总监和Augmented Reality Platform担任人,她曾协助开发了比如《Pokemon Go》,《Ingress》和《哈利波特:巫师联盟》等AR游戏。在这之前,她是Escher Reality的联合创始人兼首席技能官。Escher Reality是Y Combinator于2017年孵化的草创公司,并在后来被Niantic收买。

            Diana Hu进入AR大概有3-4年时刻,而她自2012年以来就为不同的产品构建大规模的机器学习和核算机视觉体系。

            日前,Diana Hu在QCon大会宣布了题为“Evoking Magic Realism with Augmented Reality Technology(用增强实际技能来引发魔幻实际主义)”的讲演。

            1. 何谓魔幻实际主义

            Diana Hu首要经过四本书来介绍何谓魔幻实际主义。

            例如,《百年孤单》的作者是加西亚马尔克斯,一位诺贝尔文学奖取得者。他来自哥伦比亚,而这本书与马孔多镇有关,一同触及许多关于哥伦比亚的前史。它叙说了一个家庭的日常日子,一段关于孤单的旅程。这本书的风趣之处在于,它以新闻和尘俗的办法叙说了一系列故事,但其间的人物阅历了许多看似一般的奇特阅历。例如,有会变老的鬼魂,有能够飞翔的飞毯,而这关于那里的人物来说似乎是最一般不过的工作。

            第二本书是弗兰兹卡夫卡的《变形记》。它叙说了一个年青工作狂的故事。忽然有一天,这个年青人变成一只昆虫,然后从昆虫的视角来感触实际和社会。这本书的风趣之处在于故事的叙说办法,这种昆虫变形非常奇特,但在故事中,这听起来非常正常,似乎仅仅刚刚发作的一件一般工作。你醒来,你变成了昆虫,就这样罢了。

            第三本书的作者是村上春树。他是一位日本作家,这本书的书名是《奇鸟行状录》。这是一个关于冈田亨寻觅妻子失踪的猫咪的侦察故事。这听起来相同非常正常,但风趣的是,跟着故事的展开,他开端在东京发现了一系列奇幻的工作。这个故事一同是以一种非常脚踏实地式的办法来叙事故事,令这全部看似非常魔幻的工作是能够出现在咱们的日常日子之中。

            最终第四本书改编成了电影,由萝拉艾斯齐维编撰的《巧克力情人》,它叙说了一位制止婚恋的女人在制造巧克力时能够开释魔法的故事。相同,这样戏剧化的工作在故事中对错常往常的工作。

            她说道:“上面说到的书本及作者有什么共同之处呢?全部这全部都遵从一种名为魔幻实际主义的文学写作办法,不是科幻著作或梦想著作,而是魔幻实际主义。关于梦想主义,一个要害的要害是它需求一个彻底不同于现世的国际,如《权利的游戏》,《哈利波特》或《星球大战》。一个不存在于现世的,彻底不同的国际。科幻著作相同不是魔幻实际主义,它首要描绘了一个变样的国际诶,其间科学带来了张狂的前进。”

            魔幻实际主义的风趣之处在于,其虚拟的元素发作在咱们的现世国际中。它们可能发作在你的街坊身上,可能是我向你叙说的故事,或许是你奶奶向你叙说的故事。它对魔幻元素有一个风趣的介绍,而魔幻元素在许多时刻都能够作为进步故事和叙说故事,或许批评实际社会所发作的工作,如卡夫卡和《变形记》对社会孤立的批评。

            2. 照射实际的魔幻启示

            上面所提的内容有什么关系呢?关于这种照射实际的魔幻启示,它常常是都以类似新闻报道的,不带任何爱情颜色的办法来叙说故事,比如说“是的,有一条飞毯,但那又怎么?”正是这种似乎是在叙说实际相同的办法来叙说包括在日常国际中的魔幻元素,但请注意,这种幻想力是用于丰厚实际而不是像科幻著作或梦想著作那样逃避实际。它依然是依据实际,由于假如它仅仅魔幻,这将是朴实的奇思妙想。经过将其植根于实际国际中,这会以一种意想不到的办法构建出令实际愈加夸姣的维度。

            关于大多数这样的故事和书本的叙说办法,一个重要的当地是它以一种引人入胜的,现世所无法完结的办法来叙说故事,但一同又令这全部显得传神可信,以至于你信任飞毯的确能够飞翔,鬼魂的确会变老,而且由于相关的叙事办法,它们看起来对错常遍及的工作。

            这与增强实际又有什么关系呢?Diana Hu对增强实际的界说是:一种能够将魔幻元素包括在物理国际中。魔幻的类比对照是数字化元素,是数字人物,它们能够显现出现并无缝交融至物理国际,而且遵从物理规律和人类的行为感知办法,但一同用奇幻元素作为佐料,由于有了数字,你能够用更风趣的办法来标明信息。

            3. 增强实际

            你怎么构建这样的实际呢?其间有什么要素呢?

            关于魔幻实际主义,其构成是魔幻+实际。至于增强实际,其对应的是数字+物理。Diana Hu指出,构建这样的实际有三个准则:探究;训练和交际。

            探究是指更多地探究咱们周围的国际。这意味着处处都有许多故事和冒险等候一号站平台注册登录1956-Niantic深度总结:如何用AR引发魔幻现实主义,为人类感知规划AR体系被发现。比如《Ingress》或《Pokemon Go》会在你的社区出现一次冒险之旅,而你将会找到一些自己所不了解的前史地标信息。

            训练是一个方面,咱们都需求一点推进力气,而这种类似于嵌入其间的,遵从其物理,遵从身体天然节奏的元素能够添加AR的可信度。

            另一方面是交际,咱们天然生成是交际动物。创立你能够与朋友一同参加至实际国际的体会,以及创立一种咱们能够结交新朋友的办法,不仅仅仅仅交际网络含义上的朋友,而是某种能够在实在含义上与你树立联络的朋友。

            Diana Hu持续指出,数字国际应该遵从与实际国际类似的规矩,然后保持实在感。作为实际的一部分,国际非常多样化,其存在比如气候这样的元素,它会下雨,它会出太阳,又或许会下雪等等,所以Niantic期望游戏能够将其表现出来。这是《Pokemon Go》中的一项功用。当下雨时,你会看到相应的作用会正确得出现在手机的数字屏幕之中。

            4. 完结可信的数字元素

            假如完结可信的数字元素呢?Diana Hu标明咱们能够向魔幻实际主义大师学习,由于他们现已编织了全部这些可信的故事,当你阅览它们时,你能够彻底陶醉其间。关于AR,咱们怎么做到这一点呢?

            这首要触及三个元素:了解国际;视觉;发明。

            为了完结优异的AR体会,首要你需求了解国际,然后才干用数字增强国际。这意味着你有必要首要运用全部不同的传感器,比如说摄像头。你需求开端了解和解说它的含义,语义,而且符号你所看到的内容。了解国际与SLAM和Vince等算法休戚相关,其间你运用不同的摄像头捕获方位来进行三角丈量,而且经过依据时刻的立体视觉来树立3D了解,然后进行特征提取和运用一系列其他组件来构建用于AR的国际标明。为什么AR需求它们呢?由于为了显现数字人物,你需求将它们确定于国际。你怎么确定它们呢?你有必要大致了解你的相干体系,而SLAM具有构建它的才干。

            另一点是视觉的需求。为了显现可信的数字目标和数字人物,它们需求融入至实在国际。你需求创立中合理存在于3D空间中的人物。这是一个充溢图形,3D动画或比如此类的国际。

            第三点是发明。你具有了全部这些组成要素,‘好,我了解了国际。现在,我能够烘托一些人物’,接下来你应该怎么创立人物呢?增强实际之所以合适游戏的原因是,游戏开发者一向以来都是以在3D中感觉天然的办法来创立国际和体会。用于构建体会的东西有比如U绝对双刃nityUnreal及其他。

            4.1 为人类感知规划AR体系

            Diana Hu评论了构成AR的一些要素。她一同说到与AR相关的重要方面:人类。你有必要构建能够呼应人类的AR体系。上文说到的许多算法都与自动驾驶轿车类似,而这是两者发作不同的当地,由于AR体系需求为人类供给非常高的交互性。

            Diana Hu说到了米勒呼应时刻测验。这个研讨的中心是,关于任何缺乏100毫秒的呼应,你会感觉它是瞬间或实时发作,或许感觉天然。

            一秒左右满足快,但不是瞬时,这样的速度满足取得呼应,但不够好。假如它超越10秒,或许当你看到加载栏时你就会失掉用户,由于用户将失掉耐性。所以,你需求规划小于100毫秒的体系。这是创立难以置信的实在感或令全部成为支撑物理国际支撑咱们感官的实际的要害。

            右图的研讨是关于心理学场景感知期间的眼球运动和视觉编码,它阐明视网膜需求看着图画80毫秒左右才干彻底挂号完结,并了解它是什么。

            4.2 进步呼应时刻

            要构建可信的AR,咱们需求在移动设备的束缚内构建满足敏捷的AR体系。它们只能供给小量的核算,它们的续航不长,摄像头质量不够好,而且大多数传感器相较于机器人或自动驾驶轿车体系都有点低端。关于后者,你或许能够把GPU放到轿车尾箱。但关于移动设备,你明显不想这样做,由于在未来当咱们开展到头显年代时,你不会期望烧着用户的头发。有许多比如此类的束缚,所以你有必要为低核算和低续航进行优化,一同完结非常非常快的呼应速度。

            咱们怎么做到呢?

            Niantic采取了上面这两个规划准则。一个是你期望尽可能完结超级高效的网络;另一个要素是并行编程。

            Diana Hu说道:“国际正在越来越多地朝多核开展,而非单个越来越快的大核,所以咱们需求能够运用这一点,令更多的中心而非单个大核来担任处理。一个比如是iPhone的处理器,乃至是三星设备的处理器,四个大中心和四个小中心的规划。四个小中心担任快速简略的核算,四个大中心担任核算负载更高的使命,所以你需求聪明地运用它们,而跟着时刻的开展,这种规划将会越来越遍及。”

            她进一步指出,咱们的日子是实时进行。当你和朋友说话时你没有加载条,你期望与包括人物的AR体会相同没有加载条,它们应该要感觉天然。

            传统云架构服务的当时束缚之一是,关于大多数依据云端的应用程序,一系列的机器都是保管在远处。假如你常常逛亚马逊,弗吉尼亚州或俄勒冈州的亚马逊,当你在国际其他当地付款时,潜在的往复将是几百毫秒。单单这个数字现已超越我之前说到的低于100毫秒的人类感知。假如是几百毫秒而且你测验烘托你朋友的AR方位,你将大致是每秒烘托一个位数的帧,而这对错常糟糕的工作。

            Diana Hu接下来列出了四个象限:实时;非实时;牢靠信息;不牢靠信息。明显,传神可信的AR需求坐落左上象限。

            咱们怎么到达咱们想要的象限?实际上,没有一种奇特的解决方案能够实在结合两者。当然,是有一些新的网络协议或一些奇妙的解决方案。

            Diana Hu解说说,Niantic用自己的网络协议来树立AR技能的实时P2P技能。她指出:“你能够把它幻想成WebSockets,但作用更好,不对错常粗笨,但对包,对核算机视觉进行了优化。假如你测验运用云端范畴,你手机拨号一次,信号进入一个手机信号塔,然后进入云端,然后云端又传到手机信号塔,最终再传到另一个手机。整个往复是几百毫秒,而到时你不会看到你的朋友被虚拟人物所包裹。画面会不和谐,由于存在误差。它将发送从前的方位,而不是当时的方位。”

            “咱们所做的工作是砍掉将往复云端的进程,而是直接与手机信号塔对话。这是一种风趣的办法,由于在5G的国际中,数据传输速度变得更快。这是另一项规律,核算存在各式各样的规律,埃德霍姆带宽规律标明无线通讯在某个时分将与有线通讯相同快。存在能够做到这一点的物理规律和数据传输办法。”

            “环绕边际核算的概念正在推进业界将核算放在手机信号塔上,由于我前面说到的全部原因,这对AR而言将非常风趣。你能够开端聚合一些核算并在信号塔中履行它们。现在,咱们所做的实际上仅仅在手机进行操作,并耗费多一点你的电池电量,但稍后咱们能够削减这一点。这是职业开展的风一号站平台注册登录1956-Niantic深度总结:如何用AR引发魔幻现实主义,为人类感知规划AR体系趣之处,一同是咱们押宝的当地。现在,你能够从几百毫秒削减到几十毫秒,然后你就到达了人类呼应时刻方面的奇特预算。”

            4.3 加快核算

            另一个规划考虑要素是加快核算这个概念,现在职业正在完结更多的内核而非更大的内核。咱们怎么做到这一点?

            Diana Hu首要从High Level下手叙说传统的增强实际SLAM管道。关于High Level,你有这四个阶段。你有来自像素和IMU的原始传感器输入,亦即陀螺仪加快度计,然后它们用于特征提取,以更有用的办法提取数据。

            Diana Hu说到咱们不应该运用原始图画。她举例道:关于摄像头,假如你面临的是1080P,幻想一下你取得的是一个1080720再乘以3的矩阵,由于是RGB。这未进行紧缩,所以是很大,10的6次方或10的8次方,速度是每秒30到60赫兹。你的手机很难处理全部这全部并一向予以支撑。

            然后你还有其他数据,而它们都是用于惯性丈量单元的高分辨率数据,惯性丈量单元根本上是陀螺仪和加快度计,它们能够阐明X,Y,Z旋转加快度,一同能够阐明你在国际中的方位。这是有损的数据。从一号站平台注册登录1956-Niantic深度总结:如何用AR引发魔幻现实主义,为人类感知规划AR体系技能上你能够依据它们知道你在这个国际中的方位,但由于这些都对错常廉价的传感器,所以会堆集许多的过错。

            所以,Niantic致力于特征提取。所谓的特征提取是,你将这个原始矩阵(1080720)分为3个通道,这儿仅仅一个灰度通道,然后提取依据场景纹路的特征。

            Diana Hu进一步解说说:“咱们采用了传统的核算机视觉算法,当完结原始版别时,比如说每秒单位数的帧数,他们能够到达每秒60帧。咱们没有对算法进行任何改动,这根本上仅仅一种新的编程范式。这是一个新的并发编程结构,名为人物模型。在High Level层面,“人物”是彻底孤立的原始核算单元,并运用内部状况进行某种核算。它们不会阻碍任何人,它们有自己的内存trunk。”(注:人物模型/Actor Model是一种并发运算上的模型。“人物”是一种程序上的抽象概念,被视为并发运算的根本单元:当一个人物接收到一则音讯,它能够做出一些决议计划、创立更多的人物、发送更多的音讯、决定要怎么答复接下来的音讯。人物模型在1973年于Carl Hewitt、Peter Bishop及Richard Steiger的论文中提出)。

            这儿的要害字是异步。你没有阻碍其他人或等候其他人,由于假如你开端基准测验和运转这些SLAM体系,一号站平台注册登录1956-Niantic深度总结:如何用AR引发魔幻现实主义,为人类感知规划AR体系有一半的时刻你仅仅忙着循环和等候,而你正改动是情形的本钱非常贵重。“人物”体系摆脱了这一点,由于它们都是彻底独立的核算块。

            5. 总结

            作为总结,Diana Hu首要评论了AR中的魔幻实际主义;咱们能够做些什么来完结这一点;怎么令数字元素可信;以及咱们怎么为人类感知构建AR体系感等等。她认为,至少关于AR来说,完结高呼应速度并为之优化非常重要。

            假如您也认同,打赏支撑下作者吧
            打赏
            0人打赏
            果叔
            程老板
            挑选付出金额
            1元 2元 5元
            挑选付出办法
            金币 微信 付出宝
            一号站平台注册登录1956-Niantic深度总结:如何用AR引发魔幻现实主义,为人类感知规划AR体系 打赏成功

            感谢您对87870的支撑
            请关注微信公众号
            微信二维码
            不容错过
            Powered By Z-BlogPHP