计算机立体视觉

计算机视觉是利用计算机实现人的视觉功能，对客观世界的三维信息进行感知和解释的一门学科。计算机视觉研究的目的是要使计算机具有通过二维图像认知三维环境信息的能力，包括目标物体的形状、位置、姿态、运动等。

立体视觉是计算机视觉的一个重要分支，它从两个或多个视点去观察同一场景，获得在不同视角下的一组图像，通过不同图像中对应像素问的视差获取物体表面三维点的坐标，从而推断出场景中目标物体的空间几何形状和位置。

人眼立体空间

虚拟三维空间是现实世界的数字化三维空间，而人眼立体视觉空间则是人眼视觉系统对于现实世界或虚拟世界所形成的三维立体构象。传统上人眼直接观察现实世界，确立了人眼立体视觉空间与现实世界之间的几何对应关系。

在立体测量过程中，人们根据体验到的视觉三维模型(视模型)，利用双测标切准视模型上的同名像点，由三角交会而获得对应的空间坐标 。这种行之有效的观测实践暗示了视模型具有可测性，也即视模型中的点元必然与虚拟三维空间中的点元存在一定联系。

当前测量是从几何光学角度出发，采用小孔成像模型，建立了双目立体成像模型。以该成像模型为基础，重点考虑了平行视轴立体观察模式，给出了双目视差的表示形式，建立了虚拟空间点元与屏幕同名矢量及网膜同名矢量之间的一一映射关系。这一映射关系实质上揭示了人眼视觉空间与虚拟三维空间的内在一致性，为传统上人眼立体视觉在立体测图中的作用提供了一种数学描述。上述理论分析对于虚拟地理环境条件下进行立体观测具有指导意义，为按需测量的发展提供了一套理论工具和分析方法。

视觉空间四维空间对比

四维空间的优点便在于它的详细，全面，创建一个四维空间模型可以观看到某地区（甚至世界）的一段时间的变化。但它的缺点也在于此：创建一个四维空间需要大量的数据计算。而视觉空间虽然不如四维空间全面，但由于它相对于四维空间而言更具有针对性，而且也能节省更多的计算量。

如果我想要看看一个人自杀一天前到自杀后的状况，要是创建当时的四维空间模型的话，我们就需要创建那个人生活地区的模型，从中我们可以得知这个人遇到了什么，身边发生了什么。

但要知道，你观察的角度是第三视角，你不能从自杀者的角度来看；而视觉空间则是从自杀者的角度，所以你便在自杀者的立场，那意味着：你就是那个自杀者。从这个角度，我们可以看到你在四维空间所忽略的事物，而这事物有可能就是引发悲剧的直接原因。从中看出，视觉空间可以更好的让观察者体会当事人的心情。

视觉空间三维视觉空间

从3D显卡技术来看，平面显示器在3D显卡的作用下，却能给我们展现3D效果，它实际上是用透视的方法，将3D影像投影在2D显示平面上，让人看起来“认为”是立体的，它利用双眼立体视觉原理，使观众能获得三维空间感视觉影像，因为人眼的视觉有近大远小的特性，这样就会形成立体感。

从色彩原理学来说，三维物体边缘的凸出部分一般显高亮度色，而凹下去的部分由于受光线的遮挡而显暗色，当影像显示在D显示器屏幕上时，因色彩灰度的不同而使人眼产生视觉上的错觉，而将2D显示器的屏幕感知为三维图像，这一认识被广泛应用于网页或其他应用中对按钮、3D线条的绘制，比如要绘制3D文字，即在原始位置显示高亮度颜色，而在左下或右上等位置用低亮度颜色勾勒出其轮廓，这样在视觉上便会产生3D文字的效果。

视觉空间指的是在人类视线中的空间。但与四维空间不同的是，它不仅强调了长，宽，高及时间这四个量之间的关系，还强调了视觉源点（观察者）的空间位置。它所表示的是视线中的空间，也就是说，当我们在构建空间模型时，注重的将不再是整个空间的排列，而是视觉源点与外界空间的相对关系。根据这一特性，在以视觉空间的基础上，今后将会有许多理论的生成。

虚拟空间会议(Virtual space TeleconJ[erencingt简称VST)系统是虚拟现实技术与计算机网络和多媒体相结合的产物，它突破了传统的地域观念，利用虚拟现实技术，将不同地点与会终端的局部会场合成个共同的虚拟空间。

虚拟会议空间的合成包括视觉空间空成和听觉空间合成两个方面。视觉空间的合成又分为会场构造和与会者视频合成两部分。

虚拟会场构造

我们研制的VST系统利用增强现实技术对与会站局部会议空间进行空间上的扩展，使之与计算机生成的虚拭环境无缝融台，构造具有沉浸感、真实感、超越地域概念的虚拟会议空间，虚拟会议空间由各个与会站点的局部会场和所有与会者共享的全局虚拟会场构成。

1. 局部会场局部会场包括与会者和局部场景的布置，是虚拟空间会议系统中实际存在的会议空间。我们设计了一个半沉浸式的虚拟现实环境 在与会者正面用三十大屏幕拼接起来。这种设计不仅能够实现虚拟会议空间合成的空间感与真实感，同时能够允许本地多个与会者共享同一个虚拟会场，支持更多与会者的会议研讨应用虚拟会场的实时绘制由三台计算机共同完成．我们使用基于一般透视投影变换的多屏虚拟会场绘翩技术，以保证相邻屏幕边缘显示场景的空间连续性。

2. 全局会场

3. 全局虚拟会场包括计算机生成的虚拟环境．与会者的替身以丑可操纵的虚拟物体组成全局虚拟会场可以栗用基于图形和基于图象的方法生成。

• 基于图形的绘制(graphics—based rendering）用计算机图形学方法构造3D 环境．根据与会者在空间中所她的位置和观察方向，计算其视角内的场景，经投影变换显示相应的视区该方法优点是与会者具有鲜明的3D空间感，缺点是构造逼真的3D场景十分困难，而且实时绘制场景歪需要专门的硬件设备。

• 基于图象的绘制(image—based rendering)采用图象的方法生成场景．计算机处理速度只与图象的分辨率有关，而与场景的复杂度无关．在基于田象构造的虚拟会场中，不同与会者所处的空间位置不同，以及与会者头部的移动引起的视点变化，使得所观察到的会场也有所不同，也就是说要使与会者能够与会场环境进行交互，就必须解决在基于图象的虚拟环境中自由漫游的问题这实际上就是由一维已知的图象生成任意规点的新视图的过程，这种技术称为视点合成(view synthesis)。

知觉学习效应的特异性和迁移性通常被用来探讨知觉学习发生的神经机制。视觉知觉学习通常特异于视觉刺激在视野中（或视网膜坐标上）的位置，这一特异性提示了与视网膜位置有严格映射关系的视皮层可能参与了知觉学习的过程。然而这一思路忽略了基于视网膜以外的其他空间坐标系的视觉加工过程。我们之前的研究发现，运动方向辨别知觉学习不仅特异于刺激的视网膜位置，还特异于刺激间的相对空间位置（Zhang and Li, PNAS, 2010），这一结果暗示了知觉学习可能涉及到多种不同的神经过程。本项目通过创新性实验设计，进一步探讨知觉学习的内在机制与不同空间坐标系下视觉信息加工的机制问题。具体研究包括：1）使用心理物理法，通过引入眼动的实验范式揭示了朝向知觉学习中的空间坐标位置特异性成分，而且这种空间成分只在训练的朝向和训练的视网膜位置才能观察到。随后的实验发现，被试对训练刺激的注意越强，这种空间特异性学习成分就越大。这些发现提示：一方面，知觉学习可能并不是单一皮层机制的改变所导致的，而更可能涉及到注意网络等高级脑区与低级视觉皮层之间的相互作用（Zhang et al., 2013）。在最近的一篇综述里我们对这一观点进行了更详细的阐述（阎，等，2015）。另外一方面，这些结果说明视觉系统并不一定需要一种外显（独立与眼注视）的空间参考坐标来表征基本的视觉属性，眼动伴随的注意再影射（attention remapping）过程与低级的视网膜坐标皮层表征机制的相互作用，也能实现基本视觉属性的在空间参考坐标系的表征。2）使用人颅内电生理记录的方法，考察顿悟式知觉学习的神经机制，初步结果显示视觉顿悟式学习可能同时涉及到负责注意调控的顶叶皮层与枕颞叶视皮层。3）为了直接地探讨多种不同的神经过程在知觉学习中的作用，我们已在猕猴V1区植入微电极阵列，目前正在试图通过群体神经元活动的改变，来揭示知觉训练如何独立地提高知觉的准确性和精确性两种知觉能力的神经机制。这些研究揭示了知觉训练对知觉能力的提高是多方面的，能够多线程和多层级的影响皮层的加工过程，这对于我们理解皮层可塑性具有重要意义。 2100433B

具体包括：（1）空间累积作用，指当一个弱小光点单独呈现时不易被人眼看见，而当连在一起的几个弱小光点作为一个大光点同时呈现时容易被看见的现象。这是因为在视网膜边缘部分的一个小区域里，每个光量子都被视杆细胞吸收的缘故。可用里科定律描述空间累积作用：Ec—KAL。式中L代表亮度，A代表面积，Ec代表光点的临界能量，K是一个常数。（2）空间抑制作用，指一个区域的强刺激会抑制相邻区域的反应，使相邻区域看起来不那么明亮，从而增强这些相邻区域之间亮度对比的。（3）兴奋和抑制相互作用，可表现在脊椎动物的眼睛里，这种作用的机制是神经冲动，它不仅发生在光作用于感受器时，而且也发生在光终止时。这个结论是从对猫的视网膜中的感受野所做的实验得出的。（4）双眼相互作用，其优越性可用统计学来体现。假设一只眼睛瞬时暴露于一个给定的光片时，约有100个量子进入眼睛，觉察闪光的概率是50%，觉察不到闪光的概率也是50%，另一只眼睛暴露于同一光片的结果也是这样，则两只眼睛同时觉察不到闪光的联合概率是50%乘50%，等于25%。换言之，双眼看到光片的统计概率是75%。用双眼来看一个给定的光片时，光的绝对阈限比只用单眼时低一些。2100433B

传统的视知觉学习研究通常会考察学习效应在视网膜坐标下的位置特异性，从而推测与视网膜位置有严格映射关系的早期视觉皮层的可塑性。这一传统的思路忽略了视觉加工实际上涉及到多种坐标系下的信息表征及其可能的可塑性变化。我们最近的研究发现视知觉学习会特异于刺激间的相对空间位置（PNAS，2010），这对于探讨知觉学习的神经机制和多种坐标系下的视觉加工过程具有重要意义。本项目旨在通过创新性实验设计，进一步探讨知觉学习的参考坐标以及多坐标系下视觉信息加工和知觉学习的脑机制。具体研究包括1）使用心理物理法，从行为上探讨多坐标系下知觉学习过程的普遍性和注意在其中的作用，这将有助于揭示知觉学习的内在神经机制。2）使用病人颅内电生理记录的方法，考察视皮层中多坐标系信息加工的神经机制。3）使用病人颅内电生理记录的方法，考察知觉学习对视皮层信息加工能力的调节作用。这些研究对于认识视觉加工过程和及其可塑性具有重要意义。