光设内参 · 光场简史（二）Lippmann 和他的集成摄影

1901年12月5日。中国的《辛丑条约》签订未满一年；娱乐巨头沃尔特·迪士尼和量子力学创立者维尔纳·海森堡分别在美国和德国降生；首次诺贝尔奖即将在瑞典颁发。就在这一天，Frederic E. Ives 在美国宾夕法尼亚州的富兰克林学院展示了世界上第一套视差立体（parallax stereogram）系统。

他在相机的透明胶片前放置了一片一维光栅，将离焦像点的光束离散化地记录在胶片上，即记录了光线在一维方向上的方向信息。胶片完成显影和定影后，Ives 将光栅置于其后。人们透过光栅观察胶片，就能观察到具有视差的景像。

图1 Ives 所发明的视差立体成像装置附图。注意 Fig. 3，它和后来出现的光场相机的光路非常相似。

这项发明开创了裸眼3D的历史，并奠基了后来的自动立体显示（autostereoscopy）。在一百年多后的今天，它依然是广大商用裸眼立体显示（如任天堂 3DS 游戏机）的基本原理。

图2 任天堂 3DS

Ives 的发明算是光场成像和光场显示的前奏。不过，Ives 虽然首次实现了裸眼3D，但其所采集和展示的信息还仅限于一维方向上。而今人在提及光场时总离不开的“集成成像”这一概念，则源自法国人 Gabriel Lippmann 在1908年提出的集成摄影（integral photography, IP）方法。（Lippmann 是居里夫人的论文导师，并于1908年凭借基于干涉现象的彩色摄影获得了诺贝尔物理学奖。）

图3 Gabriel Lippmann

1908年，Lippmann 在他的文章 Epreuves Reversibles Photographies Integrales 中对传统照相技术的局限性抒发了一番不满。他提出，相比于照片而言，自然视觉在信息的丰富性上存在四个方面的优势：

1. 当我们改变眼睛的位置（视点）时，我们看到的景象则会体现为不同的透视情况（perspective）；

2. 当移动视点时，我们前方不同距离处的物体有着不同的运动速度；

3. 对于不同的透视情况而言，物体之间存在不同的遮挡关系；

4. 当我们透过窗户观察窗外的景物时，我们只需要移动视点，就可以看见窗框之外的景象。

这些特点可以归结为两个问题：我们是否能从一张图像中还原出不同视点处的景象？我们是否能像透过窗户看物体一样，看到画面边界以外的景物？20世纪初电子计算机还没有诞生，今天能用到的眼动跟踪和多焦面显示在当时难以实现。Lippmann 提出了用透镜阵列调制光线并曝光在透明胶片上进行记录的方法。Lippmann 将边长2.5mm、焦距6mm的方形口径平凸玻璃透镜紧密排列成一个阵列，且每个透镜侧壁涂以黑漆以避免光线对相邻透镜发生串扰。这些透镜阵列排列在一片透明胶片的前表面上，并聚焦在胶片的后表面，透明胶片的后表面涂有感光剂。这样，每个微透镜和其对应的胶片后表面部分构成一个成像单元。这些单元的集合就形成了类似昆虫复眼的结构。通过一次曝光，光场信息就能够被记录在胶片上。这样的一组胶片+微透镜阵列的结构称作一个 plaque。

图4 Lippmann 集成摄影法的基本原理

虽然限于工艺，Lippmann 在实验中用的是平凸透镜，但基于 Lippmann 的理论，要想理想成像，这里所采用的透镜应该是双凸透镜，且前后表面半径大小之比为 n-1（n 为透镜的折射率），其像面位于后表面上。

具体原理如图4所示，由真实景物（A 点）发出的光线经过胶片正面的透镜阵列折射后，在每个透镜像平面上 a 点处成像并感光。如果我们直接观察后表面，即胶片的感光面，我们所能看到的就只是一些挨在一起的子图像阵列。而如果透过透镜阵列去观察前表面，并且用漫射光从后表面照射胶片，则根据光路的可逆性，经过胶片上的各个 a 点的光线就能重新会聚到空间中的 A 点处形成实像，我们便能重新观察到胶片上的图像信息在原来三维空间中（而不是在照片平面上）的样子。

图5 Lippmann 集成摄影得到的图像就跟这个差不多，不同点在于：胶片曝光后显示出的图像是黑白颠倒的负片，并且子图像的内容是上下左右颠倒的。

到这一步显然并没有结束：一方面，胶片经显影和定影后显示的是黑白相反的负片，不能直接用于观察；另一方面，由于我们观察的方向和真实景物发出光线的方向相反，因此我们看到的画面也并不是真实景物的样子，而是在深度方向上发生了翻转。即一个凸多面体以这种方式观察则会呈现出凹面的样子。解决这一问题的方法就是将重现的景物转化到共轭空间内。具体做法是将每一个子图像绕 z 轴（即垂直于像平面的轴）做180°的旋转，使得上下左右颠倒，但子图像在胶片上的位置保持不变。同时，对胶片上的透镜也要作调整，使其对胶片成虚像。如此一来，再用漫射光从后表面照射胶片并从前表面透过透镜去观察它时，我们就可以看到一个各个方向都正确的虚像。这个变换子图像的步骤在今天用计算机很好处理——几行代码即可解决，但在 Lippmann 所处的胶片年代则需要通过转印来实现。Lippmann 给出的胶片转印方法是这样的：当一组 plaque （记作 N）完成曝光、显影和定影后，用另一片相同的未经曝光的 plaque （记作 P）与之面对面放置（各透镜一一对应相对放置，但 N 和 P 不需要互相接触），并用光从 N 的背面（胶片面）入射，使其将 N 上的图像信息曝光在 P 上，即让 N 的实像作为 P 的虚物。这样，对 P 完成冲洗，即可透过它观察到真三维的虚像。而对于只在一维方向上有方向信息的系统（即 Frederic E. Ives 的系统）而言，情况简单得多，只需要将子图像做左右翻转即可。从 Ives 的专利附图的 Fig.4、Fig.5、Fig.6 中可以看出，只需使用两片道威棱镜即可完成这个过程。

Lippmann 提出的集成摄影法在两个方面存在着明显的局限性——一方面，在当时非球面系统尚不能量产的情况下，以单透镜组成的系统不可能有较大的视场角；另一方面，由于每个透镜的成像区域恰好是其后表面的范围，因此要想获得更大的画幅或更丰富的细节，就需要增大透镜的口径，以增大成像范围，但透镜口径的增大必然带来景深的减小。也就是说，尽管我们可以从整张照片中获得深度信息，但子图像上那些离焦像点本身就是模糊的，即便有深度感，人眼也没法看清实际细节。

为了解决这些问题，美国人 Douglas F. W. Coffey 于1935年提出了使用大口径的照相物镜将外界场景的图像成像在微透镜阵列上。这一做法使得 Lippmann 的集成摄影法能够在传统相机上实现，并且能够解决 Lippmann 集成摄影法的两个问题。在这种方案中，子图像的尺寸要远远小于 Lippmann 法的子图像尺寸，因此 Coffey 将其称为“微图像”（microimage）。

图6 Coffey 的专利 US2063985A 中的附图

让我们来看一下 Coffey 的专利 US2063985A 中的附图——照相物镜对外界环境成像，后焦面上放置微透镜阵列，微透镜阵列再聚焦在像面上。这样一来，微透镜阵列仅起到了”编码光线“的作用，而成像作用依然主要靠普通相机镜头承担。大视角和大景深的集成成像从此也成为了可能。Coffey 的这一系统，也成为了经典。

大约七十年后，一位毕业于斯坦福大学的马来西亚裔美国人把 Coffey 系统与计算机技术相结合，发明了一种“先拍照后聚焦”的相机。

这个人就是吴义仁，光场相机 Lytro 的发明者。

图7 吴义仁和初代 Lytro 光场相机 

关于光场相机的出现和原理将在耐德佳公众号未来某期“光设内参”栏目中更新，敬请期待。 

（待续）

参考文献

[1] M. Martínez-Corral and B. Javidi, “Fundamentals of 3D imaging and displays: a tutorial on integral imaging, light-field, and plenoptic systems,” Adv. Opt. Photonics, vol. 10, no. 3, pp. 512-566, 2018.

[2] F. E. Ives, “A novel stereogram,” Jour. Franklin Inst., vol. 153, no. 1, pp. 51-52, 1901.

[3] G. Lippmann, “Reversible prints integral photographs,” Acad. Sci., no. 7, pp. 821-825, 1908.

[4] F. E. Ives,  “Parallax stereogram and process of making same,” us725567, 1903.

[5] D. F. W. Coffey, “Apparatus for making a composite stereogram,” us2063985, 1936.