微观尺度材料三维位移场与应变场的快速精密测量方法的研究(2)

塑性变形过程中位移场和应变场快速精密测量具有重要的理论和实用意义。本项目通过光学显微镜，获取材料变形过程的序列二维显微图像，分别采用显微双目立体视觉和单目多视角摄影测量方法，实现多幅二维显微图像的立体匹配和三维重建。基于数字图像相关法，实现被测物体表面散乱图案在变形过程序列图像中的自动识别和跟踪，从而获得每个变形状态全场“相关窗”的三维坐标和形貌，进而解算出被测物体在各变形状态微观尺度的三维全场位移场和应变场。主要采用数字图像相关法、工业近景摄影测量技术与机器视觉技术，重点研究光学显微镜成像系统的数学模型与高精度标定方法、显微图像畸变校正方法、显微双目和单目多视角三维重建方法，以及显微散乱图案相关性计算。揭示数字图像相关法显微成像三维位移场和应变场的测量规律，为机械、力学、生物等学科的微观尺度材料塑性变形研究，提供一种快速精密的测量分析方法。

During the plastic deformation, the measurement of displacement and strain field has important theoretical and practical significance.At first, the project gets 2D microscopic image sequence through stereo microscope and scanning electron microscope, then realizes 2D microscopic image matching and 3D reconstruction using microscopic binocular stereo vision and monocular measuring method of photography. Finally, based on digital image correlation method, realizes automatic identification and tracking of scattered pattern on the object surface during the deformation process, so as to achieve 3D coordinate and morphology of "related window" in each deformation state, and calculate the full-field deformation and strain of the objects in the micro-scale.

The project mainly uses digital image correlation, close-range photogrammetry and machine vision technology, focuses on the mathematical model of the optical and electron microscopy imaging system and high-precision calibration method, the microscopic image distortion correction method, microscopic binocular and monocular perspective three-dimensional reconstruction methods, and microscopic scattered pattern correlation calculation. It reveals the law of full-field strain measurement based on the digital image correlation method, provides a quick and easy measurement and analysis method to the micro-scale research in machinery, mechanics, biology and other disciplines.

（一）立项依据与研究内容：

1. 项目的立项依据

1.1 研究意义

1）研究领域

随着微纳米技术的快速发展，微机械、微传感器、微装配、以及各种微纳米材料的研究蓬勃兴起，微观尺度材料的力学性能分析是当前国内外的研究热点，迫切需要获得材料在微米分辨率和纳米分辨率下的塑性变形和应变规律，这就需要精确测量微观尺度的三维形貌、变形和应变的数据。目前微观尺度的变形与应变测量多采用非接触式的激光或干涉技术，存在设备造价高、使用繁琐、通用性差、应变测量范围小的缺点，而且显微图像一般是二维，无法获得三维测量数据。本项目借助光学显微镜，通过显微镜的多幅二维图像，采用数字图像相关法[1,2]（Digital Image Correlation, DIC），精确测量微观尺度的三维全场形貌、位移场和应变场数据。

采用数字图像相关法的三维全场轮廓与变形应变测量比二维测量（也称为片内测量）复杂得多，二维测量涉及的技术较少，只需要研究数字图像相关法理论即可。而三维测量需要多学科研究，首先数字图像相关法必须与工业近景摄影测量和机器视觉等进行跨学科研究才能实现通过二维图像重建出三维信息。目前，国际上采用普通光学镜头的宏观三维全场应变测量的系统有：德国GOM公司的Aramis系统和美国South Carolina大学CSI公司的3D-VIC系统。本课题组研制的XJTUDIC宏观三维全场应变系统[1,2]也已经实现了实用化，已经广泛应用到机械、材料、力学、土木工程等多个学科，并出口欧美发达国家的多个大学，是目前国际上三个实用化的宏观三维全场应变分析系统之一。而对于采用光学显微镜的微观尺度的三维全场应变测量技术研究，国际上还处于探索阶段，由于三维测量研究涉及的技术和学科较多，所以国际上较少开展三维测量研究，多数处于二维显微分析研究。本课题组前期对宏观三维全场变形应变测量进行了大量研究，为本课题微观尺度三维测量的研究打下了坚实的理论基础。

国际STRAIN期刊2008年总编辑社论[3]指出：近年来国际上基于数字图像相关法（DIC）的全场应变测量技术，得到了爆炸性发展和应用，而在二十世纪却很少有研究论文。这种技术广泛应用于众多学科的研究，如材料力学、生物力学、断裂力学、宏观大尺寸变形测量、各种新材料性能测试等。其中，微观尺度的三维全场的形貌、变形和应变测量分析，是当前微观尺度的机械和力学性能研究的重要手段[4,5,6]。借助各种光学显微镜的数字图像相关法全场应变分析技术，与传统的激光和干涉技术相比，只需要被测物体表面有散乱图案（可以利用被测物体表面现有的杂乱图案，或者人工制备表面杂乱图案），具有光路简单、使用方便、应变测量范围大、应用广泛的优点。国内外许多学者利用各种光学显微镜，与数字图像相关法DIC相结合进行了大量研究，但是多数研究停留在二维平面的全场应变测量[7,8,9]。实际上，微观尺度的材料机械力学性能比宏观尺度更为复杂，特别是复合材料和生物力学等各向异性材料的变形分析[10,11,12,13,14]，迫切需要微观尺度的三维全场形貌、变形和应变的测量分析手段。

2）尚未解决的具体科学问题

目前显微数字图像相关法研究存在的主要问题是，国际上多数研究仅停留在二维测量，从拍摄的原始二维显微图像直接解算出二维应变（也称为片内in-plane应变），这与实际变形情况的偏差较大，严重制约了该方法的应用。实际上被测物体的变形和应变多数需要三维测量，尤其是微观尺度的材料力学性能更为复杂，二维测量无法满足要求。因为在实际研究工作中，实验测量获得的变形应变数据一般用于各种三维有限元数值模拟软件的建模和仿真结果验证，因此迫切需要微观尺度的三维变形和应变测量方法。

宏观与微观数字图像相关法的主要区别是，用光学显微镜代替了普通光学镜头，而显微镜的成像系统要比普通光学镜头成像更为复杂，这大大加大了三维重建的难度。微观三维全场应变的技术问题比二维测量时更为复杂，涉及的技术问题更多，重点需要解决以下三个问题：显微成像系统的标定问题、显微三维重建的方法问题、微观尺度的数字图像相关性问题。

3）本项目研究意义

本项目借助光学显微镜，采用单个或两个摄像机连续拍摄被测物体变形过程的序列显微图像，基于数字图像相关法，根据被测物体表面的散乱图案，实现散乱图案中众多“相关窗(如15×15像素)”在序列变形图像中的自动识别和跟踪。采用显微双目立体视觉和单目多视角摄影测量方法实现多幅二维图像的立体匹配和三维重建，获得每个变形状态中众多“相关窗”的三维坐标和形貌，进而解算出各变形状态下微观尺度的三维位移场和应变场。

本项目主要采用数字图像相关法、工业近景摄影测量与机器视觉技术，重点研究光学显微镜成像系统的标定方法、显微图像畸变校正方法、显微双目和单目多视角三维重建方法及显微散乱图案的相关匹配算法，揭示显微成像三维全场应变测量的规律。

该项目理论研究意义重大，通过揭示显微成像系统的机理，建立显微三维形貌和变形应变测量方法，可以配合多种光学显微镜进行精确的材料三维变形和应变测量。该项目的应用前景广阔，可以广泛应用在微结构研究、微观力学分析，以及微观尺度的机械、加工、力学性能研究等。将为机械、材料、生物力学等学科的微观尺度材料塑性变形研究提供一种通用、快捷、精确的测量分析方法。

1.2 国内外研究现状及发展动态分析

1）数字图像相关法全场应变测量技术的发展

数字图像相关法（Digital Image Correlation, DIC）利用变形前后两幅图像的相关性可以计算得到速度场、位移场以及应变场。该技术最初在上世纪60年代被应用于航空摄影测量领域，通过分析航空摄像机在空中拍摄到的地面不同时刻的图像来计算地面物体的移动速度。直到80年代DIC技术才被应用到应变测量领域，但是由于计算机速度太慢，对于15×15像素的相关窗口，计算121个点的位移、应变等数据，至少需要几百秒的时间，亚像素匹配精度也只能达到0.2个像素。因为测量精度较差而且相关性计算速度太慢，所以在二十世纪很少有论文研究。
利用数字图像相关法进行应变测量，如同科学发展史上的许多例子一样，一个好想法可能很多年来一直未被很好地应用，然后突然间出现爆炸性地研究和应用，这可能是因为开辟了一个全新的应用领域，或者出现了新设备将计算速度大大提高，使繁琐的方法迅速变为快速方便的工具。数字图像相关法的发展就是典型的例子，随着CCD数字像机的快速发展，可以采集高分辨和高帧率的数字视频图像，计算机的计算速度、内存大小、磁盘存储空间的迅速提高，可以计算和存储海量的视频图像数据。硬件性能的发展促使数字图像相关法得到迅速的发展和应用，2008年以来数字图像相关法本身技术和应用的推广得到戏剧性快速发展[3]。

数字图像相关法的优点是简便，灵活，高精度，且应变测量范围大。从理论上讲，将该方法与各种摄像机、光学显微镜、共焦显微镜、扫描电子显微镜、原子显微镜、扫描隧道显微镜等配合，可以计算分析从宏观到微观的不同尺度的变形应变场。为了提高图像相关匹配的计算精度，该方法需要被测物体上覆盖有散乱的图案，这些图案既可是物体本身的自然纹理、划痕或物质相变的图像差别[16]，也可以是通过简单的表面喷涂或控制表面沉积过程获得的散乱纹理，喷涂的缺点是可能掩盖感兴趣的微观细节。位移测量的分辨率和相关窗口的尺寸呈反比关系，一般来讲对于32×32像素的相关窗口，可以很容易获得0.05像素的分辨率[15]。数字图像相关法采用一个像机可以获得二维应变，采用两个像机可以获得三维应变[17]，采用X射线断层扫描技术则可以获得物体内部的应变[18-20]。

数字图像相关法特别适合于无法采用传统应变仪的场合，如泡沫、粉末、生物试件测试，可用于测量生物试样的全场应变，如动脉血管、人体细胞的生物力学性能[21]、鼓膜等。该方法可以测量各种大小尺寸，从昆虫翅膀[22]到飞机机翼[23]，从大的地质板块构造一直到微观尺度，可用于研究微结构的晶体或相异质性[24]。微观尺度应变测量是目前国际上特别热门的研究领域[25]，采用扫描电子显微镜可以研究纳米尺度的微机械加工性能，通过离子束或场发射枪扫描电子束获得变形过程的微观图像，可研究微纳米尺度的切削、钻孔等机械加工性能[26, 27]。另一个应用是研究裂纹尖端的应力集中问题，这是数字图像相关法最早的应用领域，其优点是可以方便分析裂纹尖端应力应变分布的详细数据。采用高速像机获得高速图像，数字图像相关法可以应用于高速动态疲劳试验、模态分析。

总之，随着缓慢的起步，数字图像相关法已经进入快速发展的轨道，为宏观和微观的变形和应变分析提供了广阔的应用空间。

2）急待解决的问题

（1）缺少针对显微成像系统精确且快捷方便的标定方法

二维和三维全场形貌与变形应变测量的最大区别是，二维测量一般不需要进行成像系统的标定，只需要研究相关性算法即可，国际上多数学者都是在研究二维数字图像相关法的算法[28]。而三维测量需要解决精确且快捷方便的成像系统标定，才能实现三维重建。二维数字图像相关性法只能实现二维平面测量，其应用极其受限，而三维数字图像相关法具有更广泛的应用前景。2000年以前国际上的研究基本上都是二维数字图像相关法，近5年来逐步实现了宏观三维全场应变测量技术的实用化，但是对于微观显微的三维全场应变研究还处于探索阶段，一个突出的技术难题是如何解决显微成像系统的标定问题。

国际上主要是美国South Carolina大学的Sutton MA教授等人[29]在数字图像相关法及显微应变测量方面进行了大量的研究，美国的CSI公司3D-VIC系统就是Sutton MA教授的研究成果，但是其标定方法一直停留在传统的机器视觉标定方法，使用不方便，标定精度依赖于标定板的制作精度。而本课题组前期研制的一种可变幅面多像机系统柔性标定方法[30,31]对于宏观大尺寸三维测量非常方便，本项目以课题组已经研制成功的宏观尺度自标定方法为基础研究显微成像系统的标定方法。

（2）光学显微镜的图像畸变校正问题

对于普通的光学镜头，图像畸变校正问题一般采用参数化的畸变校正数学模型（如径向畸变、切向畸变、偏心畸变等），图像畸变校正参数与成像系统的内方位元素一起称为标定的内部参数。而对于光学显微镜来讲，其图像畸变的机理非常复杂，光学显微镜的成像系统包括多组透镜组、棱镜等，需要解决显微镜图像校正问题。传统的普通光学镜头的图像畸变模型已经不适应显微镜复杂的畸变机理，2008年美国Sutton MA教授 [32]提出一种非参数化的光学显微图像畸变校正方法，但是需要极高精度的位移台，使用不方便。

本项目拟采用两种方法来研究显微图像畸变校正问题，一是参数化方法，通过揭示显微镜图像畸变机理，寻找适合显微成像的更为复杂更为全面的畸变校正数学模型，采用网格点标定板进行校正，由于采用参数化模型，其使用较为方便，但其精度还有待提高。二是非参数方法，采用散乱图案的标定板，借助数字图像相关法全场识别“相关窗”，相当于几万个网格点的标定板，通过样条曲面函数实现高精度非参数化图像校正，并提高其方便性和快捷性。

（3）显微双目和单目多视角的微观尺度三维重建问题

光学显微镜的设计目的主要用于显示需要，而不是精确测量，一般显微镜的原始图像是二维，所以国际上显微数字图像相关法的研究也多是二维[28]。本项目针对光学显微镜的特点，提出两种三维全场应变测量重建方法。一是采用体视光学显微镜的双目立体视觉方法，二是显微单目多视角三维测量，可以用于单光路的普通光学显微镜。   

综上所述，近五年来国际上基于数字图像相关法的全场形貌与变形应变的研究发展迅猛，但是多数处于二维测量分析研究，宏观尺寸的三维测量分析研究已经逐渐成熟，但是微观尺寸的三维测量分析研究还处于探索阶段。本项目在课题组前期宏观三维测量研究基础上，以体视光学显微镜和单光路光学显微镜为实验工具，突破显微成像系统的标定技术和显微图像畸变校正难题，通过显微双目立体视觉和单目多视角三维重建，实现微观尺度的三维全场应变测量分析，为机械、力学、生物等多学科的微观尺度材料研究提供一种快速精密的测量手段。