考虑到只依赖对极几何关系的匹配点余差并不能完全区分匹配点的正确与否,从而影响内点集选取的情况,提出基于三视图约束的基础矩阵估计算法。首先,使用传统随机抽样一致性(RANSAC)算法计算三视图的任意两对相邻图像间的基础矩阵,确定三视图中共有的匹配点对,并计算估计基础矩阵时非共用图像上的匹配点在共用图像上的极线;然后,计算两条极线的交点与共用图像上对应匹配点间的距离,以距离值的大小作为内点判断的依据,得到新的内点集。在新内点集的基础上,采用M估计算法重新计算基础矩阵。实验结果表明:该方法可以同时降低噪声和错误匹配对基础矩阵精确计算的影响,精度优于传统鲁棒性算法,使点到极线的距离限制在0.3个像素左右,而且计算结果具有稳定性,可以被广泛地应用到基于图像序列的三维重建和摄影测量等领域中。