BUNDLE ADJUSTMENT WITH SELF‐CALIBRATION USING STRAIGHT LINES

Abstract

Abstract Increased use of digital imagery has facilitated the opportunity to use features, in addition to points, in photogrammetric applications. Straight lines are often present in object space, and prior research has focused on incorporating straight‐line constraints into bundle adjustment for frame imagery. In the research reported in this paper, object‐space straight lines aw used in a bundle adjustment with self‐calibration. The perspective projection of straight lines in the object space produces straight lines in the image space in the absence of distortions. Any deviations from straightness in the image space are attributed to various distortion sources, such as radial and decentric lens distortions. Before incorporating straight lines into a bundle adjustment with self‐calibration, the representation and perspective transformation of straight lines between image space and object space should be addressed. In this investigation. images of straight lines are represented as a sequence of points along the image line. Also, two points along the object‐space straight line are used to represent that line. The perspective relationship between image‐ and object‐space lines is incorporated in a mathematical constraint. The underlying principle in this constraint is that the vector from the perspective centre to an image point on a straight‐line feature lies on the plane defined by the perspective centre and the two object points defining the straight line. This constraint has been embedded in a software application for bundle adjustment with self‐calibration that can incorporate point as well as straight‐line features. Experiments with simulated and real data have proved the feasibility and the eficiency of the algorithm proposed. Résumé Le développement de l'imagerie numérique a fourni l'occasion de recourir davantage aux détails des objets, et non pas seulement aux points qui les constituent, duns toute application photogrammétrique. C'est ainsi que les objets présentent souvent des lignes droites qu'il était tentant, dans une recherche antérieure, d'introduire pour contraindre la compensation par faisceaux d'imageries photographiques. On présente dans cet article cette recherche où les lignes droites de l'espace objet sont utilisées dans une compensation par faisceaux avec auto‐étalonnage. En l'absence de distorsions, la projection de lignes droites de l'espace objet dans l'espace image s'opère également sous forme de lignes droites. Tout écart à une droite sur l'image peut done être attribuéà toutes sortes de distorsions, comme la distorsion radiale ou cello due au décentrement de l'objectif. Avant d'utiliser ces lignes droites dans une compensation par faisceaux avec auto‐étalonnage, il faut efectuer la représentation et la transformation perspective des lignes droites entre les espaces objet et image. Dans cette démarche, on considère les images des lignes droites comme constituées d'une suite de points jalonnant cette image tandis que duns l'espace objet cette ligne droite n'est définie que par deux points seulement. La relation de perspective qui relie les droites des espaces objet et image est alors introduite comme contrainte mathématique. Le principe de base de cette contrainte est que le vecteur issu du centre perspectif vers un point image d'une ligne droite de l'objet appartient au plan défini par re centre perspectif et les deux points retenus dans la définition de cette droite. On a incorporé cette contrainte dans un logiciel appliquéà la compensation par faisceaux avec auto‐étalonnage prenant en compte les points ainsi que les éléments en ligne droite de l'objet. Des essais avec des données simulées puis réelles ont montré la faisabilité et l'efficacité de l'algorithme proposé. Zusummenfussung Durch die zunehmende Nutzung digitaler Bilder wurde die Möglichkeit geschaffen, neben Punkten auch Objektmerkmale in photogrammetrischen Anwendungen zu nutzen. Oftmals finden sich Geraden in Objektraum, und frühere Forschung hat sich darauf konzentriert, Linienbedingungen in die Bündelausgleichung für Flächenkameras zu entwickeln. In den hier vorgestellten Forschungen werden Geraden im Objektraum in einer Bündelausgleichung mit Selbstkalibrierung eingesetzt. Wenn keine Verzeichnungen vorliegen, werden bei einer perspektiven Abbildung Geraden im Objektraum in Geraden im Bildraum abgebildet. Jegliche Abweichung von einer Gerden m Bildraum kann mit verschiedenen Ursachen für Verzeichnung in Verbindung gebracht werden, wie zum Beispiel radiale order asymmetrische Objektivverzeichung. Bevor Gerden in die Bündelausgleichung mit Selbstakalibrierung eingehen können, sollte die Repräsentation und die perspektive Transformation der Gerden zwischen Bild‐ und Objektraum geklärt werden. In dieser Untersuchung werden die Abbildungen der Geraden als eine Sequenz von Punkten entlang einer Bildlinie dargestellt. Zwei Punkte entlang der Objektgeraden werden genutzt, um diese darzustellen. Die perspektive Beziehung zwischen Bild‐ und Objektgeraden wird mit Hilfe einer mathematischen Bedingung formuliert. Das Prinzip, das dieser Beziehung zugrunde liegt, geht davon aus, dass ein Vektor vom Projektionszentrum zu einem Bildpunkt auf einer Geraden auf einer Ebene liegt, die durch das Projektionszentrum und die zwei Objektpunkte, die die Gerade definieren, bestimmt wird. Diese Bedingung wurde in ein Anwendungsprogramm zur Bündelausgleichung mit Selbstakalibrierung eingbaut, das sowohl Punkt‐ als auch Geradenmerkmale verarbeiten kann. Experimente mit simulierten und echten Datensätzen belegen die Anwendbarkeit und die Effizienz des vorgeschlagenen Algorithmus.