A method for computer-aided motion estimation in a plurality of temporally successive digital images, arrangement for computer-aided motion estimation, a computer program element and computer readable storage medium

Die Entwicklung im Bereich der Mobilfunktelefone und der digitalen Fotoapparate hat zusammen mit der hohen Verbreitung von Mobilfunktelefonen und der hohen Beliebtheit von digitalen Fotoapparaten dazu geführt, dass moderne Mobilfunktelefone häufig eingebaute Digitalkameras aufweisen. The development in the field of mobile phones and digital cameras has led together with the high popularity of mobile phones and the high popularity of digital cameras to the fact that modern mobile phones often have built-in digital cameras.

Dazu ist es allerdings erforderlich, dass die Unterschiede der Aufnahmepositionen berechnet wird. For this it is necessary, however, that the differences between the receiving positions is calculated.

Wird ein erstes digitales Bild aus einer ersten Aufnahmeposition aufgenommen und wird ein zweites digitales Bild aus einer zweiten Aufnahmeposition aufgenommen, wird ein Bildinhaltsbestandteil, beispielsweise ein Objekt der Szene, in dem ersten digitalen Bild an einer ersten Bildposition und in einer ersten Form, womit im Weiteren die geometrische Form gemeint ist, dargestellt und in dem zweiten digitalen Bild an einer zweiten Bildposition und in einer zweiten Form dargestellt. Is a first digital image from a first receiving position taken up and incorporated a second digital image from a second recording position, an image content component, such as an object in the scene, in the first digital image at a first image position and in a first mold, whereby in addition the geometric shape is meant, illustrated and shown in the second digital image to a second image position and in a second form.

Die Änderung der Aufnahmeposition von der ersten Aufnahmeposition zu der zweiten Aufnahmeposition spiegelt sich in der Änderung der ersten Bildposition zu der zweiten Bildposition und der ersten Form zu der zweiten Form wider. The change of the recording position of the first accommodating position to the second accommodating position is reflected in the change of the first frame position to the second image position and the first shape to the second shape.

Deshalb kann eine Berechnung einer Aufnahmepositionsänderung, die zur Erzeugung eines digitalen Bildes mit höherer Auflösung als die der digitalen Bilder der Folge digitaler Bilder erforderlich ist, durch Berechnen der Änderung der Bildposition, an denen Bildinhaltsbestandteile dargestellt werden, und der Form, in der Bildinhaltsbestandteile dargestellt werden, erfolgen. Therefore, a calculation of a receiving position change that is required to generate a digital image with higher resolution than that of the digital images of the sequence of digital images, by calculating the change in the image position at which image parts of the content are displayed, and the shape can be represented in the image content constituents , respectively.

Wird ein Bildinhaltsbestandteil in einem ersten Bild an einer ersten (Bild-)Position und in einer ersten Form dargestellt und in einem zweiten Bild an einer zweiten Position und in einer zweiten Form dargestellt, so wird im Folgenden von einer Bewegung des Bildinhaltbestandteils oder von einer Bildbewegung von dem ersten Bild zu dem zweiten Bild oder von dem zweiten Bild gegenüber dem ersten Bild gesprochen. When an image content component shown in a first image at a first (image) position and in a first form and presented in a second image at a second position and in a second form, so is hereinafter to movement of the picture content component, or from an image movement spoken by the first image to the second image or the second image over the first image.

Es kann sich nicht nur die Position der Darstellung eines Bildinhaltsbestandteils in aufeinanderfolgenden Bildern verändern, sondern die Darstellung kann auch verzerrt werden oder ihre Größe kann sich ändern. It can not only change the position of the representation of an image content constituent in successive images, but the display can also be distorted or its size may change.

Für die Bestimmung der Bildbewegung kann nur die zeitliche Änderung der Bilddaten genutzt werden. For determining the image motion, only the change in the image data can be used.Diese zeitliche Änderung wird aber nicht allein durch die Bewegung von Objekten in der beobachteten Umgebung und durch die Eigenbewegung des Beobachters verursacht, sondern auch durch die mögliche Verformung von Objekten und durch wechselnde Beleuchtungsverhältnisse in natürlichen Szenen. This time change but is not caused solely by the movement of objects in the observed area and the proper motion of the observer, but also by the possible deformation of objects and changing lighting conditions in natural scenes.

Zusätzlich müssen Störungen berücksichtigt werden, zB das Schwingen der Kamera oder das Rauschen der verarbeitenden Hardware. In addition, interference must be considered, such as the vibration of the camera or the sound of the processing hardware.

Beispielsweise ist es erforderlich, dass im Laufe der Erzeugung des Gesamtbildes, also des zu gescannenten Dokuments For example, it is necessary that during the production of the whole picture, so the document to gescannenten102 102, festgestellt wird, dass der erste Gesamtbildteil , It is determined that the first picture portion105 105und der zweite Gesamtbildteil and the second picture portion107 107einen Überlappungsbereich an overlap area108 108aufweisen und dass dementsprechend beide einen Auschnitt des zu scannenden Dokuments accordingly, and in that both an excerpt of the document to be scanned101 101darstellen. represent.Würde das nicht festgestellt werden, würde dieser Ausschnitt in dem schließlich erzeugten Gesamtbild zweimal dargestellt werden. Would that not be determined, this snippet would be represented twice in the finally produced overall picture.

Es wird ein Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern bereitgestellt, bei dem eine erste Teilbewegungsschätzung in einem zweiten digitalen Bild gegenüber einem dem zweiten digitalen Bild zeitlich vorhergehenden ersten digitalen Bild durchgeführt wird, bei dem aus dem ersten digitalen Bild und dem zweiten digitalen Bild basierend auf der ersten Teilbewegungsschätzung eine Referenzbildstruktur aufgebaut wird, welche zumindest Merkmale aus dem ersten digitalen Bild und/oder dem zweiten digitalen Bild enthält und bei dem eine zweite Teilbewegungsschätzung in einem dem zweiten digitalen Bild zeitlich nachfolgenden dritten digitalen Bild gegenüber dem zweiten digitalen Bild durchgeführt wird. There is provided a method for computer-aided motion estimation in a plurality of temporally successive digital images, in which a first portion of motion estimation in a second digital image relative to a second digital image preceding in time the first digital image is performed, wherein from the first digital image and the second digital image on the first part of motion estimation a reference picture structure is constructed based containing at least features from the first digital image and / or the second digital image and wherein a second portion of motion estimation second in a time of the second digital image subsequent third digital image with respect to the digital image is performed.Eine dritte Teilbewegungsschätzung wird unter Vergleichen von Merkmalen des dritten digitalen Bildes und der in der Referenzbildstruktur enthaltenen Merkmale durchgeführt und basierend auf der dritten Teilbewegungsschätzung, der zweiten Teilbewegungsschätzung und der ersten Teilbewegungsschätzung wird die Bewegung in dem dritten digitalen Bild gegenüber dem ersten digitalen Bild bestimmt. A third part of motion estimation is performed by comparing features of the third digital image and the characteristics contained in the reference image structure based on the third part of motion estimation, the second part of motion estimation and the first part of motion estimation, the motion is determined in the third digital image over the first digital image.

Die Vielzahl zeitlich aufeinanderfolgender digitaler Bilder wird beispielsweise dadurch erzeugt, dass mittels einer Digitalkamera die Vielzahl digitaler Bilder aufgenommen wird und die Digitalkamera zwischen den Aufnahmezeitpunkten bewegt wird, so dass zwischen zwei digitalen Bildern der Vielzahl digitaler Bilder eine Bildbewegung besteht. The plurality of chronologically successive digital images, for example, produced in that the plurality of digital images is taken using a digital camera and the digital camera is moved between the recording times, so that there is an image motion between two digital images of the plurality of digital images.

Wie oben erwähnt wird im Folgenden von einer Bildbewegung in einem zweiten digitalen Bild gegenüber einem ersten digitalen Bild gesprochen, wenn (mindestens) ein Bildinhaltsbestandteil in dem ersten digitalen Bild an einer ersten (Bild-)Position und/oder in einer ersten Form dargestellt und in einem zweiten Bild an einer zweiten Position und/oder in einer zweiten Form dargestellt wird. As mentioned above will be discussed with respect to a first digital image in the following of an image motion in a second digital image if (at least) shown an image content component in the first digital image at a first (image) position and / or in a first form and in is a second image at a second position and / or in a second form shown.Anschaulich weisen das erste digitale Bild und das zweite digitale Bild in diesem Fall also einen gemeinsamen Bildinhaltsbestandteil auf, der gemäß der Bildbewegung unterschiedlich, beispielsweise an unterschiedlichen Positionen, dargestellt wird. Clearly therefore have the first digital image and the second digital image in this case to a common picture content component, which is represented in accordance with the image motion differently, for example at different positions.

Ferner wird im Folgenden von einer Bildbewegung in einem zweiten digitalen Bild gegenüber einem ersten digitalen Bild gesprochen, wenn das erste digitale Bild einen Teil einer Szene und das zweite digitale Bild einen anderen Teil einer Szene darstellen. Further, spoken over a first digital image in the following of an image motion in a second digital image if the first digital image representing a portion of a scene and the second digital image a different portion of a scene.

Unter der Bewegungsschätzung in dem zweiten digitalen Bild gegenüber dem ersten digitalen Bild ist in diesem Fall die Zuordnung zu einem Gesamtbild der Szene gemeint, also die Bestimmung, welchen Ausschnitt des Gesamtbildes das zweite digitale Bild relativ zu dem ersten digitalen Bild darstellt und somit anschaulich, auf welche Art, das heißt gemäß welcher Bewegung, sich der dargestellte Ausschnitt von dem ersten digitalen Bild zu dem zweiten digitalen Bild in dem Gesamtbild bewegt hat. Under the motion estimation in the second digital image over the first digital image, the mapping is meant to form a total image of the scene in this case, therefore, the determination as to which section of the entire image is the second digital image relative to the first digital image and thus vividly on the nature, that is, according to which movement has the cutout from the first digital image to the second digital image in the whole image represented moved.

Ein Kantenpunkt ist ein Punkt des Bildes, an dem eine starke örtliche Helligkeitsänderung auftritt, beispielsweise ist ein Punkt, dessen linker Nachbar schwarz und dessen rechter Nachbar weiß ist, ein Kantenpunkt. An edge point is a point of the image, where a strong local brightness change occurs, for example, is a point whose left neighbor whose right neighbor is black and white, an edge point.

Formal wird einen Kantenpunkt als ein lokales Maximum des Bildgradienten in Gradientenrichtung bestimmt oder als Nulldurchgang der zweiten Ableitung der Bildinformation bestimmt. Formally, an edge point is determined as a local maximum of the image gradient in the gradient or determined as the zero crossing of the second derivative of the image information.

– Ecken in Konturverläufen, das heißt Bildpunkte an denen eine signifikante hohe Krümmung einer Kontur auftritt. - corners in contour profiles, that is pixels in which a significant high curvature of a contour occurs.

Mittels solcher Bewegungsmodelle kann eine hohe Genauigkeit erreicht werden, die erforderliche Rechenleistung kann jedoch gering gehalten werden. By means of such motion models can be achieved a high accuracy, but the required computing power can be kept low.

Es können jedoch auch beliebige andere Bewegungsmodelle verwendet werden, insbesondere solche, die sich durch Polynome oder rationale Funktionen darstellen lassen. However, it can also be used any other motion models, particularly those that can be represented by polynomials or rational functions.

Es ist ferner bevorzugt, dass die erste Teilbewegungsschätzung, die zweite Teilbewegungsschätzung und die dritte Teilbewegungsschätzung mittels desselben Verfahrens zur Bewegungsschätzung in zwei zeitlich aufeinanderfolgenden Bildern durchgeführt werden. It is further preferred that the first part of motion estimation, the second motion estimation part and the third part of motion estimation are performed by the same method for motion estimation in two temporally successive images.

Es ist ferner bevorzugt, dass zur Durchführung der dritten Teilbewegungsschätzung Merkmale auf die Referenzbildstruktur basierend auf der ersten Teilbewegungsschätzung und der zweiten Teilbewegungsschätzung abgebildet werden und die dritte Teilbewegungsschätzung durch Schätzung der Bewegung der abgebildeten Merkmale gegenüber der in der Referenzbildstruktur enthaltenen Merkmale durchgeführt wird. It is further preferred that the implementation of the third part of motion estimation features are mapped onto the reference image structure based on the first part of motion estimation and the second part of motion estimation and the third part of motion estimation is performed by estimating the motion of the imaged features with respect to those contained in the reference image structural features.

Die Verwendung von Merkmalen im Rahmen der dritten Teilbewegungsschätzung hat den Vorteil, dass Merkmale ohne Verlust an Genauigkeit auf die Referenzbildstruktur abgebildet werden können. The use of features in the third part of the motion estimation has the advantage that features without loss of accuracy can be mapped to the reference image structure.

Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden im Weiteren näher erläutert. Embodiments of the invention are illustrated in the figures and are explained in more detail below.

7 7zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung. shows a flow diagram according to an embodiment of the invention.

8 8thillustriert die Bildregistrierung gemäß einem Ausführungsbeispiel der Erfindung. illustrates the image registration according to an embodiment of the invention.

9 9zeigt ein Flussdiagramm eines Verfahren gemäß einem Ausführungsbeispiel der Erfindung; shows a flow diagram of a method according to an embodiment of the invention;

10 10zeigt ein Flussdiagramm einer Bestimmung einer Translation gemäß einem Ausführungsbeispiel der Erfindung; shows a flow diagram of a provision of a translation according to an embodiment of the invention;

11 11zeigt ein Flussdiagramm einer Bestimmung einer affinen Bewegung gemäß einem Ausführungsbeispiel der Erfindung; shows a flow diagram of a provision of an affine motion according to an embodiment of the invention;

12 12zeigt ein Flussdiagramm eines Verfahrens gemäß einem weiteren Ausführungsbeispiel der Erfindung; shows a flow diagram of a method according to another embodiment of the invention;

15 15zeigt ein Flussdiagramm eines Verfahrens gemäß einem weiteren Ausführungsbeispiel der Erfindung; shows a flow diagram of a method according to another embodiment of the invention;

16 16zeigt ein Flussdiagramm einer Bestimmung einer perspektivischen Bewegung gemäß einem Ausführungsbeispiel der Erfindung; shows a flowchart of a determination of a perspective movement according to an embodiment of the invention;

2 2zeigt eine Anordnung shows an arrangement200 200gemäß einem Ausführungsbeispiel der Erfindung. according to an embodiment of the invention.

Mittels einer Digitalkamera Using a digital camera201 201, die in diesem Beispiel in einem Mobilfunk-Teilnehmergerät enthalten ist, werden digitale Bilder einer Szene, von der ein Mosaikbild, das heißt ein Gesamtbild, erstellt werden soll, aufgenommen. That is included in this example in a mobile subscriber device, are digital images of a scene from a mosaic image, that is an overall picture to be created, added.In diesem Beispiel wird die Digitalkamera In this example, the digital camera201 201über einen gedruckten Text a printed text202 202, von dem ein Mosaikbild erstellt werden soll, von einem Benutzer gehalten. From which a mosaic image is to be created, held by a user.

Die gedruckte Vorlage The printed document300 300befindet sich in der sogenannten Abbildungsebene. is located in the so-called imaging plane.Im Falle einer dreidimensionalen Szene ist die Abbildungsebene die Ebene, auf die die dreidimensionale Szene projiziert wird, so dass das Gesamtbild entsteht, das aus einer Mehrzahl von Bildern erzeugt werden soll, bzw. dem eine Mehrzahl von Bildern zugeordnet werden sollen. In the case of a three-dimensional scene, the image plane is the plane on which the three-dimensional scene is projected, so that the overall image which is to be generated from a plurality of images, or a plurality of images are to be assigned.

Die Bewegung von Bildausschnitten in der Abbildungsebene wird im Folgenden mit Bezug auf The movement of the Image in the imaging plane is on below with reference4 4genauer erläutert. explained in more detail.

4 4zeigt eine Gesamtbild shows an overall image401 401, welches wie erwähnt in der Abbildungsebene liegt, ein erstes digitales Bild Which is as mentioned in the imaging plane, a first digital image402 402und ein zweites digitales Bild and a second digital image403 403gemäß einem Ausführungsbeispiel der Erfindung. according to an embodiment of the invention.

Nach einer weiteren Bewegung der Digitalkamera wird zum Zeitpunkt t+1 ein drittes digitales Bild According to a further movement of the digital camera at the time t + 1, a third digital image403 403aufgenommen, das einen dritten Ausschnitt was added, which has a third cutout406 406des Gesamtbilds the overall picture401 401darstellt. represents.

In diesem Beispiel stellen das zweite digitale Bild In this example, make the second digital image402 402und das dritte digitale Bild and the third digital image403 403ein Objekt an object407 407(oder einen Bestandteil) der Szene dar, die von dem Gesamtbild (Or a component) of the scene is that of the overall image401 401dargestellt wird. is pictured.Die Darstellung des Objekts The representation of the object407 407ist entsprechend der Bewegung der Digitalkamera vom Zeitpunkt t zum Zeitpunkt t+1 in dem dritten digitalen Bild is according to the movement of the digital camera from the time t at time t + 1 in the third digital image403 403jedoch gegenüber dem zweiten digitalen Bild verschoben und/oder rotiert und/oder skaliert. However, compared to the second digital image shifted and / or rotated and / or scaled.In diesem Beispiel ist das Objekt In this example, the object407 407in dem dritten digitalen Bild in the third digital image403 403gegenüber dem zweiten digitalen Bild compared to the second digital image402 402weiter links oben dargestellt, also nach links oben verschoben. further illustrated top left, that is shifted to the left above.

In dem folgenden Ausführungsbeispiel wird angenommen, dass die Digitalkamera nur so bewegt wird, dass nur Rotationen und/oder Skalierungen und/oder Translationen in der Bildebene entstehen, das heißt das zwei Ausschnitte des Gesamtbildes In the following embodiment, it is assumed that the digital camera is only moved so that only rotations and / or scalings and / or translations are created in the image plane, that is, the two sections of the overview401 401, die von jeweils einem digitalen Bild dargestellt werden, sich nur durch eine Rotation und/oder eine Skalierung und/oder eine Translation unterscheiden können. , Which are respectively shown a digital image may differ in translation only by a rotation and / or scaling and / or.

Weiter unten wird eine weitere Ausführungsform der Erfindung erläutert, bei der diese Einschränkung nicht gilt. a further embodiment of the invention will be further explained below, wherein this restriction does not apply.

5 5zeigt ein Ablaufdiagramm shows a flow chart500 500gemäß einem Ausführungsbeispiel der Erfindung. according to an embodiment of the invention.

Das im Folgenden erläuterte Verfahren dient zur Bildregistrierung einer Mehrzahl digitaler Bilder. The approach described in the following method is used for the image registration of a plurality of digital images.Wie oben mit Bezug auf As above with respect to4 4erläutert zeigen die digitalen Bilder jeweils einen Ausschnitt eines Gesamtbildes, das eine Szene darstellt. explains the digital images each having a portion of an overall image representing a scene.Das Gesamtbild ist eine Projektion der Szene auf eine Abbildungsebene. The overall picture is a projection of the scene onto an image plane.Das Gesamtbild, das beispielsweise im Rahmen der Erzeugung eines Mosaikbildes erstellt werden soll, wird im Folgenden auch als Referenzbild bezeichnet. The overall picture that is to be created, for example in the context of creating a mosaic image is referred to below as the reference image.

Ein digitales Bild der Folge digitaler Bilder stellt wie erwähnt einen Ausschnitt des Gesamtbildes dar. Der Ausschnitt des Gesamtbildes hat eine bestimmte Lage (Position, Größe und Orientierung) in dem Gesamtbild, die durch die Angabe der Eckpunkte des Ausschnitts mittels eines Koordinatensystem des Gesamtbildes angegeben kann. A digital image of the sequence of digital images is as mentioned a detail of the overall image. The section of the overall picture has a particular position (position, size and orientation) in the overall image that indicated by indicating the corner points of the cut by means of a coordinate system of the whole image can ,Beispielsweise wird ein Eckpunkt des t-ten Ausschnitts, das heißt des Ausschnitts, der durch das digitale Bild, das zum Zeitpunkt t aufgenommen wurde, dargestellt wird, auf folgende Weise angegeben: For example, a vertex of the t-th section, i.e. the section which is represented by the digital image that was taken at the time t, given in the following manner:

Analog werden die weiteren Eckpunkte des t-ten Abschnitts angegeben. Analog be given the further vertices of the t-th section.

Die Angabe der Eckpunkte erfolgt mittels homogener Koordinaten, das heißt mittels einer zusätzlichen z-Koordinate, die stets 1 ist, sodass eine effiziente Matrixschreibweise ermöglicht wird. The indication of the vertices by means of homogeneous coordinates, that is by means of an additional z-coordinate is always 1, so that an efficient matrix notation is made possible.Die jeweils erste Koordinate in Gleichung (1) und Gleichung (2) gibt die Lage des jeweiligen Eckpunkts bezüglich einer ersten Koordinatenachse des Koordinatensystems des Gesamtbildes (x-Achse) an und die jeweils zweite Koordinate in Gleichung (1) und Gleichung (2) gibt die Lage des jeweiligen Eckpunkts bezüglich einer zweiten Koordinatenachse des Koordinatensystems des Gesamtbildes (y-Achse) an. Each of the first coordinate in the equation (1) and equation (2) gives the position of the respective corner point with respect to a first coordinate axis of the coordinate system of the whole image (x-axis) and each second coordinate in the equation (1) and equation (2) gives the position of the respective corner point with respect to a second coordinate axis of the coordinate system of the whole image at (y-axis).

In Schritt in step504 504werden die Koordinaten von Merkmalspunkten des t+1-ten digitalen Bildes in dem Koordinatensystem des Gesamtbildes gemäß Gleichung (16) und somit gemäß der durch the coordinates of feature points of the t + 1 th digital image in the coordinate system of the whole image according to equation (16) and thus in accordance with the by

In Schritt in step507 507werden die Koordinaten der Merkmalspunkte des t+1-ten digitalen Bildes im Koordinatensystem des Gesamtbildes bestimmt. the coordinates of the feature points of the t + 1-th digital image are determined in the coordinate system of the picture.

In Schritt in step508 508werden alle Merkmalspunkte des t+1-ten digitalen Bildes, die in dem Gesamtbild noch nicht enthalten sind, gemäß der in Schritt all feature points of the t + 1 th digital image that are not listed in the overall image, in accordance with the step507 507bestimmten Koordinaten in das Gesamtbild integriert. designated coordinates integrated into the overall image.

Das Objekt The object603 603befindet sich in den ersten digitalen Bild an einer anderen Position als in dem zweiten digitalen Bild. is located in the first digital image at a different position than in the second digital image.Anschaulich wird nun ein Bewegungsmodell bestimmt, das die Position des Objekts Clearly a motion model is now determined that the position of the object603 603in dem ersten digitalen Bild in the first digital image601 601auf die Position des Objekts at the position of the object603 603in dem zweiten digitalen Bild abbildet, wie es in der mittleren mapping in the second digital image, as in the middle604 604durch Überlagerung des Objekt by superimposing the object603 603an der Position, die es in dem ersten digitalen Bild hat, und des Objekt at the position which it has in the first digital image and the object603 603an der Position, die es in dem zweiten digitalen Bild at the position that in the second digital image602 602hat, dargestellt ist. has shown.

An Stelle der Bewegungsschätzung in der Abbildungsebene zur Bestimmung der Matrix Mg in Schritt Instead of the motion estimation in the image plane for determining the matrix of Mg in step505 505werden in dieser Ausführungsform jedoch zwei Ablaufschritte However, in this embodiment, two process steps709 709und and705 705durchgeführt. carried out.

In In709 709wird zunächst der Überlappungsbereich zwischen den gemäß the overlapping area between the first is in accordance with

Da der Überlappungsbereich sich an einer beliebigen Position im Gesamtbild befinden kann, stimmt das lokale Koordinatensystem des Überlappungsbereichs nicht mit dem Koordinatensystem des Gesamtbildes überein. Since the overlapping area can be located at any position in the overall picture, the local coordinate system of the overlapping area does not match the coordinate system of the picture.Anschaulich wird somit beim Ausschneiden der Punkte des Gesamtbildes des Überlappungsbereich eine Koordinatentransformation durchgeführt. Vividly is thus carried out a coordinate transformation during the cutting of the points of the overall image of the overlap region.Hat beispielsweise der Überlappungsbereich die Form eines Rechtecks und der linke obere Eckpunkt hat bestimmte Koordinaten im Koordinatensystem des Gesamtbildes, so könnte der linke obere Eckpunkt im lokalen Koordinatensystem des Überlappungsbereichs die Koordinaten (0,0) haben. For example, if the overlapping area has the shape of a rectangle, and the upper left vertex specific coordinates in the coordinate system of the whole image, the upper left vertex in the local coordinate system of the overlapping area may have the coordinates (0,0).

Die Koordinatentransformation zwischen dem Koordinatensystem des Gesamtbildes und dem Koordinatensystem des Überlappungsbereichs kann durch eine Translation modelliert werden. The coordinate transformation between the coordinate system of the whole image and the coordinate system of the overlap region can be modeled by a translation.Die Translation sei durch einen Translationsvektor The translation is by a translation vector

gegeben. given.

Zur Berücksichtigung der Koordinatentransformation werden für den Vektor be to take account of the transformation of coordinates for the vector

der wie oben beschrieben eine Schätzung der Koordinaten eines Punktes in dem Gesamtbild angibt, und den Vektor B, der wie oben beschrieben die Koordinaten eines Punktes im Koordinatensystem des Gesamtbilds angibt, Substitutionen gemäß of as described above to estimate the coordinates of a point in the whole image indicates and as described above the vector B, indicating the coordinates of a point in the coordinate system of the overall image, in accordance with substitutionsB B' = '=B B+ +T TÜ (24)Ü (24)bzw. or.

Bei Verwendung eines perspektivischen Bewegungsmodells anstatt eines affinen Bewegungsmodells, das durch eine Matrix M der in Gleichung (4) gegebenen Form gegeben ist, hat Gleichung (3) die Form When using a perspective motion model instead of an affine motion model given by the matrix M in equation (4) shape is given to equation (3) has the form

Anschaulich gesprochen werden in zwei aufeinanderfolgenden Bildern Merkmale bestimmt und eine Zuordnung bestimmt, indem versucht wird, zu bestimmen, welchen Merkmalen im zweiten Bild die Merkmale im ersten Bild jeweils entsprechen. Figuratively speaking, characteristics are determined in two successive images, and determines an assignment by attempting to determine, which characteristics correspond to the features in the second image in the first image respectively.Wurde bestimmt, welchem Merkmal im zweiten Bild ein Merkmal im ersten Bild entspricht, so wird das so interpretiert, dass das Merkmal im ersten Bild zu der Position des Merkmals im zweiten Bild gewandert ist und diese Positionsänderung, die einer Bildbewegung des Merkmals entspricht, wird berechnet. Was determined, which feature in the second image corresponding to a feature in the first image, so that is calculated so interpreted that the feature in the first image is moved to the position of the feature in the second image, and this position change corresponding to an image motion of the feature is, ,Darüber hinaus wird an Hand der Positionsänderungen der einzelnen Merkmale, ein einheitliches Bewegungsmodell berechnet, das die Positionsänderungen möglichst gut modelliert. Moreover, is calculated with reference to the position changes of the individual features, a uniform motion model as well as possible models the position changes.

Anschaulich wird somit eine Zuordnung fest gewählt und ein Bewegungsmodell bestimmt, das alle Merkmalspunkte des ersten Bildes auf die ihnen jeweils zugeordneten Mermalspunkte des zweiten Bildes in einem gewissen Sinne, beispielsweise in einem Least-Squares-Sinne wie unten beschrieben, am besten abbildet. Clearly, an allocation will therefore be selected and a movement model determined, which describes all the feature points of the first image on the respectively assigned to them Mermalspunkte of the second image in a certain sense, for example in a least squares sense, as described below, best maps.

Insbesondere wird nicht für alle Werte der Parameter des Bewegungsmodells ein Abstand zwischen der mittels des Bewegungsmodells abgebildeten Menge der Merkmalspunkte des ersten Bildes und der Menge der Merkmalspunkte des zweiten Bildes berechnet. In particular, a distance between the amount shown by means of the motion model of the feature points of the first image and the amount of the feature points of the second image is not calculated for all values ​​of the parameters of the motion model.Somit wird ein geringer Rechenaufwand bei dem bereitgestellten Verfahrens erreicht. Thus, a low computational complexity is achieved with the provided method.

Merkmale sind Punkte des Bildes, die in einem gewissen, vorgegebenen Sinn signifikant sind, beispielsweise Kantenpunkte. Features are points of the image that are significant in a certain, predetermined meaning, for example, edge points.

Ein Kantenpunkt ist ein Punkt des Bildes, an dem eine starke örtliche Helligkeitsänderung auftritt, beispielsweise ist ein Punkt, dessen linker Nachbar schwarz und dessen rechter Nachbar weiß ist, ein Kantenpunkt. An edge point is a point of the image, where a strong local brightness change occurs, for example, is a point whose left neighbor whose right neighbor is black and white, an edge point.

Formal wird einen Kantenpunkt als ein lokales Maximum des Bildgradienten in Gradientenrichtung bestimmt oder als Nulldurchgang der zweiten Ableitung der Bildinformation bestimmt. Formally, an edge point is determined as a local maximum of the image gradient in the gradient or determined as the zero crossing of the second derivative of the image information.

– Ecken in Konturverläufen, das heißt Bildpunkte an denen eine signifikante hohe Krümmung einer Kontur auftritt. - corners in contour profiles, that is pixels in which a significant high curvature of a contour occurs.

Die Positionen einer Menge von Merkmalen bestimmt eine zweidimensionale räumliche Merkmalsverteilung eines Bildes. The positions of a set of features defining a two-dimensional spatial feature of an image.

Bei der Bestimmung der Bewegung von einem ersten Bild und einem zweiten Bild gemäß dem bereitgestellten Verfahren wird anschaulich die räumliche Merkmalsverteilung des ersten Bildes mit der räumlichen Merkmalsverteilung des zweiten Bildes verglichen. In determining the movement of a first image and a second image according to the provided method, the spatial distribution characteristic of the first image with the spatial feature distribution of the second image is compared graphically.

Im Gegensatz zu einem Verfahren, das auf dem optischen Fluss basiert, wird bei dem bereitgestellten Verfahren die Bewegung nicht basierend auf der Helligkeitsverteilung der Bilder, sondern basierend auf der räumlichen Verteilung von signifikanten Punkten berechnet. In contrast to a method which is based on the optical flow, the movement is not calculated based on the brightness distribution of images, but based on the spatial distribution of significant points in the provided methods.

Das im Weiteren erläuterte Verfahren dient zur Berechnung der Bewegung in einer Folge von digitalen Bildern, die mittels einer Digitalkamera aufgenommen worden sind. The approach described in further method used to calculate the motion in a sequence of digital images which have been recorded by means of a digital camera.Jedes Bild der Folge von digitalen Bildern wird durch eine Funktion I(x, y, t) ausgedrückt, wobei t der Zeitpunkt ist, zu dem das Bild aufgenommen wurde und I(x, y, t) die Codierungsinformation des Bildes an der Stelle (x, y), das zum Zeitpunkt t aufgenommen wurde, angibt. Each image of the sequence of digital images is a function I (x, y, t), where t is the time at which the picture was taken and I (x, y, t) is the coding information of the image at location ( x, y), which was taken at the time t indicating.

In diesem Ausführungsbeispiel wird angenommen, dass keine Beleuchtungsschwankungen oder Störungen in der verarbeitenden Hardware bei der Aufnahme der digitalen Bilder aufgetreten sind. In this embodiment, it is assumed that no illumination fluctuations or disturbances in the processing hardware have occurred during the recording of digital images.

In Schritt in step901 901des Flussdiagramms the flowchart900 900wird ein Bild der Folge digitaler Bilder bereitgestellt. there is provided a picture of the sequence of digital images.

Es wird angenommen, dass das digitale Bild zu einem Zeitpunkt t+1 mittels der Digitalkamera aufgenommen wurde. It is assumed that the digital image at a time t + was recorded by means of the digital camera. 1

Eine Merkmalsdetektion gemäß einer bevorzugten Ausführungsform der Erfindung wird weiter unten beschrieben. A feature detection in accordance with a preferred embodiment of the invention will be described below.

Dies kann so interpretiert werden, dass eine Bewegung gesucht wird, die die Merkmalspunkte des Bildes t auf Merkmalspunkte des Bildes t+1 abbildet. This may be interpreted so that a movement is wanted that t the feature points of the image t on feature points of the image + 1 maps.

Die Bestimmung der affinen Bewegung wird dadurch ermöglicht, dass für die Detektion der Merkmalspunkte aus der Menge ON / t eine höhere Schwelle verwendet wird als für die Detektion der Merkmalspunkte aus der Menge PK / t+1. The determination of the affine motion is made possible by the fact that for the detection of the feature points from the set ON / t a higher threshold is used as for the detection of the feature points from the set of PK / t +. 1

Wird für beide Detektion dieselbe Schwelle verwendet, besteht die Möglichkeit, dass einige die den Merkmalspunkten aus ON / t entsprechenden Bildpunkte zum Zeitpunkt t+1 nicht als Merkmalspunkte detektiert werden. Is the same threshold used for both detection, there is a possibility that some are the feature points of the t ON / t corresponding pixels at the time + 1 not detected as feature points.

Unter dem einem Merkmalspunkt in Bild t entsprechenden Bildpunkt in Bild t+1 ist der Bildpunkt zu verstehen, an dem der Bildinhaltsbestandteil, der durch den Merkmalspunkt in Bild t dargestellt wird, in Bild t+1 aufgrund der Bildbewegung dargestellt wird. Under one feature point in image t corresponding pixel in frame t + 1 of the image point is to be understood, where the picture content component, which is represented by the feature point in frame t, is shown in frame t + 1 based on the image movement.

Im Allgemeinen können In general,

nicht so bestimmt werden, dass (52) gilt, deshalb werden will not be determined so that (52) holds, therefore

Der Distanzvektor wird so bestimmt, dass er von dem Punkt (x, y) zu dem Punkt aus PK / t+1 zeigt, zu dem der Abstand des Punkts (x, y) minimal ist. The distance vector is determined such that it points from the point (x, y) to the point of PK / t + 1 at which the distance of the point (x, y) is minimal.

Die Bestimmung erfolgt somit gemäß der Gleichungen The determination is thus carried out in accordance with the equations

Die Distanzvektoren können auch gemäß folgender Formel aus den minimalen Distanzen, die beispielsweise in Form eins Distanzbildes vorliegen, berechnet werden: The distance vectors may also be calculated according to the following formula from the minimum distances, which are present, for example in the form of one distance image:

Die Verwendung der minimalen Distanzen in Gleichung (64) kann anschaulich so interpretiert werden, dass davon ausgegangen wird, dass ein Merkmalspunkt in Bild t dem Merkmalspunkt in Bild t+1 entspricht, der ihm am nächsten liegt, dass sich der Merkmalspunkt in Bild t also zu dem nächstliegenden Merkmalspunkt in Bild t+1 bewegt hat. The use of the minimum distance in equation (64) can clearly be interpreted so that it is assumed that a feature point in frame t to the feature point in frame t + 1 corresponds, which is closest to him, that the feature point in image t so has the closest feature point in frame t + moves. 1

Die Kleinste-Quadrate-Schätzung wird in dieser Ausführungsform iteriert. The least squares estimation is iterated in this embodiment.

Dies erfolgt gemäß folgender Zerlegung der affinen Bewegung: This is done according to the following breakdown of the affine motion:

In Gleichung (65) wurde die zeitliche Abhängigkeit zur vereinfachten Schreibweise weggelassen. In equation (65) the time dependence has been omitted to simplify the notation.

Ist dies der Fall, wird in Schritt If this is the case, in step1108 1108der Iterationsindex l auf den Wert L gesetzt und anschließend mit Schritt the iteration l set to the value L, and then to step1103 1103fortgefahren. continued.

In dieser Ausführungsform wird ein digitales Bild, das zum Zeitpunkt 0 aufgenommen wurde, als Referenzbild, das im Folgenden als Referenzfenster bezeichnet wird, verwendet. In this embodiment, a digital image that was taken at time 0, as the reference image, which is referred to below as a reference window used.

Dabei wird verwendet, dass die Positionen der Kantenpunkte des Bildes t in Schritt In this case is used, that the positions of the edge points of the image t in step1206 1206subpixelgenau bestimmt wurden. were determined with subpixel accuracy.

Kanten werden üblicherweise als lokale Maxima in der örtlichen Ableitung der Bildintensität bestimmt. Edges are usually determined as the local maxima in the local derivative of the image intensity.Das hier eingesetzte Verfahren basiert auf den Arbeiten von Canny [4]. The method used here is based on the work of Canny [4].

In Schritt in step1302 1302wird ein digitales Bild und bei dem Kanten detektiert werden sollen, mittels eines Gaussfilters gefiltert. is a digital image and will be detected at the edges, filtered by a Gaussian filter.

Diese Merkmalspunktmenge repräsentiert einen Bildausschnitt oder ein Objekt des Bildes, das zum Zeitpunkt t aufgenommen wurde. This feature point set represents an image area or object of the image that was taken at the time t.

Gesucht wird nun die Bewegung, die ON / t auf die entsprechenden Punkte des Bildes, dass zum Zeitpunkt t+1 aufgenommen wurde, abbildet. is wanted then the movement, the ON / t to the corresponding points of the image that was taken at time t + 1, maps.

Das Bewegungsmodell nach Gleichung (67) weist neun Parameter aber nur acht Freiheitsgrade auf, wie aus der nachstehenden Gleichung ersichtlich ist. The motion model according to equation (67) has nine parameters but only eight degrees of freedom, as can be seen from the following equation.

Die Parameter des perspektivischen Modells können wie die Parameter des affinen Modells mittels einer Kleinste-Quadrate-Schätzung bestimmt werden, indem der Term The parameters of the perspective model can be determined by a least-squares estimate of how the parameters of the affine model by the term

Claims (13)

Translated from German

Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern – bei dem eine erste Teilbewegungsschätzung in einem zweiten digitalen Bild gegenüber einem dem zweiten digitalen Bild zeitlich vorhergehenden ersten digitalen Bild durchgeführt wird; A method for computer-aided motion estimation in a plurality of temporally successive digital images - in which a first portion of motion estimation in a second digital image relative to a time the second digital image preceding the first digital image is performed;– bei dem aus dem ersten digitalen Bild und dem zweiten digitalen Bild basierend auf der ersten Teilbewegungsschätzung eine Referenzbildstruktur aufgebaut wird, welche zumindest Merkmale aus dem ersten digitalen Bild und/oder dem zweiten digitalen Bild enthält; - in which on the first part of a motion estimation reference picture structure is composed of the first digital image and the second digital image based, at least containing features from the first digital image and / or the second digital image;– bei dem eine zweite Teilbewegungsschätzung in einem dem zweiten digitalen Bild zeitlich nachfolgenden dritten digitalen Bild gegenüber dem zweiten digitalen Bild durchgeführt wird; - wherein a second part of motion estimation is performed in a time to the second digital image subsequent third digital image over the second digital image;– bei dem eine dritte Teilbewegungsschätzung unter Vergleichen von Merkmalen des dritten digitalen Bildes und der in der Referenzbildstruktur enthaltenen Merkmale durchgeführt wird; - wherein a third part of motion estimation is performed by comparing features of the third digital image and the reference image characteristics contained in the structure;– bei dem basierend auf der dritten Teilbewegungsschätzung, der zweiten Teilbewegungsschätzung und der ersten Teilbewegungsschätzung die Bewegung in dem dritten digitalen Bild gegenüber dem ersten digitalen Bild bestimmt wird. - in which at the third part of motion estimation, the motion estimation and the second part of the first part of motion estimation, the motion is determined in the third digital image over the first digital image based.

Verfahren gemäß einem der Ansprüche 1 bis 4, wobei die Teilbewegungsschätzungen merkmalsbasiert durchgeführt werden. A method according to any one of claims 1 to 4, wherein the partial motion estimations are performed based feature.

Verfahren gemäß einem der Ansprüche 1 bis 5, wobei die Teilbewegungsschätzungen subpixelgenau durchgeführt werden. A method according to any one of claims 1 to 5, wherein the partial motion estimations are performed with subpixel accuracy.

Verfahren gemäß einem der Ansprüche 1 bis 7, wobei die erste Teilbewegungsschätzung, die zweite Teilbewegungsschätzung und die dritte Teilbewegungsschätzung mittels desselben Verfahrens zur Bewegungsschätzung in zeitlich aufeinanderfolgenden Bildern durchgeführt werden. A method according to any one of claims 1 to 7, wherein the first part of motion estimation, the second motion estimation part and the third part of motion estimation are performed by the same method for estimating motion in successive images.

Verfahren gemäß einem der Ansprüche 1 bis 8, wobei zur Durchführung der dritten Teilbewegungsschätzung Merkmale auf die Referenzbildstruktur basierend auf der ersten Teilbewegungsschätzung und der zweiten Teilbewegungsschätzung abgebildet werden und die dritte Teilbewegungsschätzung durch Schätzung der Bewegung der abgebildeten Merkmale gegenüber der in der Referenzbildstruktur enthaltenen Merkmale durchgeführt wird. Process according to one of claims 1 to 8 wherein features are mapped onto the reference image structure based on the first part of motion estimation and the second part of motion estimation for carrying out the third part the motion estimation and the third part of motion estimation is performed by estimating the motion of the imaged features with respect to those contained in the reference image structural features ,

Anordnung zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern aufweisend – eine erste Verarbeitungseinheit, die eingerichtet ist, eine erste Teilbewegungsschätzung in einem zweiten digitalen Bild gegenüber einem dem zweiten digitalen Bild zeitlich vorhergehenden ersten digitalen Bild durchzuführen; Arrangement for computer-aided motion estimation in a plurality of temporally successive digital images comprising - a first processing unit that is adapted to perform a first portion of motion estimation in a second digital image relative to a time the second digital image preceding the first digital image;– eine zweite Verarbeitungseinheit, die eingerichtet ist, aus dem ersten digitalen Bild und dem zweiten digitalen Bild basierend auf der ersten Teilbewegungsschätzung eine Referenzbildstruktur aufzubauen, welche zumindest Merkmale aus dem ersten digitalen Bild und/oder dem zweiten digitalen Bild enthält; - a second processing unit which is arranged to establish from the first digital image and the second digital image based on the first part of motion estimation a reference picture structure which includes at least features from the first digital image and / or the second digital image;– eine dritte Verarbeitungseinheit, die eingerichtet ist, eine zweite Teilbewegungsschätzung in einem dem zweiten digitalen Bild zeitlich nachfolgenden dritten digitalen Bildes gegenüber dem zweiten digitalen Bild durchzuführen; - a third processing unit which is arranged to perform a second portion of motion estimation in a time to the second digital image subsequent third digital image over the second digital image;– eine vierte Verarbeitungseinheit, die eingerichtet ist, eine dritte Teilbewegungsschätzung unter Vergleichen von Merkmalen des dritten digitalen Bildes und der in der Referenzbildstruktur enthaltenden Merkmale durchzuführen; - a fourth processing unit adapted to perform a third partial motion estimation comparing features of the third digital image and the reference image contained in the structural features;– eine fünfte Verarbeitungseinheit, die eingerichtet ist, basierend auf der dritten Teilbewegungsschätzung, der zweiten Teilbewegungsschätzung und der ersten Teilbewegungsschätzung die Bewegung in dem dritten digitalen Bild gegenüber dem ersten digitalen Bild zu bestimmen. - a fifth processing unit configured to determine based on the third motion estimation part, the second part of motion estimation and motion estimation of the first part of the movement in the third digital image over the first digital image.

Computerprogramm-Element, das, nachdem es in einen Speicher eines Computers geladen worden ist, bewirkt, das der Computer ein Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern durchführt, – wobei eine erste Teilbewegungsschätzung in einem zweiten digitalen Bild gegenüber einem dem zweiten digitalen Bild zeitlich vorhergehenden ersten digitalen Bild durchgeführt wird; A computer program element which, after it has been loaded into a memory of a computer, causes that performs a method for computer-aided motion estimation in a plurality of temporally successive digital images, the computer, - wherein a first part of motion estimation in a second digital image relative to a the second digital image preceding the first digital image is performed in time;– aus dem ersten digitalen Bild und dem zweiten digitalen Bild basierend auf der ersten Teilbewegungsschätzung eine Referenzbildstruktur aufgebaut wird, welche zumindest Merkmale aus dem ersten digitalen Bild und/oder dem zweiten digitalen Bild enthält; - from the first digital image and the second digital image on the first part of a motion estimation reference picture structure is constructed based containing at least features from the first digital image and / or the second digital image;– eine zweite Teilbewegungsschätzung in einem dem zweiten digitalen Bild zeitlich nachfolgenden dritten digitalen Bildes gegenüber dem zweiten digitalen Bild durchgeführt wird; - a second part of motion estimation is performed in a time to the second digital image subsequent third digital image over the second digital image;– eine dritte Teilbewegungsschätzung unter Vergleichen von Merkmalen des dritten digitalen Bildes und der in der Referenzbildstruktur enthaltenden Merkmale durchgeführt wird; - a third part of motion estimation is performed by comparing features of the third digital image and the reference image contained in the structural features;– basierend auf der dritten Teilbewegungsschätzung, der zweiten Teilbewegungsschätzung und der ersten Teilbewegungsschätzung die Bewegung in dem dritten digitalen Bild gegenüber dem ersten digitalen Bild bestimmt wird. - on the third motion estimation part, the second part of motion estimation and motion estimation of the first part of the movement is determined in the third digital image over the first digital image based.

Computerlesbares Speichermedium, auf dem ein Programm gespeichert ist, das, nachdem es in einen Speicher eines Computer geladen worden ist, bewirkt, das der Computers ein Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern durchführt – wobei eine erste Teilbewegungsschätzung in einem zweiten digitalen Bild gegenüber einem dem zweiten digitalen Bild zeitlich vorhergehenden ersten digitalen Bild durchgeführt wird; A computer-readable storage medium on which a program is stored which, after it has been loaded into a memory of a computer, causes that performs the computer a method for computer-aided motion estimation in a plurality of temporally successive digital images - wherein a first part of motion estimation in a second digital image relative to a second digital image preceding in time the first digital image is performed;– aus dem ersten digitalen Bild und dem zweiten digitalen Bild basierend auf der ersten Teilbewegungsschätzung eine Referenzbildstruktur aufgebaut wird, welche zumindest Merkmale aus dem ersten digitalen Bild und/oder dem zweiten digitalen Bild enthält; - from the first digital image and the second digital image on the first part of a motion estimation reference picture structure is constructed based containing at least features from the first digital image and / or the second digital image;– eine zweite Teilbewegungsschätzung in einem dem zweiten digitalen Bild zeitlich nachfolgenden dritten digitalen Bildes gegenüber dem zweiten digitalen Bild durchgeführt wird; - a second part of motion estimation is performed in a time to the second digital image subsequent third digital image over the second digital image;– eine dritte Teilbewegungsschätzung unter Vergleichen von Merkmalen des dritten digitalen Bildes und der in der Referenzbildstruktur enthaltenden Merkmale durchgeführt wird; - a third part of motion estimation is performed by comparing features of the third digital image and the reference image contained in the structural features;– basierend auf der dritten Teilbewegungsschätzung, der zweiten Teilbewegungsschätzung und der ersten Teilbewegungsschätzung die Bewegung in dem dritten digitalen Bild gegenüber dem ersten digitalen Bild bestimmt wird. - on the third motion estimation part, the second part of motion estimation and motion estimation of the first part of the movement is determined in the third digital image over the first digital image based.

Priority Applications (1)

A method for computer-aided motion estimation in a plurality of temporally successive digital images, arrangement for computer-aided motion estimation, a computer program element and computer readable storage medium

Applications Claiming Priority (3)

A method for computer-aided motion estimation in a plurality of temporally successive digital images, arrangement for computer-aided motion estimation, a computer program element and computer readable storage medium

Family

ID=36120443

Family Applications (1)

A method for computer-aided motion estimation in a plurality of temporally successive digital images, arrangement for computer-aided motion estimation, a computer program element and computer readable storage medium