Dissertation zur Erlangung des Doktorgradesder Fakultät für Angewandte Wissenschaften derAlbert-Ludwigs-Universität Freiburg im BreisgauSemantic Labeling of Placeswith Mobile RobotsÓscar Martínez MozosBetreuer: Prof. Dr. Wolfram BurgardDekan der Fakultät für Angewandte Wissenschaften:Prof. Dr. Bernhard NebelGutachter:1. Prof. Dr. Wolfram BurgardAlbert-Ludwigs-Universität Freiburg, Freiburg, Deutschland.2. Prof. Dr. Aleš LeonardisUniverza v Ljubljani, Ljubljana, Slowenien.Tag der Disputation: 04.07.2008ZusammenfassungInnenumgebungen können normalerweise in Orte verschiedener Funktionalität un-terteilt werden, wie etwa Korridore, Räume oder Türdurchgänge. Die Fähigkeitsolch semantische Kategorien aus Sensordaten zu lernen, ermöglicht einem Robo-ter die Umgebungsrepräsentation zu erweitern und seine Fertigkeiten zu verbessern.So können beispielsweise natürlichsprachliche Ausdrücke, wie etwa Korridor oderRaum, dazu verwendet werden um die Position des Roboters in einer intuitiverenWeise mitzuteilen. Andere Aufgaben, wie Exploration oder Lokalisierung, kön-nen durch den Roboter ebenfalls besser bewältigt werden, wenn dabei semantischeInformationen berücksichtigt werden.In dieser Doktorarbeit wird ein Verfahren vorgestellt, das einem mobilen Ro-boter ermöglicht, verschiedenen Orten in Innenumgebungen semantische Kate-gorien zuzuordnen und die Umgebungsrepräsentation durch diese Information zuerweitern. Die Kernidee dabei ist, die Position des Roboters durch die aktuellenBeobachtungen des Roboters zu klassiﬁzieren. Die Beobachtungen, die wir inder vorliegenden Arbeit nutzen werden, sind die Abstandsmessungen eines Laser-scanners. Aus jedem Scan wird eine Menge von Merkmalen extrahiert, welcheInformationen über die geometrischen Eigenschaften des Ortes an dieser Positiontragen. Der Scan wird dann aufgrund dieser Merkmale in die entsprechende se-mantische Kategorie eingeteilt. Das Ergebnis der Klassiﬁkation ist eine Wahr-scheinlichkeitsverteilung über der Menge möglicher semantischer Klassen. Diesewahrscheinlichkeitstheoretische Darstellung erlaubt es uns weitere probabilistischeTechniken einzusetzen, um die Klassiﬁkation zu verbessern, und somit die An-zahl an Fehlern zu verringern. Wir werden auch eine Erweiterung des Verfahrensvorstellen, die es dem Roboter ermöglicht andere Beobachtungsmodalitäten, wieetwa Kamerabilder, in den Klassiﬁkationsprozess zu integrieren.Zusätzlich stellen wir in dieser Arbeit verschiedene Anwendungen des obi-gen Verfahrens im Bereich der Robotik vor. Zunächst werden wir zeigen, wie wirsemantische Informationen dazu verwenden können, topologische Karten von In-nenumgebungen zu erstellen. In einer zweiten Anwendung stellen wir eine Meth-ode vor, welche die übergänge zwischen verschiedenen Orten in Betracht zieht,um die Trajektorie eines mobilen Roboters zu klassiﬁzieren. Zudem kann durchBerücksichtigung semantischer Information die von einem Roboter benötigte Zeitfür Explorations- und Lokalisierungsaufgaben verringert werden. Die vorliegendeArbeit wird solche Verbesserungen aufzeigen. Schließlich stellen wir die seman-tische Klassiﬁkation als Teil eines Robotersystems vor, das dazu ausgelegt ist, mitMenschen in natürlicher Sprache zu kommunizieren.SummaryIndoor environments can typically be divided into places with diﬀerent function-alities like corridors, rooms or doorways. The ability to learn such semantic cat-egories from sensor data enables a mobile robot to extend the representation ofthe environment, and to improve its capabilites. As an example, natural languageterms like corridor or room can be used to communicate the position of the robotin a more intuitive way. Other tasks, like exploration or localization, can also becarried out by the robot in a better way when semantic information is taken intoaccount.In this thesis, we present a method that enables a mobile robot to classify thediﬀerent places of indoor environments into semantic classes, and then use this in-formation to extend its representations of the environments. The main idea is toclassify the position of the robot based on the current observations taken by therobot. In this work, we use as main observations the scans obtained from a laserrange sensor. Each scan is represented by a set of features that encode the geomet-rical properties of the current position. These features are then used to classify thescan into the corresponding semantic class. The output of the classiﬁcation is rep-resented by a probability distribution over the set of possible semantic classes. Thisprobabilistic representation permits us to apply further probabilistic techniques toimprove the ﬁnal classiﬁcation, reducing the number of errors. We also presentan extension which enables the robot to include other types of observations in theclassiﬁcation, like camera images.This work additionally introduces several applications of the previous approachin diﬀerent robotic tasks. First, we will show how the semantic information can beused to extract topological maps from indoor environments. In a second appli-cation, we present a method that incorporates transitions between diﬀerent placeswhen classifying a trajectory taken by a mobile robot. It will also be shown that thesemantic information can reduce the time needed by the robot in exploration andlocalization tasks. Finally, we present the semantic classiﬁcation of places as partof an integrated robotic system designed for interacting with humans using naturallanguage.AcknowledgmentsI would like to thank all the people who made this thesis possible.First of all, I would like to thank Prof. Wolfram Burgard for giving me theopportunity to work in his research group. I must admit that this was one of themost useful experiences I have ever had.Many thanks to Prof. Aleš Leonardis for accepting being my co-supervisor. Ireally appreciate his interest in my work.The research presented in this work was carried out under the support of the EUproject CoSy. Many thanks to all the researches involved in this project. Specialmention to Hendrik Zender and Patric Jensfelt for some very long days preparingdemos.During my stay at the Autonomous Intelligent Systems research lab I had theopportunity to work with many people. Thanks to Cyrill Stachniss for his helpduring my ﬁrst steps in the lab, and for his contributions to this thesis. To AxelRottmann for being also a very good contributor (and for lending me his mixer).Thanks to Rudolph Triebel who contributed not only to my thesis, but also to myGerman (and sometimes to my Spanish as well). Christian Plagemann, JürgenSturm and Daniel Meyer-Delius: thanks for the good atmosphere while sharingthe very bright oﬃce room 1015 with me. And thanks to Kai Arras for being sofriendly when collaborating with me.Many other students and colleagues joint the lab during these last years: Patrick,Barbara, Kai, Boris, Basti, Reiner, Hauke, Dominik, Malu, Giorgio, Slawomir.Some others left: Maren, Dirk. I think all of them deserve my gratitude.It is not easy for a Spaniard like me to live six years in Germany...and stayalive. Many thanks to all the friends I met in Freiburg.And ﬁnally, although a little bit far away, many many thanks to my friends inSpain who always give me a very warm welcome when I visit them.Mama, papa, hermano y resto de familia, por supuesto que vosotros sois losmás importantes.To my family and friendsA mi familia y amigos