Symbol grounding problem Teil 6 Sprachsteuerung von Robotern
Abstract
Die automatisierte Steuerung von Robotern scheiterte in der Vergangenheit häufig an der enormen Größe des Zustandsraumes. Der Grund sind hochauflösende Sensoren in Verbindung mit Servomotoren, die numerische Werte als Eingabe verwenden. Selbst moderne Computer sind überfordert, den Spielbaum für derartige lowlevel Zustandsräume zu bestimmen, geschweige denn mehrere Schritte in die Zukunft zu planen. Der Ausweg aus dem Dilemma ist die Projektion des ursprünglichen Zustandsraumes in einen abstrakten kognitiven Zustandsraum. Dieses Mapping ist auch als Symbol grounding Problem bekannt und bedeutet die Transformation von Sensordaten in eine symbolische Schrift. Es handelt sich um ein Kodierungsproblem zur Repräsentation der Realität in einem Roboter. Das Erzeugen einer linguistischen Grammatik ist Teil der folgenden Ausarbeitung. Ferner wird am Beispiel eines Autorennspiels demonstriert, wie eine natürlichsprachliche Beschreibung der Ist Situation aussieht.
References (9)
- Jahr aufsteigend Anmerkung Deutsch: [Kollnig1995] Seite 110ff, Ereigniserkennung für autonomes Fahren: Bis zu 100 Verben werden erkannt [Wershofen1996] Die Transformation von Sensordaten in Symbole wird auch in einer weiteren Arbeit als Situationserkennung bezeichnet: Darin wird das klassische Experiment aus dem Bereich "instruction following" beschrieben, bei dem der Roboter in einer Karte einen Weg finden muss und dazu Anweisungen in natürlicher Sprache erhält.
- Situationserkennung bedeutet, in einem Videosignal Aktionen zu erkennen und als natürliche Sprache auszugeben [Münch2017] Ein komplexes Cognitive Vision System für eine Überwachungskamera. Einen leichten Einstieg gibt das Kapitel 7.3 was Datensätze vorstellt, in denen konkrete Szenen analysiert werden [Wölfel2021] Sprachsteuerung von Industrierobotern in einer Klötzchenwelt vergleichbar mit SHRDLU Englisch:
- Speziell zum Problem des Visual question answering Problem gibt es ein umfangreiches Buch. Es hat seinen Schwerpunkt im Bereich neuronaler Netze und beschreibt den aktuellen Wissensstand. Tabelle 4: Literaturübersicht year project 1972 SHRDLU 1981 Karel the robot programming language 1985 Vitra scene description 1989 SAM Speech activated manipulator 2003 Ripley M.I.T. media labs 2008 Poeticon 2010 M.I.T. forklift Tabelle 5: Zeitleiste mit sprachgesteuerten Robotern References [Gerland2008] Gerland, Patrick, Horst Schulte, and Andreas Kroll. "Wahrscheinlichkeitsbasierte globale Situationserken- nung bei komplexen Systemen." Proceedings 18. Workshop Computational Intelligence. 2008.
- Grosselfinger, Ann-Kristin. "Zur Be- handlung von Unsicherheit und unvollständiger Information bei der videobasierten Situationserkennung." (2011).
- Abbildung 7: links oben: Fahrsimulator mitsamt Statuszeile, rechts oben: Scene graph, unten: Features
- Harnad, Stevan. "The symbol grounding problem." Physica D: Nonlinear Phenomena 42.1-3 (1990): 335-346. [He2022] He, Xiaodong, and Wenwu Zhu. "Visual Questi- on Answering From Theory to Application." (2022).
- Kollnig, Henner. Ermittlung von Verkehrs- geschehen durch Bildfolgenauswertung. Infix, 1995. [Münch2017] Münch, David. Begriffliche Situationsanaly- se aus Videodaten bei unvollständiger und fehlerhafter Infor- mation. Vol. 32. KIT Scientific Publishing, 2017. [Stuart1995] Stuart, Russell, and Norvig Peter. "Artificial intelligence: a modern approach." (1995).
- Wegner, Peter. "Why interaction is more powerful than algorithms." Communications of the ACM 40.5 (1997): 80-91.
- Wershofen, Klaus Peter, and Volker Grae- fe. "Situationserkennung als Grundlage der Verhaltenssteue- rung eines mobilen Roboters." Autonome Mobile Systeme 1996: 12. Fachgespräch München, 14.-15. Oktober 1996. Springer Berlin Heidelberg, 1996. [Wölfel2021] Wölfel, Kim. SpIRo Sprachbasierte Instruk- tion kraftbasierter Roboterbewegungen. Diss. 2021. [YTspider2009] Spider Robot Walking Test -EPIC FAIL, 2009 https://www.youtube.com/watch?v=n0EOmati5_U