The system proposed in this thesis deals with auralization of movement. A Microsoft Kinect sensor is used to extract motion data from a user by using depth and color information provided by the infrared and RGB camera of the Kinect. Therefore, the user can move freely without having any sensors attached to his body which disturb his kinetic flexibility. The movement data is transferred to musical output based on defined mapping criteria generating a harmonious sounding sound pattern. The sound pattern is influenced and based on the user’s motion and can thus be actively controlled by him. As a result of the harmonious sounding aural output, the user himself is inspired in his movement leading to a creativity inspiring circle. In order to implement this process, a python algorithm was programmed using the pykinect, SQLite, pydub and playsound libraries. The specifics of the system as well as the algorithm itself and its development are basis for this thesis.



Wieso Microsoft Kinect v2 for Windows:

  • Skelett-tracking der v2 Version ist wesentlich besser als die der v1 Version: Es können mehr Leute mit mehr Knotenpunkte schneller und mit großerer Prezesion getracked werden
  • Microsoft SDK

Wieso Python:

  • Auswahl von zahlreichen Libraries, die eingebunden werden können
  • Vergleichsweise leichte Programmiersprache
  • Mit Kenntnissen in Java und C mit vertretbaren Aufwand lernbar

Wieso Pycharm und Anaconda:

  • Empfehlungen mehrere erfahrener Leute

Wieso Pykinect:

  • Alternativen dazu:
    • OpenNi und Nite -> hätte sehr viel neues Setup benötigt

    • Libfreenect/OpenKinect -> unterstützt kein Skeletttracking

    • Microsoft SDK mit C++ -> keine C++ kenntnisse, hätte ebenfalls sehr viel neues Setup benötigt

  • Pykinect benötigt wenig Setup und unterstützt Skeletttracking


Schriftliche Ausarbeitung, Präsentation usw.


  • No labels