Abstract

The project aims to realize an innovative approach to enhancing viewer interaction in live-streams by adding a naturally embedded companion and assistant of the streamer. For this, the virtual pet Petricia is developed in the course of this project. Petricia is a combination between standard virtual pet, live-streaming viewer-entertainment feature, and artificial intelligence (AI), incorporating several different directions of modern digital entertainment. The design of the pet is centered around the general ideas and goals of augmented reality (AR). One such goal is the enhancement of the user's perception of and interaction with the real world by superimposing the virtual upon the real world as naturally as possible and in real-time. To achieve naturalness in  Petricia, the system makes use of the capabilities of modern AI by outsourcing the decision-making process of reacting to chat messages to ChatGPT. ChatGPT is a deep-learning-based large language model by OpenAI, even capable of representing diverse characters and personalities as shown throughout the thesis. The personality of Petricia is defined through the Big Five personality model, a personality-trait-theory summarizing the human personality as the combination of five major traits and the extent of their respective representation in an individual. Petricia is not designed to represent only one specific personality, however, but any given set of trait values chosen by the streamer. The extent to which this is achieved in this project is tested and documented within the thesis.

Kurzfassung

Das Projekt zielt darauf ab, eine innovative Herangehensweise zur Verbesserung der Interaktion mit Zuschauern in Live-Streams zu realisieren, indem ein natürlich eingebetteter Begleiter und Assistent des Streamers hinzugefügt wird. Dafür wird im Rahmen dieses Projekts das virtuelle Haustier Petricia entwickelt. Petricia ist eine Kombination aus einem Standard-Virtual-Pet, einem Unterhaltungsfeature für Live-Stream-Zuschauer und künstlicher Intelligenz (KI). Damit vereint sie mehrere verschiedene Richtungen des modernen digitalen Entertainments. Das Design des Haustiers basiert auf den allgemeinen Ideen und Zielen der augmented reality (AR). Ein solches Ziel ist die Verbesserung der Wahrnehmung von, und Interaktion mit der realen Welt, indem die virtuelle Welt so natürlich wie möglich und in Echtzeit mit der realen Welt kombiniert wird. Um Natürlichkeit bei Petricia zu erreichen, nutzt das System die Fähigkeiten moderner KI, indem es den Entscheidungsprozess für Reaktionen auf Chat-Nachrichten an ChatGPT auslagert. ChatGPT ist ein auf deep learning basierendes large language model von OpenAI, das in der Lage ist, verschiedene Charaktere und Persönlichkeiten darzustellen, wie in dieser Arbeit gezeigt wird. Die Persönlichkeit von Petricia wird durch das Big-Five-Persönlichkeitsmodell definiert, das die menschliche Persönlichkeit als Kombination von fünf Hauptmerkmalen und deren Ausma"s in einer Person definiert. Petricia ist jedoch nicht darauf ausgelegt, nur eine spezifische Persönlichkeit zu repräsentieren, sondern jede beliebige Kombination von Merkmalswerten, die von dem Streamer gewählt wird. Inwieweit dies in diesem Projekt gelungen ist, wird in der Arbeit getestet und dokumentiert.

The Virtual Stream Pet, Petricia

The goal in designing Petricia was to create additional entertainment for live-streams while trying to keep the distraction from the stream’s own content as low as possible. She is visually designed to look like a small cat- and dog-like creature with large ears, as seen above. The pet should function as an assistant for the streamer with a large focus on its natural integration into the stream’s flow. To achieve the most natural behavior, Petricia’s reactions are chosen by a text-based artificial intelligence, namely ChatGPT. This way the pet is able to use Natural Language Processing (NLP) and can therefore understand the natural speech, different languages and even slang used in the stream’s chat.

Petricia's System Architecture