Implementierung und Evaluierung von Transformer Neuronalen Netzen mittels Posit Arithmetik
Art der Arbeit:
Bachelorarbeit/Masterarbeit/Projektarbeit
Betreuer:
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: thomas.schloegl@fau.de
Beschreibung:
Posits, 2017 von John L. Gustafson eingeführt, stellen eine Alternative zum IEEE-754 Gleitkomma-Arithmetik Standard dar. Laut anfänglicher Untersuchungen scheinen sie Vorteile in der Darstellung kleiner Zahlen und in ihrer dynamischen Reichweite im Vergleich zum etablierten Standard zu besitzen. In einigen Veröffentlichungen wurde schon gezeigt, dass sich Posits mit geringen Bitbreiten hervorragend für das Training von Neuronalen Netzen (z.B. Convolutional Neural Networks, CNN) eignen und sogar IEEE Floats dabei überbieten können.
In dieser Arbeit soll nun untersucht werden ob sich Posits auch für das Training von Transformer Modellen, welche die Grundlage des aktuellen KI-Booms sind, eignen und evtl. sogar mit den von Google eigens dafür entwickelten 16-Bit breiten „bfloats“ konkurieren können. Dafür soll ein einfaches Transformer-Netzwerk (z.B. für das Vorhersagen des nächsten Buchstabens in einem unvollständigen Eingabewort) implementiert und danach im Vergleich zu anderen Floating-Point Darstellungen evaluiert werden.
30% Concept
40% Implementation
30% Benchmarking
Optimierung & Evaluierung von Posit-Funktionseinheiten im Vergleich zu IEEE Floating-Point auf FPGAs und im ASIC-Entwurf
Art der Arbeit:
Bachelorarbeit/Masterarbeit
Betreuer:
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: thomas.schloegl@fau.de
Beschreibung der Arbeit:
Posits, 2017 von John L. Gustafson eingeführt, stellen eine Alternative zum IEEE-754 Gleitkomma-Arithmetik Standard dar. Laut anfänglicher Untersuchungen scheinen sie Vorteile in der Darstellung kleiner Zahlen und in ihrer dynamischen Reichweite im Vergleich zum etablierten Standard zu besitzen. Leider gibt es kaum Untersuchungen die einen Vorteil von Posits hinsichtlich konkreter Hardware-Implementierungen untersuchen.
Im Laufe dieser Arbeit sollen unterschiedliche Posit-Funktionseinheiten (z.B. Addition, Multiplikation) im Vergleich zu IEEE-Floating-Point-Einheiten auf Resourcenverbrauch (Anzahl LUTs auf FPGAs und Anzahl der Standardzellen im ASIC-Entwurf) und Verzögerung evaluiert und optimiert werden.
30% Konzeption
30% Implementierung
40% Benchmarking
Wahrnehmung von KI-gestütztem Feedback im formativen Assessment
Art der Arbeit:
Bachelorarbeit
Betreuer:
Tobias Baumeister
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: tobias.baumeister@fau.de
Bearbeitungszeitraum:
ca. Februar bis Juli 2026 (frühzeitige Interessensbekundung erwünscht!)
Beschreibung der Arbeit:
Gutes Feedback ist ein zentraler Faktor für den Lernerfolg, doch bei großen Lehrveranstaltungen mit wöchentlichen Hausaufgaben bleibt oft wenig Zeit für ausführliche, konstruktive Rückmeldungen. In dieser Arbeit soll untersucht werden, wie Studierende Feedback wahrnehmen, das von menschlichen Tutoren erstellt und anschließend durch ein Large Language Model (LLM) hinsichtlich Klarheit, Konsistenz und Feedforward verbessert wurde.
Dazu wird im Sommersemester 2026 ein A/B-Test im Rahmen der Lehrveranstaltung „Grundlagen der Rechnerarchitektur“ durchgeführt: Studierende erhalten zufällig entweder das ursprüngliche Tutorfeedback oder die KI-verbesserte Variante und bewerten dieses anhand verschiedener Kriterien.
Die Arbeit umfasst folgende Aufgaben:
- Konzeption und Design des A/B-Testings nach wissenschaftlichen Kriterien
- Implementierung einer standardisierten LLM-Pipeline (z.B. in Python) mit einheitlichem Prompting zur automatisierten Feedbackverarbeitung
- Entwicklung eines einfachen Web-Interfaces zum Abrufen und Bewerten des Feedbacks
- Statistische Auswertung und Interpretation der erhobenen Daten
Empfohlene Voraussetzungen:
Interesse an empirischer Forschung und Didaktik, Grundkenntnisse in Python und Webentwicklung, Bereitschaft zur Einarbeitung in LLM-APIs
Entwicklung und Evaluation einer Escape-Room-Aktivität zum Thema CPU-Cache
Art der Arbeit:
Bachelorarbeit
Betreuer:
Tobias Baumeister
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: tobias.baumeister@fau.de
Bearbeitungszeitraum:
ca. Februar bis Juli 2026 (frühzeitige Interessensbekundung erwünscht!)
Beschreibung der Arbeit:
Das Thema CPU-Cache ist aufgrund seiner Vielschichtigkeit – Organisationsformen, Cache-Miss-Typen, Adressierungsmechanismen und weiteren Parametern – eine besondere Herausforderung in der Lehre. Studierende müssen viele Einzelaspekte verstehen, bevor sie diese in praktischen Kontexten anwenden können. In dieser Arbeit soll eine „unplugged“ Lernaktivität im Stil eines Escape Rooms entwickelt werden, die das Thema explorativ und spielerisch aufbereitet. Durch motivierende Einzelschritte sollen komplexe Cache-Konzepte schrittweise erarbeitet werden, wobei Teamkollaboration und Problemlösekompetenz gefördert werden.
Die Aktivität wird für Kleingruppen von 3-5 Studierenden konzipiert und soll in einer 90-minütigen Übungssession im Rahmen der Lehrveranstaltung „Grundlagen der Rechnerarchitektur“ im Sommersemester 2026 erprobt werden. Dabei sollen die Studierenden durch kooperatives Lösen von Rätseln und Aufgaben ein tieferes Verständnis von Cache-Mechanismen entwickeln.
Die Arbeit umfasst folgende Aufgaben:
- Fundierte didaktische Konzeption der Escape-Room-Aktivität mit klaren Lernzielen und spielerischen Elementen
- Hochwertige Umsetzung aller benötigten Materialien (z.B. Rätsel, Spielkomponenten, Anleitungen)
- Erprobung der Aktivität im realen Übungsbetrieb
- Wissenschaftliche Evaluation der Lernaktivität hinsichtlich Lernerfolg und Studierendenwahrnehmung
Entwicklung und Evaluation einer Unplugged-Aktivität zur Vermittlung von FPGA-Grundkonzepten
Art der Arbeit:
Bachelorarbeit
Betreuer:
Tobias Baumeister
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: tobias.baumeister@fau.de
Bearbeitungszeitraum:
Flexibel
Beschreibung der Arbeit:
Field Programmable Gate Arrays (FPGAs) sind ein zentrales Thema in der Rechnerarchitektur, doch ihr Grundprinzip – eine feste Hardware-Struktur, die durch Rekonfiguration unterschiedliche logische Funktionen realisieren kann – ist für Einsteiger oft schwer greifbar. In dieser Arbeit soll eine haptische „Unplugged“-Lernaktivität entwickelt werden, die dieses Konzept spielerisch und anschaulich vermittelt. Die Aktivität soll sowohl in der Grundlagenlehre als auch bei öffentlichen Veranstaltungen wie der Langen Nacht der Wissenschaften einsetzbar sein.
Die Kernidee besteht in einem physischen Schaltbrett (z.B. aus 3D-Druck, Holz oder anderen Materialien), das die feste Struktur eines FPGA-Bausteins repräsentiert. Durch austauschbare Module – analog zu rekonfigurierbaren Lookup-Tables (LUTs) – soll ein visualisierter „Signalfluss“ beeinflusst werden können. Die konkrete Umsetzung (elektrisch mit LEDs, mechanisch, oder anderweitig kreativ) ist dabei bewusst offen gehalten und Teil der gestalterischen Freiheit dieser Arbeit.
Die Arbeit umfasst folgende Aufgaben:
- Didaktische Konzeption der Aktivität mit klaren Lernzielen und zielgruppengerechter Aufbereitung (Studierende, interessierte Öffentlichkeit, Kinder)
- Kreativer Entwurf und hochwertige Fertigung des physischen Demonstrators
- Entwicklung begleitender Materialien (Anleitungen, Erklärungen)
- Erprobung der Aktivität mit verschiedenen Zielgruppen
- Wissenschaftliche Evaluation hinsichtlich Verständlichkeit und Lernerfolg
Empfohlene Voraussetzungen:
Interesse an Didaktik und kreativer Gestaltung, handwerkliches Geschick oder Bereitschaft zur Einarbeitung in Fertigungsmethoden (3D-Druck, Lasercutting o.Ä.), optional Grundkenntnisse in Elektronik
Mixed-Darstellungen für ternäre CPU
Art der Arbeit:
Studien-/Bachelor-/Diplom-/Masterarbeit
Betreuer:
Fey, Dietmar
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: dietmar.fey@fau.de
Beschreibung der Arbeit:
Ein Kernproblem in der Digitalelektronik sind entstehende Überträge bei der Addition. Werden beispielsweise 11111 + 00001 addiert, so setzt der Übertrag von der letzten Stelle bis zur vordersten Stelle fort. Um dieses Problem zu umgehen, werden sogenannte redundante Zahlensysteme verwendet, mit denen sich eine Zahl durch mehrere Bitfolgen darstellen lässt. Am Lehrstuhl wurde deshalb ein neuer Prozessor auf RISC-V Basis entworfen, der solche redundanten Zahlendarstellungen nutzt und deswegen eine Beschleunigung erzielen kann.
Leider bieten genannte Zahlensysteme nicht nur Vorteile. Zur Abarbeitung von Sprüngen beispielsweise, kann die Nutzung o.g. Zahlendarstellung einen Zusatzaufwand bedeuten. Aus diesem Grund soll in dieser Arbeit ein hybrides Vorgehen analysiert werden. Rechenintensive Datenpfade sind mit redundanter Arithmetik zu analysieren, Kontrollpfade in klassischer Arithmetik. Die Architekturentwicklung erfolgt mittels abstrakter Beschreibungssprachen (C/C++/SystemC).
Konzeption: 40%
Architekturentwicklung: 40%
Simulation / Benchmarking: 20%
DL Beschleuniger mit ternären Datenpfaden
Art der Arbeit:
Studien-/Bachelor-/Diplom-/Masterarbeit
Betreuer:
Fey, Dietmar
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
E-Mail: dietmar.fey@fau.de
Ebrahimiazandaryani, Farhad
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: farhad.ebrahimiazandaryani@fau.de
Beschreibung der Arbeit:
Ein Kernproblem in der Digitalelektronik sind entstehende Überträge bei der Addition. Werden beispielsweise 11111 + 00001 addiert, so setzt der Übertrag von der letzten Stelle bis zur vordersten Stelle fort. Um dieses Problem zu umgehen, werden sogenannte redundante Zahlensysteme verwendet, mit denen sich eine Zahl durch mehrere Bitfolgen darstellen lässt. Am Lehrstuhl wurde deshalb ein neuer Prozessor auf RISC-V Basis entworfen, der solche redundanten Zahlendarstellungen nutzt und deswegen eine Beschleunigung erzielen kann.
Die genannten Konzepte lassen sich jedoch nicht nur auf komplette Prozessoren, sondern auch auf Beschleunigerkerne selbst, beispielsweise für die schnelle Inferenz neuronale Netze anwenden. In dieser Abschlussarbeit soll ein Beschleunigerkern in einer abstrakten Beschreibungssprache (SystemC) mit ternären Datenpfaden entworfen werden.
Konzeption: 30%
Programmierung: 50%
Evaluation: 20%
Untersuchung des NEC Aurora TSUBASA Vektorprozessors
Art der Arbeit:
Master Thesis
Betreuer:
Fey, Dietmar
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: dietmar.fey@fau.de
Beschreibung der Arbeit:
In der Arbeit soll das Performance- und Energieverhalten der neuen NEC Aurora TSUBASA Architektur (https://www.nec.com/en/global/solutions/hpc/sx/vector_engine.html) mit Hilfe verschiedener, zum Teil während der Arbeit entwickelter, Benchmarks untersucht werden.
Empfohlene Vorraussetzungen: Gute Linux- und C-Kenntnisse, Aufbau von Rechnerarchitekturen (z.B. VL GRa oder RA), Erfahrung mit Benchmarking (z.B. RA-RÜ, PTfS, SoCuPra)
Schlagwörter:
Performance, Modeling, NEC, TSUBASA
Peripheral Circuitry Design for ReRAM (Resistive Random Access Memory)
Type of work:
Master’s thesis
Supervisor:
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: johnreuben.prabahar@fau.de
Description of the thesis:
Resistive RAMs are a class of emerging Non-Volatile Memories (NVMs) which store data as resistance. Under voltage/current stress, the resistance can be switched between a Low Resistance State (LRS) and a High Resistance State (HRS) . The word ‘memristor’ is also used by researchers to refer to a ReRAM device since such a device is basically a ‘resistor’ with a ‘memory’. ReRAM devices are arranged in rows and columsn to form memory arrays and CMOS peripheral circuits are needed to read and write into them. ReRAM technology faces some challenges like variability i.e. the resistance to which the device is programmed varies from cycle-to-cycle. This complicates the WRITE and READ process. In this work, peripheral circuits need to be designed for the ReRAM array. This includes design of variability-aware READ and WRITE circuits. Another challenge is the area- the peripheral circuits occupy much area when compared to the area occupied by the memory arrray. Design of compact peripheral circuit (especially Sense amplifier) is a very much needed. Finally, the peripheral circuits must be energy efficient.
Work estimate:
30% Conception
40% Circuit design (Analog and Mixed signal)
40% Simulation in Cadence Virtuoso.
Reference:
- A. Levisse et al., „Write Termination Circuits for RRAM: A Holistic Approach From Technology to Application Considerations,“ in IEEE Access, vol. 8, pp. 109297-109308, 2020,
- X. Zhang, B.-K. An, and T. T.-H. Kim, “A robust time-based multi-level sensing circuit for resistive memory,” IEEE Transactions on Circuits and Systems I: Regular Papers, vol. 70, no. 1, 340–352, 2023.
In-memory Computing in ReRAM (Resistive Random Access Memory)
Type of work: Master‘s thesis
Supervisor:
Lehrstuhl für Informatik 3 (Rechnerarchitektur)
Email: johnreuben.prabahar@fau.de
Description of the thesis:
Resistive RAMs are a class of emerging Non-Volatile Memories (NVMs) which store data as resistance. Under voltage/current stress, the resistance can be switched between a Low Resistance State (LRS) and a High Resistance State (HRS) . The word ‘memristor’ is also used by researchers to refer to a ReRAM device since such a device is basically a ‘resistor’ with a ‘memory’. The memory wall (von Neuman Bottleneck) faced by computer architects necessitated a paradigm shift in the way data is processed. At the moment, there is an increasing trend to move processing to the location of data i.e. in-memory computing. The term ‘in-memory computing’ is used to
refer to any effort to process data at the residence of data (i.e. in the ReRAM array) without moving them to a separate processing unit. Simple tasks like Addition and Matrix Vector multiplication have been performed in memory. In this project, we will try to implement new logic gates (e.g. XOR gate) completely in the memory or partially (a part in memory and a part in the the peripheral circuits of the memory array). Another challenge is that the peripheral circuits needed for Matrix vector multiplication like ADC/DAC occupy huge area when compared the the ReRAM array. Smart design techniques are needed to re-design the peripheral circuits to be suitable for in-memory computing.
Work estimate:
30% Conception
40% Circuit design (Analog and Mixed signal)
40% Simulation in Cadence Virtuoso.
Reference:
- A. Amirsoleimani, F. Alibart, V. Yon, J. Xu, M. R. Pazhouhandeh, S. Ecoffey, Y. Beilliard, R. Genov, and D. Drouin, “In-memory vector-matrix multiplication in monolithic complementary metal–oxide–semiconductor-memristor integrated circuits: Design choices, challenges, and perspectives,” Advanced Intelligent Systems, vol. 2, no. 11, p. 2000115, 2020.
- John Reuben and S. Pechmann, “Accelerated addition in resistive ram array using parallel-friendly majority gates,” IEEETransactions on Very Large Scale Integration (VLSI) Systems, vol. 29, no. 6, pp. 1108–1121, 2021