Quantum-Inspired Spectral Attention: A Density Matrix Formulation for Transformer Diagnostics and the Heutschi Density Matrix Attention (H-DMAtt) Quanteninspirierte Zustandsräume und spektrale Diagnostik als rigorose Erweiterung der Transformer-Architektur Dr. Theodor Heutschi Date: August 2026 Abstract Self-attention in Transformer models is traditionally understood as a normalised scalar product. This paper presents a mathematically rigorous, quantum-inspired reformulation as a density matrix in the token Hilbert space. In contrast to earlier approaches, it is shown that a naïve symmetrisation of the attention matrix generally does not yield a valid density matrix. As a solution, we introduce a construction based on state amplitudes that is guaranteed to be Hermitian, positive semi-definite and trace-normalised. Building on this, we define the Heutschi Density Matrix Attention (H-DMAtt) - an architectural module that utilises complex-valued state vectors. At runtime, the module computes the von Neumann entropy S(ρ) and the effective dimension D_𝑒𝑓𝑓. We present a controlled benchmark protocol with proof-of-concept results. The work explicitly emphasises the analogical nature of the quantum concepts. Abstract Die Self-Attention in Transformer-Modellen wird traditionell als normalisiertes Skalarprodukt verstanden. Die vorliegende Arbeit stellt eine mathematisch rigorose, quanteninspirierte Reformulierung als Dichtematrix im Token-Hilbertraum vor. Im Gegensatz zu früheren Ansätzen wird gezeigt, dass eine naive Symmetrisierung der Attention-Matrix im Allgemeinen keine gültige Dichtematrix liefert. Als Lösung führen wir eine Konstruktion über Zustandsamplituden ein, die garantiert hermitesch, positiv semi-definit und spurnormalisiert ist. Aufbauend darauf definieren wir die Heutschi Density Matrix Attention (H-DMAtt) - ein Architekturmodul, das komplexwertige Zustandsvektoren nutzt. Zur Laufzeit berechnet das Modul die Von-Neumann-Entropie S(ρ) und die effektive Dimension D_𝑒𝑓𝑓 Wir präsentieren ein kontrolliertes Benchmark-Protokoll mit Proof-ofConcept-Ergebnissen. Die Arbeit betont ausdrücklich den analogischen Charakter der Quantenbegriffe.
Quantum-Inspired Spectral Attention: A Density Matrix Formulation for Transformer Diagnostics and the Heutschi Density Matrix Attention (H-DMAtt) Quanteninspirierte Zustandsräume und spektrale Diagnostik als rigorose Erweiterung der Transformer-Architektur Dr. Theodor Heutschi Date: August 2026 Abstract Self-attention in Transformer models is traditionally understood as a normalised scalar product. This paper presents a mathematically rigorous, quantum-inspired reformulation as a density matrix in the token Hilbert space. In contrast to earlier approaches, it is shown that a naïve symmetrisation of the attention matrix generally does not yield a valid density matrix. As a solution, we introduce a construction based on state amplitudes that is guaranteed to be Hermitian, positive semi-definite and trace-normalised. Building on this, we define the Heutschi Density Matrix Attention (H-DMAtt) - an architectural module that utilises complex-valued state vectors. At runtime, the module computes the von Neumann entropy S(ρ) and the effective dimension D_𝑒𝑓𝑓. We present a controlled benchmark protocol with proof-of-concept results. The work explicitly emphasises the analogical nature of the quantum concepts. Abstract Die Self-Attention in Transformer-Modellen wird traditionell als normalisiertes Skalarprodukt verstanden. Die vorliegende Arbeit stellt eine mathematisch rigorose, quanteninspirierte Reformulierung als Dichtematrix im Token-Hilbertraum vor. Im Gegensatz zu früheren Ansätzen wird gezeigt, dass eine naive Symmetrisierung der Attention-Matrix im Allgemeinen keine gültige Dichtematrix liefert. Als Lösung führen wir eine Konstruktion über Zustandsamplituden ein, die garantiert hermitesch, positiv semi-definit und spurnormalisiert ist. Aufbauend darauf definieren wir die Heutschi Density Matrix Attention (H-DMAtt) - ein Architekturmodul, das komplexwertige Zustandsvektoren nutzt. Zur Laufzeit berechnet das Modul die Von-Neumann-Entropie S(ρ) und die effektive Dimension D_𝑒𝑓𝑓 Wir präsentieren ein kontrolliertes Benchmark-Protokoll mit Proof-ofConcept-Ergebnissen. Die Arbeit betont ausdrücklich den analogischen Charakter der Quantenbegriffe.
ZUSAMMENFASSUNG (deutsch) Diese Arbeit stellt ein neuartiges Klassifikationsmodell für Quantenzustände vor, das auf einer hierarchischen Expansion räumlicher Koordinaten basiert und als "Binary Cascade of Entities" bezeichnet wird. Im Gegensatz zur traditionellen Auffassung des Spins als abstrakte intrinsische Rotation interpretiert das Modell Spin-Zustände als direkte Folge der Kopplung quantischer Entitäten an höhere räumliche Dimensionen (0D bis 6D). Durch die Einführung eines systematischen binären Vorzeichencodes (+/–) wird eine 64 Zustände-Matrix der Ebene F konstruiert, die eine vollständige und deterministische Abbildung des Hilbertraums für Mehrteilchensysteme ermöglicht. Das Modell zeigt, dass jeder bekannte Quantenzustand – von elementaren Leptonen (1D) und Baryonen (3D) bis hin zu exotischen Pentaquarks (5D) – eine spezifische geometrische Position innerhalb dieses dimensionalen Rahmens einnimmt. Dieser Ansatz bietet eine strukturell geschlossene Alternative zu statistischen Beschreibungen der Quantenmechanik und eröffnet eine neue geometrische Grundlage für die Wechselwirkung zwischen Materie und der vierten räumlichen Dimension. Bei Kollisionsexperimenten ist zu erwarten, dass Hexaquark-Resonanzen genau in jenen Konfigurationen stabil detektiert werden die diesen hochsymmetrischen Adressen in der 8x8-Matrix entsprechen. ZUSAMMENFASSUNG (englisch) Dieses Papier präsentiert ein neuartiges Klassifikationsmodell für Quantenzustände, das auf der hierarchischen Expansion räumlicher Koordinaten basiert und als "Binary Cascade of Entities" bezeichnet wird. Abweichend von der traditionellen Auffassung von Spin als abstrakte intrinsische Rotation interpretiert dieses Modell Spin-Zustände als direkte Folge der Kopplung von Quantenentitäten zu höheren räumlichen Dimensionen (0D bis 6D). Durch die Einführung eines systematischen binären Vorzeichencodes (+/-) wird eine 64-Zustands-Matrix (Stufe F) konstruiert, die eine vollständige und deterministische Abbildung des Hilbertraums für Mehrteilchensysteme liefert. Das Modell zeigt, dass jeder bekannte Quantenzustand, von elementaren Leptonen (1D) und Baryonen (3D) bis hin zu exotischen Pentaquarken (5D), innerhalb dieses dimensionalen Rahmens eine spezifische geometrische Position einnimmt. Dieser Ansatz bietet eine strukturell vollständige Alternative zu statistischen Quantenbeschreibungen und stellt eine neue geometrische Grundlage für die Wechselwirkung zwischen Materie und der vierten räumlichen Dimension dar. In Kollisionsexperimenten wird erwartet, dass Hexaquark-Resonanzen stabil genau in jenen Konfigurationen detektiert werden, die den hochsymmetrischen Adressen innerhalb der 8×8-Matrix entsprechen.
Die Dichtematrix-Renormierung ist eine neue numerische Methode, die es erlaubt, die Grundzustandseigenschaften (sowohl die Energien als auch die Eigenfunktionen) von eindimensionalen Quantenspinsystemen großer Länge (einhundert Plätze und mehr) mit herausragender Genauigkeit (bis zu zehn Dezimalstellen) zu berechnen. Dabei verwendet man die reduzierte Dichtematrix eines Teils des Systems zur Konstruktion eines eingeschränkten Hilbert-Raumes. Die Methode wurde bisher hauptsächlich auf echte Quantensysteme, d.h. Systeme, die durch hermitesche Zeitentwicklungsoperatoren beschrieben werden, angewandt. In der vorliegenden Arbeit wurden mit ihrer Hilfe nichthermitesche Probleme untersucht und die Anwendbarkeit der Methode gezeigt. Es konnten erstmalig die verallgemeinertern Korrelationsfunktionen einer nichthermitschen Erweiterung der antiferromagnetischen Heisenberg-Kette für große Kettenlängen und daraus die kritischen Exponenten bestimmt werden. Darüber hinaus wurde die Dichtematrix-Renormierung auf Hüpfmodelle mit stochastischen Zeitentwicklungsoperatoren angewandt und speziell der Zusammenhang des Eigenwertspektrums der reduzierten Dichtematrix mit der Struktur des Grundzustandes diskutiert. Ein weiterer Aspekt, auf den eingegangen wird, ist der Ursprung des Eigenwertspektrums der Dichtematrix, das für die Genauigkeit des Verfahrens entscheidend ist.
Eine der größten Herausforderungen der angewandten Quanteninformatik ist die Suche nach einem praxisrelevanten Quantenvorteil auf aktueller, rauschbehafteter Quantenhardware. Obwohl es sowohl empirische als auch theoretische Nachweise für bis zu exponentielle Quantenbeschleunigungen gibt, sind die betrachteten Probleme überwiegend akademischer Natur und hängen von spezifischen mathematischen Eigenschaften ab. Dies erschwert die praktische Anwendbarkeit erheblich, da bei realen Anwendungsfällen im Allgemeinen nicht davon ausgegangen werden kann, dass diese komplexe mathematische Voraussetzungen erfüllen. Vor diesem Hintergrund untersucht diese Arbeit, wie etablierte Quantenvorteile auf praxisrelevante Probleme in den Bereichen KI und Optimierung ausgeweitet werden können. Für die zwei praxisrelevanten Optimierungsprobleme des Turbinenauswuchtens und der Community-Erkennung zeigen wir, wie sich Quantenoptimierungsalgorithmen mithilfe neuartiger, speichereffizienter Lösungskodierungen effizient einsetzen lassen. Weiter zeigen wir für die KI-Anwendungen der Betrugserkennung, der Designraumexploration und der Stimmungserkennung, dass Quantenalgorithmen in einigen Fällen bessere Ergebnisse als ihre klassischen Gegenstücke erzielen können. Darüber hinaus stellen wir verschiedene Verbesserungen der praktischen Anwendbarkeit häufig eingesetzter Quantenoptimierungs- und Quanten-Machine-Learning-Algorithmen mit Fokus auf rauschbehaftete Hardware vor. Zunächst präsentieren wir eine polynomielle Problemformulierung für kontinuierliche Optimierungsprobleme hohen Grades, die die vollen Möglichkeiten des weit verbreiteten Quantum Approximate Optimization Algorithm (QAOA) ausschöpft. Anschließend stellen wir ein problemagnostisches Designkonzept für parametrisierte Quantenschaltkreise vor, das besonders parametereffizient ist und dadurch Beschleunigungen beim Parametertraining ermöglicht. Für nicht-lokale Problemstellungen führen wir eine effiziente Trainingsmethode für entsprechend parametrisierte Quantenalgorithmen ein, die Informationen über die Verlustfunktion ausnutzt. Abschließend präsentieren wir eine NISQ-optimierte Implementierung der weitreichend eingesetzten Umwandlung von digitaler in analoge Quantenkodierung, sowie einen sehr effizienten GPU-basierten QAOA Simulator, der großskalige Benchmarks in Bezug auf einen Quantenvorteil ermöglicht. Zusammenfassend treibt die Vielzahl und Tiefe der in dieser Arbeit vorgestellten Ansätze zahlreiche Wege hin zu einem praxisrelevanten Quantenvorteil für Optimierung und Künstliche Intelligenz signifikant voran.
Das Ziel dieser Doktorarbeit ist die Untersuchung der unbestimmten Kausalstrukturen, die mit der Quantenmechanik kompatibel sind, mithilfe eines auf Quanteninformation basierendem Ansatzes. Es ist zu erwarten, dass in Bereichen wo Quantenmechanik und die allgemeine Relativitatstheorie relevant sind, die kausale Beziehung zwischen Ereignisse unbestimmt wird. Ein Beispiel fur solch unbestimmte Kausalstrukturen ist der sogenannte gravitative Quantenswitch, wo die kausale Abfolge zweier Ereignisse durch die raumliche superposition eines massiven Gegenstandes kontrolliert wird. Der Prozessmatrizenformalismus ist ein allgemeines Modell zur Beschreibung von Situationen, in denen die kausale Ordnung zwischen Quantenereignisse unbestimmt ist. Dieser Formalismus enthalt Prozesse, die bisher keine physikalische Interpretation haben und die, wenn sie existierten, sogenannte kausale Ungleichungen verletzen konnten.
Ein Aspekt dieser Arbeit ist die Untersuchung der informationstheorischen Eigenschaften von Prozessen mit unbestimmter Kausalitat, vor allem der Quantenkontrolle von kausaler Ordnung — wie es beim Quantenswitch der Fall ist. Wir zeigen wie, im Kontex von verteilter Berechnung, der Quantenswitch Vorteile im Vergleich zu einfachgerichteter Quantenkommunikation mit bestimmter kausaler Ordnung erbringen kann.
Genauer gesagt, wir definieren eine dreigeteilte Kommunikationsaufgabe fur welche die Quantenswitch exponentielle Reduktion an benotigten Qubits aufweist. Auserdem untersuchen wir Behauptungen, dass der Quantenswitch verbesserte Kommunikation durch verrauschten Kanalen ermoglicht. Wir stellen fest, dass diese Verbesserung jedoch nicht auf die unbestimmte kausale Ordnung zuruckzufuhren ist, sondern auf die Fahigkeit die Anwendung der Kanale koharent zu kontrollieren.
Der zweite Teil dieser Arbeit befasst sich mit der Frage nach der Realisierbarkeit von Prozessen mit unbestimmter Kausalitat. Angetrieben durch den Mangel an physikalischer Interpretation fur viele interessante Prozesse, entwickeln wir das Konzept des kausalen Bezugsystems. Dadurch konnen wir eine bestimmte Klasse von Prozessen — reine Prozesse — vom Standpunk eines der beteiligten Beobachter beschreiben. Dabei stellt sich heraus, dass fur einen in Ereignis A lokalisierten Beobachter, das Ereignis eines anderen Beobachters B generell zeitlich delokalisiert erscheint. Wir untersuchen die kausalen Bezugsysteme interessanter Prozessen mit unbestimmten Kausalstruktur, und machen dadurch einige Fortschritte auf dem Wege zum Verstandnis vom Unterschied zwischen solchen Prozessen und dem besser verstandenen Quantenswitch. Ein letzter Aspekt, den wir in dieser Arbeit betrachten, ist wie man aus bekannten Prozessen neuen machen kann — Kompositionsregeln. Wir beweisen, dass es keine parallele Kompositionsregel fur allgemeine Prozessmatrizen gibt, die einige vernunftig anmutende Axiome erfullt.
Diese Masterarbeit beschäftigt sich mit dem Thema Quantencomputing. Quantencomputing gewinnt zunehmend an Bedeutung, da Quantencomputer ein schnell wachsendes technologisches Potenzial haben, um komplexe technische Probleme schneller als herkömmliche Computer zu lösen. Das erste Ziel dieser Arbeit ist es, die grundlegenden Konstrukte der linearen Algebra einzuführen, die das mathematische Werkzeug zur Beschreibung von Zuständen, Operationen und Transformationen im Quantencomputing ist. Diese mathematischen Konstrukte werden dann mit diesem Gebiet verknüpft. Darüber hinaus wird das von International Business Machines Corporation(IBM) Qiskit Python Framework als Basis für die Konstruktion von Quantenschaltungen verwendet. Dieses Framework bietet einen praktisch veranlagten Einstieg in das Quantencomputing und wird des weiteren auf seine Funktionalität hin betrachtet. Auf diese Weise werden die wesentlichen Konstrukte des Quantencomputing wie Superposition und Verschränkung veranschaulicht. Das Hauptziel dieser Arbeit ist es, eine Analyse der Quanten-Fouriertransformation(QFT) mit Hilfe des Qiskit Frameworks vorzunehmen. Es werden die Analogien zur konventionellen Diskreten Fouriertransformation(DFT) in der digitalen Signalverarbeitung aufgezeigt. Durch Anwendung der QFT wurden einfache sinusförmige Signale in ihre Frequenzkomponenten zerlegt und es wird gezeigt, dass ein ähnliches Ergebnis wie bei der DFT bzw. der schnellen Fouriertransformation(FFT) erzielt wurde.
Im letzten Jahrzehnt haben wissenschaftliche Fortschritte in Bereichen wie Quantensimulation, Quantenkommunikation, Quantensensorik und Quantencomputing zu stark steigendem Interesse an der Kommerzialisierung von Quantentechnologien geführt. Die vorgeschlagenen Anwendungen von Quantentechnologien sind vielfältig und reichen von abhörsicheren Kommunikation-Protokollen, über die Entwicklung neuartiger Materialien, bis hin zur Lösung komplexer Optimierungsprobleme. Ein entscheidender Faktor für die Weiterentwicklung von Quantentechnologien ist die präzise Charakterisierung und Kontrolle der Quanten Vielteilchensysteme, die einem gegebenen Quantengerät zugrunde liegen. Hierbei umfasst der Prozess der Charakterisierung sowohl die Verifikation der korrekten Funktionsweise des Gerätes als auch das Identifizieren der dominierenden Fehlerquellen. Kontrolle bezieht sich hingegen auf Strategien die die Durchführung von präzisen Quantenoperationen trotz fehlerbehafteter Hardware und unkontrollierter Umgebungseinflüsse ermöglichen. In der Praxis stellt man fest, dass Charakterisierung und Kontrolle eng miteinander verbunden sind, wobei eine genauere Charakterisierung eine bessere Kontrolle ermöglicht und umgekehrt. Beispielsweise ermöglicht die aus der Charakterisierung gewonnene Information die Implementierung von speziell zugeschnittenen Protokollen zur Fehler-Unterdrückung. Andererseits sind präzise Quantenoperationen eine Voraussetzung für die Implementierung fortschrittlicher Charakterisierungsprotokolle. Die in dieser Dissertation vorgestellten wissenschaftlichen Veröffentlichungen leisten Beiträge zur Charakterisierung sowie zur Kontrolle von Quanten Vielteilchensystemen. In diesem Kontext beschäftigen sich Arbeiten [2,3] auf die Charakterisierung digitaler Quantensimulatoren. Dazu stellt Arbeit [2] eine Methode vor, um den effektiv implementierten Hamiltonian in einem digitalen Quantensimulations Experiment als Funktion der Größe des gewählten Zeitschritts der Trotter-Suzuki-Zerlegung zu lernen. Darüber hinausgehend nutzt Arbeit [3] diese Lernmethode, um den Zusammenbruch digitaler Quantensimulations Protokolle bei großen Zeitschritten zu untersuchen. Insbesondere zeigt sich, dass dieser Zusammenbruch mit einem plötzlichen Übergang von regulärer zu chaotischer Dynamik im zugrundeliegenden Quanten Vielteilchensystem verbunden ist. Ergänzend dazu konzentriert sich Arbeit [4] mit der Charakterisierung schwach dissipativer Quanten Vielteilchensysteme, wie sie typischerweise im Kontext von analogen Quantensimulations Experimenten realisiert werden. Schließlich konzentriert sich Arbeit [1] auf die Kontrolle von Quanten Vielteilchensystemen im Kontext von Quantencomputing mit gefangenen Ionen. Genauer wird hier eine Methode zur Implementierung von stark parallelisierten, hoch-präzisen Verschränkungs-Gattern in eindimensionalen Ionenketten vorgestellt, die insbesondere auch in Systemen mit vielen Ionen anwendbar ist.