Tensor Networks in Machine Learning
Adam Kalvoda
Abstract
Tato práce se zabývá tenzorovými sítěmi jakožto účinnými strukturami ke zmírnění prokletí dimenzionality ve strojovém učení (ML). Cílem je poskytnout ucelený teoretický základ pro pochopení tenzorů a tenzorových sítí jak z matematického pohledu, tak z perspektivy strojového učení, a současně předvést praktickou implementaci v programovacím jazyce Julia. Práce začíná zavedením základních operací s tenzory a představením jejich diagramové notace. Následně jsou rozebrány strukturální vlastnosti klíčových dekompozičních formátů tenzorových sítí. Na tomto základu je popsáno několik aplikací v učení s učitelem, se zaměřením na klasifikační úlohy, ve kterých jsou tenzorové sítě využity jako modely. Diskutovány jsou rovněž strategie optimalizace parametrů modelů, přičemž zvláštní pozornost je věnována "sweeping optimization". Na závěr je implementován optimalizační algoritmus "sweeping" pro klasifikační model založený na formátu MPS v Julii. Tento klasifikační model je poté aplikován na dataset Fashion-MNIST, což je následováno komparativním rozborem z hlediska výkonnosti, paměťové náročnosti (počtu parametrů) a výpočetní efektivity vůči tradičním neuronovým sítím.