В настоящее время глубокое обучение как актуальное направление исследований дало плодотворные результаты в области обработки естественного языка, распознавания и генерации графов, например, ChatGPT и Sora. Объединение глубокого обучения с алгоритмами декодирования для канального кодирования также постепенно становится актуальным направлением исследований в области связи. В этой статье мы используем глубокое обучение для улучшения адаптивного алгоритма экспоненциальной минимальной суммы (AEMS) для LDPC-кодов. Во-первых, мы расширяем итеративную процедуру декодирования между контрольными узлами (CNs) и переменными узлами (VNs) в алгоритме декодирования AEMS в сеть распространения с прямой передачей, основанную на графе Таннера, полученном из H-матрицы LDPC-кодов. Во-вторых, для повышения эффективности обучения модели и снижения вычислительной сложности мы присваиваем одинаковый весовой коэффициент всей краевой информации в каждой итерации сети декодирования AEMS, что снижает вычислительную сложность и гарантирует эффективность декодирования, и мы называем ее общей нейронной сетью декодирования AEMS (SNAEMS). Результаты моделирования показывают, что производительность декодирования предложенной сети декодирования SNAEMS превосходит производительность обычного декодера AEMS, а коэффициент усиления кодирования постепенно увеличивается по мере увеличения длины кода. Currently, deep learning, as a hot research direction, has yielded fruitful research results in natural language processing and graph recognition and generation, such as ChatGPT and Sora. Combining deep learning with decoding algorithms for channel coding has also gradually become a research hotspot in the field of communication. In this paper, we use deep learning to improve the adaptive exponential min sum (AEMS) algorithm for LDPC codes. Initially, we extend the iterative decoding procedure between check nodes (CNs) and variable nodes (VNs) in the AEMS decoding algorithm into a feedforward propagation network based on the Tanner graph derived from the H matrix of LDPC codes. Second, in order to improve the model training efficiency and reduce the computational complexity, we assign the same weight factor to all the edge information in each iteration of the AEMS decoding network, which reduces the computational complexity while guaranteeing the decoding performance, and we call it the shared neural AEMS (SNAEMS) decoding network. The simulation results show that the decoding performance of the proposed SNAEMS decoding network outperforms that of the conventional AEMS decoder, and its coding gain is gradually enhanced as the code length increases.
В настоящее время глубокое обучение как актуальное направление исследований дало плодотворные результаты в области обработки естественного языка, распознавания и генерации графов, например, ChatGPT и Sora. Объединение глубокого обучения с алгоритмами декодирования для канального кодирования также постепенно становится актуальным направлением исследований в области связи. В этой статье мы используем глубокое обучение для улучшения адаптивного алгоритма экспоненциальной минимальной суммы (AEMS) для LDPC-кодов. Во-первых, мы расширяем итеративную процедуру декодирования между контрольными узлами (CNs) и переменными узлами (VNs) в алгоритме декодирования AEMS в сеть распространения с прямой передачей, основанную на графе Таннера, полученном из H-матрицы LDPC-кодов. Во-вторых, для повышения эффективности обучения модели и снижения вычислительной сложности мы присваиваем одинаковый весовой коэффициент всей краевой информации в каждой итерации сети декодирования AEMS, что снижает вычислительную сложность и гарантирует эффективность декодирования, и мы называем ее общей нейронной сетью декодирования AEMS (SNAEMS). Результаты моделирования показывают, что производительность декодирования предложенной сети декодирования SNAEMS превосходит производительность обычного декодера AEMS, а коэффициент усиления кодирования постепенно увеличивается по мере увеличения длины кода. Currently, deep learning, as a hot research direction, has yielded fruitful research results in natural language processing and graph recognition and generation, such as ChatGPT and Sora. Combining deep learning with decoding algorithms for channel coding has also gradually become a research hotspot in the field of communication. In this paper, we use deep learning to improve the adaptive exponential min sum (AEMS) algorithm for LDPC codes. Initially, we extend the iterative decoding procedure between check nodes (CNs) and variable nodes (VNs) in the AEMS decoding algorithm into a feedforward propagation network based on the Tanner graph derived from the H matrix of LDPC codes. Second, in order to improve the model training efficiency and reduce the computational complexity, we assign the same weight factor to all the edge information in each iteration of the AEMS decoding network, which reduces the computational complexity while guaranteeing the decoding performance, and we call it the shared neural AEMS (SNAEMS) decoding network. The simulation results show that the decoding performance of the proposed SNAEMS decoding network outperforms that of the conventional AEMS decoder, and its coding gain is gradually enhanced as the code length increases.
В работе рассматривается разработка и адаптация алгоритма обратного распространения ошибки для квантовых нейронных сетей (КНС). Учитываются фундаментальные особенности квантовых вычислений:суперпозиция, запутанность и квантовый параллелизм, что позволяет повысить эффективность обучения КНС по сравнению с классическими нейросетевыми моделями. Изложены принципы построения квантовых нейронных сетей, особенности кодирования данных, методы оптимизации параметров и использования функций потерь в квантовой среде. Обсуждаются перспективы применения предложенного подхода, а также вызовы, связанные с шумами и масштабируемостью в условиях NISQ-устройств. Работа ориентирована на специалистов в области квантовых вычислений и машинного обучения, а также на студентов старших курсов, интересующихся передовыми методами искусственного интеллекта. The paper considers the development and adaptation of the backpropagation algorithm for quantum neural networks (QNN). The fundamental features of quantum computing are considered — superposition, entanglement and quantum parallelism — which allows to increase the efficiency of QNN training compared to classical neural network models. The principles of constructing quantum neural networks, features of data encoding, methods for optimizing parameters and using loss functions in a quantum environment are presented. The prospects for applying the proposed approach, as well as challenges associated with noise and scalability in NISQ devices are discussed. The paper is intended for specialists in the field of quantum computing and machine learning, as well as senior students interested in advanced methods of artificial intelligence.
В работе рассматривается алгоритм обратного распространения ошибки, адаптированного для квантовых нейронных сетей. Основное внимание уделено разработке и модификации традиционного метода обратного распространения ошибки для его применения в условиях квантовой природы данных. Анализируются теоретические аспекты, связанные с квантовыми состояниями,суперпозицией и запутанностью, а также их влияние на эффективность и корректность обучения квантовых сетей. Обоснована актуальность математического алгоритма, включая использование матриц плотности и квантовых операторов для описания и оптимизации параметров сети. Проведено экспериментальное моделирование предложенного подхода на наборах квантовых данных, которое показало высокую точность и стабильность предложенного метода. Обсуждаются ограничения алгоритма, связанные с шумами в квантовых системах и вычислительными затратами при увеличении числа кубитов. Полученные результаты демонстрируют потенциал применения разработанного алгоритма для задач оптимизации и обучения квантовых моделей, что открывает новые перспективы для дальнейшего развития квантового машинного обучения и создания гибридных классико-квантовых алгоритмов. The paper considers the algorithm of error back propagation adapted for quantum neural networks. The main attention is paid to the development and modification of the traditional method of error back propagation for its application in conditions of quantum nature of data. Theoretical aspects related to quantum states, superposition and entanglement, as well as their influence on the efficiency and correctness of training of quantum networks are analyzed. The relevance of the mathematical algorithm,including the use of density matrices and quantum operators to describe and optimize the network parameters, is substantiated. Experimental modeling of the proposed approach on quantum data sets is carried out, which showed high accuracy and stability of the proposed method. The limitations of the algorithm related to noise in quantum systems and computational costs with increasing number of qubits are discussed. The results demonstrate the potential of the developed algorithm for optimization and training of quantum models, which opens new perspectives for further development of quantum machine learning and creation of hybrid classical-quantum algorithms.
This paper presents an optimized min sum (MS) decoding algorithm with low complexity and high decoding performance for LDPC short codes. The MS algorithm has low computational complexity and is simple to deploy. The MS decoding algorithm, while demonstrating a performance gap compared to the belief propagation (BP) and likelihood ratio BP (LLR-BP) decoding algorithms, shows significant potential for optimization. To improve the decoding performance of traditional MS algorithm, secondary external information is introduced into the control node (CNs) update operations of MS algorithm and optimized as adaptive exponential correction factor (AECF). The optimized MS algorithm is named as adaptive exponential exponential MS decoding algorithm (AEMS). The decoding efficiency of the AEMS algorithm for regular, irregular and LDPC codes of the Consultative Committee on Space Data Systems (CCSDS) was extensively tested, then the complexity of the AEMS algorithm was analyzed and compared with other decoding algorithms. The results show that the AEMS algorithm outperforms the offset MS (OMS) and normalized MS (NMS) algorithms in decoding performance, and outperforms the BP algorithm as the signal-to-noise ratio (SNR) gradually increases. В статье представлен оптимизированный алгоритм декодирования минимальной суммы (MS) с низкой сложностью и высокой производительностью декодирования для коротких кодов LDPC. Алгоритм MS имеет низкую вычислительную сложность и прост в развертывании. По сравнению с алгоритмом декодирования распространения убеждения (BP) и отношения правдоподобия BP (LLR-BP) он показывает разрыв в производительности декодирования, но алгоритм декодирования MS имеет высокий потенциал оптимизации. Для улучшения производительности декодирования традиционного алгоритма MS в операции обновления контрольных узлов (CN) алгоритма MS вводится вторичная внешняя информация и оптимизируется как адаптивный экспоненциальный поправочный коэффициент (AECF). Оптимизированный алгоритм MS назван адаптивным экспоненциальным алгоритмом декодирования MS (AEMS). Эффективность декодирования алгоритма AEMS для обычных, нерегулярных и LDPC-кодов консультативного комитета по системам космических данных (CCSDS) была всесторонне протестирована, затем был проведен анализ и сравнение сложности алгоритма AEMS с другими алгоритмами декодирования. Результаты показывают, что алгоритм AEMS превосходит алгоритмы смещенного MS (OMS) и нормализованного MS (NMS) по производительности декодирования, а также превосходит алгоритм BP по мере постепенного увеличения отношения сигнал/шум (SNR).
Актуальность данной работы обусловлена активным использованием классических симуляторов в исследованиях квантовых алгоритмов на фоне отсутствия масштабируемых квантовых процессоров. Несмотря на обширную теоретическую базу алгоритма Гровера, современные исследования указывают на экспоненциальные ограничения симуляции, которые могут нивелировать ожидаемое преимущество по сравнению с классическими алгоритмами поиска. Цель работы – провести экспериментальное сопоставление вычислительных затрат при реализации алгоритма Гровера на классическом симуляторе на языке Q# и классического алгоритма поиска на языке C++.
В статье рассматриваются существующие методы расчета атмосферных потерь в оптическом канале связи, а также новый метод, учитывающий влияние турбулентных ячеек (вихрей) атмосферы различных масштабов. В результате применения новой методики повышается точность расчета атмосферных потерь и, как следствие, точность оценки эффективности спутникового квантового распределения ключей. Сравниваются экспериментальные данные скорости генерации просеянной квантовой ключевой последовательности при нисходящем излучении между спутником и наземной станцией с результатами, полученными при помощи описанной методики оценки потерь, учитывающей влияние вихревой структуры атмосферы. The article discusses existing methods for calculating atmospheric losses, as well as a new approach that takes into account the influence of turbulent cells (vortices) of the atmosphere of various scales on the geometric parameters of the optical beam, allowing us to predict the deviation of optical radiation due to regular and random refraction. As a result, the accuracy of obtaining numerical results for calculating atmospheric losses and, as a consequence, assessing the efficiency of satellite quantum key distribution (QKD) is increased. The experimental data on the generation rate of the sifted quantum key sequence during downward radiation between the satellite and the ground station are compared with the results obtained using the described method of estimating losses, taking into account the influence of the vortex structure.
представлена полностью дифференцируемая архитектура графовой нейронной сети (GNN), предназначенная для задач декодирования каналов связи. Разработанный подход демонстрирует сопоставимую с традиционными методами эффективность декодирования для различных классов корректирующих кодов, включая коды низкой плотности проверки на четность (LDPC) и коды Боуза-Чоудхури-Хоквингема (BCH), при существенном сокращении требуемого количества итераций. Каждая итерация декодирования представлена как слой графовой нейронной сети. Суть метода заключается в замене детерминированных операций передачи сообщений в классических декодерах на адаптивные нейросетевые блоки, которые в процессе обучения самостоятельно выявляют оптимальные правила обработки данных в структуре кодового графа. В отличие от большинства существующих решений на основе глубокого обучения, предложенная архитектура обладает такими преимуществами, как масштабируемость для кодов произвольной длины и отсутствие ограничений, связанных с проблемами размерности. Экспериментальные результаты показывают значительное превосходство предложенной методики для кода BCH (63,45), достигнуто улучшение с максимальным выигрышем в области высоких SNR (4-5 дБ) по сравнению с взвешенным алгоритмом распространения доверия (BP), а для LDPC(128, 64)-кодов стандарта 5G NR преимущество достигает 36-87 %, особенно заметное при SNR > 2 дБ this paper presents a fully differentiable graph neural network (GNN) architecture designed for decoding communication channels. The developed approach demonstrates decoding efficiency comparable to traditional methods for various classes of correction codes, including low-density parity-check code (LDPC) and Bose-Chowdhury-Hockingham (BCH) codes, while significantly reducing the required numberof iterations. Each decoding iteration is represented asa layer of a graph neural network. The essence of the method is to replace deterministic message transmission operations in classical decoders with adaptive neuralnetwork blocks that independently identify optimal data processing rules inthe code graph structureduring the learning process. Unlike most existing deep learning-based solutions,the proposed architecture has advantages such as scalability for arbitrary-length codes and the absence of limitations related to dimension issues. Experimental results showa significant superiority of the proposed methodology for the BCH (63.45) code, an improvement has been achieved with maximum gain inthe area of high SNRs (4-5 dB) compared with the weighted trust propagation algorithm (BP), and for LDPC(128, 64) codesof the 5G NR standard, the advantage reaches 36-87%, especially noticeable with SNR > 2 dB