Challenges
Datasets
Workspaces
Papers
Discussions
Leaderboard
Log inSign up
Challenges
Datasets
Workspaces
Papers
Discussions
Leaderboard
Blog
Job Board
Q3AS

© 2026 Aqora Quantum S.A.S.

TermsPrivacyLegal Notice

Development and parallel implementation of selected configuration interaction methods

Yann Garniron

Published Feb 6, 2019• 3 citations
Publisher

Abstract

This thesis, whose topic is quantum chemistry algorithms, is made in the context of the change in paradigm that has been going on for the last decade, in which the usual sequential algorithms are progressively replaced by parallel equivalents. Indeed, the increase in processors' frequency is challenged by physical barriers, so increase in computational power is achieved through increasing the number of cores. However, where an increase of frequency mechanically leads to a faster execution of a code, an increase in number of cores may be challenged by algorithmic barriers, which may require adapting of even changing the algorithm. Among methods developed to circumvent this issue, we find in particular Monte-Carlo methods (stochastic methods), which are intrinsically "embarrassingly parallel", meaning they are by design composed of a large number of independent tasks, and thus, particularly well-adapted to massively parallel architectures. In addition, they often are able to yield an approximate result for just a fraction of the cost of the equivalent deterministic, exact computation. During this thesis, massively parallel implementations of some deterministic quantum chemistry algorithms were realized. Those methods are: CIPSI, Davidson diagonalization, computation of second-order perturbation, shifted-Bk, Multi-Reference Coupled-Cluster. For some of these, a stochastic aspect was introduced in order to improve their efficiency. All of them were implemented on a distributed task model, with a central process distributing tasks and collecting results. In other words, slave nodes can be added during the computation from any location reachable through Internet. The efficiency for the implemented algorithms has been studied, and the code could give way to numerous applications, in particular to obtain reference energies for difficult molecular systems.

DOI
10.5281/zenodo.2558126

Related papers

Development and parallel implementation of selected configuration interaction methods

Yann Garniron

Développement et implémentation parallèle de méthodes d'interaction de configurations sélectionnées Cette thèse, ayant pour thème les algorithmes de la chimie quantique, s'inscrit dans le cade du changement de paradigme observé depuis une douzaines d'années, dans lequel les méthodes de calcul séquentielles se doivent d'être progressivement remplacées par des méthodes parallèles. En effet, l'augmentation de la fréquences des processeurs se heurtant à des barrières physiques difficilement franchissables, l'augmentation de la puissance de calcul se fait par l'augmentation du nombre d'unités de calcul. Toutefois, là où une augmentation de la fréquence conduisait mécaniquement à une exécution plus rapide d'un code, l'augmentation du nombre de cœurs peut se heurter à des barrières algorithmiques, qui peuvent nécessiter une adaptation ou un changement d'algorithme. Parmi les méthodes développées afin de contourner ce problème, on trouve en particulier celles de type Monte-Carlo (stochastiques), qui sont intrinsèquement "embarrassingly parallel", c'est à dire qu'elles sont par construction constituées d'une multitudes de tâches indépendantes, et de ce fait particulièrement adaptées aux architectures massivement parallèles. Elles ont également l'avantage, dans de nombreux cas, d'être capables de produire un résultat approché pour une fraction du coût calculatoire de l'équivalent déterministe exacte. Lors de cette thèse, des implémentations massivement parallèles de certains algorithmes déterministes de chimie quantique ont été réalisées. Il s'agit des algorithmes suivants : CIPSI, diagonalisation de Davidson, calcul de la perturbation au second ordre, shifted-Bk, et Coupled Cluster Multi Références. Pour certains, une composante stochastique a été introduite en vue d'améliorer leur efficacité. Toutes ces méthodes ont été implémentées sur un modèle de tâches distribuées en TCP, où un processus central distribue des tâches par le réseau et collecte les résultats. En d'autres termes, des nœuds esclaves peuvent être ajoutés au cours du calcul depuis n'importe quelle machine accessible depuis internet. L'efficacité parallèle des algorithmes implémentés dans cette thèse a été étudiée, et le programme a pu donner lieu à de nombreuses applications, notamment pour permettre d'obtenir des énergies de références pour des systèmes moléculaires difficiles.

•Dec 3, 2018•0 citations

Accelerating and Converging Stochastic Quantum Chemistry

Verena A. Neufeld

In the last decade, stochastic versions of quantum chemistry methods such as coupled cluster Monte Carlo (CCMC) or full configuration interaction quantum Monte Carlo (FCIQMC) have made highly accurate energy calculations possible that are not accessible to the corresponding deterministic methods (full configuration interaction and coupled cluster) at the same accuracy. CCMC and FCIQMC parallelize well and exploit the sparsity in the wavefunction which decreases memory costs and makes calculations in larger systems tractable. With CCMC it is straightforward to set up high order coupled cluster calculations, such as CCSDTQ5, which includes quintuple excitations explicitly. In this thesis, the convergence of the energy accuracy with the coupled cluster levels up to CCSDTQ5 was tested on the uniform electron gas, a model solid system, for various degrees of electron correlation. This gave information on what coupled cluster level is needed to reach sufficient accuracy when modelling a solid system. Before large solid systems can be modelled, the CCMC and FCIQMC algorithms need to be optimised. The efficiency in one of the crucial steps in these algorithms, the $spawn$ step, was improved, keeping computational and memory costs as low as possible. Furthermore, the convergence of CCMC and FCIQMC was accelerated by employing a quasi-Newton propagation. Using the model system information of what coupled cluster level is needed and having made great progress towards accelerating these methods, the computation of highly accurate energies in solid or large molecular systems should be more feasible in the future.

•Dec 20, 2019•0 citations

Linear-scaling and parallelisable algorithms for stochastic quantum chemistry

George H. Booth, Simon D. Smart, Ali Alavi

For many decades, quantum chemical method development has been dominated by algorithms which involve increasingly complex series of tensor contractions over one-electron orbital spaces. Procedures for their derivation and implementation have evolved to require the minimum amount of logic and rely heavily on computationally efficient library-based matrix algebra and optimised paging schemes. In this regard, the recent development of exact stochastic quantum chemical algorithms to reduce computational scaling and memory overhead requires a contrasting algorithmic philosophy, but one which when implemented efficiently can achieve higher accuracy/cost ratios with small random errors. Additionally, they can exploit the continuing trend for massive parallelisation which hinders the progress of deterministic high-level quantum chemical algorithms. In the Quantum Monte Carlo community, stochastic algorithms are ubiquitous but the discrete Fock space of quantum chemical methods is often unfamiliar, and the methods introduce new concepts required for algorithmic efficiency. In this paper, we explore these concepts and detail an algorithm used for Full Configuration Interaction Quantum Monte Carlo (FCIQMC), which is implemented and available in MOLPRO and as a standalone code, and is designed for high-level parallelism and linear-scaling with walker number. Many of the algorithms are also in use in, or can be transferred to, other stochastic quantum chemical methods and implementations. We apply these algorithms to the strongly correlated chromium dimer to demonstrate their efficiency and parallelism.

arXiv:1305.6981•Molecular Physics•Jan 24, 2014•120 citations

Développement et implémentation parallèle de méthodes d'interaction de configurations sélectionnées

Yann Garniron

Cette thèse, ayant pour thème les algorithmes de la chimie quantique, s'inscrit dans le cade du changement de paradigme observé depuis une douzaines d'années, dans lequel les \nméthodes de calcul séquentielles se doivent d'être progressivement remplacées par des méthodes parallèles. En effet, l'augmentation de la fréquences des processeurs se heurtant à des barrières physiques difficilement franchissables, l'augmentation de la puissance de calcul se fait par l'augmentation du nombre d'unités de calcul. \nToutefois, là où une augmentation de la fréquence conduisait mécaniquement à une exécution plus rapide d'un code, l'augmentation du nombre de cœurs peut se heurter à des \nbarrières algorithmiques, qui peuvent nécessiter une adaptation ou un changement d'algorithme. Parmi les méthodes développées afin de contourner ce problème, on trouve en \nparticulier celles de type Monte-Carlo (stochastiques), qui sont intrinsèquement "embarrassingly parallel", c'est à dire qu'elles sont par construction constituées d'une multitudes de tâches indépendantes, et de ce fait particulièrement adaptées aux architectures massivement parallèles. Elles ont également l'avantage, dans de nombreux cas, d'être capables de produire un résultat approché pour une fraction du coût calculatoire de l'équivalent déterministe exacte. Lors de cette thèse, des implémentations massivement parallèles de certains algorithmes déterministes de chimie quantique ont été réalisées. Il s'agit des algorithmes suivants : CIPSI, diagonalisation de Davidson, calcul de la perturbation au second ordre, shifted-Bk, et Coupled Cluster Multi Références. Pour certains, une composante stochastique a été \nintroduite en vue d'améliorer leur efficacité. Toutes ces méthodes ont été implémentées sur un modèle de tâches distribuées en TCP, où un processus central distribue des tâches par le réseau et collecte les résultats. En d'autres termes, des nœuds esclaves peuvent être ajoutés au cours du calcul depuis n'importe quelle machine accessible depuis \ninternet. L'efficacité parallèle des algorithmes implémentés dans cette thèse a été étudiée, et le programme a pu donner lieu à de nombreuses applications, notamment pour permettre d'obtenir des énergies de références pour des systèmes moléculaires difficiles.

•Dec 3, 2018•1 citation

An efficient deterministic perturbation theory for selected configuration interaction methods

Norm M. Tubman, Daniel S. Levine, Diptarka Hait +2 more

The interplay between advances in stochastic and deterministic algorithms has recently led to development of interesting new selected configuration interaction (SCI) methods for solving the many body Schrödinger equation. The performance of these SCI methods can be greatly improved with a second order perturbation theory (PT2) correction, which is often evaluated in a stochastic or hybrid-stochastic manner. In this work, we present a highly efficient, fully deterministic PT2 algorithm for SCI methods and demonstrate that our approach is orders of magnitude faster than recent proposals for stochastic SCI+PT2. We also show that it is important to have a compact reference SCI wave function, in order to obtain optimal SCI+PT2 energies. This indicates that it advantageous to use accurate search algorithms such as 'ASCI search' rather than more approximate approaches. Our deterministic PT2 algorithm is based on sorting techniques that have been developed for modern computing architectures and is inherently straightforward to use on parallel computing architectures. Related architectures such as GPU implementations can be also used to further increase the efficiency. Overall, we demonstrate that the algorithms presented in this work allow for efficient evaluation of trillions of PT2 contributions with modest computing resources.

arXiv:1808.02049•Aug 6, 2018•39 citations

Parallel Implementation of Multireference Coupled Clusters Methods and Calculations on Large Systems

Jiří Brabec

Firstly, we have developed a Tensor Contraction Engine-based implementation of the BW-MRCCSD approach. The scalability tests have been performed across thousand of cores. We have further developed a novel two-level parallel algorithm for Hilbert-space MRCC methods which uses the processor groups. In this approach, references are distributed among processor groups (reference-level parallelism) and tasks of each reference are distributed inside of a given processor group (task-level parallelism). We have shown that our implementation scales across 24000 cores. The usability of our code was demonstrated on larger systems (dodecane, polycarbenes and naphthyne isomers). Finally, we present novel universal state- selective (USS) corrections to the state-specific MRCC methods. The USS-corrected MRCC results were compared with the full configuration interaction (FCI) results.

•Aug 31, 2012•0 citations
This thesis, whose topic is quantum chemistry algorithms, is made in the context of the change in paradigm that has been going on for the last decade, in which the usual sequential algorithms are progressively replaced by parallel equivalents. Indeed, the increase in processors' frequency is challenged by physical barriers, so increase in computational power is achieved through increasing the number of cores. However, where an increase of frequency mechanically leads to a faster execution of a code, an increase in number of cores may be challenged by algorithmic barriers, which may require adapting of even changing the algorithm. Among methods developed to circumvent this issue, we find in particular Monte-Carlo methods (stochastic methods), which are intrinsically "embarrassingly parallel", meaning they are by design composed of a large number of independent tasks, and thus, particularly well-adapted to massively parallel architectures. In addition, they often are able to yield an approximate result for just a fraction of the cost of the equivalent deterministic, exact computation. During this thesis, massively parallel implementations of some deterministic quantum chemistry algorithms were realized. Those methods are: CIPSI, Davidson diagonalization, computation of second-order perturbation, shifted-Bk, Multi-Reference Coupled-Cluster. For some of these, a stochastic aspect was introduced in order to improve their efficiency. All of them were implemented on a distributed task model, with a central process distributing tasks and collecting results. In other words, slave nodes can be added during the computation from any location reachable through Internet. The efficiency for the implemented algorithms has been studied, and the code could give way to numerous applications, in particular to obtain reference energies for difficult molecular systems.
Développement et implémentation parallèle de méthodes d'interaction de configurations sélectionnées Cette thèse, ayant pour thème les algorithmes de la chimie quantique, s'inscrit dans le cade du changement de paradigme observé depuis une douzaines d'années, dans lequel les méthodes de calcul séquentielles se doivent d'être progressivement remplacées par des méthodes parallèles. En effet, l'augmentation de la fréquences des processeurs se heurtant à des barrières physiques difficilement franchissables, l'augmentation de la puissance de calcul se fait par l'augmentation du nombre d'unités de calcul. Toutefois, là où une augmentation de la fréquence conduisait mécaniquement à une exécution plus rapide d'un code, l'augmentation du nombre de cœurs peut se heurter à des barrières algorithmiques, qui peuvent nécessiter une adaptation ou un changement d'algorithme. Parmi les méthodes développées afin de contourner ce problème, on trouve en particulier celles de type Monte-Carlo (stochastiques), qui sont intrinsèquement "embarrassingly parallel", c'est à dire qu'elles sont par construction constituées d'une multitudes de tâches indépendantes, et de ce fait particulièrement adaptées aux architectures massivement parallèles. Elles ont également l'avantage, dans de nombreux cas, d'être capables de produire un résultat approché pour une fraction du coût calculatoire de l'équivalent déterministe exacte. Lors de cette thèse, des implémentations massivement parallèles de certains algorithmes déterministes de chimie quantique ont été réalisées. Il s'agit des algorithmes suivants : CIPSI, diagonalisation de Davidson, calcul de la perturbation au second ordre, shifted-Bk, et Coupled Cluster Multi Références. Pour certains, une composante stochastique a été introduite en vue d'améliorer leur efficacité. Toutes ces méthodes ont été implémentées sur un modèle de tâches distribuées en TCP, où un processus central distribue des tâches par le réseau et collecte les résultats. En d'autres termes, des nœuds esclaves peuvent être ajoutés au cours du calcul depuis n'importe quelle machine accessible depuis internet. L'efficacité parallèle des algorithmes implémentés dans cette thèse a été étudiée, et le programme a pu donner lieu à de nombreuses applications, notamment pour permettre d'obtenir des énergies de références pour des systèmes moléculaires difficiles.
In the last decade, stochastic versions of quantum chemistry methods such as coupled cluster Monte Carlo (CCMC) or full configuration interaction quantum Monte Carlo (FCIQMC) have made highly accurate energy calculations possible that are not accessible to the corresponding deterministic methods (full configuration interaction and coupled cluster) at the same accuracy. CCMC and FCIQMC parallelize well and exploit the sparsity in the wavefunction which decreases memory costs and makes calculations in larger systems tractable. With CCMC it is straightforward to set up high order coupled cluster calculations, such as CCSDTQ5, which includes quintuple excitations explicitly. In this thesis, the convergence of the energy accuracy with the coupled cluster levels up to CCSDTQ5 was tested on the uniform electron gas, a model solid system, for various degrees of electron correlation. This gave information on what coupled cluster level is needed to reach sufficient accuracy when modelling a solid system. Before large solid systems can be modelled, the CCMC and FCIQMC algorithms need to be optimised. The efficiency in one of the crucial steps in these algorithms, the spawnspawnspawn step, was improved, keeping computational and memory costs as low as possible. Furthermore, the convergence of CCMC and FCIQMC was accelerated by employing a quasi-Newton propagation. Using the model system information of what coupled cluster level is needed and having made great progress towards accelerating these methods, the computation of highly accurate energies in solid or large molecular systems should be more feasible in the future.
For many decades, quantum chemical method development has been dominated by algorithms which involve increasingly complex series of tensor contractions over one-electron orbital spaces. Procedures for their derivation and implementation have evolved to require the minimum amount of logic and rely heavily on computationally efficient library-based matrix algebra and optimised paging schemes. In this regard, the recent development of exact stochastic quantum chemical algorithms to reduce computational scaling and memory overhead requires a contrasting algorithmic philosophy, but one which when implemented efficiently can achieve higher accuracy/cost ratios with small random errors. Additionally, they can exploit the continuing trend for massive parallelisation which hinders the progress of deterministic high-level quantum chemical algorithms. In the Quantum Monte Carlo community, stochastic algorithms are ubiquitous but the discrete Fock space of quantum chemical methods is often unfamiliar, and the methods introduce new concepts required for algorithmic efficiency. In this paper, we explore these concepts and detail an algorithm used for Full Configuration Interaction Quantum Monte Carlo (FCIQMC), which is implemented and available in MOLPRO and as a standalone code, and is designed for high-level parallelism and linear-scaling with walker number. Many of the algorithms are also in use in, or can be transferred to, other stochastic quantum chemical methods and implementations. We apply these algorithms to the strongly correlated chromium dimer to demonstrate their efficiency and parallelism.
Cette thèse, ayant pour thème les algorithmes de la chimie quantique, s'inscrit dans le cade du changement de paradigme observé depuis une douzaines d'années, dans lequel les \nméthodes de calcul séquentielles se doivent d'être progressivement remplacées par des méthodes parallèles. En effet, l'augmentation de la fréquences des processeurs se heurtant à des barrières physiques difficilement franchissables, l'augmentation de la puissance de calcul se fait par l'augmentation du nombre d'unités de calcul. \nToutefois, là où une augmentation de la fréquence conduisait mécaniquement à une exécution plus rapide d'un code, l'augmentation du nombre de cœurs peut se heurter à des \nbarrières algorithmiques, qui peuvent nécessiter une adaptation ou un changement d'algorithme. Parmi les méthodes développées afin de contourner ce problème, on trouve en \nparticulier celles de type Monte-Carlo (stochastiques), qui sont intrinsèquement "embarrassingly parallel", c'est à dire qu'elles sont par construction constituées d'une multitudes de tâches indépendantes, et de ce fait particulièrement adaptées aux architectures massivement parallèles. Elles ont également l'avantage, dans de nombreux cas, d'être capables de produire un résultat approché pour une fraction du coût calculatoire de l'équivalent déterministe exacte. Lors de cette thèse, des implémentations massivement parallèles de certains algorithmes déterministes de chimie quantique ont été réalisées. Il s'agit des algorithmes suivants : CIPSI, diagonalisation de Davidson, calcul de la perturbation au second ordre, shifted-Bk, et Coupled Cluster Multi Références. Pour certains, une composante stochastique a été \nintroduite en vue d'améliorer leur efficacité. Toutes ces méthodes ont été implémentées sur un modèle de tâches distribuées en TCP, où un processus central distribue des tâches par le réseau et collecte les résultats. En d'autres termes, des nœuds esclaves peuvent être ajoutés au cours du calcul depuis n'importe quelle machine accessible depuis \ninternet. L'efficacité parallèle des algorithmes implémentés dans cette thèse a été étudiée, et le programme a pu donner lieu à de nombreuses applications, notamment pour permettre d'obtenir des énergies de références pour des systèmes moléculaires difficiles.
The interplay between advances in stochastic and deterministic algorithms has recently led to development of interesting new selected configuration interaction (SCI) methods for solving the many body Schrödinger equation. The performance of these SCI methods can be greatly improved with a second order perturbation theory (PT2) correction, which is often evaluated in a stochastic or hybrid-stochastic manner. In this work, we present a highly efficient, fully deterministic PT2 algorithm for SCI methods and demonstrate that our approach is orders of magnitude faster than recent proposals for stochastic SCI+PT2. We also show that it is important to have a compact reference SCI wave function, in order to obtain optimal SCI+PT2 energies. This indicates that it advantageous to use accurate search algorithms such as 'ASCI search' rather than more approximate approaches. Our deterministic PT2 algorithm is based on sorting techniques that have been developed for modern computing architectures and is inherently straightforward to use on parallel computing architectures. Related architectures such as GPU implementations can be also used to further increase the efficiency. Overall, we demonstrate that the algorithms presented in this work allow for efficient evaluation of trillions of PT2 contributions with modest computing resources.
Firstly, we have developed a Tensor Contraction Engine-based implementation of the BW-MRCCSD approach. The scalability tests have been performed across thousand of cores. We have further developed a novel two-level parallel algorithm for Hilbert-space MRCC methods which uses the processor groups. In this approach, references are distributed among processor groups (reference-level parallelism) and tasks of each reference are distributed inside of a given processor group (task-level parallelism). We have shown that our implementation scales across 24000 cores. The usability of our code was demonstrated on larger systems (dodecane, polycarbenes and naphthyne isomers). Finally, we present novel universal state- selective (USS) corrections to the state-specific MRCC methods. The USS-corrected MRCC results were compared with the full configuration interaction (FCI) results.