Ce projet de recherche doctorale est publié a été réalisé par Thomas Hélie

Description d'un projet de recherche doctoral

Élaboration d'un environnement virtuel pour le traitement analogique audio: approche par les Systèmes Hamiltoniens à Ports (Analog Audio Designer)

Mots clés :

Résumé du projet de recherche (Langue 1)

A. Préambule: contexte et approche La synthèse sonore par modélisation physique s'attache à simuler des systèmes producteurs de son, existants ou imaginaires, qui respectent les lois de la physique. Il peut s'agir d'instruments de musique (vibro-aéro-) acoustiques, mais aussi électro-acoustiques ou électroniques. Dans le domaine de l'informatique musicale et des systèmes de traitement du son, des efforts industriels importants sont d’ailleurs développés sur ce sujet depuis plus d’une vingtaine d'années. La raison principale de ces efforts est qu’il est difficile d’atteindre des reproductions virtuelles parfaitement réalistes avec une signature sonore qui réponde aux exigences des compositeurs, musiciens, ingénieurs du son... Ces dispositifs incluent les amplificateurs guitares à lampes [Mac11a], des effets de distorsion, de saturation [YS08], de phaser / flanger [EFHZ14], des processeurs de dynamique (compresseur, limiteur, etc) [Raf12], des réverbérations (électronique, à plaque), échos à bande magnétique, des oscillateurs non linéaires [VH06] et de nombreux modules de synthétiseurs analogiques [Pir13] [Fon06]. Pour traiter la grande quantité des dispositifs, tous spécifiques, disponibles chez les différents constructeurs, il est important de développer une méthode générale. Les reproductions temps réel des systèmes analogiques audio s'appuient sur des simulations de systèmes dynamiques issus de modèles physiques étudiés le plus souvent au cas par cas et qui nécessitent une analyse de stabilité. Les quelques méthodes systématiques disponibles sont par ailleurs restreintes au temps différé, circuits à un seul composant non linéaire (WDF). Une limitation vient également de méconnaissances sur certains composants (lampes triodes, transformateurs [Mac11b] [CPV11], etc) en particulier pour la modélisation fine des non-linéarités. Les Systèmes Hamiltoniens à Ports [VdS06] offrent un cadre privilégié pour traiter toutes ces questions. Ils forment la classe des systèmes dynamiques ouverts passifs, linéaires et non linéaires, multi physiques (mécanique, électronique, chimique, etc), structurés en parties conservatives, dissipatives et externes (via des ports d’interaction) satisfaisant un bilan de puissance [FH13,FH14,FLH14,LH14,FPHL15,HFL15,LHF15]. B. Problème posé, objectifs et résultats attendus: Cette thèse vise à élaborer un ensemble de méthodes mathématiques et informatiques qui permettent de : (1) décrire les systèmes visés de façon fidèle et modulaire, (2) modéliser les systèmes dynamiques en Systèmes Hamiltoniens à Ports (SHP), (3) discrétiser en préservant la structure passive du SHP, (4) générer automatiquement du code de simulation temps réel, (5) estimer les paramètres de composants ou de systèmes entiers. Un objectif pratique est d’aboutir à une plate-forme de conception/simulation. Pour ce faire, la recherche sera conduite comme suit. 1. Description des systèmes. Un premier travail consistera à élaborer un formalisme de description adapté aux SHP permettant de décrire les composants et leur mise en réseau. Un dictionnaire des composants fréquemment rencontrés dans les circuits audio sera constitué sur la base d’un état de l’art et d’études propres (capacité, bobine, résistance, diode, transistor, ampli opérationel, lampes à vide, bandes magnétiques, tête de lecture, pick-up, cellules opto-électroniques…). Les modèles mal connus (physiques ou phénoménologiques) seront validés sur des mesures in-situ. 2. Modélisation en SHP A partir du format de description choisi, on s’attachera à créer les méthodes permettant de convertir de manière automatique les systèmes étudiés vers plusieurs représentations (SHP algébro-différentiels, SHP avec représentation d’état explicite, bond-graphs). A partir de ces représentations, on portera une attention particulière à la mise au point d’un nombre de transformations ayant pour objectifs: l’adimensionnement des quantités, la réduction d’ordre exacte ou approchée, la conversion des variables de flux et d’effort en ondes de puissance, l’ordonnancement des opérations de calcul afin de rendre les simulations calculables et répondre au problème de la réalisabilité. En particulier, on veillera à formaliser ces transformations dans un cadre algébrique. 3. Discrétisation à passivité garantie et simulation temporelle pour le temps réel: De nouveaux intégrateurs et schémas numériques seront proposés sous des formes implicites mais aussi directes (qui ne nécessitent pas de recourir à des solveurs). Dans le cas où les méthodes directes ne sont pas accessibles, on développera des méthodes de résolution à convergence accélérée. De plus, une étude particulière portera sur la réjection du repliement spectral générés par les non-linéarités. L’approche proposée ici reposera par exemple sur: (1) des représentations paramétriques par morceaux des trajectoires à temps continu, contraintes par un ordre de régularité adapté, et (2) un filtrage passe-bas combiné à un échantillonnage de ces trajectoires. Enfin, ce travail intégrera des analyses et optimisation de l’ordre de consistance des schémas numériques, d’erreur d’arrondi et de conditionnement numérique, sous contrainte de préserver la passivité du système original. 4. Génération automatique de code temps-réel : Une étape de génération automatique de code de simulation dans plusieurs langages (C, C++, Faust, Matlab, python, etc) sera proposée, en visant plusieurs architectures cibles (VST, AudioUnit, AAX, etc). Pour réduire la charge de calcul temps-réel, un effort portera sur la réduction d’ordre des modèles, la recherche de structures creuses (hiérarchie en sous-blocs couplés) et des phases de pré-calcul (hors-temps) de certaines opérations (fonctions et look-up tables, inversion de matrices, etc). 5. Analyse, estimation et identification: On développera des méthodes d’estimation/identification qu’on appliquera à des systèmes réels en s’appuyant sur des techniques bayésiennes ou déterministes (analyse par intervalle, par exemple) [WP97,Lju99,DFG01,JK+01,Id13]. Ce travail inclura la mise au point d’une étude de sensibilité aux paramètres et d’une méthode semi-automatique de planification d’expérience. Les méthodes développées seront testées et validées en pratique sur des systèmes connus et maîtrisés. D’une part, les résultats de simulation et les mesures sur systèmes réels seront comparés. D’autre part, pour une sélection de systèmes d’intérêt, on pourra mettre en place des tests psycho-acoustiques. In fine, l’ambition est d’intégrer au maximum l’ensemble des outils développés dans un environnement virtuel combinant “conception” et “reproduction temps-réel”. Bibliographie: détaillée dans les remarques additionnelles ci-dessous.

Résumé du projet de recherche (Langue 2)

Les défis et les retombées concernent la mise au point de nouveaux outils mathématiques et informatiques: * un formalisme algébrique capable de représenter, connecter et manipuler efficacement des systèmes dynamiques non linéaires à temps continu incluant des phénomènes conservatifs, dissipatifs (/irréversibles), avec des ports de connexions externes pour leur pilotage ; * des méthodes numériques pour la simulation combinant : (i) la qualité d’approximation (ordre de consistance), (ii) la passivité et la stabilité (par préservation du bilan de puissance), (iii) la maîtrise du coût de calcul pour le temps réel (par mise au point de méthodes explicites ou de solveurs à convergence accélérée), (iv) la possibilité de générer des signaux sans repliement spectral ; * la génération automatique depuis le format de description choisi vers : le graphe d’interconnexion des composants, le schéma-bloc de réalisation, des équations symboliques à temps continu (1), à temps discret (2), du code de simulation dans divers langages cibles (C, C++, Faust, etc); * la génération semi-automatique de plugins (dans les différents formats) utilisables par les logiciels d’informatique musicale et d’applications autonomes (tablettes, etc) la conception d’un environnement virtuel réaliste combinant “conception” et “reproduction temps-réel”.

Informations complémentaires (Langue 1)

La thématique de ce sujet est développée: en Allemagne (Udo Zölzer, Helmut Schmidt Universitat, Hamburg), en Ecosse (Stefan Bilbao, Acoustics and Audio Group, University of Edinburgh), aux Etats-Unis (Julius Smith, CCRMA, Stanford University), en Finlande (Vesa Välimäki, Dept. of Signal Processing and Acoustics, Aalto University), en Irlande du Nord (Marteen Walstijn, Queen's University, Belfast), en Italie (Federico Fontana, Université d'Udine), etc. Cette thématique intéresse également de nombreuses entreprises internationales.

Informations complémentaires (Langue 2)

Bibliographie: [Bil09] Bilbao Stefan, Numerical Sound Synthesis : Finite Difference Schemes and Simulation in Musical Acoustics, October 2009. [BS04] Bilbao Stefan and Smith J. O. Energy-conserving finite difference schemes for nonlinear strings. Acta Acustica united with Acustica, 91:299-311, 2004 [CH10] Cohen Ivan, Hélie Thomas, Measures and parameter estimation of triodes, for the real-time simulation of a multi-stage guitar preamplifier. 129th convention of Audio Engineering Society. November 2010. [CPV11] Rafael Cauduro Dias de Paiva, Jyri Pakarinen, Vesa Valimäki, and Miikka Tikander, Real-Time Audio Transformer Emulation for Virtual Tube Amplifiers, EURASIP Journal on Advances in Signal Processing Volume 2011. [DFG01] Doucet A., De Freitas N. and Gordon N.J. Sequential Monte Carlo Methods in Practice, Springer-Verlag: New York, 2001. [EFHZ14] Eichas Felix, Fink Marco, Holters Martin, Udo Zölzer. PHYSICAL MODELING OF THE MXR PHASE 90 GUITAR EFFECT PEDAL. Proc. of the 17th Int. Conference on Digital Audio Effects (DAFx-14), Erlangen, Germany, September 1-5, 2014. [FH13] Antoine Falaize-Skrzek and Thomas Hélie. Simulation of an analog circuit of a wah pedal : a port-Hamiltonian approach. In 135th Convention of the Audio Engineering Society, pages 1-9, New-York, EU, 2013. [FH14] Antoine Falaize and Thomas Hélie. Passive simulation of electrodynamic loudspeakers for guitar amplifiers : a port-Hamiltonian approach. In International Symposium on Musical Acoustics, pages 1-5, Le Mans, France, 2014. [FLH14] Antoine Falaize, Nicolas Lopes, Thomas Hélie, Denis Matignon, and Bernhard Maschke. Energy-balanced models for acoustic and audio systems : a port-hamiltonian approach. In Unfold Mechanics for Sounds and Music, pages 1 à 8, Paris, France, 2014. [Fon06] Fontana, Fredrico. Modeling the EMS VCS3 Voltage Controlled Filter as a Nonlinear Filter Network, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 18, No. 4, pp. 760-772. 2006. [FPHL15] Antoine Falaize, Nicolas Papazoglou, Thomas Hélie, and Nicolas Lopes. Compensation of loudspeaker's nonlinearities based on atness and port-hamiltonian approach. In 9ème Congrès Français de Mécanique, pages 110, 2015. [HD09] Hélie Thomas, D’Andréa-Novel Brigitte, Coron Jean-Michel, Observers of a nonlinear neutral system modelling a musical brass instrument. IFAC Workshop on Control of Distributed Parameter Systems. Toulouse, July 2009. [Hel10] Hélie Thomas, Volterra series and state transformation for real-time simulations of audio devices including saturations : application to the Moog ladder filter. IEEE Transactions on Audio, Speech and Language Processing. vol. 18, n° 4, p. 747-759. 2010. [HFL15] Thomas Hélie, Antoine Falaize, and Nicolas Lopes. Systèmes hamiltoniens à ports avec approche par composants pour la simulation à passivité garantie de problèmes conservatifs et dissipatifs. In 12ème Colloque National en Calcul des Structures, pages 1-4. Computational Structural Mechanics Association, 2015. [HR08] Hélie Thomas, Roze David, Sound synthesis of a nonlinear string using Volterra series. Journal of Sound and Vibration, vol. 314, p. 275-306. 2008. [HV08] Hélie Thomas, Vergez Christophe, Des instruments de musique virtuels. Pour la science. Novembre 2008, n° 373, p. 70-77. [HVLR99] Hélie Thomas, Vergez Christophe, Lévine Jean, Rodet Xavier, Inversion of a physical model of a trumpet. IEEE CDC - Conference on Decision and Control. Phoenix Arizona : Décembre 1999, vol. 38.3, p.2593-2598. [Id13] Idier Jérôme. Bayesian Approach to Inverse Problems. Wiley-ISTE, 2013. [JK+01] Jaulin L., Kieffer M., Didrit O. and Walter E. Applied Interval Analysis with Examples in Parameter and State Estimation, Robust Control and Robotics, Springer-Verlag. 2001. [LH14] Nicolas Lopes and Thomas Hélie. A power-balanced model of a valve exciter including shocks and based on a conservative jet for brass instruments : Simulations and comparison with standard models. In International Symposium on Musical Acoustics, pages 1 à 5, Le Mans, France, 2014. [LHF15] Nicolas Lopes, Thomas Hélie, and Antoine Falaize. Explicit second-order accurate method for the passive guaranteed simulation of port-hamiltonian systems. In the 5th IFAC Workshop on Lagrangian and Hamiltonian Methods for Non Linear Control, pages 16. IFAC, 2015. [Lju99] Ljung Lennart. System Identification - Theory For the User. 2nd ed, PTR Prentice Hall, Upper Saddle River, N.J., 1999. [Mac11a] Macak Jaromir, SIMULATION OF A VACUUM-TUBE PUSH-PULL GUITAR POWER AMPLIFIER, Proc. of the 14th International Conference on Digital Audio Effects (DAFx-11), Paris, France, September 19-23, 2011. [Mac11b] Macak Jaromir, Nonlinear transformer simulation for real-time digital audio signal processing, 34th International Conference on Telecommunications and Signal Processing (TSP), 2011 [MHM10] Mignot Remi, Hélie Thomas, Matignon Denis, Digital waveguide modeling for wind instruments : building a state-space representation based on the Webster-Lokshin model. Special Issue on Virtual Analog Audio Effects and Musical Instruments for the IEEE Transactions on Audio, Speech and Language Processing. 2010. [Pir13] Pirkle, Will. “Modeling the Korg35 Highpass and Lowpass Filters.” Presented at the 135th Audio Engineering Society Convention. New York. 2013. [Raf12] Raffensperger Peter, TOWARD A WAVE DIGITAL FILTER MODEL OF THE FAIRCHILD 670 LIMITER, Proc. of the 15th Int. Conference on Digital Audio Effects (DAFx-12), York, UK , September 17-21, 2012. [VdS06] Schaft van der, Arjan. Port-Hamiltonian systems : an introductory survey. In: International Congress of Mathematicians, August 22-30, 2006, Spain. [VH06] Välimäki, Vesa & Huovilainen, Antti. Oscillator and Filter Algorithms for Virtual Analog Synthesis, Computer Music Journal, 30:2, pp 19-31, Massachusetts: MIT Press. 2006. [WP97] Walter Eric, Pronzato Luc. Identification of Parametric Models From Experimental Data. Springer, 1997. [YS08] Yeh David T. and Smith Julius O., SIMULATING GUITAR DISTORTION CIRCUITS USING WAVE DIGITAL AND NONLINEAR STATE-SPACE FORMULATIONS, Proc. of the 11 Int. Conference on Digital Audio Effects (DAFx-08), Espoo, Finland, September 1-4, 2008.