Stein Unbiased GrAdient estimator of the Risk

Les algorithmes de régularisation variationnelle résolvant des problèmes inverses mal posés impliquent généralement des opérateurs qui dépendent d’un ensemble de paramètres continus. Lorsque ces opérateurs bénéficient d’une certaine régularité (locale), ces paramètres peuvent être sélectionnés en utilisant l’estimateur non-biasé de Stein (SURE). Bien que cette sélection est généralement effectuée par une recherche exhaustive, nous abordons dans ce travail le problème de l’utilisation du SURE pour l’optimisation efficace d’une collection de paramètres continus du modèle. Lorsque l’on considère des regularizations non lisses, comme la norme l1 populaire correspondant au seuillage doux, le SURE est une fonction discontinue de paramètres qui empêchent l’utilisation de techniques d’optimisation de descente de gradient. Au lieu de cela, nous nous concentrons sur une approximation du SURE sur la base de différences finies comme proposé dans (Ramani et al., 2008). Sous des hypothèses modérées sur l’estimateur, nous montrons que cette approximation est une fonction faiblement différentiables des paramètres et que son gradient faible (SUGAR), fournit asymptotiquement (par rapport à la dimension de données) une estimation non biaisée du gradient du risque. En outre, dans le cas particulier de seuillage doux, SUGAR est avéré être aussi un estimateur consistent. Le SUGAR peut alors être utilisé comme une base pour effectuer une optimisation de type quasi-Newton. Le calcul de SUGAR repose sur la forme explicite de la différenciation (faible) de la fonction non-lisse. Nous fournissons son expression pour une large classe de méthodes proximales itératives et appliquons notre stratégie à des régularisations impliquant des pénalités convexes non lisse. Des illustrations sur divers problèmes de restauration d’image et de complétion de matrices sont donnés.

Publications et codes sources associés :

Charles-Alban Deledalle, Samuel Vaiter, Gabriel Peyré and Jalal Fadili
Stein Unbiased GrAdient estimator of the Risk (SUGAR) for multiple parameter selection,
Technical report HAL, hal-00987295 (HAL)

MATLAB source codes available from GitHub.