Archives de catégorie : [:en]model selection[:fr]sélection de modèles

Estimation de coûts au sens de Kullback-Leibler

Nous abordons la question de l’estimation des coûts au sens de Kullback-Leibler comme une alternative aux coûts quadratiques dans les problèmes de reconstruction où le bruit est distribué au sein de la famille exponentielle. Nous identifions les conditions dans lesquelles ces coûts peuvent être estimés sans biais avec avec un biais contrôlée. Des simulations sur des problèmes de sélection de paramètres dans des applications de débruitage d’images avec du bruit Gamma et Poisson illustrent l’intérêt des coûts au sens de Kullback-Leibler et des estimateurs proposés.

Article disponible ici

Sélection de modèle pour l’image

Un point critique des approches en restauration d’images concerne le réglage de leurs paramètres. Lorsque l’on simule des données dégradées à partir d’une image de référence, on peut comparer l’image de référence à celle restaurée par de telles approches, et ainsi sélectionner les paramètres qui offrent la meilleure qualité de restauration. Ce réglage est bien moins évident dans le cas de données réelles pour lesquelles il n’y a pas d’image de référence. Dans le cas de dégradations simples, des outils de statistique permettent d’estimer l’erreur quadratique de restauration quand bien même l’image de référence est inconnue, on parle d’« estimation de risque ». Optimiser cette estimation par rapport aux paramètres de la méthode permet alors d’obtenir une calibration proche de l’optimal. L’estimateur de risque non-biasé de Stein (SURE, Stein 1981) est l’un des exemples les plus connus, appliqué avec succès pour calibrer des méthodes de restauration d’images en présence de bruits gaussiens (par ex., Ramani et al., 2008). Nous nous intéressons dans cet axe au développement d’estimateurs dérivés du SURE pour la calibration des paramètres intervenant dans les méthodes récentes, potentiellement hautement paramétriques, pour la restauration d’images aux dégradations complexes (flou, données manquantes, bruit non-gaussien, non-stationnaire et corrélé).

Voir:
– Stein Unbiased GrAdient estimator of the Risk
– Stein Consistent Risk Estimator for hard thresholding
– Local Behavior of Sparse Analysis Regularization

Stein Unbiased GrAdient estimator of the Risk

Les algorithmes de régularisation variationnelle résolvant des problèmes inverses mal posés impliquent généralement des opérateurs qui dépendent d’un ensemble de paramètres continus. Lorsque ces opérateurs bénéficient d’une certaine régularité (locale), ces paramètres peuvent être sélectionnés en utilisant l’estimateur non-biasé de Stein (SURE). Bien que cette sélection est généralement effectuée par une recherche exhaustive, nous abordons dans ce travail le problème de l’utilisation du SURE pour l’optimisation efficace d’une collection de paramètres continus du modèle. Lorsque l’on considère des regularizations non lisses, comme la norme l1 populaire correspondant au seuillage doux, le SURE est une fonction discontinue de paramètres qui empêchent l’utilisation de techniques d’optimisation de descente de gradient. Au lieu de cela, nous nous concentrons sur une approximation du SURE sur la base de différences finies comme proposé dans (Ramani et al., 2008). Sous des hypothèses modérées sur l’estimateur, nous montrons que cette approximation est une fonction faiblement différentiables des paramètres et que son gradient faible (SUGAR), fournit asymptotiquement (par rapport à la dimension de données) une estimation non biaisée du gradient du risque. En outre, dans le cas particulier de seuillage doux, SUGAR est avéré être aussi un estimateur consistent. Le SUGAR peut alors être utilisé comme une base pour effectuer une optimisation de type quasi-Newton. Le calcul de SUGAR repose sur la forme explicite de la différenciation (faible) de la fonction non-lisse. Nous fournissons son expression pour une large classe de méthodes proximales itératives et appliquons notre stratégie à des régularisations impliquant des pénalités convexes non lisse. Des illustrations sur divers problèmes de restauration d’image et de complétion de matrices sont donnés.

Publications et codes sources associés :

Charles-Alban Deledalle, Samuel Vaiter, Gabriel Peyré and Jalal Fadili
Stein Unbiased GrAdient estimator of the Risk (SUGAR) for multiple parameter selection,
Technical report HAL, hal-00987295 (HAL)

MATLAB source codes available from GitHub.