Bonjour,
Je ne connais pas ce problème, mais lorsque je floute une partie de mon image sur Photoshop, j'utilise plutôt la fonction "Filtre / Bruit / Médiane". Terriblement efficace !
Teste et compare, puis dis-nous ce que ça donne.

Sinon, il faut bien sûr travailler en 16 bits. Ensuite, as-tu tenté une impression pour voir si sur le tirage tu récupères le même problème ?
Je te pose la question car je me demande si ton affichage écran (16,7 millions de couleurs je présume) n'est pas au bord de ses limites. Avec 16,7 millions de couleurs en effet, tu ne peux pas afficher un dégradé du noir au blanc sans avoir un effet d'escalier à l'écran (pour un test :
www.cmp-color.fr/images/10bits/ramp.zip).