Вверху показаны два варианта гистограмм, полученных после выставления уровней. На верхней гистограмме кривая получилась гладкой, а внизу с выпадением ряда уровней. Отсутствия ряда уровней может объясняться тем, что вы делаете преобразование в 8-ми битном режиме, содержащем всего 256 уровней яркости и при обрезании участков справа и слева кривая растягивается в те же 256 уровней, но информации для получения гладкой кривой при этом недостаточно, так как из меньшего количества точек нельзя получить большее.
Простым выходом из этой ситуации является перевод изображения на время обработки в 16-ти битный режим (Image-Mode-16bits/channel), с последующим возвратом в 8-ми битный(Image-Mode-8bits/channel).
Вообще, если вы хотите получить в результате качественное изображение, то всегда используйте 16-битный режим там где это возможно.

Mатериал подготовлен Александром Победимским.