долгий вариант, но действенный. подготавливаем изображение:
>
ТЫК<
затем находим на левой панели с инструментами этот:
>
ТЫК<
и обязательно смотрим, чтобы наверху было поставлено так:
>
ТЫК<
и выделяем наше изображение (радиус 20 px):
>
ТЫК<
попутно создаем новый документ (с прозрачным фоном!!), желательно большого размера (1024х768), перетаскиваем стрелочкой

наше изображение на новый документ (на начальном слое Layer 1 я нарисовал красное, чтобы убедиться, что края округлые):
>
ТЫК<
теперь возвращаюсь к первому (надеюсь, что вы его не закроете), в хистори возвращаюсь до момента, когда выделяли:
>
ТЫК<
снова перетаскиваем его, уже таким, с прямыми краями, на тот же документ, где у нас скругленные, накладываю поверх точь-в-точь и стираю стеркой два угла, чтобы получилось так:
>
ТЫК<
убираем глазик возле красного слоя, нажимаем Ctrl+E, затем Image-->Trim (Transparent Pixels) и сохраняем в png:
