Выбираем инструмент Rounded Rectangle Tool (Прямоугольник с закругленными углами) с указанными настройками. Радиус (у меня 50 пкс) зависит от размера фото и т.д.

Из угла фото до противоположного проводим прямоугольник, следите, чтобы его стороны совпали с краями фото (хотя, это не обязательно)

Кликаем внутри прямоугольника правой кнопкой мыши и выбираем Создать выделение (Make selection)

Затем из выделения создаем новый слой - нажать Ctrl+J

На вкладке слоев переходим на слой Фон (Background), кликнув на нем левой кнопкой мыши, и удаляем его, нажимая соответствующий значок в меню слоев (первый справа) 

Осталось только сохранить результат в формате GIF* или PNG*