1) Берем инструмент Rounded Rectangle Tool (Прямоугольник со скругленными углами) (Shift+U) и рисуем прямоугольник.
Устанавливаем параметры как на рисунке, меняя радиус скругления который больше подходит.


2) Удерживая клавишу Ctrl кликаем левой клавишей мышки на слое с прямоугольником.
Должно загрузится выделение прямоугольника.


3) Инвертируем выделение Select-Invers (Выделение-Инверсия) или Ctrl+Shift+I


4) Слой на котором нужно удалить фон оставляем активным.
Для того чтоб удалить фон или пересечение фигур - нажимаем клавишу Delete.