Делаешь две копии одной картинки. Первую уменьшаешь на величину рамочки функцией Canvas Size, ко второй применяешь нужный фильтр. Затем остаётся вставить меньшую картинку в большую и выполнить слияние слоёв.
Я попозже у себя в дневнике сделаю подробную инструкцию, потому что ты не первая, кто спрашивает.