вариант 1 (аккуратный): Layer - Matting - Defringe (параметры по вкусу)
вариант 2 (радикальный): Перейти на нужный слой. Создать выделение из этого слоя (щёлкнуть слой в палитре Layers, удерживая Ctrl). Select - Inverse. Select - Feather (параметры по вкусу). Edit - Cleare (Delete).
вариант 3 (ещё радикальней): Создать выделение из слоя (см. выше). Перейти в режим Quick Mask. Filters - Blur - Gaussian Blur (параметры по вкусу). Вернуться в Standart Mode. Select - Inverse (это можно сделать и перед переходом в Quick Mask). Edit - Cleare (Delete).
А можно ручками, пройтись по краю либо Eraser-ом небольшого размера с размытыми краями, либо инструментом Blur Tool.
На практике приходится делать и то, и другое, и третье в разной последовательности и в разных комбинациях.