Можно, но своеобразно. На начальной стадии. У фотошопа возможности работы с векторами намного скромнее нежели у иллюстратора (что и не странно
.
При готовом выделении, не идти в панель Пас и щелкать там по кнопке создания контура из выделения, а навести на выделение со включенным инструментом выделения и щелкнуть Rm, выбираешь там Мейк Ворк Пас. Становится доступна настройка преобразования, чем больше цифра, тем контур мягче.
И еще один метод. Готовый в фотошопе контур перетаскиваешь в иллюстратор, упрощаешь и через копировать/вставить, возвращаешь в шоп.