Это, скорее всего, потому что ты пытаешься сделать кисть по непрямоугольному выделению. Фотошоп не может делать кисти по свободному выделению.
Для того, чтобы все вышло как надо - кисть лучше рисовать в новом слое черным или серым на белом фоне - тогда фотошоп сам отделит "зерна от плевел".
Если же нужно использовать кусок существующей картинки, но при этом непрямоугольный, то лучше выделить его, скопировать в новый файл на белый фон и там подчистить края. Потом опять-таки выделить restangular selection-ом и нажать Edit->Define Brush. Если фон белый, и на картинке есть только то, что должно стать кистью, то можно даже вообще не использовать выделение, а сразу жать оный Edit->Define Brush.
А вообще подробнее об этом, а также о последующей настройке пользовательских кистей есть во встроенном хэлпе фотошопа (раздел Creating and editing brushes).