во-первых, способ сделать это в иллюстраторе несколько раз рассматривался в форуме. в двух словах суть такова: создаешь векторный объект, по габаритам которого тебе надо обрезать растр, задаешь ему цвет и наложение (blending mode), которые не влияли бы на цвет исходного растра (например, белый цвет + multiply) и делаешь flatten transparency. если получилось несколько кусков, можно их отрастрировать (rasterize) с созданием маски или без (create clipping mask on/off).
во-вторых, почему бы не сделать это в фотошопе?
здесь я применяю следующую "хитрость".
обычная ситуация: у меня есть маска, в которой стоит растр существенно большего размера, чем мне надо.
1. если растр стоит без масштабирования, то см. п.2, если нет, то сначала довожу его в шопе до нужного масштаба (по линейным размерам, разрешение - на усмотрение).
2.в иллюстраторе рисую прямоугольник точно по размеру растровой картинки
3. копирую его + маску
4. вклеиваю в шопе. поскольку размер вклеиваемых объектов совпадает с размером документа в фотошопе, то габаритный прямоугольник ложится по размеру картинки, а иллюстраторная маска попадает точно на нужное место.
5. удаляю габаритный прямоугольник, а "маску" загружаю как выделение
6. даю команду Image > Crop