В общем, проблема из-за того, что один или несколько соседних полигонов, граничащих с тем, который вы хотите создать, является вывернутым. Надо найти этот полигон и сделать, что бы все соседние полигоны смотрели наружу. Пока этого не сделать, попытка создать там полигон только добавит проблем в виде наложенных друг на друга соседних полигонов. И что это за безхозные точки (вершины) лежат на гранях? Удалите их с помощью ctrl+Backspace, возможно рядом с ними есть незаметные маленький вывернутый полигон. Кстати, нашел похожую
тему.