Система оценок при отборе в галерею

[Илья Посашков]

Тема социального отбора исчерпана. Он окончательно укрепился на сайте и по результатам обсуждения был значительно доработан и модифицирован.

Однако, насущным остаётся вопрос единообразного понимания системы оценок пользователями сайта.

На сайте принята и утверждена 10-тибалльная шкала оценок и соответствующий механизм (формула) расчёта итогового балла. Это фундаментальные элементы сайта, поэтому радикально меняться они не будут.

Однако, кое-что в системе оценок пока остаётся её слабым местом. А именно — трактовка самих оценок, из-за которой (от части) происходили конфликты и неравномерное распределение голосов, которое закономерно воспринималось, как не справедливое, и часто обидное (потому что названия/трактовка некоторых оценок содержат негативный оттенок или обращаются к личности автора, вместо того, чтобы описывать саму работу).

Другая проблема состоит в том, что пользователи по-разному воспринимают 10-тибалльную шкалу: одни понимают её и пользуются согласно предложенной сайтом системе (где каждая оценка несёт определённый функционал, пропуская или не пропуская работу в галерею), а другие воспринимают её, как более абстрактную (некую) 10-тибальную шкалу, по которой они оценивают своё впечатление (эмоциональный отклик) от работы. Что опять таки приводит к неравномерному и порой странному распределению голосов (которое, как мы уже выяснили, может восприниматься, как не справедливое)

Было найдено/предложено 2 решения:
• исправление трактовки оценок
• создание краткого ёмкого руководства по оценке работ, согласно новой трактовке.

С администрацией сайта уже достигнута определённая договорённость об исправлении трактовки оценок и создании краткого, но ёмкого, руководства по оценке работ в дополнение к новой трактовке.

В грядущем большом обновлении сайта эти изменения вступят в силу.

Главная новость на данный момент:
В новой версии сайта добавят «личную галерею автора», главная особенность которой в том, что пользователь может загружать в неё свои работы, минуя отбор. А вот, чтобы попасть в "общую галерею" сайта, придётся уже постараться и пройти отбор.

Предположительно, это повысит уровень работ в общей галерее и сгладит (либо аннулирует) обиды и конфликты, связанные с тем, что та или иная работа не прошла отбор (то есть не попала на сайт).

Я также надеюсь, что с внедрением личных галерей, изменением трактовки оценок и созданием руководства по оценке, отбор в общую галерею станет более строгим, нормированным и превратиться в своеобразный вызов для художников, желающих не просто выставляться на сайте, но сделать свои работы лицом сайта, пробившись в общую галерею.

В данной теме предлагаю абстрагироваться от социального отбора и связанных с ним явлений и обсуждать исключительно систему оценок, полируя её до совершенства.

 

[Илья Посашков]

На данный момент по результатам обсуждений, самое свежее предложение по трактовке оценок выглядит так:

1 балл — "Слишком просто"
2 балла — "Неудачно"
3 балла — "Сла́бо"
4 балла — "Неплохо"
5 баллов — "Есть, что доработать"
6 баллов — "Чуть-чуть не дотягивает"
7 баллов — "Хорошо"
8 баллов — "Отлично"
9 баллов — "Великолепно!"
10 баллов — "Award" или "Мой выбор" другими словами "Выше всяких похвал"
Есть ещё такое замечательно слово, как "Превосходно".

Пояснение:

1 балл
От слова "примитив" да ещё повторённого дважды лучше отказаться, поскольку в своей короткой форме (в отличии от "примитивный" или "примитивно") слово "примитив" приобретает пренебрежительную эмоциональную окраску и звучит несколько надменно.

Заменить "Примитив" оказалось легко: сначала на "Примитивно", а затем на "Просто" или, как вариант "Слишком просто", хотя, чем короче тем лучше, конечно.

2 балла
Выбрать между "Плохо" и "Неудовлетворительно" мне сложно. Второе слово слишком длинное, а первое слишком негативное и в сравнении с "Просто" звучит хуже, хотя мне нравится и привычно.

Как вариант, за 1 балл можно "Плохо" а за 2 балла "Слишком просто". Но тогда единица снова становится обидной. Предлагаю, длинное "Неудовлетворительно" заменить на "Неуд" или даже на "Неудачно".

3 балла
Есть вариант "Слабо". То есть в текущем виде проделано пока мало работы над картинкой.

4 балла
"Новичка" надо менять, так как это описывает автора, а не работу и к тому же новичок по факту может выдавать разный результат, равно как и профессионал может делать более удачные и менее удачные работы. Как вариант, для 4-ой позиции можно взять трактовку "Неплохо".

5 баллов
Мне нравится вариант "Есть куда расти", но он снова обращается к личности автора, пусть и не явно. Вариант, предложенный Gazer'ом, "Многообещающе" интересен, но трудно читается. А вот "Имеет смысл доделать/переделать" уже лучше, но тоже длинноват. Его главное преимущество в том, что речь идёт именно о работе, о том, что есть куда развивать саму работу). Поэтому я предлагаю "Есть, что доработать"

6 баллов
Немного мелких правок, доработок и будет замечательная работа, достойная галереи

7 баллов
Хорошая работа, достойная быть в галерее

8 баллов
Отличная, технически совершенная работа, выполненная на профессиональном уровне

9 баллов
Помимо отличного результата и профессионального технического исполнения зритель признаёт особый восторг и яркий положительный эмоциональный отклик. Этой оценки достойны атмосферные работы даже если их техническое исполнение страдает; проблема в том, что техническое исполнения часто коррелирует и с возможностью выразить, передать нужную атмосферу, поэтому я бы сделал ставку что работы на 9-ку это ещё и технически отличные работы, одно без другого - большая редкость

10 баллов
Поскольку авард дают за самые разные работы, то логично было бы отвязать авард от оценок вообще, то есть не трактовать 10-ку как авард, а например, назвать её "Мой выбор!", поскольку 10-ка явно определяет выбор публики на сайте, то есть рекомендации аудитории по выдаче "приза зрительских симпатий".

 

[Илья Посашков]

Следует также помнить, что на сайте есть 5 основных разделов:
• 2D Art
• 3D Архитектура
• 3D Художественное
• Видео
• Фото

Необходимо прийти к такому результату, чтобы трактовка оценок одинакового подходила к сути каждого раздела.

А руководство по оценке должно содержать короткие комментарии специалистов для каждого раздела по каждой оценке. Например:

1 балл
• 2D Art — такие-то и такие-то признаки.
• 3D Архитектура — следующие признаки работы на 1 балл
• 3D Художественное — такие-то признаки
• Видело — на 1 балл это...
• Фото — признаки 1 балла такие-то

И так по каждому баллу!

Я, поскольку разбираюсь только в техническом аспекте 2D Art, могу предлагать руководство по оценкам только в этом разделе.

Необходимо подключить специалистов для составления коротких комментариев и затем сопоставить эти комментарии, соотнести их друг с другом, чтобы выработать единообразное толкование, и сделать короткие и ёмкие комментарии или фразы, максимально точно описывающие каждую оценку.

 

[Gazer]

Этой оценки достойны атмосферные работы даже если их техническое исполнение страдает; проблема в том, что техническое исполнения часто коррелирует и с возможностью выразить, передать нужную атмосферу,

В руководстве не должно быть намеков на то, что для этой оценки допустима вербальная оценка "даже если их техническое исполнение страдает", потому что тогда появится лазейка для двойных трактовок. Атмосферность действительно признак хорошего владения палитрой, либо какая-то случайность. Но в последнем случае будут очевидны некоторые другие огрехи, несовместимые с вербальной оценкой "Великолепно!".

 

[Gazer]

Следует также помнить, что на сайте есть 5 основных разделов...

В целом предложения по расшифровке оценок вполне подходят к 3d-работам.

 

[Gazer]

Многообещающе" интересен, но трудно читается. А вот "Имеет смысл доделать/переделать" уже лучше, но тоже длинноват. Его главное преимущество в том, что речь идёт именно о работе, о том, что есть куда развивать саму работу). Поэтому я предлагаю "Есть, что доработать"

Тут хочу немножко постоять за свой вариант. Согласен, что слово сложное, но поясню, почему выбрал его. Я стремился к точности и недвусмысленности вербальной оценки в сочетании с правильным эмоциональным воздействием на автора работы.

"Есть, что доработать" - всегда будет что доработать, даже в работах, получивших награды, можно назвать то, что полезно доработать. Это не очень желательное раздвоение оценки. "Многообещающе" - это преддверие "чуть-чуть не дотягивает", положительный эмоциональный настрой именно там, где легко "сдуться": вроде постарался немало, а всего лишь пять. Это и подсказка автору, в нужном ли направлении идет, много ли шансов у работы перерасти в нечто большее.

С другой стороны, именно 5 и 6 - самые тяжелые оценки. Они пограничные. Именно они несут в себе больше всего напряжения, потому что стоит оценивающему быть чуть более милостивым, и работа пройдет в галерею. Эти оценки менее всего очевидны, наиболее спорны и больше прочих нуждаются в комментировании.

Поэтому такое предложение: не сделать ли обязательным комментарий для тех, кто ставит оценку 6? Почему шесть, а не 5 и не 7? Поясни, ведь это решение определяет прохождение работы в галерею. Кстати, не менее полезен в этом смысле и комментарий к оценке 7. Почему проходит? Почему не 6?

По-моему, это предложение не повисает в воздухе, потому что при обсуждении соцотбора тема с комментированием баллов была поддержана DarkTM, но пока что не нашла логического завершения. Считаю идею полезной для рассмотрения.

 

[Илья Посашков]

Ну что ж, теперь нам остаётся только дождаться обновления сайта, чтобы мы могли оценить свои новые ощущения и сделать необходимые поправки к нашим предложениям. С новым сайтом, думаю, будет яснее. Всё таки личные галереи это сильный ход. Хотя подводные камни там есть, но будем посмотреть, как говорится. Здесь же (в этой теме), только об оценках. Подождём!

 

[Андрей Шаймарданов]

Я, со своей стороны, хотел бы добавить - во-первых: от перемены трактовки, суть балльной системы не изменится, во-вторых: десять баллов для обычного человека - выбор довольно сложный и всё сводится к крайностям, или к "ближесередине - проходит". А всё потому, что человек воспринимает количественные числа не более пяти, а всё, что больше, это уже "много". Адекватно, по-моему, может работать (широко распространённая и зарекомендовавшая себя) пяти, максимум шести балльная система. В существующей системе практически нет разницы между 1и2, 4и5, 8и9. Пиковой остаётся проходная 7 и превосходная 10. 10 - максимум за максимум работы. 1 - за минимум и за пренебрежение к зрителю.
И я за то, чтобы было видно, кто и как голосовал (хотя бы для автора работы).

 

[Илья Посашков]

от перемены трактовки, суть балльной системы не изменится

Суть не изменится, но распределение оценок может изменится. Потому что, человеку может быть не удобно ставить 1 или 2, потому что они трактуются, как "примитив", например. Я так же помню случаи, когда людей задевала трактовка "Новичок" или "Есть куда расти". Из-за этого люди могли ставить 6, когда хотели поставить 4 или 5. Или ставили 4, когда на самом деле хотели поставить 2 и 3. Просто потому,что оценки так называются. Поэтому суть (вычислительная) конечно не изменится, а вот отношение к оценкам и со стороны автора и со стороны голосующих, вполне может измениться, поскольку трактовки оценок (может не для всех) явно имеют значение при выставлении оценки.

В остальном я согласен с Вами, Андрей. И в другой теме даже писал, что по сути всё сводится к двум оценкам: 1-6 и 7-10, которые можно для себя условно усреднить до 3 и 8 и голосовать только этими оценками. остальные же оценки это сообщение автору скорее. Эдакие наводки и ориентиры.

 

[Gazer]

В существующей системе практически нет разницы между 1и2, 4и5, 8и9.

Поэтому суть (вычислительная) конечно не изменится, а вот отношение к оценкам и со стороны автора и со стороны голосующих, вполне может измениться, поскольку трактовки оценок (может не для всех) явно имеют значение при выставлении оценки.

Возникнет вопрос с работами, уже прошедшими в галерею: как перевести 10-балльные оценки в 5 балльные? Возьмем умозрительный пример. Пусть есть две работы: у одной все оценки - 7, а у другой - 8. Или у одной все - 8, а у второй все - 9. Итоговый балл у них сильно отличается. Как ни группируй оценки: 9 и 10 = 5, или 10 = 5, а 8 и 9 = 4, - в 5-балльной системе две такие работы с разным итоговым баллом в результате перевода получат один и тот же балл.

Условно: 500 и 630 окажутся одинаковыми.

 

[Илья Посашков]

Возникнет вопрос с работами, уже прошедшими в галерею: как перевести 10-балльные оценки в 5 балльные? Возьмем умозрительный пример. Пусть есть две работы: у одной все оценки - 7, а у другой - 8. Или у одной все - 8, а у второй все - 9. Итоговый балл у них сильно отличается. Как ни группируй оценки: 9 и 10 = 5, или 10 = 5, а 8 и 9 = 4, - в 5-балльной системе две такие работы с разным итоговым баллом в результате перевода получат один и тот же балл.

Условно: 500 и 630 окажутся одинаковыми.

Нет-нет, Gazer. Тему с 5-тибальной шкалой мы уже проехали, вроде как. Она просто послужила для меня толчком к размышлению о восприятии 10-тибальной шкалы. Теперь мы обсуждаем только имеющиеся 10 вариантов оценки, а о пяти баллах забыли.

Либо я Вас просто не понял, и Вы снова хотите вернуться к обсуждению 5-тибальной?

 

[Gazer]

Нет-нет, Gazer. Тему с 5-тибальной шкалой мы уже проехали, вроде как. Она просто послужила для меня толчком к размышлению о восприятии 10-тибальной шкалы. Теперь мы обсуждаем только имеющиеся 10 вариантов оценки, а о пяти баллах забыли.
Либо я Вас просто не понял, и Вы снова хотите вернуться к обсуждению 5-тибальной?

Меня 10-балльная шкала устраивает, четко различаю баллы от 6 до 10. Баллы 1, 2, 3 и 4 не использую совсем, не люблю ставить их (буквально три-четыре раза за все время использовал, ну когда совсем все было неудачно). Оценку 5 тоже очень редко использовал, несколько раз всего. Вообще не люблю голосовать, когда не могу поставить 6 и выше. Но саму шкалу редуцировать пока смысла не вижу (для себя).

 

[Алексей Солодилов]

Меня 10-балльная шкала устраивает, четко различаю баллы от 6 до 10. Баллы 1, 2, 3 и 4 не использую совсем, не люблю ставить их (буквально три-четыре раза за все время использовал, ну когда совсем все было неудачно). Оценку 5 тоже очень редко использовал, несколько раз всего. Вообще не люблю голосовать, когда не могу поставить 6 и выше. Но саму шкалу редуцировать пока смысла не вижу (для себя).

По-моему вы сами же подтверждаете утверждение Андрея о том что десятибалльная шкала не воспринимается.

 

[Gazer]

По-моему вы сами же подтверждаете утверждение Андрея о том что десятибалльная шкала не воспринимается.

Отчасти так и получается. Однако любые (не только десятибалльная) оценочные шкалы не предназначены, по сути, для использования оценок нижнего диапазона. Потому что в него просто невозможно попасть (если только не наблюдается "клинический" случай). Например, в 5-балльной шкале нет оценки 1. Что это за оценка, кому ее ставить?

Если перевести это на 10-балльную шкалу, то с точки зрения классического подхода к оцениванию, не имеют смысла баллы 1-2, которые соответствуют единице и, вообще говоря, ни о чем. Это что, когда автор мышку не умеет держать, что ли? Маргинальными являются оценки 3-4 - соответствуют традиционным 2 и 2-. Это мало кому можно поставить, двойка - это когда автор полный бездарь, ничего не сделал и мышку держать умеет, но кликать не научился. Двойка - это двойка.

Так что с традиционной точки зрения оценки 1-4 в подавляющем большинстве случаев не информативны и просто представляют собой некий способ эмоционально подавить автора. Лично я, например, работ на 1-4 в соцотборе практически не встречал. Были единичные случаи, но там, по-моему, дети были.

Так что отчасти вы правы.

Но с другой стороны, я говорю о том, что меня лично шкала устраивает. Меня не устраивает, как ее иногда используют.

 

[Илья Посашков]

Вот, хотелось бы, чтобы все оценки воспринимались и понимались нормально и были информативны. Чтобы не стыдно было ставить 1, 2, 3. Четвёрок на самом деле много встречается (согласно текущей трактовке оценки). Стоит системе сделать значение оценки не маргинальным, и её понимание изменится с неизбежностью. Да, крайние оценки всё равно останутся крайними, но от них будет явно больше пользы при иной трактовке и само распределение голосов может стать более равномерным, благодаря иному восприятию баллов (по сути бездушных цифр, если вдуматься), это ведь мы наделяем оценку смыслом, а значит, если договориться о смыслах, то и оценки изменят свой вид и значение. Я не вижу ничего зазорного в том, чтобы ставить единицы и другие оценки из диапазона 1-4. Но при текущем толковании у меня возникает некоторое неудобство, которое не позволяет мне порой ставить оценки ниже 4-х. Раз уж шкала 10-тибалльная, значит все оценки в ней должны быть приемлемы.

Но в целом, я согласен с Gazer'ом, что в идеале низкие оценки отпадают (ведь мы на сайте художников). Но по факту не все здесь художники и не все соответствуют определению профессиональной среды. И профессиональная среда не должна прогибаться под начинающих, а начинающие должны стремиться стать частью профессиональной среды. При попустительстве исчезает стремление и мотивация, а сайт превращается... ну сами додумайте во что в таких случаях превращаются интернет-площадки.

При разделении личных галерей с основной возникает пространство для удачного компромисса, при котором можно публиковаться на сайте кому угодно, но в общую галерею попадают только самые достойные работы.

Я верю в эту схему и с интересом жду этого нововведения. Тогда отбор с полным правом может быть жёстким.

Но мы здесь про оценки. Хотелось бы добиться их равномерного распределения и единого для всех понимания (с нейтральными формулировками или наиболее точными трактовками).

Так что, ждём.

 

[Илья Посашков]

Кстати, интересный вариант пришёл в голову!

Я уже не помню, как было до трактовок оценок, но что если оставить одни лишь цифры и скрыть от пользователей, что 7+ пропускает в галерею (оставить сам механизм).

То есть пользователи будут иметь дело только со шкалой и её цифрами.

Уверен, это тоже приведёт к перераспределению голосов.

Это теперь кажется мне интересной идеей.

И предел пропуска можно тайно изменять для регуляции уровня работ и частоты прохождения (с 7-ми до 8-ми, или до 6-ти или до 5-ти).

Отказ от трактовок теоретически избавит нас от двойного понимания шкалы, и оставит лишь цифры и интуитивное восприятие 10 позиций.

 

[Gazer]

И предел пропуска можно тайно изменять для регуляции уровня работ и частоты прохождения (с 7-ми до 8-ми, или до 6-ти или до 5-ти).

Все равно все будут видеть баллы работы, и пойдут вопросы, почему в этом случае 250 баллов достаточно для прохождения работы, а в другом случае 255 - недостаточно. Произойдет наслоение критериев отбора - по баллам и по решению администрации, причем последний критерий окажется решающим. Т. е. по сути произойдет возврат к безбалльной системе?

 

[Илья Посашков]

Все равно все будут видеть баллы работы, и пойдут вопросы, почему в этом случае 250 баллов достаточно для прохождения работы, а в другом случае 255 - недостаточно. Произойдет наслоение критериев отбора - по баллам и по решению администрации, причем последний критерий окажется решающим. Т. е. по сути произойдет возврат к безбалльной системе?

Ну, я к тому, что возможны разные варианты к рассмотрению, в том числе и самые радикальные (но без смены самого механизма). Уж коле галерея станет самостоятельной величиной, можно по-разному покрутить.

Но я согласен, что перемещение порога прохождения это не решение, по крайней мере не на постоянной основе. К тому же баллы постоянно растут или изменяются при увеличении количества голосов.

Критерий 300 баллов пропускных останется ведь (и 10 голосов). Так что можно под разными углами рассмотреть вопрос в новых условиях галереи (и её назначения).

Что-то я как-то перемудрил сейчас.

 

[Алексей Солодилов]

Вообще если нужна объективная оценка работы нужно ввести дополнительные шкалы, чтобы можно было отдельно оценить качество текстур\материалов, сетки, композиции и т.д. а на основании этих оценок считать общий балл работы. Естественно критерии будут неравнозначны, для лоу-поли раздела например баллы за сетку учитывать с повышающим коэффициентом, а для предметной повышенный коэффициент будет за текстуры и композицию.

 

[Gazer]

Вообще если нужна объективная оценка работы нужно ввести дополнительные шкалы, чтобы можно было отдельно оценить качество текстур\материалов, сетки, композиции и т.д. а на основании этих оценок считать общий балл работы. Естественно критерии будут неравнозначны, для лоу-поли раздела например баллы за сетку учитывать с повышающим коэффициентом, а для предметной повышенный коэффициент будет за текстуры и композицию.

Я предлагал нечто похожее в теме по соцотбору. Роман Цапик сказал, что по статистиске сайта народ голосует (оценивает) тем активнее, чем проще шкала. По сути же абсолютно с вами согласен. Могу даже добавить, что по той же статистике для измерения чего-либо всегда можно выявить такой набор параметров, который несет больше всего информации об измеряемом явлении. Причем все по той же статистке этих параметров почти никогда не бывает больше четырех. А лучше два-три. Один же параметр (шкала) по определению недостаточно информативен. Элементарные примеры вы уже привели. Есть еще проще пример - я это предлагал ввести - шкала для оценивания идеи, содержания работы.

(Все-таки в изобразительном искусстве всегда имела значение тема. Технически безупречно нарисованное "кака" неизмеримо, безнадежно и навсегда отстает от натюрморта, набросанного пастелью 14-летним ребенком на светло-серой бумаге. По этой шкале за "кака" мы дадим "10", "0"; а за натюрморт пастелью мы дадим, скажем, "5", "5". Что в итоге? А в итоге-то - одно и то же по баллам. Сейчас же мы имеем перекос в сторону технического исполнения в ущерб теме и содержанию работы. Одно дело, когда художник безупречно рисует стол (стул, чайник), а другое, когда он небезупречно рисует на сюжеты Рюноскэ Акутагавы. Разрыв колоссальный, и явно не в пользу певца столов (стульев, чайников). Я уважаю все жанры (и сам в каком-то смысле певец столов), но печально, что тема, идея, содержание работы не всегда учитывается при оценке - я об этом.)

В общем, для любой рубрики существует два-три параметра, две-три шкалы (не больше!), наилучшим образом позволяющих оценить работу. Число шкал, превышающее четыре, почти наверняка привнесет в оценку так называемый шум - некие несущественные "вторичные" оценки, которые будут "размывать" общий балл и только испортят всю оценку. Вот.