Этот обзор посвящается Эксперименту с системой ИФЭЯ, проведённому на конкурсе фантастического рассказа "Золотая чаша - 2012".
Участвовало 10 рассказов, выбранных жеребьёвкой, и одиннадцать судей-добровольцев.
Эксперимент (проверка системы)
Судьи-участники игры - все, кто пожелает. Чем больше, тем лучше!
Выбор рассказов: начиная с первой группы, с номера равного количеству судей-игроков, шагом 10 проходим вдоль всего списка. Если рассказов мало, продолжаем по кругу, (возвращаясь в начало списка), пока не наберём 10 штук. При повторных кругах выбранные ранее рассказы в счёт не идут.
Пример: 8 судей, 123 рассказа, 3 группы по 41 рассказ. Начинаем счёт с 8-го рассказа первой группы, так как игроков 8. Отбираем каждый десятый. Итак: 8, 18, 28, 38 (из первой группы), 48 (N 7 второй группы), 58 (N 17 второй группы), 68 (N 27 второй группы), 78 (N 37 второй группы), 88 (N 6 третьей группы) и 98 (N 16 третьей группы).
Система оценок: интерес-финал-эмоции-язык
Интерес:
0 - неинтересный (если бы не конкурс - не дочитал бы)
1 - малоинтересный (хочется пропускать фразы, но узнать, чем кончится)
2 - интересный (хотелось читать всё подряд, но можно и отложить)
3 - очень интересный (читал не отрываясь, досадуя на помехи)
Финал:
0 - разочаровал (автор всё испортил таким концом)
1 - маловыразительный (так и знал, что ничего не случится)
2 - хороший (оригинальный, в чём-то неожиданный, улучшающий рассказ)
3 - очень хороший (потрясающий, совершенно неожиданный)
Эмоции (эмоциональность рассказа) - герои и события, как они описаны:
0 - не вызывают сопереживания
1 - вызывают сопереживание
2 - вызывают глубокие переживания
Язык:
0 - невыразительный - много ошибок, искажающих смысл написанного
1 - хороший - ясный, ошибки не влияют на чтение
2 - красивый - красочный, художественный, стильный, ошибки случайные
Ход игры: после объявления списка судьи убеждаются, что ошибки не было, рассказы выбраны правильно и оценивают их по системе выше.
Каждый рассказ получает от каждого судьи четыре оценки, записанные как х-х-х-х, например, 2-1-0-1. Не перепутайте, первая цифра - за интерес (от 0 до 3), вторая - за финал (от 0 до 3), третья за эмоции (от 0 до 2) и четвёртая - за язык (от 0 до 2).
Готовые оценки участники сообщают в личной почте организатору игры.
Организатор составляет таблицу и публикует её.
Судьи проверяют, нет ли ошибок, и все переходят к следующему этапу эксперимента.
Анализ: таблицы можно проанализировать, дают ли они больше информации авторам. Организатор это сделает, но и все желающие (не только судьи) могут сделать это по-своему.
Судьи делятся впечатлениями о процессе: понравилось им или нет оценивать рассказы таким способом, что было хорошо и удобно, а что нет.
Разумеется, чем больше судей, тем точнее оценки отразят мнение читателей (и тем больше будет работы организатору).
Когда закончится конкурс и будут опубликованы его оценки, их можно будет сравнить с оценками системы и результатом игры.
Список судей:
1. Ник
2. goddo
3. Chukcha
4. Gelu McAllister
5. to_chego_net
6. Valien
7. spelly
8. Smelyi
9. Василий Курсанов
10. Клер
11. fannni
Итак, собраны все оценки, судьи высказали свои мнения, и можно приступать к подсчёту очков. В нашем эксперименте участвовало 10 рассказов. Вот они:
11 - Второй этап
21 - Освободите мой разум
31 - Путеводитель пустоты
41 - Брошенная планета
51 - Бутон
61 - Чистая победа
71 - Оазис
81 - Возьмём гнома на удачу
91 - Вечное сияние
101 - Ослепительно серый
Первое место из них занял "Ослепительно серый". Он получил 90 баллов из 110 возможных (десять первых мест и разделил второе - третье в одном случае).
На втором месте рассказ "Бутон". Он набрал 64 балла.
На третьем - "Брошенная планета" 61 балл.
На четвёртом - "Освободите мой разум" 49 баллов.
На пятом - "Чистая победа" 48 баллов.
На шестом - "Возьмём гнома на удачу" 39 баллов.
На седьмом - "Путеводитель пустоты" 32 баллов.
На восьмом - "Второй этап" 28 баллов.
На девятом - "Оазис" 19 баллов.
На десятом - "Вечное сияние" 18 баллов.
Сводная таблица баллов всех судей по параметрам И-Ф-Э-Я:
|
НАЗВАНИЕ РАССКАЗА |
ИНТЕРЕС |
ФИНАЛ |
ЭМОЦИИ |
ЯЗЫК |
СУММА |
|
Второй этап |
9 |
8 |
3 |
8 |
28 |
|
Освободите мой разум |
19 |
16 |
4 |
10 |
49 |
|
Путеводитель пустоты |
14 |
8 |
3 |
7 |
32 |
|
Брошенная планета |
21 |
16 |
11 |
13 |
61 |
|
Бутон |
23 |
18 |
11 |
12 |
64 |
|
Чистая победа |
17 |
14 |
8 |
9 |
48 |
|
Оазис |
5 |
5 |
4 |
5 |
19 |
|
Возьмём гнома на удачу |
13 |
9 |
6 |
11 |
39 |
|
Вечное сияние |
5 |
5 |
2 |
6 |
18 |
|
Ослепительно серый |
29 |
23 |
16 |
22 |
90 |
А сейчас давайте обсудим, получили ли мы какое-то дополнительное знание, из системы ИФЭЯ, по сравнению с простой 10-бальной (только последний суммарный столбик). Обсуждая оценки, сравним также близкие по общему баллу рассказы.
Приблизительные очки такие: 90, 60, 60, 50, 50, 40, 30, 30, 20, 20.
У "Ослепительно серого" за интерес 29 из 33 возможных (88%). Однако десять из одиннадцати судей поставил ему за интерес свой высший балл. И даже если этот бал 1, то никакой другой рассказ у данного взыскательного судьи 2 по интересу не получил.
Допустим, кто-то хотел бы занизить оценку этому рассказу. Тогда такому судье - "Медведю", играющему на понижение (термин биржевого рынка) - необходимо "влепить" 0 за интерес этому рассказу и стать "Быком" для других (повысить им баллы за интерес). Разумеется, такая комбинация совершенно явно видна, в отличие от низкой или высокой оценки, не сравниваемой с другими, (выставленной неизвестно за что!) по 10-бальной системе.
За финал (оригинальность концовки) рассказ "Ослепительно серый" получил 23 балла из 33 возможных (70%). Это по-прежнему высокий показатель, но автор уже видит в нём некоторый намёк: читатель не получает такого же высокого удовольствия от завершения рассказа, как от интересного сюжета.
Эмоциональность: 16 из 22 (72%). То же самое! Читатель не так сильно сопереживает погибшему герою.
Язык: 22 из 22 (100%)! Вот, оказывается где главное достоинство рассказа - 11 первых мест (все!) и к тому же 11 наивысших баллов за язык.
Как приятно поздравить автора!
Не знаю, возможно, писателей не интересуют подобные детали, в чём я сомневаюсь. Меня бы интересовали, даже в случае столь убедительной победы. Ведь даже простой просмотр таблицы от одиннадцати судей,
освещает более сильные и слабые стороны рассказа.
Это как получить сразу одиннадцать отзывов с оценкой одних и тех же свойств рассказа! Не нужно? Лишне?
Рассказы "Бутон" и "Брошенная планета". Их баллы интересно разбирать параллельно, как близкие.
"Бутон" набрал за интерес 23 из 33 (70%)
"Брошенная планета" - за интерес 21 из 33 (63%).
"Бутон" за финал собрал 18 из 33 (55%)
"Брошенная планета" - за финал 16 из 33 (48%)
За эмоциональность оба рассказа набрали 11 из 22 (50%),
"Бутон" за язык - 12 из 22 (55%), а "Брошенная планета" - 13 из 22 (59%). Немного тут, немного там, в области интереса и остросюжетности, и "планета" уступает "бутону" второе место.
Каждый автор сам видит, что ему делать, и как улучшать результаты. Наиболее сильной стороной обоих рассказов служит интересный сюжет.
Следующая пара конкурентов - "Освободите мой разум" и "Чистая победа". Они по баллам ближе друг к другу, чем какие-либо другие рассказы.
"Освободите мой разум" получил за интерес 19 из 33 (58%)
"Чистая победа" - за интерес - 17 из 33 (52%)
Справедливо, что 4 - 5 места, как и 2 - 3 занимают довольно интересные рассказы. Как там с оригинальным финалом?
"Освободите мой разум" - за финал набрал 16 из 33 (48%)
"Чистая победа" - за финал - 14 из 33(42%)
Показатели начитают падать ниже 50%. Намёк есть?
"Освободите мой разум" - за эмоциональность - 4 из 22 (18%) - ясно?
"Чистая победа" - за эмоции - 8 из 22 (36%)
"Освободите мой разум" - язык - 10 из 22 (45%)
"Чистая победа" - язык - 9 из 22 (41%)
Вот и объяснение: для 4 - 5 места всё держится на интересе, остальные показатели надо подтягивать.
Также видно, как влияет отставание по эмоциональности от 2 - 3 места.
Ненадолго вернёмся к гипотетическому завышению - занижению. Не вижу способа "подкинуть" конкуренту 10 баллов (вниз или вверх). Поскольку это означает влияние на все параметры, то курс "против течения" моментально виден и необъясним. А в системе ИФЭЯ нет необъяснимых оценок в отличие от простой 10-бальной!
Рассказ "Возьмём гнома на удачу" с 39 баллами из 110 (35%) занимает промежуточную позицию (медиану) в шлейфе рассказа-победителя.
За интерес он набрал 13 баллов из 33 (39%).
За финал 9 из 33 (27%), за эмоциональность 6 из 22 (27%), за язык 11 из 22 (50%). Автор сам сделает выводы, в чём сильные и слабые стороны рассказа.
Хочу отметить, что самый низкий балл от одного судьи был 1, а самый высокий - тоже от одного - 6. Видите, тоже не 0 и 10, то есть, это - не "подсуживание". Удаление оценки "Медведя" или "Быка" лишь незначительно сдвигает рассказ вправо или влево. А удаление обоих результатов (вместе с судьями) превращает общую оценку в 32 балла, но уже из 90 возможных, то есть те же 35%.
Следующая пара рассказов с баллами вблизи 30, это "Путеводитель пустоты" - 32 балла из 110 (29%) и "Второй этап" 28 баллов из 110 (25%).
За интерес "Путеводитель пустоты" набрал 14 баллов из 33 (42%), а
"Второй этап" - 9 из 33 (27%).
За финал оба рассказа набрали поровну - по 8 баллов из 33 (24%).
За эмоциональность тоже равные баллы - по 3 балла из 22 (14%)
За язык "Путеводитель пустоты" получил 7 баллов из 22 (32%), а
"Второй этап" - 8 из 22 (36%).
Опять же, по-моему, цифры говорят за себя, и авторы видят слабые стороны (не детально, только в общем, но вполне ясно) работ.
Последняя пара рассказов с баллами в области 20. Это "Оазис" с 19 баллами из 110 (17%) и "Вечное сияние" с 18 баллами из 110 (16%).
Оба рассказа по интересу и финалу набрали равные и одинаковые баллы: 5 из 33 (15%). Эмоциональность "Оазиса" оценили в 4 балла из 22 (18%), а "Вечного сияния" в 2 балла из 22 (9%).
Язык "Оазиса" получил 5 баллов из 22 (23%), а "Вечного сияния" 6 баллов из 22 (27%). Думаю, авторы сами видят, в чём их резервы.
Итак, эксперимент показывает, что ИФЭЯ так же хорошо оценивает рассказы по параметрам, как и простая 10-бальная система по одной оценке.
В отличие от последней, ИФЭЯ несёт информацию "мини-отзыва" авторам и даже без всякой рецензии подсказывает им мнение читателей.
Искусственную необъективность оценок труднее провести в системе. Она легче выявляется.
В заключение, всем авторам - творческих успехов, всем исследователям - научных, а читателям - хороших рассказов!