Здравствуйте.
Предлагаю алгоритм, основанный на трёх основных принципах:
- экспертные мнения бывают "техническими" и бывают "авторскими";
- для разных жанров - разные критерии оценки;
- различные люди предпочитают различные рекомендации.
Считаю, что первым шагом должно быть именно формирование и принятие в работу пошагового алгоритма, чтобы затем разные люди сообразно своим пристрастиям могли одновременно обсуждать и доводить до логического завершения разные шаги алгоритма. Так будет быстрее и эффективнее, чем всей толпой обсуждать каждый шаг по отдельности. Разумеется, понадобится технический координатор проекта, который будет отслеживать и фиксировать продвижение обсуждений по каждому шагу.
1. Создать и согласовать по возможности подробный перечень жанров.
(Возможно, на основе перечня, предоставленного заказчиком.)
2. Выработать и согласовать порядок отбора и передачи книг на рассмотрение и оценку.
3. Сформировать принципы отбора экспертов по каждому жанру из перечня в п.1.
Есть экспертизы "технические", и есть, если можно так назвать, "авторские".
В первом случае эксперт проделывает механическую работу - сравнивает те или иные характеристики оцениваемого с аналогичными характеристиками эталона. Квалификация эксперта определяется его знаниями и характеристик, и эталонов.
Во втором случае речь идёт о субъективных оценках, основанных исключительно на мнении эксперта. Квалификация эксперта определяется его известностью и авторитетом в соответствующих кругах.
В составе группы экспертов по каждому жанру должны быть и те, кто будет давать "техническую", более-менее объективную оценку, и те, кто будет давать "авторскую", сугубо субъективную оценку.
4. Группы "технических" экспертов по каждому жанру должны сформировать перечень критериев, по которым будет производиться "техническая" экспертиза.
Естественно, что перечни критериев для разных жанров будут различными. В качестве примера упомяну перечень, ранее предложенный в этом обсуждении Еленой Рышковой - думаю, очевидно, что критерии из этого перечня для одних жанров будут и необходимыми, и достаточными, а для других могут оказаться и избыточными, и недостаточными.
5. Далее, каждому критерию каждого пожанрового перечня присваивается цифровой показатель, "вес". В качестве примера предложу ко вниманию перечень, которым пользуюсь я сам: https://www.stihi.ru/2011/01/20/7338
6. Далее, цифровые показатели присваиваются "авторским" экспертизам и статистическим данным "от заказчика" (количество просмотров той или иной книги, количество скачиваний, тиражи, продажи и т.п.).
7. В результате получается целый спектр рейтинговых рекомендаций, из которого каждый желающий может выбрать именно тот рейтинг, который лично ему кажется наиболее заслуживающим доверия, а именно:
- рейтинг произведений по результату "технических" экспертиз в своём жанре;
- рейтинг произведений по результату "авторских" экспертиз в своём жанре;
- рейтинг произведений по результату статистических данных в своём жанре;
- рейтинг произведений по комплексному результату, учитывающему все три вышеупомянутых рейтинга;
- и ещё такой же комплект рейтингов, но уже не пожанровых, а среди всех произведений.
8. Безусловно, с первого раза присвоить оптимальные цифровые показатели не получится. Поэтому, потребуется корректировка "весов" уже в процессе реальной работы проекта.
В целом, работа предстоит большая, но при пошаговом разделении более-менее понятная и выполнимая.
Так думаю.
