http://www.poisknews.ru/theme/science-politic/40118/Эксперименты с экспертизой. РНФ побеждает субъективизм.
Сейчас Фонд финансирует ежегодно более четырех тысяч проектов, а начинали мы с тысячи. В прошлом году через экспертный совет прошли более 10 тысяч заявок. В совете - 62 человека, которые работают на общественных началах.
Поэтому было решено создать два совета по проектам. Каждый из них будет отвечать за распределение примерно двух с небольшим тысяч грантов и работу по ним.
в совет решили включить молодых перспективных ученых. На конкурсной основе были отобраны доктора наук в возрасте до 39 лет из числа руководителей проектов, поддержанных грантами РНФ. Кроме того, без конкурса были приглашены лауреаты премии Президента России в области науки и инноваций для молодых ученых, которые имеют докторские степени и попадают в указанные выше возрастные рамки.
После завершения нынешней ротации состав Совета по научным проектам будет обновлен на 70% относительно первоначального, утвержденного в 2014 году.
информационно-аналитическая система (ИАС) на основе обратной связи с заявителями и экспертами отрегулирована таким образом, что отказы в допуске к конкурсу по формальным причинам сейчас составляют меньше процента. А когда мы проводили первые конкурсы, из-за неправильно заполненной конкурсной документации иногда “слетали” до 20% заявок.
число возражений на результаты экспертизы заявок и отчетов уменьшилось с 0,9% от общего числа экспертиз в 2017 году до 0,5% в 2018-м.
При рассмотрении заявки сталкиваются две точки зрения - автора и человека, который оценивает его работу. Естественно, они могут не совпадать. Другое дело, что возникают ситуации, когда эксперт допускает некорректные суждения, не связанные с содержательной стороной заявки, или делает ошибки. Вот такие случаи, конечно, хочется сократить до минимума. Для этого у нас действует футбольная система желтых и красных карточек. Когда эксперт оказывается не на высоте, мы от имени РНФ пишем ему официальное предупреждение. Если нарушение повторяется, исключаем человека из экспертной базы данных Фонда.
Поступившее возражение рассматривает экспертный совет, чаще всего в тематической секции. Ее члены изучают все материалы и выносят решение. Надо сказать, что чаще всего правы бывают эксперты. Ученые, входящие в экспертный пул РНФ, - очень квалифицированные специалисты, более 80% из них - доктора наук.
Критики не раз обращали наше внимание на то, что слабое место в системе оценки - способ назначения экспертов. Их подбирают координаторы научных направлений из числа кандидатур, которые им “предлагает” ИАС. Мы решили провести своеобразный эксперимент, который покажет, можно ли свести на нет субъективную составляющую.
Было решено, что в ходе конкурса “Проведение исследований на базе существующей научной инфраструктуры мирового уровня” всех трех экспертов на каждую заявку подберет компьютер с помощью специальной программы. Координатор может внести коррекцию, если его по тем или иным причинам не устраивает результат, но он должен объяснить, почему потребовалось это вмешательство.
Сейчас завершилась первая фаза эксперимента - эксперты назначены. Сделать окончательные выводы, что лучше, “ручной” или “автоматический” режим, мы сможем только после 1 марта, когда подведем итоги конкурса и сопоставим их с прежними показателями. Уже сейчас выявились сложности, которые явно скажутся на результатах.
Чтобы компьютер не ошибался, требуется точная исходная информация, в частности, должны быть четко указаны коды классификации экспертов, правильно подобраны ключевые слова. До сих пор этим особенно не занимались. Соответственно, качество исходных данных для компьютера оставляет желать лучшего.
Другая проблема - программа не способна в полной мере исключить конфликт интересов. Информацию о том, например, не является ли эксперт руководителем заявки, участвующей в этом же конкурсе, или не работает ли он в одной организации с заявителем, компьютер проверить может. Он не в состоянии разобраться в родственных связях и уж тем более в системе взаимоотношений между работающими в одном направлении научными группами в отличие от координаторов, которые хорошо знают свои “поляны”. Так что здесь нам остается полагаться на принципиальность экспертов.
новый подход позволяет не только снизить роль субъективной составляющей, но и оптимизировать процесс.
На данный конкурс поданы почти 1300 заявок, на каждую требуется подобрать трех экспертов. Координаторы тратят на решение таких задач часы и даже дни, а компьютер - минуту! Часто случается, что выбранные эксперты по разным причинам отказываются от оценки заявок или не отвечают на обращения Фонда. Приходится искать новых и порой повторять такую процедуру не раз. Так что экономия сил и времени ответственных за это специалистов налицо. А вот обоснован ли такой подход в целом, мы узнаем со временем.
