Навигатор для родителей и учителей // Тема дня

Как измерить результат: аналитические инструменты в руках руководителя


Как измерить результат: аналитические инструменты в руках руководителя

Почему педагогам следует читать труды Сухомлинского, Корчака, Выготского и других классиков, а ученым, проводящим исследования в области педагогики, ориентироваться на запросы практиков? Как найти баланс в области педагогических измерений и контроля за деятельностью школы? Почему поощрение школ-лидеров часто оказывается неэффективным? Как не превратить ВПР в карающий меч? Какие задачи решают различные методики педагогических исследований? Ответы на эти и другие вопросы вы найдете в статье директора Школы будущего Калининградской области Алексея Голубицкого, которая открывает серию материалов, посвященных теме измерительных инструментов в школе.

– Хочу предложить тему о роли измерений в управлении школой. Все чаще слышим жалобы учителей на рост объема отчетности, увеличение числа диагностических процедур, контрольных работ, ВПР в школе. Очевидно, что излишний контроль вреден и часто отрывает время педагогов от их насущного дела – обучения и воспитания детей. Но стоит ли так категорично отвергать все измерения, проводимые в школе? Ведь еще Джордж Харрингтон утверждал, что «измерения – это ключ, и если вы не измеряете, то не контролируете, а если не контролируете, то не управляете».

Соединить теорию с практикой и не доверять интуиции

Одна из важных проблем, на которой я хотел бы акцентировать свое внимание в самом начале, заключается в том, что учителя перестали читать труды великих педагогов. На эту тему я уже размышлял в статье «Чему я научился у Сухомлинского?» на страницах «Вестей образования».

Другая острая проблема заключается в том, что педагогическая наука почти утратила своё влияние на образовательную практику. Есть большая группа исследователей, которые пишут магистерские работы, кандидатские, докторские диссертации, почти никак не связанные с реальными педагогическими проблемами: у них даже нет запроса на то, чтобы потом попробовать свои выводы проверить на практике. Получается, что наука – это удовлетворение любопытства за счет государства.

Раньше педагогическая наука была очень связана с практикой. И даже великие Лев Выготский и Алексей Леонтьев всегда старались воплотить свои научные разработки на практике, а основатель ленинградской психологической школы академик Борис Ананьев создал школьную психологическую службу на базе средней школы в Выборгском районе Ленинграда. Он изучал влияние педагогической оценки на самооценку школьника, его отношения с учителем, классным коллективом, семьёй. Педагоги больше интересовались этими исследованиями, а сегодня многие из последних психолого-педагогических находок в области физиологии головного мозга, памяти, восприятия, которые были открыты учеными, проходят мимо школы. То есть ученые и педагоги-практики живут каждый в своем мире и не пересекаются. В этом случае уместно сравнение с двумя жидкостями разной плотности, как, например, масло и кофе, которые никогда не перемешаются.

Поэтому первый и главный тезис заключается в том, что исследователи и практики должны стараться находить какие-то точки соприкосновения, думать вместе, обсуждать, что из этого может получиться, а нам, педагогам, следует читать труды классиков и знакомиться с теми современными научными исследованиями, которые ориентированы на решение актуальных психолого-педагогических проблем, стараясь применять их на практике.

Очень часто директора школ и учителя принимают решения на основе интуиции, которую, конечно, можно использовать как инструмент, но все же гораздо надежнее (если сравнивать с вождением автомобиля) проложить маршрут от точки А до точки Б с помощью навигатора или карты. В этом случае повышается качество управления и прогнозирования предстоящего пути.

Отсюда делаем второй вывод: новые методики следует внедрять не интуитивно, а на основе анализа научных исследований, в противном случае мы получим не инновацию, повышающую эффективность нашей деятельности, а простую новацию, никак не оказывающую влияния на качество образования.

Никто еще не стал выше, если его измеряют чаще

Есть такое интересное направление в науке, как action research – в переводе «исследование в действии». То есть в процессе наблюдения мы видим, какие изменения необходимы, предпринимаем усилия для их внедрения, затем оцениваем наши действия, измеряем результат и опять наблюдаем и рефлексируем.

Говоря об измерениях, важно найти баланс необходимого и достаточного, ту самую золотую середину. Не все измерения оправданы, потому что никто еще не стал выше, если его измеряют чаще.

Существует очень простой критерий: если на основании измерений можно получить полезную информацию и благодаря этому что-то улучшить, то такие измерения имеют смысл. А если после измерения ничего в положительную сторону не изменилось, и никакой обратной связи не поступило, позволяющей определить, в какой точке мы находимся и куда нам двигаться дальше, то такое измерение можно назвать «бессмысленным и беспощадным» или просто вредным, потому что оно отнимает ресурсы у школы, у директора, у педагогов и детей, но при этом не решает никаких проблем. Это касается как измерений, инициированных самой школой, так и тех, которые поступают из вышестоящих инстанций.

Об эффективных способах стимулирования школ

Те же ВПР, которые нередко вызывают напряжение со стороны школ и родительского сообщества, можно использовать как во зло, так и во благо. Идея создания федерального качественного инструмента по своей сути очень хорошая и её можно только приветствовать. Но ВПР – инструмент, а если такой инструмент, как нож или топор, использовать не по назначению, начать им размахивать направо и налево, то возникают понятные риски.

Реализация идеи проведения ВПР очень зависит от уровня и качества управления образованием в муниципалитетах и в регионах. Допустим, в Калининградской области результаты ВПР, ОГЭ, ЕГЭ являются инструментом поддержки и развития. У нас есть фонд стимулирования качества образования. Это уникальный опыт, поэтому о нем стоит рассказать. Предположим, по итогам измерений школы попали в так называемые ШНОРы – школы с низкими образовательными результатами. В то же время выделяется группа инновационных школ, и свободно формируются пары, которые подают на общий грант на развитие. Это очень контрастирует с другим, самым распространенным подходом – распределение дополнительных средств лидерам – это, на мой взгляд, абсолютно устаревшая управленческая технология, и об этом нужно громко и четко говорить. Таким образом просто усугубляется разрыв между сильными и слабыми школами, и школа, входящая в топ рейтинга, становится еще более привлекательной для мотивированных детей и учителей, которые переходят из других, более слабых школ. Тем самым увеличивается пропасть между школами-лидерами и аутсайдерами, получающими меньше ресурсов для развития кадров и материальной базы. Такие школы превращаются в своеобразное социальное гетто, создавая криминогенную обстановку в своем районе или в городе.

С другой стороны, давать больше денег только школам с низкими образовательными результатами тоже абсурдно, потому что такой подход в распределении финансирования будет стимулировать их работать еще хуже.

Поэтому методика материального поощрения школ-лидеров, работающих в паре с отстающими школами, на мой взгляд более эффективна. На примере Калининградской школы могу рассказать, как это происходит: две школы подают на грант (у нас он составляет 3 млн рублей) и делят его пополам. На эти деньги можно приобрести оборудование или оплатить курсы повышения квалификации. Можно оплатить, соответственно, премию тем учителям, которые в этом проекте работают. При этом сильная школа берет на себя обязательства по улучшению показателей школы с низкими образовательными результатами и, благодаря совместной работе двух коллективов, достичь желаемой цели. Так мы помогли двум школам, делясь с ними своими методическими наработками и применяя аналитику данных для решения общих задач.

Не только грамотно измерять, но и объективно интерпретировать

Возвращаясь к теме ВПР, не могу не отметить некоторые риски. Несмотря на частые заявления о том, что результаты ВПР не должны влиять на рейтинг школы, на применение к учителям или директорам каких-то санкций или поощрений, что цель таких работ – выявить пробелы в знаниях учащихся и впоследствии помочь школам их компенсировать – в целом ряде регионов объявлялись репрессии по отношению к отдельным школам. Согласен, что директора и учителя должны быть примерами академической честности и понести заслуженное наказание в случае нарушения. Нередко обвиняют образовательные организации в искусственном завышении оценок, то есть в фальсификации данных, но критерии «необъктивности» далеко не всегда выглядят безупречно.

В качестве аргументов приводятся данные о несовпадении результатов ВПР и ОГЭ, отметок в разные годы, разница между отметками в 4 и 5 классе и др.

Особенно сомнительно выглядит критерий необъективности при сравнении успеваемости в школе и результатов ВПР. Но это так же неубедительно, как сравнивать теплое и кислое: настолько разные эти измерения. Любой опытный учитель знает разницу между формирующим оцениванием процесса обучения и констатирующим оцениванием его результатов. Оценка, складывающаяся из выполнения домашних работ, ответов у доски, работы на уроке может часто не совпадать с контрольной работой. Конечно, анализ нужен, и фальсификации недопустимы, но аналитические данные должны рассматриваться осторожно и в контексте, справедливо говорить о сомнительных, а не о «необъективных» результатах.

В то же время вполне объяснима озабоченность директоров успеваемостью учащихся своей школы, потому что по результатам проверочных работ их могут отнести к ШНОРам, а это фактически черный список, воспринимается как своего рода клеймо и негативная оценка их деятельности. К сожалению, при характеристике школы у нас пока не используются контекстные показатели, включающие местонахождение школы (например, окраина города или село), наличие ресурсов, контингент учащихся. Иными словами, не учитываются причины низких результатов, которые часто заключаютсяне в плохой работе школы, а в сложной ситуации, в которой она находится.

Если так будет продолжаться, то ВПР рискует из мониторингового инструмента превратиться в карающий меч, а этом создаст почву для манипуляций. Если в больнице при измерении температуры больных будут наказывать за слишком низкие или отличные от предыдущих измерений значения, то это мало поможет выздоровлению.

Поэтому есть большой соблазн принять поспешные управленческие решения, когда по результатам одного измерения делается вывод о качестве преподавания в этой школе или об уровне управления. Мне кажется, что это очень рискованно. Важно не только грамотно измерить, но и объективно интерпретировать результаты и делать выводы в соответствии с адекватной ситуацией.

От наблюдений и экспериментов – к анализу данных

Расскажу о некоторых методах исследований образовательной организации, в числе которых много старых, апробированных, но тем не менее удивительно интересных. К сожалению, в последнее время к ним стали меньше обращаться.

Мы сейчас увлеклись анкетированием и тестированием в ущерб всем остальным – таким, как интервью, наблюдение, эксперимент, анализ документов, анализ цифровых следов.

Приведу пример интервью, которое дают девочки в детском саду по поводу того, стоит ли устраивать «тихий час». Очень важно, чтобы это интервью было один на один, иначе мнение одного, более развитого и активного ребенка может повлиять на мнение других, менее самостоятельных сверстников.

Или другой метод – эксперимент, который позволяет понять, как устроено восприятие детей, каким данным мы можем доверять, а каким нет.

Почти совсем ушел из нашей практики метод наблюдения, а жаль, потому что он позволяет решать очень важные проблемы. Допустим, в классе сложилась неблагоприятная психологическая атмосфера, и нам необходимо разобраться, что происходит. Правильно организовать работу по этой методике поможет книга Филла Джексона «Жизнь в классе».

Наблюдение позволит раскрыть много интересных нюансов. Например, меня удивило такое наблюдение, как дети поддерживают одну руку другой, когда хотят ответить на уроке на вопрос учителя. О чем это говорит? Они вынуждены долго держать руку поднятой, устают и начинают поддерживать её другой рукой. Это свидетельствует не только об их стремлении ответить первыми, но и о переполненности класса.

Другой пример. Известно, что в дошкольном детстве базовая потребность – это игра. Нередко, зайдя в детский сад, можно увидеть классический школьный урок, где ребята сидят за партами в затылок друг другу. Дети отвлекаются, отворачиваются, начиная телом показывать, что им неинтересно здесь находиться, но тем не менее терпят, поскольку занятие ведет авторитарная воспитательница. То есть, благодаря наблюдению, можно вскрывать такие перегибы, особенности учебного процесса.

Анализ академических результатов

Допустим, если просто сложить и обработать данные, которые есть в каждой школе, то можно обнаружить удивительные тенденции. Приведу пример, как такой анализ делает Алексей Сергеевич Банев. Например, можно сравнить средний балл по классу со средним по параллели и выяснится, что некоторые классы демонстрируют совершенно непонятную успеваемость, когда предмет «родной русский язык» на 1,5 балла ниже, чем предмет «русский язык».

Это означает только одно: что-то пошло не так – либо в программе, либо в преподавании, либо в системе оценивания.

Или мы видим, что класс демонстрирует высокие результаты, но только по одному предмету, а по остальным – намного хуже. Бывает и так, что у одного и того же учителя в одном классе средний балл – 4,7, а в другом – на целый балл ниже. Конечно, надо учитывать общий уровень класса, но подобные разрывы как раз и приводят к попаданию в необъективные результаты по ВПР, когда обнаруживаются несоответствия между средним баллом по контрольной работе и оценкой за год или четверть. Таким образом, при несовпадении школьных отметок и результатов ВПР можно скорее предположить проблему оценивания в школе, чем попытку фальсификации.

Посмотрим на диаграмму, где зеленым обозначен процент соответствия. У одного учителя этот показатель равен 84, то есть только 16% его учеников получает на контрольной работе отметку такую же, как в процессе обучения. А у учителя под номером 1 почти половина контрольных работ не соответствует общему среднему уровню.

И где-то мы видим завышенные оценки за контрольные, а где-то наоборот заниженные.

В этих случаях директору и заместителю, руководителю методического объединения стоит обсудить критерии оценивания, обратиться к федеральным инструментам для оценки результатов. Может быть, устроить взаимную проверку, потому что не должно быть такого, когда у одних педагогов практически все ученики контрольные пишут хуже, чем обычно, а у других все пишут лучше.

Очевидно, человеческий фактор играет большую роль в оценивании: одни учителя завышают оценки, другие занижают. На формирование общих подходов влияет так называемый социальный капитал или связность организации. Его тоже можно измерить.

Но, бесспорно, чем точнее критерии, чем прозрачнее процедура, тем меньше роль человеческого фактора. То есть, повторюсь, всему педагогическому коллективу имеет смысл собраться и обсудить систему оценивания.

В статье Константина Ушакова говорится, что важно не только измерять уровень отдельных сотрудников, но также количество и качество связей между ними. Последних всегда потенциально больше, чем количество сотрудников. Если их трое, то это уже шесть связей, если четыре, то двенадцать и так дальше по нарастающей.

И это социометрия, которая часто делается в классе, но обращенная к педагогическому коллективу. Благодаря ей можно выделить лидеров и устойчивые группы. К кому из педагогов обращается профессиональная помощь? Кто из них выступает связующим звеном на этой схеме?

Кроме того, степень связи сотрудников с организацией тоже имеет большое значение. Если все делается только по указаниям директора, а личная инициатива не проявляется, то такая организация считается не очень эффективной, потому что она находится под директивным управлением. Очень важно, чтобы люди между собой общались. Если к методисту, руководителю кафедрой не идут за профессиональной поддержкой, то, наверное, эти обязанности лучше поручить кому-то другому.

О том как можно изучить образовательную среду и как она влияет на результаты обучения мы расскажем в следующей статье.

Иллюстрации предоставлены автором статьи

Продолжение следует…


Институт «Эврика» при поддержке Фонда президентских грантов разрабатывает платформу «Навигатор для родителей и учителей», где публикуются тексты педагогов, психологов и других экспертов образования, а также видеозаписи лекций и презентации к ним.


Youtube

Новости





























































Поделиться

Youtube