Школа несовершенна

В конце года я решил написать о нашей школе.

Я никогда не скрывал, что мы придумали школу как кузницу кадров для бюро. У меня очень прагматичное отношение к образованию. Ни я, ни мои коллеги не хотят становиться фултаймовыми преподавателями. Для меня не важны священные образовательные идеалы, я никогда не мечтал стать учителем с большой буквы, для меня важен результат: надёжные кадры с правильными установками, знаниями и навыками. И в этом качестве школа прекрасно решает свою задачу.

Мы не даём лишних обещаний студентам, прямо говорим, что на первой ступени обратной связи нет, на второй её немного, а индивидуальная работа начинается на третьей ступени. И всё же студенты хотят и требуют от нас большего. К нам всё чаще приходят студенты, которые не собираются работать ни в бюро, ни у одного из партнёров. Это очень интересно и заставляет меняться.

Хочу я того или нет, школа стала самым значимым для других людей проектом бюро. И хотя я встречал мнение, будто бюро живёт в параллельной вселенной, в которой все бюрошники и бюрошные продукты безупречны, это совсем не так. Школа несовершенна, в ней полно проблем и недостатков. Хочу я того или нет, школа приносит мне заботы, требует внимания и улучшения каждый день.

Обновили лекции. Лекции школы записаны несколько лет назад. Хотя большинство знаний актуально, в 2019 году преподаватели школы обновили и записали новые лекции: семь лекций по интерфейсу, включая новую лекцию об анимации, две новые лекции по редактуре, две лекции по визуализации данных. Всё это не считая того, что все лекции по редактуре уже один раз обновились с момента создания школы. Лекции по типографике наконец‑то имеют вид не ссылок на советы, а красиво оформленных лекций в школьном Кабинете. На подготовительных курсах появились новые лекции о графических форматах и основах Фотошопа. А ещё мы заново сделали корректуру в 82 лекциях.

Переаттестовали тесты. Несмотря на то, что формулировки вопросов и ответов тестов постоянно шлифуются по запросам студентов, в этом году преподаватели Бирман, Ильяхов, Синельников, Товеровский, Мисютина, Бунин и ваш покорный слуга системно перепроверили и скорректировали формулировки всех вопросов 45 тестов по восьми дисциплинам: интерфейсу, редактуре, переговорам, управлению, визуализации, типографике и дизайну продуктов. Во‑первых, мы проверили, чтобы каждый ответ был основан на лекциях, дополнительных материалах, логически следовал из них или вообще не зависел от мнения человека (как, например, вопрос о золотом сечении). Во‑вторых, мы скорректировали формулировки так, чтобы каждый неправильный ответ оставался неправильным, а каждый правильный оставался правильным в любой вселенной, ситуации и даже субъективной интерпретации (например, не как правильно делать, а как Ильяхов сказал делать). Я не готов утверждать, что формулировки стали безупречны, но вероятность ошибки теперь гораздо ниже. Скажу честно, это была та ещё работёнка, до сих пор вздрагиваю :‑)

Добавили пояснения в тренировочных тестах. Знания в школе проверяются контрольными тестами, в которых мы не раскрываем правильные ответы, что расстраивает многих студентов. Но для некоторых тем мы предусмотрели 16 тренировочных тестов, чтобы попробовать себя перед сдачей контрольных тестов. После прохождения тренировочного теста мы открываем правильные и неправильные ответы, чтобы показать, какие темы вызывают затруднения. А в 2019 году в тренировочных тестах по интерфейсу и редактуре появились пояснения. Раньше студент мог только увидеть правильные ответы, а теперь пояснения помогают понять теорию. Мы планируем добавить пояснения и к остальным тренировочным тестам.

Система обучения в школе безжалостная. На студента со всех сторон давят тесты, жёсткие дедлайны, конкуренция и рейтинг. Сдал тест минутой позже дедлайна — получил в два раза меньше баллов и предупреждение об отчислении. Приложил не ту ссылку на курсовую — не получил сертификат и не попал на вторую ступень. Забыл открыть доступ к результату работы на второй ступени, получил минус двойку. С моей точки зрения, это лучший способ подготовить студента и выдать ему тот самый билет в профессию, который мы обещаем. Но от этого учиться не легче, и задача деканата — показать студенту, что нам не всё равно, и проявить всё внимание и заботу, которые возможны в наших масштабах.

Открыли подготовительные курсы и первую ступень круглый год. Раньше подготовительные курсы и первая ступень начинались в строго фиксированные для всех дни дважды в год. Если у студента или студентки были запланированы отпуск или командировка, которые попадали на недели тестов, они рисковали потерять место в рейтинге или даже вылететь из школы. В 2019 году мы открыли обучение на подготовительных курсах и поступление на первую ступень круглый год с возможностью выбрать удобный день для старта. Теперь студенты могут планировать свой учебный год так, чтобы получить знания без ущерба для работы и отдыха.

Проявляем заботу в чатах. Первая ступень школы не предполагает обратной связи от преподавателей. Но теперь мы время от времени приглашаем преподавателей в школьные чаты отвечать на вопросы студентов.

Ускорили почтовую поддержку. Мы систематизировали процесс и теперь деканат отвечает на большинство вопросов студентов в течение дня и даже дежурит на выходных. Хотя меня самого всё ещё бесят отдельные моменты и есть над чем работать в следующем году.

Пару лет назад мой коллега Илья Синельников написал, что честным студентам должно быть уютно в школе, и поэтому нет ничего важнее справедливых оценок. По правилам школы запрещено списывать, проходить тесты совместно или помогать другим студентам.

И я должен признать, что школа до сих пор несовершенна и в этом. Несмотря на то, что мы внедрили систему мониторинга подозрительных результатов, мы оставили очевиднейшую дыру в самих тестах: нечестные студенты могли показывать друг другу вопросы, в которых они ошиблись, чтобы те попытались подобрать правильные ответы, и, конечно, вопросы, на которые они ответили правильно. Да и сама система мониторинга была довольно поверхностная и не учитывала некоторые сценарии совместной работы студентов. Расскажу, что мы сделали, делаем и планируем сделать, чтобы это исправить.

Закрыли очевидные дыры. Чтобы не провоцировать обсуждение тестов среди студентов, теперь мы скрываем подсветку вопросов с ошибками до наступления дедлайна. На круглогодичной первой ступени это сделает невозможным сговор студентов, начавших учиться одновременно, и бессмысленным — между студентами, начавшими учиться в разное время. И мне до сих пор стыдно, что я не сообразил сделать это раньше.

Улучшили систему мониторинга. В последние месяцы 2019 года мы придумали, протестировали и применили новые метрики для анализа результатов тестов. Теперь нам предстоит автоматизировать их, чтобы система мониторинга лучше научилась выявлять нечестных студентов. Кроме того, поскольку на круглогодичной ступени на одних и тех же неделях будут учиться небольшое количество студентов, нам проще будет выявить возможный сговор.

Пересмотрели отношение. Илья Синельников писал, что если мы узнаем, что студент сжульничал, мы отчислим его из школы с публичной чёрной меткой. Я много думал об этом и решил пересмотреть подход.

Меньше всего на свете я хотел бы, чтобы школа превратилась в змеиное логово, в котором студенты подозревают друг друга и злорадствуют, если кто‑то попался. Я страшно благодарен студентам, которые пресекают разговоры о жульничестве в чатах, и при этом не обвиняют друг друга.

Ещё меньше я бы хотел, чтобы школьный деканат превращался в полицию и суд. Мы не спецслужба, чтобы собирать прослушку и распечатки чатов. Я уверен в наших новых метриках и патернах данных, и мы будем отчислять студентов, только если у нас самих не будет оставаться ни малейших сомнений в нечестной игре. Но мы не можем раскрывать свои метрики. Если эта информация станет известна, студенты смогут это использовать в нечестных целях.

Это не значит, что чёрных меток в школе никогда не будет. Но мы не хотим отвлекать студентов от учёбы. Я не хочу, чтобы школа вела себя как назойливый антивирус, который только и делает, что пугает пользователей троянами и червями. Я хочу, чтобы школа стала, как безопасный Мак: в нём встроен антивирус, но пользователю ни к чему ежечасно напоминать об отбиваемых атаках.

Поэтому мы будем двигаться в сторону тихой профилактики, чтобы как можно раньше пресекать нечестное поведение. В школе появится что‑то вроде «жёлтой карточки», чтобы у студента был второй шанс исправиться.

Мы по‑прежнему будем исключать за нарушение правил, но решение о чёрной метке каждый раз будет приниматься индивидуально в результате личного разговора. По умолчанию мы будем стараться улаживать вопрос напрямую. Бюро — частная компания, которая может работать по своему выбору с кем хочет и не обязана раскрывать свои отношения со всеми клиентами. 99 честным студентам лучше сосредоточиться на лекциях, тестах и заданиях, а не обсуждать в чатах, что один нечестный попался.

Моя цель — чтобы студентам и в голову не приходило, что в школе кто‑то может жульничать.

Наконец, ещё несколько улучшений ради справедливости.

Убрали спорные студенческие оценки. Первая ступень посвящена изучению теории. Всего на первой ступени 40 тестов и 8 заданий. Но в 2 заданиях студенты проверяют работы друг друга. Раньше эти оценки напрямую влияли на рейтинг и часто вызывали серьёзные споры, которые преподавателям приходилось разбирать вручную. Теперь такие кросс‑задания работают полностью автоматически: студенты, как и раньше, ставят оценки сокурсникам, но итоговая оценка выставляется по стандартным критериям, которые проверяет беспристрастный робот. Сами кросс‑задания учат студентов видеть ошибки друг друга — это очень полезный способ практики, который мы будем использовать и дальше.

Систематизировали разбор претензий к тестам. До сих пор бывают случаи, когда студенты ошибаются в тестах, но считают свой ответ правильным и приводят свои аргументы. В обращениях студентов мы постоянно встречаем такие экзотические трактовки вопросов, которые за всю историю школы не приходили в голову ни преподавателям, ни кому‑либо ещё из студентов. Мы щепетильно относимся к формулировкам, поэтому с этого года рассматриваем каждое обращение студентов целой комиссией из сотрудника деканата, редактора, преподавателя, директора и ректора школы. По каждому обращению комиссия проверяет вопрос и, если трактовка студента технически корректна, исправляет формулировку так, чтобы даже в необычных трактовках правильность ответов не менялась. К сожалению, из‑за этой трудоёмкой и тщательной проверки по правилам школы мы принимаем не больше трёх запросов от каждого студента.

Ввели бонус‑тесты. Раньше после обновления формулировки вопроса мы снимали баллы за него у всех студентов потока. Для студента, который ошибся из‑за необычной трактовки, это справедливо, но мы чувствовали, как обидно всем остальным — тем, кто интерпретировал вопрос правильно и заработал баллы. Поэтому теперь вместо того, чтобы снимать баллы, мы будем собирать обновлённые вопросы в бонус‑тесты и давать всем студентам возможность ответить на них снова и заработать дополнительные баллы. Бонус‑тест — это признание наших недочётов и награда внимательным студентам.

Школа несовершенна, и мне не всё равно. Желаю студентам успехов в следующем году, а вы пожелайте успехов нам :‑)