7 месяцев прошло с начала семестра. Но не простого семестра, а золотого. Семестра, который выявил интересную ситуацию: студенты показывают выше результаты. Выше баллы, процент выполненных заданий, качество кода, количество кода. Но ровно до тех пор, пока нет ни намека на малейшую внешнюю оценку. Такой своеобразный студент Шредингера.
Как только появляется небольшой и простой вопрос, так многие студенты показывают нулевую подготовку.
И это довольно грустно, поскольку ты, как преподаватель, видишь, что человек решил задачу. Что задача-то, в общем, элементарная, избитая, если брать в расчет все, что существует за пределами первых двух курсов. Что студент написал код, который (на первый взгляд!), решает задачу. Казалось бы, что еще нужно? Ведь "оно работает"! Студент доволен. В отчётах красуются высокие баллы.
Возможно, это правильно? Человек "посмотрел" код, запомнил, потом он сможет его повторить или улучшить? Возможно, теперь обучение стало легким, простым и незаметным? И все душевные силы, которые раньше тратились на него, мы можем бросить на придумывание идей?
Было бы, конечно, прекрасно, если человеку для обучения достаточно было зайти в Эрмитаж, посмотреть на произведения искусства, поводить кисточкой по ним, послушать рассказ - и вот, готов новый Леонардо да Винчи.
Но! Может, это я отстал от технологий, и ИИ действительно изменил мир, в котором мы живем? И теперь нужны другие скиллы? И стало реально научиться как-то по-другому?! Возможно, надо просто пихать проекты "из реального мира" (которые лежат на гитхабе в миллионных экземплярах, но об этом словно никто особо не знает) в студентов, которые не знаю основ, а ИИ как-то магически научит их? Возможно, принципы чистого кода, алгоритмы, структуры данных - прочая белиберда - не нужны, а нужны готовые проекты? Как сказать...
К примеру, за последние пару недель я вызывал некоторых злостных вайбкодеров на защиту. Как она прошла? Крайне продуктивно.
Я брал пару строк (ладно, 5-6) кода студента. Спрашивал про них: как работает, почему и зачем так, спрашивал, как пофиксить тот или иной баг в коде (который хорошо бы найти самому студенту). И знаете, это не те строчки кода из статей в интернете, когда в 100 символов запихивают компилятор. Нееет, это какой-нибудь простой цикл, if-else, функция.
И вот над этими 5 строчками кода мы сидели по полчаса, по часу, пытаясь понять, а что же код делает. Иногда студент до чего-то доходил. Иногда нет. Ах да, код был "написан" студентом за день или даже за несколько часов до защиты, так что забывчивость тут не особо применяется.
А иногда такое было вообще с одной строчкой в 15 символов...
И вот у нас есть красивый код студента, с багами, который непонятно, как работает, почему именно так, что с ним делать.
Ну, ладно, может, просто так получилось. Случайность. Субъективный взгляд.
Есть же явно сильные студенты. Несколько. Но есть. Которые тоже пользуются ИИшкой. И при этом показывают хорошие знания.
Т.е. разные студенты показывают выдающиеся результаты в баллах, но только некоторые способны доказать знания и скиллы.
Так вот, это я такой или лыжи не едут?
Ну, и собственно, начал искать исследования по данной теме.
Меня интересовали вопросы:
Я постарался найти и проанализировать как можно больше статей, выступлений, которые были оценены другими учеными, проанализированы критически и т.д.
20+ исследований, 3000+ студентов. Использование ИИ в обучении.
Материала много, времени свободного не столько, сколько хотелось бы. Постарался все сжать, сделать выжимку. Нашли ошибки, проблемы, вопросы - в ЛС.
Что же я нашел? Пройдемся по основным пунктам в произвольном порядке.
А в конце - опрос.
Анализ 35 исследований (Alanazi et al., 2025) показал, что качество кода и оценки стали выше, но знания и навыки не изменились вообще или стали даже хуже.
И мааааленький интересный факт - сами студенты действительно верили и чувствовали, что ИИ реально помогал им учиться.
Результаты эксперимента на 1000 школьников старших классов (Bastani et al., 2025), где ребятам давали доступ к ChatGPT в ходе практик:
И тут тоже студенты искренне верили, что ИИ реально им помог учиться.
Исследования 2024 года 1 и 2 показали интересный тренд: как только студенты получали доступ к ChatGPT, их использование других источников знаний падало почти до 0. Практики, семинары, методички, книги, документация - ничего. Ну так, ИИшка-то проще и быстрее!
Однако, тут студенты, использовавшие ИИ, почему-то не показали каких-то выдающихся результатов или улучшений. Скорость программирования была наравне с теми, кто не использовал ИИ. Разве что, рисование UML было капельку побыстрее, в пределах погрешности.
Другое исследование дает интересный инсайт в то, как использовали ИИ для разработки студенты:
И оттуда же фидбек от студентов:
Интересный пример, когда в 2018 году было проведено исследование, где ученые дали новичкам в программировании задачу. Треть из них не справилась. И они сами знали, что они не справились.
Примерно та же группа ученых повторила исследование в 2024 году с ИИ. Как вы думаете, какие результаты они получили?
Остановитесь. Вздохните.
Попробуйте честно и объективно ответить себе на этот вопрос.
Точно ответили?
Продолжаем.
Теперь 20 из 21 новичка справились с задачей. Но. Около половины (10) из них не могли понять, как и что нужно делать для решения задачи. И 9 из этих 10 решило только потому, что ИИ сгенерировал им решение. Но в отличие от предыдущего исследования, студенты, не справившиеся с задачей, чувствовали себя компетентными. По сути, у них была "иллюзия компетентности".
И в этом проблема.
Во-первых, на данном этапе развития ИИ, ИИ не особо "знает" и "рассуждает". Скорее, подбирает слова, которые должны идти далее с большей вероятностью. А это не особо много общего с логикой имеет.
Во-вторых, люди не могут учиться непоследовательно. Они не могут просто взять несколько томов учебника по мат.анализу, прочитать, и запомнить хотя бы каплю. И уж тем более применить её на практике. Они не могут повторить что-то за другими, копируя форму, не разбираясь в содержании, и приобрести скилл.
Хотите делать ИИ? Будьте добры изучить матан. Нужен матан? Придется изучать интегралы, производные. А для них что нужно? Ах да, простые навыки 2+2 и 2*2. И не просто прочитать, а осознать, применить в куче разных ситуаций, встретить миллион ошибок, разочароваться, критически оценить их, исправить и т.д.
И в этом смысл обучения.
Последовательность. Постепенное усложнение. Наложение, развитие концептов. Не бессмысленное повторение.
И тут пригождается следующее исследование, где 405 школьникам старших классов был предоставлен доступ к ChatGPT, и все их сообщения логировались. Так вот, из 4900+ промптов только 6 (промптов, не людей!) задавались вопросом о корректности ИИ.
0.1%
Это же исследование отмечает, что люди, использовавшие стандартные подходы к обучению (конспектирование, к примеру), запоминали больше.
А еще было исследование, где ChatGPT закинули на экзамен ко второму курсу (Finnie-Ansley et al., 2023), где он набрал около 80% и вошел в 25% лучших студентов. Современные модели покажут еще лучший результат. Проблема только в том, что вопросы на экзамене по программированию второго курса, все же, не особо сложны, по сравнению с реальностью. Все понятно, все разжевано. Миллион раз уже встречалось в учебниках, интырнетах, исходниках. Сложность и проблема в самом процессе обучения человека чему-то новому. Ну и в рассуждениях. Найти ответы и до ИИ легко было. А понять их, обосновать...
Исследование Anthropic, где профессиональным разработчикам (3 категории: 1-3 года (7%), 4-6 лет (37%) и 7+ лет опыта (56%)) выдали доступ к ИИ для обучения использованию новой библиотеке показало, что группа, использовавшая ИИ показала на 17% хуже понимание того, как библиотека работает, как задачи с её использованием были решены. Причем, сильнее всего пострадал скилл дебага.
Это уже люди, профессионально занимающиеся программированием на протяжении 7+ лет. Еще в до-ИИ эру. Которые дебажили, писали код классов, функций, изучали новые библиотеки не то, что пару раз, сотни или тысячи раз.
Да. Но просто смотря, и даже читая код человек не учится.
У Shen & Tamkin (2026) (исследование Anthropic выше), где участниками были профессиональные разработчики, показано, что чтение сгенерированного ИИ кода без активного процесса (т.е методичной мыслительной работы пользователя) давало 24-39% понимания при проверке знаний после эксперимента:
У профессионалов. С уже имеющимися знаниями, навыками, опытом.
Звучит контринтуитивно. Но вопрос в том, как именно происходила работа. В первой категории участники предоставляли задачу, просили сгенерировать код, получали целостное решение, видели его содержание и структуру. Во второй категории - сдавались на второй задаче, начинали делегировать ИИ. Третья категория копировала ошибку, отдавала ИИ, получала фикс. И так 5-15 раз.
То есть кажется, будто третья группа активнее участвовала в разработке, хотя на деле имела меньшее представление о результате.
Даааа. В реальности-то все по-другому. И трава зеленее. И команда работает качественно и хорошо. А не то, что на этом вашем проектном практикуме! Там-то деньги плотют.
Только вот вспомните пример, что я вставлял в самом начале. Если вы будете просто генерировать кучу кода, не понимать его, не понимать причины и следствия тех или иных выборов, то... а зачем вы?
Прослойка между ChatGPT/Deepseek/СуперДуперСовсемНеQwen?
Если каждый чих, вопрос к вам приводит к тому, что надо дождаться, пока вы разберете нагенерированное нечто, проанализируете его (а напоминаю, это не особо легкие для получения навыки), пока получите ответ от ИИ, уточните, получите новый ответ, как с вами работать? Типа, мы ускоряем разработку, чтобы... Замедлить её в другом месте? Или какая тут логика должна быть?
Окей. Больше исследований. Тут GPT-4 давал 49% ошибок на математических задачах старшей школы. Без сложных нюансов, легаси кода, проблемной команды, новых и/или устаревших технологий. А CodeAid - ИИ-помощник по коду - был корректен в 63% случаях при дебаггинге. Фактически корректным. А вот корректным и полезным - в 42% из этих 63%... То есть примерно в 26% случаев предложение было и полезным, и корректным.
Так новые модели лучше! Ага. А вам-то какая разница, не видеть ошибку в 20% или в 40%? Не понимать её причины, следствия?
Кстати, и над этим люди задумывались: В исследовании один и тот же эксперимент провели сначала с GPT-3.5 Turbo, потом с Claude 3 Opus. Разница в результатах была, по сути, нулевой.
"Лааадно, я буду использовать ИИ для повторяющейся работы" - извиняюсь, но какая "повторяющаяся работа" на первом-втором курсе? В реальности, после нескольких лет обучения, потом после пары лет опыта ежедневной работы программистом получаются джуны/максимум мидлы (увы, за пару месяцев не стать). Каждый день, 5/2. 8 часовой рабочий день. Ок. Допустим, всякие собрания, стендапы и прочее. 4 часа программирования в день. Вот тут да, я могу еще понять "повторяющуюся нудную" работу по созданию классов и функций... Когда пишешь те или иные куски в десятитысячный раз.
И то, оказывается, что другие люди и технологии не стоят на месте. И те же классы и функции меняются.
Кстати, по поводу скуки и прочих ощущений. Другое исследование показывает, что использование ИИ может не только создать иллюзию компетентности, но и наоборот, привести к проблемам с уверенностью в своих силах, худшему самоощущению и проблемам с обучением.
Ведь процесс программирования состоит процентов на 5-10 из написания кода. Остальное - сложные мозговые процессы:
и т.д.
Знаете, у программистов в принципе наблюдается определенная профдеформация с soft-скиллами.
А у вайбкодеров, видимо, еще сильнее.
Исследование Fan et al. (2025) рассматривает 234 студента в трех условиях: программирования в парах с ИИ, в парах с людьми и работа в одиночку.
Программирование в паре с ИИ показало примерно такую же производительность, что и программирование в паре с человеком. Но программирование с людьми показало лучшую совместную работу, поддержку, социальное взаимодействие.
Т.е. снижая взаимодействие с людьми, вы снижаете навыки взаимодействия с людьми (кто бы мог подумать, что навыки, которые не используются постоянно, пропадают...). Вы не учитесь выражать корректно свои мысли, задавать вопросы, давать и получать корректный и понятный фидбек, читать, понимать, обсуждать чужой код, архитектуру, идеи.
Да. Которым надо уметь пользоваться. IDE, StackOverflow и т.д. - тоже инструменты. Они облегчают работу.
Но, к примеру, тот же SO требует от вас формулировать четко и конкретно вопрос, читать и анализировать ответы. Потому что даже готовый ответ не факт, что подойдет вам. И еще маловероятнее, что этот код заработает сразу.
ChatGPT же требует скопировать, вставить. Сказать "не ошибайся", потом еще раз, и еще скинуть ошибку, поругать. И на каждом шаге он генерирует нечто, похожее на реальность. На то, что нужно. То есть, когнитивная нагрузка на минимуме.
Исследования были проведены в Турции, Британии, Новой Зеландии, Китае, Тайване, Израиле, Индии и т.д. С использованием различных ИИ, разных версий, с разными инструментами.
Разные страны, разные культуры, разные возрасты.
Вы больше генерируете кода. Какого-то. Зачем-то. Быстрее, чем писали бы вручную.
Скиллы, знания? Не растут. Alanazi et al. (2025)
Более того, скилы и знания, которые постоянно не используются, забываются.
О чем предыдущие части?
Вы обучаетесь. Строите свой фундамент. Без фундамента здание не будет стоять. Как бы вы не верили в это, как бы не чувствовали, что все норм. И когда этот долг накопится, разбираться в первую очередь вам. На работе вам не будут раз за разом давать время на "обучение". Платить за ИИшку, платить ЗП, платить за то, что вы учитесь, хотя, вроде, учились до этого и уже должны что-то знать и делать? Вы сами-то хотели бы свои деньги так тратить?
Ок. Резонно. Времени всегда не хватает, это можно понять. Но для чего за 5 минут до дедлайна отправлять сгенерированное решение?
Если раньше человеку хотя бы приходилось попытаться подогнать списанное решение к задаче, что-то похимичить в нем, подразобраться, чтобы хоть препод засчитал хотя бы что-то, то сейчас по щелчку пальцев можно получить код, который похож на что-то правильное. Опять, из активного процесса списывание перешло в разряд пассивного. А пассивные процессы не приводят к накоплению знаний и скиллов.
Ценность списывания упала.
"Зато у меня баллы есть! Ха-ха". Да, давайте обесценим систему оценивания. Ведь это точно приведет к хорошим результатам! Ведь никто и никогда не спросит
"А почему отличники не побеждают в олимпиадах/хакатонах, не создают успешные стартапы, не привлекают (и не возвращают) инвестиции? Почему даже банально не могут устроиться по специальности?".
И уж точно никто не заставит вас лично показывать свои знания и навыки по тому же программированию...
Возможно, стоит сделать выводы? Начать делать сильно заранее? Уделять больше времени, отказавшись от чего-то, расставив приоритеты? Дать фидбэк преподавателю?
Бывает, слышу аргумент, что люди и раньше, даже в профессиональной среде копировали код и не понимали, как он работает. Да, но та же ситуация, что и со списыванием: это стало слишком легко. Если раньше сам код ставил тебя в ситуацию, где ты хоть как-то что-то должен понимать, чтобы оно запустилось, то теперь, поиграв, по сути, в казино, через пару попыток получишь что-то, похожее на правду.
Да и раньше люди выдавали чужую работу за свою. Просто для этого нанимались другие программисты. И за это приходилось платить много. А сейчас стало сильно дешевле с ИИ.
Пс, кстати, ИИ обучали на том самом корявом коде от людей...
Нет. Это инструмент, который в некоторые моменты меняет/улучшает/упрощает профессиональную деятельность. Как, насколько сильно - отдельный вопрос, ответ на который, к сожалению (или к счастью), не особо легкий и очевидный. Хотя отчасти в приведенных исследованиях дается.
Но что касается начала обучения. Первые год-два обучения программированию: генерация проектов, решений задач, кода приводит к печальным результатам.
Есть ли варианты применения ИИ, которые позволяют улучшить процесс обучения? Да. Просто они не такие легкие, как в рекламе ИИ.
Эксперимент на 1000 школьников старших классов (Bastani et al., 2025) показал, что если людям предоставляется специализированная версии ИИ, которая:
То успехи в процессе обучения повышаются на 127%. А результаты экзаменов, в сравнении со студентами, которые не используют ИИ... остаются на том же уровне (-0.4%). Это исследование упоминал уже выше. Там же, напомню, неограниченное использование ИИ привело к падению результатов экзамена.
У Shen & Tamkin (2026) (исследование Anthropic выше) есть так же и положительные примеры, где ИИ использовался для критики мышления человека, споров, тщательного разбора и анализа мелких деталей, то есть не для перекладывания на него сложной когнитивной нагрузки.
Вместо того, чтобы заставлять ИИ что-то делать, человек пытался найти причину проблемы, путь к решению задачи, что приводило к улучшению результатов тестирования после эксперимента до значений 65%-85% (против 24%-39% выше):
Другое исследование задалось вопросом: а что, если использовать ИИ как тьютора? Построив вокруг него некое "ограждение" (guardrail, scaffolding)
Для этого они подготовили:
Для снижения галлюцинаций. Подстраивали его, чтобы он, опять-таки, требовал от студентов активного погружения в решение задачи, распределял когнитивную нагрузку в ходе работы, поддерживал настрой на обучение и давал возможность обучения в собственном темпе.
И вот с такими, многие бы сказали, ограничениями, результаты были положительные.
Информация от Microsoft подводит к следующим наставлениям:
Юхуууу! Копирую промптик, вставляю в жптшку и кайфую на +127% успеха!
Кхм. К сожалению, промптиком не помочь, да еще и не каждое "ограждение" показывает хорошие результаты: можно ничего не сделать, а можно и навредить.
Возьми задачу из ближайшей темы. Попробуй её решить самостоятельно. От начала и до конца, когда увидишь 100% пройденных тестов. Получилось без напряга? Быстро, качественно? Молодец. Вероятно, тебя обошли стороной проблемы вайбкодинга.
Потратил в десяток раз больше времени, чем привык? Вообще не смог? Вот тебе наглядная пропасть, над которой висишь ты сам. И если продолжать в таком духе - пропасть будет расти. И в какой-то момент ты можешь в ней оказаться. И выбираться придется тебе же.
Что делать:
* - конечно, помни, что это просто бессмысленный набор символов, который на базовом уровне сейчас можно попытаться оспорить и раскритиковать.
Просьба пройти опрос об обучении и ИИ после прочтения: https://forms.yandex.ru/u/69dc8cb36d2d73a3e006c086