Исследователи нашли в Pythia окно в 0,4–1,1% претрейна, где перестраивается readout

Принято считать, что модель освоила навык в тот момент, когда начала выдавать правильный токен. Новая работа с Hugging Face Daily Papers показывает, что эта логика даёт сдвиг. Скрытые состояния могут нести информацию о задаче раньше, чем её выражает выход модели. На примере Pythia авторы нашли узкое окно, 0,4–1,1% пути через претрейн, где перестраивается матрица unembedding (readout) и в её строках проявляются категории WordNet.

Выход тоже учится

Предсказание токена проходит через unembedding-матрицу, которая переводит скрытое состояние в логиты по словарю. Эта матрица обучается одновременно со всем остальным. Поэтому поведенческий график, на котором точность растёт с шага N, смешивает два процесса: что модель уже закодировала внутри и что её readout научился выразить наружу.

Авторы проверили это напрямую. Линейные пробы на скрытых состояниях в ранних чекпойнтах уже декодируют информацию о задаче, хотя собственные выходы модели её ещё не показывают. Получается разрыв между знанием и его проявлением, и именно он искажает датировку многих «переходов» в развитии модели.

Parameter-trajectory crosscoding

Чтобы следить за readout, исследователи предложили parameter-trajectory crosscoding. Метод обучает один разреженный словарь на строки readout для каждого токена на каждом чекпойнте. Классические кросскодеры работают с активациями и требуют прогонять данные через модель. Здесь нужны только веса чекпойнтов, что заметно упрощает анализ открытых моделей с сохранённой историей обучения.

Ключевые наблюдения:

• окно реорганизации readout у Pythia: 0,4–1,1% претрейна;
• в этом окне категории WordNet становятся декодируемыми из строк readout;
• к его концу пробы на скрытых состояниях уже читают информацию, которой нет в выходах;
• для анализа нужны только веса чекпойнтов, без активаций;
• при повышенном learning rate readout итоговый loss почти не меняется.

Контрольный эксперимент с learning rate

Корреляции мало, поэтому авторы поставили интервенцию. Они обучили с нуля небольшие модели, различающиеся только learning rate readout. Если разрыв определяется скоростью обучения выходного слоя, он должен двигаться вместе с ней.

Так и вышло. При повышенном learning rate readout формируется раньше и разрыв между скрытым состоянием и выходом закрывается быстрее. Итоговый loss при этом почти не страдает. Значит, скорость обучения readout влияет на то, когда способность становится видна снаружи, но не на то, к чему модель приходит в конце.

Как использовать результат на практике

Вывод относится к ранней фазе обучения, где датируется много «внезапных» переходов. Если вы строите кривые появления способностей, одной метрики по выходам недостаточно. Рядом стоит класть линейные пробы на скрытых состояниях и сравнивать даты: если проба опережает выход, вы, скорее всего, измеряете созревание readout, а не появление навыка.

Для тех, кто обучает свои модели, это ещё и повод посмотреть на отдельный learning rate для unembedding. Работа проверена на малых моделях и на Pythia, так что переносить выводы на крупные современные архитектуры нужно осторожно. Но для открытых чекпойнтов инструмент уже применим, потому что веса есть у каждого.