Перейти к содержанию
CoreInfra
← Все записи

Neural Networks Are Already Clean: как понимать нейросети

Обложка исследования Neural Networks Are Already Clean Ника Каммараты и Goodfire
Пути признаков по слоям ConvNeXt: от цветовых пятен к животным, людям, тексту, траве и небу
ConvNeXt Microscope: визуализация нейрона, реагирующего на божьих коровок

Понимание нейронных сетей — одна из наиболее острых текущих научных проблем. Как минимум потому, что, не понимая сеть, мы не можем убедиться в том, что она не хочет на самом деле нас всех убить :-)

Господствующая на сегодня точка зрения гласит, что мы не можем интерпретировать нейроны (и их композиции), и поэтому вынуждены заниматься сложными непрямыми попытками вытащить из сети семантику.

Прекрасно оформленная работа Ника Каммараты — про то, что на самом деле можем, включая для огромных современных сетей. Маленький размер и несовершенство ранних архитектур (например, отсутствие residual stream) просто мешали увидеть, что к чему и за что отвечают индивидуальные нейроны.

Neural Networks Are Already Clean

Статья огромная — считаю, что это однозначно лучший способ провести вечер пятницы.

Автор: Григорий Петросян