Нейросети: как они устроены
Ещё пару лет назад слово «нейросеть» жило в основном в научных статьях. Сегодня ею пишут письма, рисуют картинки и пишут код миллионы людей, не имеющих отношения к программированию. Произошёл не одиночный прорыв, а совпадение нескольких условий, а сама идея совсем не нова: первые модели искусственных нейронов предложили ещё в середине XX века.
Десятилетиями они оставались любопытной теорией, потому что не хватало трёх вещей: гор данных для обучения, дешёвых вычислительных мощностей и удачной архитектуры. Когда в 2010-х всё это сошлось (интернет дал данные, видеокарты дали мощность, а исследователи нашли работающие схемы), нейросети за несколько лет прошли путь от распознавания рукописных цифр до генерации связного текста и фотореалистичных изображений.
Как нейросеть вообще учится
Ключевое отличие нейросети от обычной программы в том, что её не программируют заранее прописанными правилами. Её обучают на примерах. Внутри расположены слои простых вычислительных узлов, условных «нейронов», а связи между ними имеют веса, то есть степень влияния. Сеть показывают тысячи, а для крупных моделей и миллиарды примеров; она выдаёт ответ, сравнивает его с правильным, измеряет ошибку и понемногу подкручивает все веса так, чтобы в следующий раз ошибиться меньше. Этот процесс повторяется бесчисленное число раз, пока ответы не станут точными.
Такой перебор требует колоссальных вычислений, поэтому обучение идёт не на обычных процессорах, а на видеокартах, способных делать тысячи операций параллельно. Рынок этих ускорителей держит компания NVIDIA с чипами A100 и H100, а обучение по-настоящему больших моделей обходится в миллионы долларов только за электричество и аренду оборудования. Для картинок прорывной архитектурой стали свёрточные сети, научившиеся выделять на изображении края, формы и объекты. А для текста ключевой оказалась архитектура трансформера, описанная инженерами Google в 2017 году в статье с говорящим названием «Attention is all you need». Именно на трансформерах построены большие языковые модели, к которым относится и семейство GPT.
Что они уже делают и где ошибаются
Сегодня нейросети генерируют текст (отвечают на вопросы, пишут черновики писем и переводят), рисуют изображения по описанию в сервисах Midjourney, Stable Diffusion и DALL·E, распознают лица и речь от разблокировки телефона до автопилотов. В медицине они находят опухоли на снимках раньше и порой точнее уставшего за смену врача, а на производстве отбраковывают дефекты на конвейере быстрее человека. Список применений растёт почти каждый месяц.
Но у этой силы есть оборотная сторона, и о ней важно помнить. Главная слабость — так называемые «галлюцинации»: модель уверенно выдаёт правдоподобную, но выдуманную информацию, потому что по своей природе предсказывает вероятное продолжение текста, а не сверяется с истиной. Добавьте зависимость от качества обучающих данных (вместе с ними сеть впитывает и человеческую предвзятость), высокую стоимость вычислений и непрозрачность, из-за которой даже разработчики не всегда могут объяснить конкретное решение модели. Поэтому нейросеть сегодня — сильный помощник, но не автономный сотрудник: ответственное решение и проверку результата всё ещё оставляют за человеком.
