5 неочевидных фактов о нейросетях, ИИ и машинном обучении

8 апреля 2023 года

Первая «чатбот-программа» была разработана ещё в 1966 году

Цифровую пародию на психотерапевта под названием «ELIZA» разработал профессор MIT Йозеф Вейценбаум. Система распознавала в текстах ключевые слова и, опираясь на них, выдавала подходящие из заранее запрограммированных фраз ответы. Если она не понимала, как ответить на вопрос — «переводила» тему.

Нейросети могут достигать «нулевой ошибки» даже на случайно размеченных данных

Возьмём большую обучающую выборку изображений кошек и собак. Перемешаем метки классов: 50% кошек объявим собаками, а 50% собак — кошками. Попробуем обучить нейронную сеть на такой бессмысленной задаче. Удивительно, но, через некоторое время, она достигнет 100% точности классификации и для каждой картинки из обучающей выборки будет выдавать именно тот класс, который мы ей присвоили. Хотя никакой закономерности между картинкой и меткой класса нет.

Про «нулевую ошибку» (Poka-yoke, «защита от дурака»).

Нейросети генерируют лица, которых никогда не существовало

Многие думают, что если обучить нейросеть на 5 тысячах фотографий «улыбчивых брюнетов с карими глазами» и начать генерировать с помощью этой нейросети новые изображения, то она просто покажет один из использованных для обучения кадров. Это не так.

Лицо человека состоит из огромного количества черт, а технологии смешивают их и по частям создают уникальную картинку.

Нейросети могут учить сами себя

Самообучение (Self-supervised learning) позволяет алгоритмам выполнять задачи без включения человека в процесс разметки даных. Система сама маркирует, кластеризует и анализирует информацию, а затем делает выводы на основе связей и корреляции в представлениях данных.

На выходе, требуется минимальная разметка найденных групп или адаптация полученной разметки к конкретным задачам.

ИИ-технологиями охвачены несколько тысяч языков

Помните время, когда онлайн-переводчики справлялись только с английским? Сейчас большие языковые модели способны принимать на вход и генерировать информацию даже на малораспространённых языках. Например, популярная «ChatGPTGPT-4» понимает даже урду и маратхи, а в России нейросети учат работать с башкирским и татарским языками.

Автор и эксперт: «N+1».