?

Log in

No account? Create an account

Previous Entry | Next Entry

Антихрупкие вычисления

При доказательстве математической теоремы достачно одного неверного шага, чтобы обрушить все доказательство. Аналогично, при выполнении компьютерной программы ошибка в одном бите часто приводит к катастрофическим последствиям. Нейронные сети же демонстрируют антихрупкость: при их обучении шумы, разрывы связей и выпадения отдельных нейронов (естественно, в некоторых разумных пределах) идут только на пользу - позволяют победить overfitting. Искусственные помехи хорошо используются в deep learning (noisy auto-encoders, dropout и т.д.).

Неудивительно, что эволюция разработала мозг на основе нейронных сетей, а не машины Тьюринга.

Tags:

Comments

( 6 comments — Leave a comment )
alexaggi
Jun. 17th, 2015 07:35 pm (UTC)
По идее нейронные сети вычислительно эквивалентны машине Тьюринга. Иначе их невозможно было бы моделировать, используя машину Тьюринга.
solomon2
Jun. 17th, 2015 07:52 pm (UTC)
Это модельные сети эквивалентны, а реальные в мозге - неизвестно пока. Кроме того, (принципиальная) вычислительная эквивалентность - это далеко еще не (практическая) эффективная эквивалентность.
Но можно заменить "машину Тьюринга" на "архитектуру фон Неймана", если угодно.

Edited at 2015-06-17 09:17 pm (UTC)
alexaggi
Jun. 17th, 2015 11:56 pm (UTC)
Поинт исключительно в том, что "реальные в мозге", скорее всего, совсем даже не современные "нейронные сети". Нейронная сеть слишком проста для этого.
solomon2
Jun. 18th, 2015 01:25 am (UTC)
Сегодняшние искусственные нейронные сети, конечно, весьма просты, но с их помощью удается добиваться поразительных результатов. Кроме того, они очень хорошо маштабируются (scalable). Мне кажется вполне возможным, что если собрать достаточно большую искусственную сеть и хорошенько ее натренировать, то мы получим искусственный интеллект в полном смысле слова.
anhinga_anhinga
Jul. 7th, 2015 04:25 am (UTC)
solomon2
Jul. 7th, 2015 05:09 am (UTC)
Спасибо, интересно!
( 6 comments — Leave a comment )