Як навчається мозок. Частина 1 з 4

Як навчається мозок. Частина 2 із 4

Прогнозування сприйняття

Обмеження, згідно з яким нейрони можуть навчатися, лише реагуючи на своє локальне середовище, також знаходить вираз в нових теоріях сприйняття мозку. Берен Міллідж , докторант Единбурзького університету та запрошений науковий співробітник Університету Сассекса, і його колеги узгоджували цей новий погляд на сприйняття, званий предиктивним (прогностичним, передбачаючим) кодуванням, з вимогами зворотного поширення помилки. «Прогностичне кодування, якщо воно налаштоване певним чином, дасть вам біологічно правдоподібне правило навчання», – сказав Міллідж.

Прогнозуюче кодування передбачає, що мозок постійно робить прогнози про причини сенсорних сигналів. Процес включає ієрархічні рівні нейронної обробки. Щоб отримати певний результат, кожен шар повинен передбачити нейронну активність нижчого шару. Якщо вищий шар очікує побачити обличчя, він пророкує активність нижчого шару, яка може виправдати це сприйняття. Шар нижче робить аналогічні прогнози про те, чого очікувати від шару, що знаходиться під ним, і так далі. Найнижчий шар робить прогнози про фактичні сенсорні сигнали – скажімо, про фотони, що потрапляють на сітківку. Таким чином, прогнози переходять від більш високих рівнів до нижчих рівнів.

Правило Hebbian – це дуже вузький, специфічний і не дуже чутливий спосіб використання інформації про помилки.

Деніел Ямінс, Стенфордський університет

Але помилки можуть виникати на кожному рівні ієрархії: відмінності між прогнозом, який шар робить щодо очікуваних вхідних даних, і фактичними вхідними даними. Найнижчий шар регулює свою синаптичну вагу, щоб мінімізувати свою помилку, на основі сенсорної інформації, яку він отримує. Це коректування призводить до помилки між недавно оновленим нижнім шаром і верхнім шаром, тому верхній рівень повинен переналаштувати свою синаптичну вагу, щоб мінімізувати помилку передбачення. Ці сигнали помилки піднімаються вгору. Мережа рухається вперед і назад, поки кожен рівень не мінімізує помилку передбачення.

Міллідж показав, що при правильному налаштуванні, мережі прогнозуючого кодування можуть сходитися багато в чому на тих же градієнтах навчання, що і зворотне поширення. «Ви можете дійсно, дійсно дуже близько підійти до градієнту методики зворотного поширення», – сказав він.

Однак для кожного зворотного проходу, який робить алгоритм традиційного методу зворотного поширення в глибинному навчанні, мережа прогнозуючого кодування повинна пройти кілька циклів. Чи є це біологічно правдоподібним, залежить від того, скільки часу це може зайняти в реальному мозку. Важливо відзначити, що мережа повинна прийти до єдиного рішення, перш ніж зміняться вхідні дані із зовнішнього світу.

«Це не може бути так:« На мене стрибає тигр, дозволь мені зробити 100 повторень назад і вперед, вгору і вниз по моєму мозку », – сказав Міллідж. Проте, якщо допустима певна неточність, прогнозуюче кодування може швидко дати в цілому корисні відповіді» -, сказав він.

Пірамідальні нейрони

Деякі вчені взялися за детальне завдання побудови моделей, подібних методу зворотного поширення, на основі відомих властивостей окремих нейронів. Стандартні нейрони мають дендрити, які збирають інформацію від аксонів інших нейронів. Дендрити передають сигнали тілу клітини нейрона, де сигнали інтегруються. Це може або не може привести до сплеску або потенціалу дії, що виходить на аксоні нейрона до дендритів постсинаптичних нейронів.

Але не всі нейрони мають саме таку структуру. Зокрема, пірамідальні нейрони – найпоширеніший тип нейронів в корі головного мозку – сильно відрізняються. Пірамідальні нейрони мають деревоподібну структуру з двома різними наборами дендритів. Стовбур тягнеться вгору і розгалужується на так звані апікальні дендрити. Корінь тягнеться вниз і розгалужується на базальні дендрити.

Моделі, розроблені незалежно Кордінг в 2001 році, а зовсім недавно Блейком Річардсом з Університету Макгілла і Мілою і його колегами, показали, що пірамідальні нейрони можуть формувати базові одиниці мережі глибокого навчання, виконуючи прямі і зворотні обчислення одночасно. Ключ полягає в поділі сигналів, що надходять в нейрон, для прямого виводу і для помилок, що надходять в зворотному напрямку, які можуть бути оброблені в моделі базальними і апікальними дендритами, відповідно. Інформація для обох сигналів може бути закодована в імпульсах електричної активності, які нейрон посилає по свого аксону в якості вихідного сигналу.

В останній роботі команди Річардса зазначається «ми підійшли до того моменту, коли ми можемо показати, що, використовуючи досить реалістичне моделювання нейронів, ви можете навчати мережі пірамідальних нейронів для виконання різних завдань», – сказав Річардс. «А потім, використовуючи кілька більш абстрактних версій цих моделей, ми можемо отримати мережі пірамідальних нейронів, щоб вивчати ті складні завдання, які люди виконують в машинному (глибинному) навчанні».

Як навчається мозок. Частина 3 з 4

You May Also Like

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *