В 2007 році, деякі з провідних мислителів, які займаються вивченням мережі глибинного навчання, організували неофіційну зустріч в кулуарах однієї престижної щорічної конференції, присвяченої штучному інтелекту. Конференція відхилила їх запит на офіційний семінар – залишалося ще кілька років до того, як мережі глибинного навчання захопили штучний інтелект (ШІ). Останнім спікером неофіційної зустрічі був Джеффрі Хінтон з Університету Торонто, когнітивний психолог спеціаліст з комп’ютерних наук, відповідальний за деякі з найбільших досягнень у сфері глибинного навчання. Він почав з жарту: «Отже, близько року тому я прийшов додому на обід і сказав:« Думаю, я нарешті зрозумів, як працює мозок», на що моя 15-річна донька видала:« О, тату, тільки не знову ».

Публіка засміялася. Хінтон продовжив: «Отже, ось як це працює». Зал наповнився голоснішим сміхом.

Жарти Хінтона спростовують серйозну мету: використання ШІ для розуміння роботи мозку. Сьогодні глибинне навчання керує ШІ, здебільшого завдяки алгоритму, названого зворотнім поширенням помилки або бекпроп. Алгоритм дозволяє глибинним мережам вчитися на даних, наділяючи їх здатністю класифікувати зображення, розпізнавати мову, перекладати мови, аналізувати дорожні умови для безпілотних автомобілів і виконувати безліч інших завдань.

Але малоймовірно, що справжній мозок буде покладатися на той же алгоритм. Справа не тільки в тому, що «мозок здатний узагальнювати і вчитися краще і швидше, ніж сучасні системи штучного інтелекту», – сказав Йошуа Бенжі , науковець з комп’ютерних наук Монреальського університету, науковий керівник Mila – Квебекського інституту штучного інтелекту і один з організаторів семінару 2007 року . З різних причин, зворотне поширення НЕ сумісну з анатомією мозку і фізіологією, особливо кори головного мозку.

 

Бенжі і багато інших, натхненні Хінтоном, думали про найбільш ймовірні з біологічної точки зору механізми навчання, які могли б, принаймні, відповідати успіху зворотнього поширення помилки. Три з них (про них далі детальніше) – вирівнювання зі зворотнім зв’язком , рівноважне поширення і прогнозуюче кодування – виявилися особливо перспективними. Деякі дослідники також включають в свої моделі і такі властивості певних типів нейронів кори головного мозку, як увага. Всі ці зусилля наближають нас до розуміння алгоритмів, які можуть задіюватись при роботі мозку.

«Мозок – це величезна загадка. Створюється загальне враження, що якщо ми зможемо розкрити деякі з його принципів, це може бути корисно для ШІ », – сказав Бенжі. «Але таке знання має і самостійну цінність».

Навчання через зворотне поширення

Вже протягом десятиліть, роздумуючи про навчання мозку, нейробіологи здебільшого керуються правилом, запровадженим в 1949 році канадським психологом Дональдом Хеббом, яке часто перефразовують як «Нейрони, які активуються разом, з’єднуються один з одним». Тобто, чим більш корельована активність сусідніх нейронів, тим сильніші синаптичні зв’язки між ними. Цей принцип з деякими модифікаціями успішно пояснював деякі обмежені типи завдань навчання і візуальної класифікації.

Але це працювало набагато гірше для великих мереж нейронів, яким доводилося вчитися на помилках; не було прямого цільового методу для нейронів в глибинному навчанні аби дізнаватися про виявлені помилки, оновлювати себе і робити менше помилок. «Правило Хебба – це вузький, специфічний і досить не чутливий спосіб використання інформації про помилки», – сказав Деніел Ямінс , комп’ютерний нейробіолог і вчений в галузі комп’ютерних наук зі Стенфордського університету.

Тим не менш, це було найкращим правилом навчання, яке мали нейробіологи, і ще до того, як воно стало домінуючим в нейробіології, воно надихнуло на розробку перших штучних нейронних мереж в кінці 1950-х років. Кожен штучний нейрон в цих мережах отримує кілька вхідних сигналів і виробляє вихідні дані, як і його біологічний аналог. Нейрон примножує кожен ввід на так звану «синаптичну» вагу – число, що позначає важливість, що присвоєна цьому вводу, – а потім підсумовує зважені вхідні дані. Ця сума і є результативністю (аутпутом) нейрона. До 1960-х років стало ясно, що такі нейрони можуть бути організовані в мережу з вхідним і вихідним шарами, а штучна нейронна мережа може бути навчена для вирішення певного класу простих завдань. Під час навчання нейронна мережа вибирала для своїх нейронів найкращу вагу, щоб усунути або мінімізувати помилки.

Однак навіть в 1960-х роках було очевидно, що для вирішення складніших завдань потрібні один або кілька «прихованих» шарів нейронів, затиснутих між вхідним і вихідним шарами. Ніхто не знав, як ефективно навчати штучні нейронні мережі з прихованими шарами – до 1986 року, коли Хінтон, покійний Девід Рамелхарт і Рональд Вільямс (нині з Північно-Східного університету) опублікували алгоритм зворотного поширення помилки .

Алгоритм працює в два етапи. У «прямій» фазі, коли мережі надається ввід (інпут), вона робить висновок, який може бути помилковим. Друга «зворотна» фаза оновлює синаптичну вагу, приводячи вихідні дані в більшу відповідність з цільовим значенням.

Щоб зрозуміти цей процес, уявіть собі « графік функцій втрат », який описує різницю між передбачуваними і бажаними вихідними даними, у вигляді ландшафту пагорбів і долин. Коли мережа робить висновок із заданим набором синаптичних ваг, вона виявляється в якомусь місці на ландшафті втрат. Щоб навчитися, йому потрібно рухатися вниз по схилу або по градієнту в бік певної долини, де втрати зведені до мінімуму, наскільки це можливо. Зворотне поширення – це метод оновлення синаптичних ваг для зниження цього градієнта.

По суті, зворотна фаза алгоритму обчислює, наскільки синаптична вага кожного нейрона вносить вклад в помилку, а потім оновлює цю вагу для поліпшення продуктивності мережі. Цей розрахунок виконується послідовно в зворотному напрямку від вихідного рівня до вхідного, звідси і назва – зворотне поширення. Робіть це знову і знову для наборів входів і бажаних виходів, і в кінцевому підсумку ви прийдете до прийнятного набору ваги для всієї нейронної мережі.

 

Як навчається мозок. Частина 2 із 4

 

Джерело