Nowy typ sieci neuronowej utworzonej z memrystorów może znacznie poprawić wydajność maszyn uczących się, aby myśleć jak ludzie.

Co to jest memrystor – jest to jeden z podstawowych biernych elementów elektronicznych trzy pozostałe to opornik (rezystor), kondensator i cewka. Memrystor (ang. memory resistor – opornik z pamięcią) działa jako pojedyncza komórka pamięci, może być użyty do przechowywania jednego bitu informacji.

Sieć, zwana systemem komputerowym, może przewidywać słowa, zanim zostaną wypowiedziane podczas rozmowy, i pomóc przewidzieć przyszłe wyniki w oparciu o teraźniejszość. Zespół badawczy, który stworzył system obliczeń zbiornikowych, kierowany przez Wei Lu, profesora inżynierii elektrycznej i informatyki na Uniwersytecie w Michigan, opublikował niedawno swoją pracę w Nature Communications.

Systemy obliczeniowe rezerwuarów, które poprawiają typową pojemność sieci neuronowej i redukują wymagany czas szkolenia, zostały utworzone w przeszłości z większymi komponentami optycznymi. Jednak grupa U-M stworzyła swój system za pomocą memrystorów, które wymagają mniejszej przestrzeni i mogą być łatwiej zintegrowane z istniejącą elektroniką opartą na krzemie. Memrystory są szczególnym rodzajem urządzenia rezystancyjnego, które może zarówno logiczne, jak i przechowywać dane. Kontrastuje to z typowymi systemami komputerowymi, w których procesory wykonują logikę oddzielnie od modułów pamięci. W tym badaniu zespół Lu wykorzystał specjalny memrystor, który zapamiętuje zdarzenia tylko w bliskiej historii.

Inspirowane mózgiem sieci neuronowe składają się z neuronów lub węzłów i synaps, połączeń między węzłami. Aby wyszkolić sieć neuronową do zadania, sieć neuronowa przyjmuje duży zestaw pytań i odpowiedzi na te pytania. W procesie tego, co nazywa się nadzorowanym uczeniem się, połączenia pomiędzy węzłami są ważone w większym lub mniejszym stopniu, aby zminimalizować ilość błędów w uzyskaniu prawidłowej odpowiedzi.

Po przeszkoleniu sieć neuronowa może być przetestowana bez znajomości odpowiedzi. Na przykład, system może przetworzyć nowe zdjęcie i prawidłowo zidentyfikować ludzką twarz, ponieważ nauczył się funkcji ludzkich twarzy z innych zdjęć w swoim zestawie szkoleniowym. “Wiele razy, trwa kilka dni lub miesięcy, aby wyszkolić sieć”, powiedział Lu. “To jest bardzo drogie.” Rozpoznawanie obrazu jest również stosunkowo prostym problemem, ponieważ nie wymaga żadnych informacji poza statycznym obrazem. Bardziej skomplikowane zadania, takie jak rozpoznawanie mowy, mogą w dużym stopniu zależeć od kontekstu i wymagają, aby sieci neuronowe posiadały wiedzę o tym, co właśnie zaszło, lub o tym, co właśnie zostało powiedziane.

“Podczas transkrypcji mowy na tekst lub tłumaczenia języków, znaczenie słowa, a nawet wymowa będą się różnić w zależności od poprzednich sylab”, powiedział Lu. Wymaga to powtarzającej się sieci neuronowej, która zawiera pętle w sieci, które nadają sieci efekt pamięci. Jednak szkolenie tych powtarzalnych sieci neuronowych jest szczególnie kosztowne, powiedział Lu. Systemy obliczeniowe rezerwuarów zbudowane z memrystorów mogą jednak pominąć większość kosztownego procesu szkoleniowego i nadal zapewniają sieci możliwość pamiętania. Dzieje się tak dlatego, że najbardziej krytyczny element systemu – zbiornik – nie wymaga szkolenia.

Kiedy zestaw danych jest wprowadzany do zbiornika, zbiornik określa ważne dla czasu cechy danych i przekazuje je w prostszym formacie do drugiej sieci. Ta druga sieć wymaga jedynie szkoleń takich jak prostsze sieci neuronowe, zmieniając wagi funkcji i wyjść, które przekazała pierwsza sieć, dopóki nie osiągnie akceptowalnego poziomu błędu. “Piękno komputerowych systemów rezerwowych polega na tym, że podczas projektowania nie musimy ich wyszkolić” – powiedział Lu. Zespół udowodnił koncepcję komputerową w zakresie zbiorników wykorzystując test rozpoznawania pisma ręcznego, który jest wspólnym punktem odniesienia dla sieci neuronowych. Cyfry podzielono na rzędy pikseli i wprowadzono do komputera za pomocą napięć takich jak kod Morse’a, zero woltów dla ciemnego piksela i nieco ponad jeden wolt dla białego piksela. Wykorzystując tylko 88 memrystorów jako węzłów do identyfikacji odręcznych wersji cyfr, w porównaniu do konwencjonalnej sieci, która wymagałaby tysięcy węzłów do zadania, zbiornik osiągnął 91 procent dokładności.

Systemy obliczeniowe reservoir są szczególnie biegli w obsłudze danych zmieniających się w czasie, takich jak strumień danych lub słów, lub funkcji w zależności od wyników z przeszłości. Aby to zademonstrować, zespół przetestował złożoną funkcję, która zależała od wielu przeszłych wyników, co jest powszechne w dziedzinach inżynierii. System obliczeniowy zbiornika był w stanie modelować złożoną funkcję przy minimalnym błędzie. Lu planuje zbadanie dwóch przyszłych ścieżek dzięki tym badaniom: rozpoznawanie mowy i analiza predykcyjna. “Możemy przewidywać naturalny język mówiony, więc nie musisz nawet wymawiać pełnego słowa” – powiedział Lu. “Możemy faktycznie przewidzieć, co masz zamiar powiedzieć dalej.” W analizie predyktywnej Lu ma nadzieję, że użyje systemu do odbierania sygnałów z szumem, takich jak statyczne z dalekich stacji radiowych, i generuje czystszy strumień danych. “Może również przewidzieć i wygenerować sygnał wyjściowy, nawet jeśli wejście zatrzymało się”, powiedział.

Źródło:

Materiały udostępnione przez University of Michigan.