samenvatting: Onderzoekers onderzoeken een grote hindernis in machine learning die bekend staat als ‘catastrofaal vergeten’, een fenomeen waarbij AI-systemen informatie verliezen van eerdere taken terwijl ze nieuwe leren.
Het onderzoek toont aan dat AI, net als mensen, informatie beter onthoudt wanneer ze met verschillende taken worden geconfronteerd in plaats van wanneer ze vergelijkbare kenmerken delen. Inzichten uit het onderzoek kunnen helpen bij het verbeteren van continu leren in AI-systemen, het ontwikkelen van hun mogelijkheden om menselijke leerprocessen na te bootsen en de prestaties te verbeteren.
Belangrijkste feiten:
- Catastrofaal vergeten is een uitdaging in AI-systemen, waarbij informatie van eerdere taken wordt vergeten terwijl nieuwe taken worden geleerd.
- Kunstmatige neurale netwerken onthouden informatie beter wanneer ze een verscheidenheid aan taken krijgen aangeboden, in plaats van taken die vergelijkbare kenmerken delen.
- De inzichten van de studie zouden de kloof tussen machine learning en menselijk leren kunnen overbruggen, wat zou kunnen leiden tot meer geavanceerde AI-systemen.
bron: Universiteit van Ohio
Herinneringen vasthouden kan net zo moeilijk zijn voor machines als voor mensen.
Om te helpen begrijpen waarom kunstmatige agenten gaten in hun cognitieve processen ontwikkelen, analyseerden elektrotechnici van de Ohio State University hoe een proces dat ‘continu leren’ wordt genoemd, hun algehele prestaties beïnvloedde.
Continu leren is wanneer een computer wordt getraind om continu een reeks taken te leren, waarbij de kennis die is verzameld uit oude taken wordt gebruikt om nieuwe taken beter te leren.
Een van de grootste hindernissen die wetenschappers echter nog moeten overwinnen om zulke hoogten te bereiken, is leren hoe ze het machine learning-equivalent van amnesie kunnen omzeilen – een proces dat bij AI-agenten bekend staat als ‘catastrofaal vergeten’.
Aangezien kunstmatige neurale netwerken worden getraind op de ene nieuwe taak na de andere, hebben ze de neiging om informatie te verliezen die is verkregen uit die eerdere taken, zei Ness Shroff, een senior onderzoeker uit Ohio en professor informatica en engineering aan de Ohio State University, een probleem dat problematisch zou kunnen worden naarmate de samenleving steeds meer op AI-systemen vertrouwt.
“Aangezien geautomatiseerde rijtoepassingen of andere robotsystemen ons nieuwe dingen leren, is het belangrijk dat ze de lessen die ze al hebben geleerd niet vergeten in het belang van onze veiligheid en die van hen,” zei Shroff. “Ons onderzoek duikt in de complexiteit van continu leren in deze kunstmatige neurale netwerken, en wat we vinden zijn inzichten die de kloof beginnen te overbruggen tussen hoe een machine leert en hoe een mens leert.”
De onderzoekers ontdekten dat op dezelfde manier waarop mensen misschien moeite hebben om tegenstrijdige feiten over vergelijkbare scenario’s te onthouden, maar zich gemakkelijk inherent verschillende situaties herinneren, kunstmatige neurale netwerken informatie beter kunnen onthouden wanneer ze achtereenvolgens met verschillende taken worden geconfronteerd, in plaats van wanneer ze vergelijkbare kenmerken delen, zei Shroff.
Het team, dat bestaat uit de postdoctorale onderzoekers Sen Lin en Bishong Guo van Ohio State en de professoren Yingbin Liang en Shroff, zal deze maand hun onderzoek presenteren op de 40e jaarlijkse internationale machine learning-conferentie in Honolulu, Hawaii, een toonaangevende conferentie over machine learning.
Hoewel het misschien moeilijk is om autonome systemen te leren om dit soort dynamische, levenslang leren te vertonen, zullen wetenschappers met dergelijke mogelijkheden machine learning-algoritmen sneller kunnen opschalen en ze gemakkelijk kunnen aanpassen aan veranderende omgevingen en onverwachte situaties. Kortom, deze systemen zullen ooit bedoeld zijn om het leervermogen van mensen na te bootsen.
Traditionele machine learning-algoritmen worden in één keer op gegevens getraind, maar de resultaten van dit team hebben aangetoond dat factoren zoals taakovereenkomst, negatieve en positieve correlaties, en zelfs de volgorde waarin een algoritme een taak wordt aangeleerd, van belang zijn voor de tijdsduur dat een synthetisch netwerk bepaalde kennis vasthoudt.
Om bijvoorbeeld het geheugen van een algoritme te verbeteren, zei Shroff, moeten gedifferentieerde taken vroeg in het continue leerproces worden aangeleerd. Deze methode vergroot het vermogen van het netwerk om nieuwe informatie te verwerven en verbetert het vermogen om later meer vergelijkbare taken te leren.
Shroff zei dat hun werk bijzonder belangrijk is omdat het begrijpen van de overeenkomsten tussen machines en het menselijk brein de weg zou kunnen effenen naar een dieper begrip van AI.
“Ons werk luidt een nieuw tijdperk in van intelligente machines die net als hun menselijke tegenhangers kunnen leren en zich kunnen aanpassen”, zei hij.
Financiering: De studie werd ondersteund door de National Science Foundation en het Army Research Office.
Over deze kunstmatige intelligentie en leer onderzoeksnieuws
auteur: Tatiana Woodall
bron: Universiteit van Ohio
communicatie: Tatiana Woodall – De Ohio State University
afbeelding: Afbeelding gecrediteerd aan Neuroscience News
“Proud coffee guru. Web pioneer. Internet expert. Social media specialist.”