Takaisinkytketty neuroverkko
Tässä artikkelissa aiomme sukeltaa Takaisinkytketty neuroverkko:n kiehtovaan maailmaan ja tutkia sen alkuperää, sen vaikutusta yhteiskuntaan ja sen merkitystä nykyään. Muinaisista ajoista lähtien Takaisinkytketty neuroverkko on ollut ratkaisevassa roolissa ihmisten elämässä, ja se on vaikuttanut kaikkeen kulttuurisista teknologisiin näkökohtiin. Seuraavilla riveillä analysoimme perusteellisesti kaikkia Takaisinkytketty neuroverkko:een liittyviä näkökohtia, selvitämme sen mysteereitä, poistamme väärinkäsityksiä ja korostamme sen merkitystä nykymaailmassa. Takaisinkytketty neuroverkko on jättänyt lähtemättömän jäljen kaikenikäisten ja -kulttuuristen ihmisten elämään ensimmäisistä maininnoistaan historiassa ja läsnäoloonsa nykypäivän globalisoituneessa yhteiskunnassa, ja siitä on tullut yleismaailmallinen kiinnostava aihe.
Takaisinkytketty neuroverkko (engl. recurrent neural network) on neuroverkkoarkkitehtuuri, jossa syötteiden informaatio kulkee aika-askelittain eteenpäin. Toisin kuin tavalliset eteenpäin suunnatut neuroverkot, takaisinkytketyt neuroverkot voivat käyttää sisäistä tilaa (muistia) syötteiden käsittelemiseen. Takaisinkytketyt neuroverkot ovatkin omiaan ajallisesti jäsennetyn datan, kuten käsinkirjoituksen, tekstin tai puheen käsittelyyn.
Tavalliset takaisinkytketyt neuroverkot kärsivät katoavan gradientin ongelmasta. Mitä kauemmas aika-akselilla mennään, sitä vähemmän muutokset vaikuttavat lopputulokseen, ja sitä vaikeampi on oppia syy-seuraussuhteita. Esimerkiksi kieltä tuottava verkko oppii hyvin parin sanan mittaisia syy-seurausketjuja, mutta kymmenen sanan päähän ulottuva oppiminen on jo miltei mahdotonta. Katoavan gradientin ongelmaan on kehitetty ratkaisuksi pitkäkestoinen lyhytkestomuisti -arkkitehtuuri (engl. Long Short Term Memory, lyh. LSTM). Tällainen verkko pitää yllä sekä tulos- (output) että piilotettua (hidden) muistikerrosta. LSTM-arkkitehtuuri parantaa huomattavasti pitkien syy-seurausketjujen oppimista.
Takaisinkytketyt neuroverkot (RNN) perustuvat David Rumelhartin, Geoffrey Hintonin ja Ronald J. Williamsin julkaisuun Learning representations by back-propagating errors vuodelta 1986.[1] Pitkä-lyhytkestomuistiverkon esittelivät Sepp Hochreiter ja Jürgen Schmidhuber 1997.[2] LSTM-verkot mullistivat puheentunnistuksen. käsialantunnistuksen, konekäännöksen ja kielimallinnuksen vuodesta 2007 eteenpäin.