Intelligente Neuronale Netze: Börsenkurse mit NN voraussagen, ohne vorher Indikatoren zu berechnen

Hallo zusammen.
Ich habe ein Verständnissproblem bezüglich Neuronaler Netze. Die Forensuche liefert dazu ja einige Ergebnisse, aber nicht was ich suche.

Also, hier die Problembeschreibung:
Ich habe eine große Datenreihe, wir gehen hierbei von Aktienkursen aus. Nun soll das Programm berechnen, welche Werte in der Zukunft kommen (oder sehr wahrscheinlich kommen werden). Ein typischer Einsatzfall für NNs.

Was ist jetzt genau das Problem?
Meine Frage ist, wie ich das NN mit Inputdaten versorge, bzw. mit welchen. Um nächte Zahlenwerte berechnen zu können, sind eine Reihe an Indikatoren notwendig, mit denen das NN versorgt werden soll. Zwei Lösungen:

1.) Die Berechnung der Indikatoren wird programmiert und an das NN weitergeleitet. Dieses muss diese Indikatoren nurnoch gewichten und Auswerten -> ziemlich simpel (zumindest was das NN betrifft).
Problem: Hier ist man wieder an sein eigenes Wissen gebunden. Die Indikatoren die man, warum auch immer, nicht programmiert, sei es, weil man sie nicht kennt oder weil man nicht weiß wie, werden nicht beachtet.

2.) Das (ich nenne es intelligentes) NN muss anhand von Lerninputs selbst herrausfinden, wie und was für Indikatoren es berechnet. Diese Indikatoren sind mit Sicherheit nicht algorhithmisch ausdrückbar, schließlich kann man "Gedanken" auch nicht als Algorithmus darstellen. -> Sehr komplexer Aufbau des NNs.

Ich würde gerne das zweite Verfahren umsetzten, einfach da es eine viel Größere Abstraktion bietet und mit persöhnlich zuverlässiger (?) erscheint. Allerdings habe ich keine Idee, wie ich ein selbstentdecken umsetzten soll.

Nochmal anhand eines Besipiels verdeutlich was ich erreichen will:
"normales" NN arbeitet so: Anhand von Beipielen lernt es wie man x+y rechnet und kann diese Information auf unbekannte Werte anwenden.
"intelligentes" NN abeitet so: Es kann sich komplett unbekannte Sachen selbst beibringen, genauso wie das menschliche Gehirn von niemandem beiegbracht bekommt, wie Gesichtserkennung funktioniert, lernt es das mit der Zeit. (vllt ein schlechtes Besipiel, aber ihr wisst was ich meine)

Ich hab ja gesehen, dass sich hier ein paar NN-Experten rumtreiben, vielleicht kann mir ja der ein oder andere helfen.

Grüße, xToast

Du könntest es dem NN etwas einfacher machen, schließlich lernt ein Mensch auch nur durch Erfolg und Misserfolg. Du könntest also ein paar einfachere testformeln erzeugen, die du dein NN solange machen lässt bis esdas richtige Ergebnis ausspukt.
Um sich das merken zu können bräuchte dein NN ein Gedächtnis, in das es positive (also erfolgreiche) Ergebnisse ablegt um es dann mit anderen Aufgaben assoziieren zu können.

Interessanter Ansatz, ein komplettes Gehirn zu entwickeln. Aber ich verstehe nicht ganz was du meinst mit "Testformeln". Könntest du das vielleicht nochmal erklären?

Du hast es in deinem Posting doch schon selbst alles beschrieben.
Du brauchst den "Lerninput" und nichts anderes sind die Testformeln.

Ja, eigentlich. Aber ich möchte ja, dass mein NN während des Lernens anhand des Inputs Formeln (bzw. eher "Gedankengänge") erstellt und bei "echtem" diesen Gedankengänge folgt. Mein Problem ist halt, dass ich nicht weiß wie ich diese Gedankengänge verwalten bzw erlernen soll. Im Grunde muss ich dem NN assoziatives Denken beibringen (da liege ich richtig, oder?), woran ich verzweifele, weil ich nicht weiß wie.

Hallo xToast,

das Lernens anhand des Inputs und das assoziatives Denken sind quasi der Normalfall bei neuronalen Netzen. Die Grundlagen des jeweiligen Themengebiets (hier: neuronale Netze) setzen wir als bekannt voraus, bzw. erwarten, dass man sich einliest, bevor man Fragen dazu stellt. Wir können und wollen hier nicht von Adam und Eva anfangen, Neuronale Netze zu beschreiben.

Der Knackpunkt ist, dass neuronale Netz Muster erkennen sollen. Um Muster erkennen zu können, muss aber der Input entsprechend aufbereitet sein. Stell dir vor, du würdest die Pixel eines Bildes als lineares Balkendiagramm der Helligkeitswerte bekommen. Darin könntest du nichts erkennen.

Wenn du ein NN nur mit den Kursverläufen fütterst, wird es dem NN sehr schwerfallen, darin Muster zu erkennen, denn woher soll es wissen, dass der Kursverlauf 100, 101, 102, 103, 50 und der Kursverlauf 1000, 1010, 1020, 1030, 500 ähnlich sind, obwohl die Werte sich um eine Größenordnung unterscheiden. Wenn du dagegen die prozentuale Änderung als Input verwendest grob also +1%, +1%, +1%, -50% wäre die in beiden Fällen gleich.

Mit anderen Worten: Du wirst um eine Aufbereitung des Inputs in einer Weise, dass sich daraus die zu erkennen Muster auch tatsächlich widerspiegeln, nicht herumkommen.

Wenn du aus den Kursverläufen die Indikatoren berechnest und damit das NN fütterst, wirst du um Längen bessere Ergebnisse bekommen, selbst wenn du irgendwelche Indikatoren vergessen hast, als wenn du auf ein intelligentes NN hoffst, das direkt aus den Rohwerten irgendwas erkennen soll.

Mal abgesehen davon, dass die die Kurse eh nicht nummerisch voraussagen lassen. Die wichtigsten Einflussfaktoren liegen außerhalb der Kurse in den Nachrichten und Ereignissen der realen Welt.

herbivore

Okey, mit dem assoziativen Denken hatte ich wohl falsch ausgedrückt. Ich meinte weniger die assoziation von Begriffen/Werten oder ähnlichem, sondern eher dem Entwickeln von Gedankengängen. Was ich damit genau meine ist, dass das NN nicht nur dadurch dazulernt, indem Schwell- bzw Gewichtswerte verändert werden (wie es bei den üblichen Lernalgorhytmen der Fall ist), sondern auch Synapsen gelöscht, bzw neu erstellt werden, wie es auch im Gehirn der Fall ist. Ob das sinnvoll ist ist eine andere Frage, aber das war auch nur eine Idee.
Ein NN setzt (meinstens) normalisierte Daten vorraus, deshalb habe ich dass nicht genannt, aber das stimmt schon, durch Angabe der prozentualen Änderung kann man sicherlich bessere Ergebnisse erreichen.

Ich glaube aber, du hast nicht genau verstanden, was ich meine. Ich versuche nicht, dem Netz irgendwelche Daten zu liefern, und ein Output zu erwarten das nichts damit zu tun hat. Sondern ich wollte, dass das Netz nicht von von mir vorgegebenen Indikatoren abhängig ist, sondern dass folgendes:
Schritt 1: Das Netzt bekommt Datenreihen, vergleicht diese mit anderen, schaut sich Regelmäßigkeiten bzw. wiederholene Muster an. Anhand dieser Informationen lernt es, diese Regelmäßigkeiten bzw. Abhängigkeiten in unbekannten Daten zu erkennen.
Schritt 2: Nachdem Schritt 1 beherrscht wird, bewertet der Algorithmus das Output von Schritt 1. Das NN macht damit prktisch das selbe, was es auch mit den Indikatoren machen würde.

Ich hoffe jetzt ist etwas klarer was ich meine. Mein Problem ist, dass ich nicht weiß wie Schritt 1 umzusetzten ist. Wenn ihr sagt, dass er absolut keinen Sinn macht/nicht umsetztbar ist, würde ich halt Indikatoren verwenden.

PS: Mir isch schon klar, dass man Kurse nicht nummerisch vorhersagen kann, aber, gerade in stabilen Zeiten, funktioniert die Chartanalyse doch ziemlich gut. Und die objektive Bewertung von Indikatoren können Maschienen eben besser als Menschen (vorrausgesetzt, die sind dafür trainiet).

Hallo xToast,

also ein Netz, dass sich die Datenreihen anschaut und dann daraus (in Schritt 1) Indikatoren ableitet, halte ich für unrealistisch. Das setzt m.E. höhere Denkprozesse voraus. Das kann ein Gehirn, aber nicht die momentan möglichen künstlichen Neuronalen Netze.

herbivore

Gut, dass jetzt klar ist, was ich meinte 😃
Um mich chnell zu berichtigen, ich meinte natürlich logisches, und nicht assoziatives Denken.
Das Ableiten von Indikatoren ist unrealistisch, da hast du recht. Aber wenn das Netzt nicht Indikatoren erkennen, sondern eher Zusammenhänge begreifen soll. Halltet ihr das für möglich?

Hallo xToast,

ich mach mal ein anderes Beispiel. Stell dir vor, du willst mit einem NN einen Buchstaben erkennen. Nehmen wir an, dass Bild des Buchstabens ist schwarz-weiß und jeder Pixel wird an ein Input-Neuron weitergeleitet. Das Problem ist, der Buchstabe kann um einen beliebigen Winkel gedreht sein. Jetzt fängst du an zu trainieren. Nehmen wir an, du für den Buchstaben A schon 5 verschiedene Winkel trainiert: 0°, 45°, 90°, 135°, 180° und in allen Fällen wird der Buchstabe erkannt. Jetzt wird das Netz vermutlich auch Buchstaben erkennen, die um 181° oder 42° gedreht sind. Aber erkennt es auch einen Buchstaben, der um 290° gedreht ist? Vermutlich nicht. Neuronale Netz erkennen ähnliche Muster, wie die, auf die sie trainiert wurden. Mit anderen Worten, wenn die Inputsignale eines Musters sich in ihrer Stärke nur wenig von einem der trainierten Muster unterscheiden, wird gleicher oder ähnlichen Output erzeugt.

Aber sie haben keine logisch Generalisierungsfähigkeit, die ihnen erlauben würde zu erkennen, das die Reihe der Trainingsdaten einen logischen Aufbau hat. Und sie können auch nicht aus den gelernten Drehungen ableiten, wie ein Buchstabe aussehen würde, der um 290° gedreht ist. Der Buchstabe A hat je nach Drehung eine ganz unterschiedliche Repräsentation (in Hinblick darauf, welche Pixel und schwarz und welche weiß sind).

Und bei Börsenkursen gibt es viel mehr Varianten als bei den gedrehten As. Es wird also noch viel wahrscheinlicher sein, dass Lücken in den Trainingsdaten bestehen.

Insofern also nein, die bestehenden künstlichen neuronale Netze erkennen keinen Zusammenhänge der gewünschten Art.

herbivore

Also kuzgefasst: NNs sind nicht in der lage, Zusammenhänge zu erkennen, sondern können nur gelerntes wiedergeben, bzw. anwenden. Richtig?
Heißt das, dass NNs nicht verstehen, was sie machen, sondern nur gelerntes anwenden? Das wäre ja dsa selbe wie bei Formeln. Manche wissen nicht **warum ** a² + b² = c² ist, sondern wissen nu, ass es so ist und wendes es deshalb stur an?

Edit: Nochmal auf folgende Aussage bezogen:

aber niemals alle Faktoren, um verlässlich einen Indikator einer Aktie zu erlangen

Es geht mir weniger darum, Faktoren berechnen zu lassen, sondern eher um die Erkennung von Mustern. Ein gutes Beispiel ist die Eliot-Wave. Vielleicht ist euch das ein Begriff. Mir geht es halt darum, dass das NN solche Zusammenhänge bzw. Muster selbständig erkennt. Und das müsste ein NN doch können. Außerdem geht es mir darum, dass das NN erkennt, weche Abhängigkeiten es gibt. Wenn der DowJones gute Werte erziehlt, ist es beispielsweise möglich, dass der DAX gut öffnet. Oder wenn eine Branche fällt, werden dazugehörige Kurse ebenfalls beeinflusst.

Hallo xToast,

naja, NNs haben schon eine gewisse Generalisierungsfähigkeit. Sie können also schon ein A erkennen, das um 42° gedreht wurde, auch wenn sie nur 45° gelernt haben, einfach weil das Muster der beiden As (also welche Pixel schwarz und welche Pixel weiß sind) sehr ähnlich sind. Aber sie erkennen eben nicht, das ein A, das um 90° und eins, dass um 180° gedreht ist, die gleiche Form haben, sondern sie sehen nur, dass viele Pixel einen unterschiedlichen Wert haben. Also ist es für sie etwas ganz anders. Sie können eben nicht logisch schließen. Wenn ein NN ein beliebig gedrehtes A erkennen soll, dann darfst du es nicht mit den Pixeln füttern, sondern mit den Indikatoren, also nur gerade Linien, keine Rundungen, drei Linien, drei Knotenpunkte usw.

herbivore

Das einzige, was ich mir vorstellen könnte, wäre in diesem Zusammenhang ein Kohonen-Netz, das viele Aktienkurse in einer Matrix als input bekommt und auf einen Aktienkurs als Output trainiert wird. Hierbei eignen sich aber auch nicht die absoluten werte, sondern nur die Wertänderungen.

Nimmst du dann als input eine bestimmte Branche und deren Nachbarbranchen (für die äußeren Inputknoten) und legst diese auf einen bestimmten Aktienkurs einer bestimmten Firma, könntest du durch das netz ein Signal bekommen, ob es sehr wahrscheinlich ist, das diese eine Aktie demnächst steigen wird oder fallen wird.

Das sind aber dennoch sehr viele variablen drin. Üblicherweise arbeiten Systeme, die sowas machen, mit deutlich mehr input als nur den Kursdaten. Hierfür gibt es Firmen, die die ganze zeit nichts anderes machen als Newsmeldungen für diese Mechanismen aufzuarbeiten und einzuspeisen, damit die Vorhersage genauer wird. Aber selbst das funktioniert nur eingeschränkt.

Hallo xToast,

mach doch einfach mal die Probe aufs Exempel. Nimm ein NN mit sagen wir 10 Inputs mit Werten zwischen 0 und 100 und einem boolschen Output. Sei Vi der Wert für den i-ten Input. Jetzt legst du zwei Arten von (Training-)Inputs an. Einmal

V1 = c1
Vi = Vi-1 + c2, für i > 1

also konstant steigende (oder fallende) Inputs, mit zufälligem Startwert c1 und beliebiger (positiver oder negativer) Steigung c2 (natürlich immer so gewählt, dass alle Werte innerhalb des Wertebereich liegen). Und einmal

V1 = c1
Vi = Vi-1 + c2, für i > 1 und i ≤ c3
Vi = Vi-1 - c2, für i > c3

also Linien, die mittendrin abknicken, erst steigen und dann fallen oder umgekehrt. c3 wird ebenfalls zufällig gewählt. Um es dem Netz nicht zu schwierig zu machen, kann man hier c2 ≥ 5 wählen und c3 > 3 und c3 < 8, so dass es einen deutlichen Knick ausreichend vom Rand entfernt gibt.

Die Trainingsdaten sollten so gewählt werden, dass die Summe aller Vi in beiden Fällen im Schnitt etwa gleich ist.

Der Output soll sagen, ob die Linie einen Knick hat oder nicht.

Würde mich wundern, wenn das Netz abknickende Linien zuverlässig erkennen würde (mit einem internen Layer schon mal gar nicht, aber selbst mit mindestens zwei internen Layers wohl nicht). Und wenn man nicht man sowas simples hinbekommt, kann man die Erkennung komplexer Indikatoren sowieso vergessen.

Egal ob du das selbst probierst oder vielleicht einer der anderen Leser. Mich würden alle Ergebnisse interessieren, insbesondere natürlich, ob die Erkennungsrate bei zufälligen 50% oder deutlich darüber liegt. Hier im Thread oder per PM.

Nicht dass wir uns missverstehen. Natürlich kann man ein NN entwickeln, das abknickende Linien erkennt. Nur m.E. eben nicht direkt aus den Rohdaten.

herbivore

EDIT 20.01.2012 19:13:42: Ich bin zwar immer noch pessimistisch, aber mittlerweile ein kleines bisschen weniger. Wenn das Netz zwei oder drei interne Layer hat. Wenn es dem Netz gelingt, im ersten internen Layer die Differenzen zwischen zwei nebeneinander liegenden Inputs zu bilden und im zweiten Layer daraus das Feature steigende bzw. fallende Flanke erkennt und dann beim Übergang zum dritten Layer oder gleich zum Output unterscheiden kann, ob es beides gleichzeitig vorkommt oder nicht, könnte es vielleicht halbwegs klappen.

Ein weiteres Problem von NN ist, das man nie weiß, worauf sie sich letztendlich genau trainiert haben.

Ein berühmtes Beispiel ist das Ammi-Projekt zum erkennen von Panzern auf Satelitenbildern. Das hat auch funktioniert... solange Wolken auf dem Bild zu erkennen waren ^^
Letztendlich konnte das NN nur sagen ob sich Wolken auf dem Bild befinden.... 😄

Hi, das wird so nix. Mit 51 wahrscheinlichkeit kannst du schon glücklich sein. Vielleicht solltest du dich auch erstmal in diesen bereich
..

Hallo zusammen!
Nachdem eine Weile nichts von mir zu hören war, melde ich mich wieder. Der Grund war, dass ich den herbivore geposteten Vorschlag umgesetzt habe, und ich dazu eine NN-Lib programmieren musste. Diese ist jetzt vertiggestellt, auch wenn bisher nur ein FeedForward-Netzwerk + Backpropagation implementiert sind.

Aber nun zu den Ergebnissen.
Erstmal vorweg: Erstellt wurden 60 Samples. 30 Davon mit einer gleichbleibenden Steigung, bei 30 davon wurde die Steigung in der mitte invertiert. Testergebniss (Knick vorhanden?): 100% richtige Erkennung (bei 20 Versuchen, Threshold von 3%).
Edit 2: Die Lerndauer dauert übrigens maximal 3 Sekunden 😉

Verwendet wurde ein Neuronales Netzwerk mit 10 Input-, 5 Hidden- (Layer 1) und 1 Outputneuron.

Jetzt werde ich noch folgende Situationen nachstellen: *Knick bei variabler Position (Edit 2: funktioniert ebenfalls (100%)) *Variable Steigung inerhalb eines Testcases (Edit: funktioniert (100%)) *[Edit 3] Folgendes Szenario: 1.Nur Steigend -> liefert true 1.Knick in der hinteren Hälfte -> liefert true 1.Knick in der vorderen Hälfte -> liefert false

                                         --> Funktioniert durchschnittlich mit ca. 97.5% Wahrscheinlichkeit

Falls es jemand interessiert, wie das funktionieren kann: Ich weiß es nicht genau, aber ich denke, dass es daran liegt, dass ich die Input-Daten in der Bereich 0-1 normalisiere (0 = niedrigster Inputwert, 1 = höchster)

Edit 2: So, habe ich die Herrschafften vom Gegenteil überzeugt? 😉
Deshalb zum Ursprungsthema zurück: Welche Daten sollte ich dem NN zum lernen vorlegen?

Hallo zusammen,

xToast und ich haben das in den vergangenen Tagen per PM besprochen. Dass die Erkennung so gut gekappt hat, liegt vermutlich vor allem an der Normalisierung der Werte. Diese hat mein leider zu einfach konstruiertes Beispiel vollkommen trivial gemacht, weil das Netz wegen der Normalisierung schon anhand alleine der beiden äußeren Inputs entscheiden kann, ob ein Knick vorhanden ist (ohne dass der Knick selber Teil des Inputs sein müsste). Im Wesentlichen gibt es dann nur noch die Zustände 0,1 und 1,0 für kein Knick und 0,0 oder 1,1 für Knick. Das kann ein Netz natürlich locker unterschieden. Das war natürlich nicht der Sinn der Sache. Und dass ein Netz im Ergebnis beides unterscheiden kann, beweist leider noch gar nichts.

Daraufhin habe ich ein etwas komplizierteres, aber im Grunde immer noch recht einfaches Beispiel konstruiert, das gegen Normalisierung nicht "anfällig" ist:

Lass ein Netz (das dann vielleicht etwas mehr als 10 Inputs braucht), die Anzahl der Knicke von Linien erkennen. Sagen wir mal zwischen 2 und 5 Knicken. Und natürlich so, dass auch sowas vorkommt:

[pre]
             /
        /\  /
       /  \/
      /
     /
    /
 /\/
/[/pre]


Also dass die lokalen Extrema gleichmäßig über den gesamten Wertebereich verstreut sind und nicht nur bei 0 und 1 liegen.

Und da sah die Sache dann so aus, wie ich es erwartet hatte. 😃

Von dem Test gibt es leider keine positiven Ergebnisse. D.h. (m)ein NN hat es nicht geschafft, zu sagen, wie viele Knicke in einer Linie sind. Bzw. besser gesagt, konnte es das nicht lernen, da es immer zu einer Überschreitung der maximal festgelegten Durchläufe (BackProagation) kommt. Das heißt, zumindest in diesem Punkt, hattest du Recht.

Meine These ist ja, wenn ein NN aus den Rohdaten (genauer: normalisierten Rohdaten) sowas einfaches nicht erkennen kann, dann kann es schon gar nicht komplexere Indikatoren ableiten. Erst recht, wenn man sich vor Augen hält, dass das Netz in dem Beispiel direkt auf den Indikator trainiert wurde. Wenn das Netz selbst dann den Indikator nicht erlernen kann, dann kann es das erst recht nicht, wenn der Wunsch besteht, dass das intelligente neuronale Netz z.B. nur auf kaufen, halten, verkaufen oder auf den nächsten Kurswert trainiert werden soll.

herbivore

Hät mich auch gewundert wenn das so einfach funktionieren würde.
Dann jagt mann das Netz über verschiedene Historische Kurse und für alle eine Lizenz zum Geld drucken ^^

Hab ich auch im Spiegel gelesen. Ganz interessant und dein Fazit ist auch ganz nachvollziehbar 😃 Naja wenigstens nimmt es ein dann die Arbeit ab vor den PC zu sitzen. Frag mich sowieso wie das noch funktionieren soll nachdem jetzt schon die mehrheit der kurzfristigen Trades automatisiert sind. Wettrennen der automatisierten Handelssysteme wo jeder Normalsterblicher verliert.