Laden...

Spieleaudio nach bestimmten Sound abfragen

Erstellt von Fletty vor 4 Jahren Letzter Beitrag vor 4 Jahren 2.196 Views
F
Fletty Themenstarter:in
3 Beiträge seit 2019
vor 4 Jahren
Spieleaudio nach bestimmten Sound abfragen

Guten Abend liebe Community.

Es ist ja möglich Bilder via OCR zu analysieren nach bestimmten Dingen wie Text oder Bildschnipseln. Ich würde gerne die Audioausgabe eines Spiels abfangen und nach einem bestimmten Sound überprüfen. Spiele ich z.B. Super Mario dann möchte ich jedes Mal, wenn ich die Sterbeanimation höre eine Variable erhöhen.

Ist das technisch möglich? Ich meine YouTube und Co. können ja auch Audiospuren nach Songs analysieren. Wenn ich also eine MP3 des Sterbesounds habe, wie kann ich den Live abfragen?

Vielen Dank!

16.807 Beiträge seit 2008
vor 4 Jahren

Im Endeffekt brauchst Du das Soundprofil des Sterbesounds, das Du dann mit dem Ton vergleichen kannst.

Das Komplexe an der Sache ist weniger das Erzeugen des Fingerprints, sondern der Vergleich im Hintergrund.

F
Fletty Themenstarter:in
3 Beiträge seit 2019
vor 4 Jahren

Ja von der Theorie her ist das ja logisch. Den Fingerprint des Sterbesounds ist ja theoretisch die Sterbesoundaudiokurve. Aber das Vergleichen des Audiobuffers ist mein Problem. Das man das nicht live direkt machen kann ist mir eigentlich klar. Weil man ja nur etwas vergleichen kann, was bereits passiert ist. Also müssten von mir aus ein Buffer von 3s überprüft werden alle 250ms oder so.

Hinweis von MrSparkle vor 4 Jahren

Bitte keine Fullquotes.
[Hinweis] Wie poste ich richtig?

5.657 Beiträge seit 2006
vor 4 Jahren

Ich denke, es reicht nicht aus, den Soundschnipsel im Audiobuffer zu finden, indem du den Byte für Byte vergleichst. Er wird je nach Spiel sicherlich etwas anders sein, mit mehr oder weniger Hall, vermischt mit Hintergrundmusik oder anderen Samples.

Hier mußt du eine gewisse Fehlertoleranz mit einbeziehen, z.B. eine Suche nach Ähnlichkeiten im Spektrum.

Oder du trainierst ein neuronales Netzwerk, ähnlich wie es auch bei OCR oder Spracherkennung funktioniert.

Weeks of programming can save you hours of planning

F
Fletty Themenstarter:in
3 Beiträge seit 2019
vor 4 Jahren

Allgemein wäre erstmal interessant wie man das überhaupt angeht. Was brauch man? Gibt es gute Quellen zur Audioerkennung etc.? DAS ist für mich absolutes Neuland und ich wüsste auch nicht was man da schlaues googled?

Information von MrSparkle vor 4 Jahren

Bitte keine Fullquotes.
Bitte beachte [Hinweis] Wie poste ich richtig?

5.657 Beiträge seit 2006
vor 4 Jahren

Google doch mal nach Suchbegriffen wie "how to recognize a sound in an audio stream". Dann merkst du schnell, daß es sich um ein relativ komplexes Problem handelt und es keine fertige Lösung dafür gibt.

Wenn du noch keine Erfahrungen mit Audio bzw. Signalverarbeitung hast, solltest du erstmal die Finger davon lassen. Fang lieber erstmal mit den Basics (wie Audioaufnahme) an, und schau dir mal Bibliotheken wie NAudio oder CSCore an.

Weeks of programming can save you hours of planning