In diesem Beitrag wird der folgende Inhalt erläutert:
- Was ist die Jukebox von OpenAI?
- Wie funktioniert die Jukebox von OpenAI?
- Wie verwende ich die Jukebox von OpenAI?
- Funktionen der Jukebox
Was ist die Jukebox von OpenAI?
Jukebox ist ein Deep-Learning-System, das anhand einiger Eingaben wie Liedtext, Genre, Künstler oder Stimmung Musik von Grund auf generieren kann. Jukebox nutzt einen großen Datensatz von über 1,2 Millionen Songs aus verschiedenen Quellen wie Spotify, YouTube und MIDI-Dateien, um die Muster und Merkmale von Musik zu erlernen.
Wie funktioniert die Jukebox von OpenAI?
Jukebox besteht aus drei Hauptkomponenten: einem VQ-VAE-Encoder, einem Transformator-Decoder und einem Upsampler.
VQ-VAE-Encoder
Der VQ-VAE-Encoder ist für die Komprimierung des Rohaudios in eine niedrigerdimensionale Darstellung verantwortlich, die die wesentlichen Informationen der Musik bewahrt. Der Encoder verwendet eine Technik namens Vektorquantisierung (VQ), um jedes Audiosegment einem von 2048 Token zuzuordnen.
Transformator-Decoder
Diese Token werden dann in den Transformer-Decoder eingespeist, ein neuronales Netzwerk, das auf der Grundlage der Eingabe und des erlernten Musikwissens Token-Sequenzen generieren kann. Der Decoder kann Token generieren, die Text, Melodie, Harmonie, Rhythmus, Klangfarbe und anderen musikalischen Aspekten entsprechen.
Upsampler
Der Upsampler ist die letzte Komponente, die die generierten Token wieder in hochwertiges Audio umwandelt. Der Upsampler verwendet ein weiteres VQ-VAE, um das Audio aus den Token zu rekonstruieren und fügt dabei Details und Nuancen hinzu, die in der niedrigerdimensionalen Darstellung fehlen. Der Upsampler kann auch zusätzliche Informationen wie Genre- oder Künstlereinbettungen verwenden, um die Ausgabe zu verfeinern und sie realistischer und vielfältiger klingen zu lassen.
Wie verwende ich die Jukebox von OpenAI?
Um Jukebox nutzen zu können, benötigen Sie Zugriff auf eine leistungsstarke GPU oder einen Cloud-Computing-Dienst, der den Jukebox-Code ausführen kann. Sie finden das Skript und Anweisungen zur Installation und Ausführung von Jukebox auf GitHub . Einige Beispiele für von Jukebox generierte Songs finden Sie auch auf SoundCloud unter:
Um mit Jukebox eigene Songs zu generieren, müssen Sie einige Eingabeparameter wie Liedtext, Genre, Künstler oder Stimmung angeben. Sie können auch die Probentemperatur angeben, die steuert, wie zufällig und kreativ die Ausgabe sein wird.
Eine höhere Temperatur bedeutet mehr Vielfalt und Neuheit, während eine niedrigere Temperatur mehr Kohärenz und Ähnlichkeit mit der Eingabe bedeutet. Sie können auch den Qualitäts- und Komplexitätsgrad der Ausgabe wählen, der von 5b (höchste Stufe) bis 1b (niedrigste Stufe) reicht. Eine höhere Ebene bedeutet mehr Genauigkeit und Detailgenauigkeit, aber auch mehr Rechenzeit und Ressourcen.
Sobald Sie Ihre Eingabeparameter eingerichtet haben, können Sie den Jukebox-Code ausführen und warten, bis Ihr Song generiert wird. Abhängig von Ihren Einstellungen und Ihrer Hardware kann dies Minuten bis Stunden oder sogar Tage dauern. Verfolgen Sie außerdem den Fortschritt und hören Sie sich unterwegs Zwischenbeispiele an. Wenn die Generierung abgeschlossen ist, können Sie Ihren Song als MP3-Datei herunterladen und Ihr musikalisches Meisterwerk genießen.
Funktionen der Jukebox
Die Jukebox kann für verschiedene Zwecke verwendet werden, wie zum Beispiel:
- Erstellen von Originalmusik für den persönlichen oder kommerziellen Gebrauch
- Remixen oder Sampling bestehender Songs
- Generieren von Musik für bestimmte Stimmungen, Themen oder Anlässe
- Entdecken Sie verschiedene Genres und Musikstile
- Spaß haben und kreativ sein
Abschluss
Jukebox ist ein erstaunliches Tool, mit dem Sie mit minimalem Aufwand originelle und abwechslungsreiche Musik erstellen können. Sie können damit mit verschiedenen Genres und Stilen experimentieren, bestehende Songs oder Künstler neu mischen oder Ihre eigenen Gefühle und Ideen durch Musik ausdrücken. Jukebox ist allerdings nicht perfekt; Es kann manchmal zu Störungen, Fehlern oder unsinnigen Ausgaben kommen.