Dalle-mini ist ein Deep-Learning-Modell, das aus Benutzereingabetext Bilder von hoher Qualität generieren kann. Es basiert auf dem DALL-E-Modell, das OpenAI im Januar 2021 veröffentlicht hat. DALL-E steht für „ Entwirrte Sprache und latenter Ausdruck „ist ein transformatorbasiertes neuronales Netzwerk, das Text und Bilder in einen gemeinsamen latenten Raum kodieren und sie dann wieder in eine der beiden Modalitäten dekodieren kann.
In diesem Artikel wird der folgende Inhalt erläutert:
Was ist der Dalle-mini?
Gib ihr Mini ist eine kleinere und schnellere Version von DALL-E, die von EleutherAI, einem Open-Source-Forschungskollektiv, erstellt wurde. Dalle-mini verwendet nur 6 Milliarden Parameter, verglichen mit 12 Milliarden bei DALL-E, und kann auf einer einzigen GPU ausgeführt werden. Dalle-mini verwendet außerdem einen anderen Tokenizer und ein anderes Vokabular für die Texteingabe, wodurch es besser mit verschiedenen Sprachen und Domänen kompatibel ist:
Notiz : Benutzer können mit dem Dalle-mini kostenlose Bilder erstellen, indem sie die folgenden Schritte befolgen Verknüpfung .
Wie funktioniert Dalle-mini?
Die Hauptidee hinter Dalle-mini ist die Leistung von Transformatoren, bei denen es sich um neuronale Netze handelt. Sie können weitreichende Abhängigkeiten und komplexe Muster in sequentiellen Daten wie Text oder Bildern lernen.
Transformatoren bestehen aus zwei Hauptteilen: einem Encoder und einem Decoder. Der erste Teil nimmt eine Eingabe (eine Textbeschreibung) und wandelt sie in versteckte Vektoren um. Danach nimmt der Decoder es und generiert eine Ausgabe (ein Bild), die für die Eingabe relevant ist.
Was ist der Unterschied zwischen Dalle-mini und DALL-E?
Dalle-mini und DALL-E verwenden eine gemeinsame Encoder-Decoder-Architektur für Text und Bilder. Sie können beide Modalitäten über dasselbe Netzwerk kodieren und dekodieren. Dadurch können sie einen gemeinsamen latenten Raum erlernen, der die semantische Beziehung zwischen Text und Bildern erfasst. Anschließend können sie eine modalübergreifende Generierung durchführen, z. B. Bilder aus Text erstellen oder umgekehrt.
Wie funktioniert Dalle-mini?
Um aus einer Textbeschreibung ein Bild zu generieren, tokenisiert Dalle-mini den Text zunächst mit einem Byte-Pair-Encoding-Algorithmus (BPE), der den Text basierend auf ihrer Häufigkeit und ihrem gleichzeitigen Vorkommen in Unterworteinheiten aufteilt:
Gehen wir nun näher auf die interne Arbeitsweise von Dalle-mini ein:
Internes Arbeiten von Dalle-mini
Nehmen wir an, das Wort „ spielen ” könnte aufgeteilt werden in „ pla ' Und ' ying “. Die Token werden dann mithilfe eines Vokabulars von 8192 Token numerischen IDs zugeordnet. Die IDs werden in den Encoder eingespeist und erzeugen eine latente Darstellung der Größe 256 x 64:
Der Decoder nimmt dann die latente Darstellung und generiert ein Bild mit der Größe 256 x 256 Pixel. Der Decoder verwendet einen autoregressiven Prozess, was bedeutet, dass er jedes Pixel einzeln generiert, abhängig von den vorherigen Pixeln und der latenten Darstellung.
Wie erstelle ich mit Dalle-mini ein Bild aus einer Textbeschreibung?
Um mit Dalle-mini eine Textbeschreibung aus einem Bild zu generieren, geben Sie den Text in das Eingabeaufforderungsfenster ein. Geben Sie zum Beispiel „ Ein Gemälde aus zufälligen Blumen ” in der Eingabeaufforderung und klicken Sie auf „ Laufen ' Taste:
Die Ausgabe zeigt, dass Dalle-mini entsprechend dem Eingabetext relevante Bilder generiert hat.
Abschluss
Dalle-mini ist ein bemerkenswertes Modell, das das Potenzial von Transformatoren für die modalübergreifende Stromerzeugung demonstriert. Sie können aus Beschreibungen in natürlicher Sprache realistische und vielfältige Bilder sowie aus Bildern kohärente und relevante Texte erstellen. Sie können auch komplexe Kompositionen bewältigen, beispielsweise das Kombinieren mehrerer Objekte oder Attribute in einem Bild oder Text. In diesem Artikel wurden der Dalle-mini und seine Funktionsweise ausführlich erläutert.