Microsofts VisualGPT veröffentlicht eine neue Technologie“ VisualGPT „Das ist eine Weiterentwicklung der KI und eröffnet Möglichkeiten für ansprechendere und interaktivere KI-Erlebnisse, indem es die Lücke zwischen Bild und Sprache schließt.
Was ist VisualGPT?
VisualGPT ist eine erweiterte Version von ChatGPT, die auf NLP-Modellen (Natural Language Processing) basiert. In VisualGPT wird jedoch VFMS verwendet, das Textabfragen in Bildform konvertieren kann. Es handelt sich dabei um eine Kombination/Integration von Text- und Bildabfragen.
Zweck von VisualGPT
Nach der Veröffentlichung von ChatGPT auf dem Markt, das als einziges am Textformat arbeitete, gibt es zum Erreichen der nächsten Entwicklungsstufe das perfekte Tool, das aus all diesen Gründen und im Wettlauf um KI vom Text- bis zum Grafikformat funktioniert Fortschritt Microsoft veröffentlicht VisualGPT. Der Hauptzweck von VisualGPT besteht darin, KI-Bilder auf Benutzeranforderung zu erstellen oder das Bild zu analysieren
Architektur von VisualGPT
VisualGPT enthält die Benutzerabfrage, den Eingabeaufforderungsmanager, Visual Foundation Models (VFMs), das Systemprinzip, den Verlauf des Dialogs, den Verlauf des Denkens und die Zwischenantwort.
Wenn wir speziell über sein Modell sprechen, d. h. „ VFMs (Visual Foundation Models) “, werden fast 22 VFMs verwendet, wie BLIP (Bootstrapping Language-Image Pre-training) und Stable Diffusion.
Wie führe ich ein visuelles ChatGPT aus?
Berücksichtigen Sie zum Ausführen eines Visual ChatGPT die folgenden Schritte:
Schritt 1: Erstellen Sie eine Umgebung
Zunächst müssen Sie eine Umgebung mit Python Version 3.8 erstellen:
Importsystem
sys.path.append ( „/usr/local/lib/python3.8/site-packages“ )
Schritt 2: Visual ChatGPT-Datei klonen
Klonen Sie nun die visuelle ChatGPT-Datei von GitHub mit dem folgenden Befehl:
! Git-Klon https: // github.com / deepanshu88 / visual-chatgpt.git 
Schritt 3: Richten Sie ein neues Verzeichnis ein
Anschließend richten Sie mit dem unten angegebenen Befehl ein neues Verzeichnis ein:
% CD visual-chatgptSchritt 4: Installieren Sie die erforderlichen Pakete
Installieren Sie nun die erforderlichen Pakete mit dem Befehl „ Pip „Cmdlet:
! Curl https: // bootstrap.pypa.io / get-pip.py -Ö get-pip.py! python3.8 get-pip.py
! Python3.8 -M Pip Installieren -R Anforderungen.txt
Schritt 5: Greifen Sie auf die OpenAI-API zu
Greifen Sie nach der Installation der ersten Pakete auf die OpenAI-API zu, indem Sie einen API-Schlüssel von „platform.openai.com“ erhalten und authentifizierte API-Aufrufe durchführen:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxSchritt 6: Wählen Sie das Modell
Nachdem Sie auf Openai zugegriffen haben, wählen Sie schließlich das Modell aus. Es gibt mehr als 20 Modelle, die in visualGPT verwendet werden und die Sie je nach Ihren Anforderungen auswählen können:
! Python3.8 . / visual_chatgpt.py --Belastung Text2Image_cuda: 0Im obigen Befehl: „ Text2Image „entspricht dem zu verwendenden Modell. Weitere Informationen finden Sie in diesem Google Colab Notizbuch .
Abschluss
ChatGPT wurde eingeführt, um spezifische Antworten auf jede Anfrage zu erhalten. Jetzt hat Microsoft VisualGPT eingeführt, das sowohl Text- als auch Bilddaten verarbeiten kann. Auf diese Weise kann der Benutzer einfach seine Anforderungen in Textform hinzufügen und erhält eine grafische Ausgabe.