Einführung in Selen in Python 3

Dieser Artikel zeigt Ihnen, wie Sie Selenium auf Ihrer Linux-Distribution (d. h. Ubuntu) einrichten und wie Sie grundlegende Webautomatisierung und Web-Scraping mit der Selenium Python 3-Bibliothek durchführen.

Voraussetzungen

Um die in diesem Artikel verwendeten Befehle und Beispiele auszuprobieren, benötigen Sie Folgendes:

1) Eine auf Ihrem Computer installierte Linux-Distribution (vorzugsweise Ubuntu).
2) Python 3 auf Ihrem Computer installiert.
3) PIP 3 auf Ihrem Computer installiert.
4) Der auf Ihrem Computer installierte Webbrowser Google Chrome oder Firefox.

Viele Artikel zu diesen Themen finden Sie unter LinuxHint.com . Sehen Sie sich diese Artikel an, wenn Sie weitere Hilfe benötigen.

Vorbereiten der virtuellen Python 3-Umgebung für das Projekt

Die virtuelle Python-Umgebung wird verwendet, um ein isoliertes Python-Projektverzeichnis zu erstellen. Die Python-Module, die Sie mit PIP installieren, werden nur im Projektverzeichnis und nicht global installiert.

Die Python virtuelle Umgebung -Modul wird verwendet, um virtuelle Python-Umgebungen zu verwalten.

Sie können Python installieren virtuelle Umgebung Modul global mit PIP 3 wie folgt:

PIP3 lädt alle erforderlichen Module herunter und installiert sie global.

An dieser Stelle ist die Python virtuelle Umgebung Modul sollte global installiert werden.

Erstellen Sie das Projektverzeichnis Python-Selen-Basis/ in Ihrem aktuellen Arbeitsverzeichnis wie folgt:

Navigieren Sie zu Ihrem neu erstellten Projektverzeichnis Python-Selen-Basis/ , wie folgt:

Erstellen Sie mit dem folgenden Befehl eine virtuelle Python-Umgebung in Ihrem Projektverzeichnis:

Die virtuelle Python-Umgebung sollte jetzt in Ihrem Projektverzeichnis erstellt werden.“

Aktivieren Sie die virtuelle Python-Umgebung in Ihrem Projektverzeichnis über den folgenden Befehl:

Wie Sie sehen, ist die virtuelle Python-Umgebung für dieses Projektverzeichnis aktiviert.

Installieren der Selenium-Python-Bibliothek

Die Selenium Python-Bibliothek ist im offiziellen Python PyPI-Repository verfügbar.

Sie können diese Bibliothek mit PIP 3 wie folgt installieren:

Die Selenium Python-Bibliothek sollte jetzt installiert sein.

Nachdem die Selenium Python-Bibliothek installiert ist, müssen Sie als Nächstes einen Webtreiber für Ihren bevorzugten Webbrowser installieren. In diesem Artikel zeige ich Ihnen, wie Sie die Firefox- und Chrome-Webtreiber für Selenium installieren.

Installieren des Firefox Gecko-Treibers

Mit dem Firefox Gecko-Treiber können Sie den Firefox-Webbrowser mit Selenium steuern oder automatisieren.

Um den Firefox Gecko-Treiber herunterzuladen, besuchen Sie die GitHub veröffentlicht Seite von mozilla/geckodriver von einem Webbrowser.

Wie Sie sehen können, ist v0.26.0 die neueste Version des Firefox Gecko-Treibers zum Zeitpunkt der Erstellung dieses Artikels.

Um den Firefox Gecko-Treiber herunterzuladen, scrollen Sie ein wenig nach unten und klicken Sie je nach Betriebssystemarchitektur auf das Linux-Geckodriver-Archiv tar.gz.

Wenn Sie ein 32-Bit-Betriebssystem verwenden, klicken Sie auf das geckodriver-v0.26.0-linux32.tar.gz Verknüpfung.

Wenn Sie ein 64-Bit-Betriebssystem verwenden, klicken Sie auf das geckodriver-v0.26.0-linuxx64.tar.gz Verknüpfung.

In meinem Fall werde ich die 64-Bit-Version des Firefox Gecko-Treibers herunterladen.

Ihr Browser sollte Sie auffordern, das Archiv zu speichern. Auswählen Datei speichern und dann klick OK .

Das Firefox Gecko Driver-Archiv sollte im heruntergeladen werden ~/Downloads Verzeichnis.

Extrahieren Sie die geckodriver-v0.26.0-linux64.tar.gz Archiv aus dem ~/Downloads Verzeichnis zum Fahrer/ Verzeichnis Ihres Projekts, indem Sie den folgenden Befehl eingeben:

Sobald das Firefox Gecko Driver-Archiv extrahiert wurde, wird ein neues Gecko-Treiber Binärdatei sollte im erstellt werden Fahrer/ Verzeichnis Ihres Projekts, wie Sie im Screenshot unten sehen können.

Selenium Firefox Gecko-Treiber testen

In diesem Abschnitt zeige ich Ihnen, wie Sie Ihr erstes Selenium-Python-Skript einrichten, um zu testen, ob der Firefox Gecko-Treiber funktioniert.

Öffnen Sie zunächst das Projektverzeichnis Python-Selen-Basis/ mit Ihrer bevorzugten IDE oder Ihrem bevorzugten Editor. In diesem Artikel verwende ich Visual Studio Code.

Erstellen Sie das neue Python-Skript ex01.py , und geben Sie die folgenden Zeilen in das Skript ein.

Wenn Sie fertig sind, speichern Sie die ex01.py Python-Skript.

Ich werde den Code in einem späteren Abschnitt dieses Artikels erklären.

Die folgende Zeile konfiguriert Selenium für die Verwendung des Firefox Gecko-Treibers aus dem Fahrer/ Verzeichnis Ihres Projekts.

Um zu testen, ob der Firefox Gecko-Treiber mit Selenium funktioniert, führen Sie Folgendes aus: ex01.py Python-Skript:

Der Firefox-Webbrowser sollte automatisch Google.com besuchen und sich nach 5 Sekunden schließen. In diesem Fall funktioniert der Selenium Firefox Gecko-Treiber ordnungsgemäß.

Chrome-Webtreiber installieren

Mit dem Chrome Web Driver können Sie den Google Chrome-Webbrowser mit Selenium steuern oder automatisieren.

Sie müssen dieselbe Version des Chrome-Webtreibers herunterladen wie die Ihres Google Chrome-Webbrowsers.

Die Versionsnummer Ihres Google Chrome-Webbrowsers finden Sie unter chrome://settings/help im Google-Chrome. Die Versionsnummer sollte in der Über Chrome Abschnitt, wie Sie im Screenshot unten sehen können.

In meinem Fall lautet die Versionsnummer 83.0.4103.116 . Die ersten drei Teile der Versionsnummer ( 83.0.4103 , in meinem Fall) muss mit den ersten drei Teilen der Chrome Web Driver-Versionsnummer übereinstimmen.

Um Chrome Web Driver herunterzuladen, besuchen Sie die offizielle Downloadseite für Chrome-Treiber .

In dem Aktuelle Veröffentlichungen Abschnitt wird der Chrome Web Driver für die aktuellsten Versionen des Google Chrome Webbrowsers verfügbar sein, wie Sie im Screenshot unten sehen können.

Wenn die von Ihnen verwendete Version von Google Chrome nicht in der Aktuelle Veröffentlichungen Scrollen Sie ein wenig nach unten, und Sie sollten Ihre gewünschte Version finden.

Sobald Sie auf die richtige Chrome Web Driver-Version geklickt haben, sollten Sie auf die folgende Seite gelangen. Klicken Sie auf die chromedriver_linux64.zip Link, wie im Screenshot unten angegeben.

Das Chrome Web Driver-Archiv sollte jetzt heruntergeladen werden.

Das Chrome Web Driver-Archiv sollte jetzt im heruntergeladen werden ~/Downloads Verzeichnis.

Sie können die extrahieren chromedriver-linux64.zip Archiv aus dem ~/Downloads Verzeichnis zum Fahrer/ Verzeichnis Ihres Projekts mit dem folgenden Befehl:

Sobald das Chrome Web Driver-Archiv extrahiert wurde, wird ein neues Chromtreiber Binärdatei sollte im erstellt werden Fahrer/ Verzeichnis Ihres Projekts, wie Sie im Screenshot unten sehen können.

Testen des Selenium Chrome Web-Treibers

In diesem Abschnitt zeige ich Ihnen, wie Sie Ihr erstes Selenium Python-Skript einrichten, um zu testen, ob der Chrome Web Driver funktioniert.

Erstellen Sie zuerst das neue Python-Skript ex02.py , und geben Sie die folgenden Codezeilen in das Skript ein.

Wenn Sie fertig sind, speichern Sie die ex02.py Python-Skript.

Ich werde den Code in einem späteren Abschnitt dieses Artikels erklären.

Die folgende Zeile konfiguriert Selenium für die Verwendung des Chrome Web Driver aus dem Fahrer/ Verzeichnis Ihres Projekts.

Um zu testen, ob der Chrome Web Driver mit Selenium funktioniert, führen Sie den ex02.py Python-Skript wie folgt:

Der Google Chrome-Webbrowser sollte automatisch Google.com besuchen und sich nach 5 Sekunden schließen. In diesem Fall funktioniert der Selenium Firefox Gecko-Treiber ordnungsgemäß.

Grundlagen des Web Scraping mit Selenium

Ich werde ab sofort den Firefox Webbrowser verwenden. Sie können auch Chrome verwenden, wenn Sie möchten.

Ein einfaches Selenium-Python-Skript sollte wie das im Screenshot unten gezeigte Skript aussehen.

Importieren Sie zuerst das Selen Webtreiber von dem Selen Modul.

Als nächstes importieren Sie die Schlüssel von selenium.webdriver.common.keys . Auf diese Weise können Sie Tastendrücke auf der Tastatur an den Browser senden, den Sie von Selenium aus automatisieren.

Die folgende Zeile erstellt a Browser -Objekt für den Firefox-Webbrowser, der den Firefox Gecko-Treiber (Webdriver) verwendet. Mit diesem Objekt können Sie die Aktionen des Firefox-Browsers steuern.

Um eine Website oder URL zu laden (ich werde die Website laden https://www.duckduckgo.com ), Ruf die werden() Methode der Browser Objekt in Ihrem Firefox-Browser.

Mit Selenium können Sie Ihre Tests schreiben, Web-Scraping durchführen und schließlich den Browser mit dem schließen Verlassen() Methode der Browser Objekt.

Oben ist das grundlegende Layout eines Selenium-Python-Skripts. Sie werden diese Zeilen in alle Ihre Selenium Python-Skripte schreiben.

Beispiel 1: Drucken des Titels einer Webseite

Dies ist das einfachste Beispiel, das mit Selenium diskutiert wird. In diesem Beispiel drucken wir den Titel der Webseite, die wir besuchen.

Erstellen Sie die neue Datei ex04.py und geben Sie die folgenden Codezeilen ein.

Wenn Sie fertig sind, speichern Sie die Datei.

Hier das browser.titel wird verwendet, um den Titel der besuchten Webseite und die drucken() Funktion wird verwendet, um den Titel in der Konsole zu drucken.

Nach dem Ausführen der ex04.py Skript, es sollte:

1) Öffnen Sie Firefox
2) Laden Sie Ihre gewünschte Webseite
3) Rufen Sie den Titel der Seite ab
4) Drucken Sie den Titel auf der Konsole
5) Schließen Sie schließlich den Browser

Wie Sie sehen können, ist die ex04.py script hat den Titel der Webseite schön in der Konsole ausgegeben.

Beispiel 2: Drucken der Titel mehrerer Webseiten

Wie im vorherigen Beispiel können Sie die gleiche Methode verwenden, um den Titel mehrerer Webseiten mithilfe der Python-Schleife zu drucken.

Um zu verstehen, wie das funktioniert, erstellen Sie das neue Python-Skript ex05.py und geben Sie die folgenden Codezeilen in das Skript ein:

Wenn Sie fertig sind, speichern Sie das Python-Skript ex05.py .

Hier das URLs list hält die URL jeder Webseite.

ZU zum Schleife wird verwendet, um durch die URLs Listenelemente.

Bei jeder Iteration weist Selenium den Browser an, die URL und rufen Sie den Titel der Webseite ab. Sobald Selenium den Titel der Webseite extrahiert hat, wird er in der Konsole gedruckt.

Führen Sie das Python-Skript aus ex05.py , und Sie sollten den Titel jeder Webseite im URLs aufführen.

Dies ist ein Beispiel dafür, wie Selenium dieselbe Aufgabe mit mehreren Webseiten oder Websites ausführen kann.

Beispiel 3: Extrahieren von Daten von einer Webseite

In diesem Beispiel zeige ich Ihnen die Grundlagen zum Extrahieren von Daten aus Webseiten mit Selenium. Dies wird auch als Web-Scraping bezeichnet.

Besuchen Sie zuerst die Random.org Link von Firefox. Die Seite sollte einen zufälligen String generieren, wie Sie im Screenshot unten sehen können.

Um die Zufallsstringdaten mit Selenium zu extrahieren, müssen Sie auch die HTML-Darstellung der Daten kennen.

Um zu sehen, wie die Zufallsstringdaten in HTML dargestellt werden, wählen Sie die Zufallsstringdaten aus und drücken Sie die rechte Maustaste (RMB) und klicken Sie auf Element prüfen (Q) , wie im Screenshot unten angegeben.

Die HTML-Darstellung der Daten soll im Inspektor Registerkarte, wie Sie im Screenshot unten sehen können.

Sie können auch auf klicken Prüfsymbol ( ) um die Daten von der Seite zu überprüfen.

Klicken Sie auf das Prüfsymbol ( ) und bewegen Sie den Mauszeiger über die zufälligen Zeichenfolgendaten, die Sie extrahieren möchten. Die HTML-Darstellung der Daten sollte wie zuvor angezeigt werden.

Wie Sie sehen können, sind die zufälligen Stringdaten in einen HTML-Code verpackt zum Tag und enthält die Klasse Daten .

Nachdem wir nun die HTML-Darstellung der zu extrahierenden Daten kennen, erstellen wir ein Python-Skript, um die Daten mit Selenium zu extrahieren.

Erstellen Sie das neue Python-Skript ex06.py und geben Sie die folgenden Codezeilen in das Skript ein

Wenn Sie fertig sind, speichern Sie die ex06.py Python-Skript.

Hier das browser.get() -Methode lädt die Webseite im Firefox-Browser.

Die browser.find_element_by_css_selector() -Methode durchsucht den HTML-Code der Seite nach einem bestimmten Element und gibt es zurück.

In diesem Fall wäre das Element Vordaten , das zum Tag mit dem Klassennamen Daten .

Unter dem Vordaten Element wurde im gespeichert Datenelement Variable.

Das Skript druckt dann den Textinhalt des ausgewählten Vordaten Element.

Wenn du das läufst ex06.py Python-Skript, es sollte die zufälligen String-Daten von der Webseite extrahieren, wie Sie im Screenshot unten sehen können.

Wie Sie sehen können, jedes Mal, wenn ich die ex06.py Python-Skript extrahiert eine andere zufällige Zeichenfolgedaten von der Webseite.

Beispiel 4: Extrahieren einer Datenliste von einer Webseite

Im vorherigen Beispiel wurde gezeigt, wie Sie mit Selenium ein einzelnes Datenelement aus einer Webseite extrahieren. In diesem Beispiel zeige ich Ihnen, wie Sie mit Selenium eine Liste von Daten aus einer Webseite extrahieren.

Besuchen Sie zuerst die Zufallsnamengenerator.info von Ihrem Firefox-Webbrowser. Diese Website generiert jedes Mal, wenn Sie die Seite neu laden, zehn zufällige Namen, wie Sie im Screenshot unten sehen können. Unser Ziel ist es, diese zufälligen Namen mit Selenium zu extrahieren.

Wenn Sie sich die Namensliste genauer ansehen, können Sie feststellen, dass es sich um eine geordnete Liste handelt ( sterben Schild). Die sterben Tag enthält auch den Klassennamen Namensliste . Jeder der zufälligen Namen wird als Listenelement ( Bei der Tag) innerhalb der sterben Schild.

Um diese zufälligen Namen zu extrahieren, erstellen Sie das neue Python-Skript ex07.py und geben Sie die folgenden Codezeilen in das Skript ein.

Wenn Sie fertig sind, speichern Sie die ex07.py Python-Skript.

Hier das browser.get() -Methode lädt die Webseite des Zufallsnamengenerators im Firefox-Browser.

Die browser.find_elements_by_css_selector() Methode verwendet den CSS-Selektor ol.nameList li um alles zu finden Bei der Elemente innerhalb der sterben Tag mit dem Klassennamen Namensliste . Ich habe alle ausgewählten gespeichert Bei der Elemente in der Namensliste Variable.

ZU zum Schleife wird verwendet, um durch die Namensliste Liste von Bei der Elemente. In jeder Iteration wird der Inhalt der Bei der Element wird auf der Konsole gedruckt.

Wenn du das läufst ex07.py Python-Skript holt es alle zufälligen Namen von der Webseite und druckt sie auf dem Bildschirm aus, wie Sie im Screenshot unten sehen können.

Wenn Sie das Skript ein zweites Mal ausführen, sollte es eine neue Liste zufälliger Benutzernamen zurückgeben, wie Sie im Screenshot unten sehen können.

Beispiel 5: Formular abschicken – Suche auf DuckDuckGo

Dieses Beispiel ist genauso einfach wie das erste Beispiel. In diesem Beispiel rufe ich die Suchmaschine DuckDuckGo auf und suche nach dem Begriff Selen hq Selen verwenden.

Erster Besuch DuckDuckGo-Suchmaschine aus dem Firefox-Webbrowser.

Wenn Sie das Sucheingabefeld überprüfen, sollte es die ID haben search_form_input_homepage , wie Sie im Screenshot unten sehen können.

Erstellen Sie nun das neue Python-Skript ex08.py und geben Sie die folgenden Codezeilen in das Skript ein.

Wenn Sie fertig sind, speichern Sie die ex08.py Python-Skript.

Hier das browser.get() -Methode lädt die Startseite der DuckDuckGo-Suchmaschine im Firefox-Webbrowser.

Die browser.find_element_by_id() Methode wählt das Eingabeelement mit der ID aus search_form_input_homepage und speichert es im SucheInput Variable.

Die searchInput.send_keys() -Methode wird verwendet, um Tastendruckdaten an das Eingabefeld zu senden. In diesem Beispiel sendet es die Zeichenfolge Selen hq , und die Eingabetaste wird mit der Taste gedrückt Tasten.ENTER Konstante.

Sobald die DuckDuckGo-Suchmaschine die Eingabetaste erhält, drücken Sie ( Tasten.ENTER ), sucht und zeigt das Ergebnis an.

Führen Sie die ex08.py Python-Skript wie folgt:

Wie Sie sehen, hat der Firefox-Webbrowser die Suchmaschine DuckDuckGo besucht.

Es hat automatisch getippt Selen hq im Suchtextfeld.

Sobald der Browser die Eingabetaste erhalten hat, drücken Sie ( Tasten.ENTER ), wurde das Suchergebnis angezeigt.

Beispiel 6: Senden eines Formulars auf W3Schools.com

In Beispiel 5 war die Formularübermittlung der DuckDuckGo-Suchmaschine einfach. Alles, was Sie tun mussten, war die Eingabetaste zu drücken. Dies wird jedoch nicht bei allen Formulareinreichungen der Fall sein. In diesem Beispiel zeige ich Ihnen ein komplexeres Formularhandling.

Besuchen Sie zuerst die HTML-Formularseite von W3Schools.com aus dem Firefox-Webbrowser. Sobald die Seite geladen ist, sollten Sie ein Beispielformular sehen. Dies ist das Formular, das wir in diesem Beispiel senden werden.

Wenn Sie das Formular überprüfen, Vorname Eingabefeld sollte die ID haben Fanname , das Nachname Eingabefeld sollte die ID haben lname , und der Senden-Button sollte die haben Typ einreichen , wie Sie im Screenshot unten sehen können.

Um dieses Formular mit Selenium zu senden, erstellen Sie das neue Python-Skript ex09.py und geben Sie die folgenden Codezeilen in das Skript ein.

Wenn Sie fertig sind, speichern Sie die ex09.py Python-Skript.

Hier das browser.get() -Methode öffnet die HTML-Formularseite von W3schools im Firefox-Webbrowser.

Die browser.find_element_by_id() Methode findet die Eingabefelder anhand der ID Fanname und lname und es speichert sie in der Fanname und lname Variablen bzw.

Die fname.clear() und lname.clear() Methoden löschen den Standardvornamen (John) Fanname Wert und Nachname (Doe) lname Wert aus den Eingabefeldern.

Die fname.send_keys() und lname.send_keys() Methodentyp Shahriar und Schovon in dem Vorname und Nachname Eingabefelder bzw.

Die browser.find_element_by_css_selector() Methode wählt die Senden-Button des Formulars und speichert es im SendenButton Variable.

Die SubmitButton.send_keys() Methode sendet die Eingabetaste drücken ( Tasten.ENTER ) zum Senden-Button des Formulars. Diese Aktion sendet das Formular.

Führen Sie die ex09.py Python-Skript wie folgt:

Wie Sie sehen, wurde das Formular automatisch mit den richtigen Eingaben übermittelt.

Abschluss

Dieser Artikel soll Ihnen bei den ersten Schritten mit Selenium-Browsertests, Webautomatisierung und Web-Scrapping-Bibliotheken in Python 3 helfen. Weitere Informationen finden Sie im offizielle Selenium Python-Dokumentation .