Das Auffinden und Auswählen von Elementen auf der Webseite ist der Schlüssel zum Web-Scraping mit Selenium. Zum Auffinden und Auswählen von Elementen auf der Webseite können Sie XPath-Selektoren in Selenium verwenden.
In diesem Artikel zeige ich Ihnen, wie Sie Elemente von Webseiten mithilfe von XPath-Selektoren in Selenium mit der Selenium-Python-Bibliothek finden und auswählen. Also lasst uns anfangen.
Voraussetzungen:
Um die Befehle und Beispiele dieses Artikels auszuprobieren, müssen Sie Folgendes haben:
- Eine auf Ihrem Computer installierte Linux-Distribution (vorzugsweise Ubuntu).
- Python 3 auf Ihrem Computer installiert.
- PIP 3 auf Ihrem Computer installiert.
- Python virtuelle Umgebung Paket auf Ihrem Computer installiert.
- Auf Ihrem Computer installierte Webbrowser Mozilla Firefox oder Google Chrome.
- Muss wissen, wie man den Firefox Gecko-Treiber oder den Chrome Web-Treiber installiert.
Um die Anforderungen 4, 5 und 6 zu erfüllen, lesen Sie meinen Artikel Einführung in Selen in Python 3 . Viele Artikel zu den anderen Themen finden Sie auf LinuxHint.com . Sehen Sie sich diese unbedingt an, wenn Sie Hilfe benötigen.
Einrichten eines Projektverzeichnisses:
Um alles organisiert zu halten, erstellen Sie ein neues Projektverzeichnis Selen-Xpath/ wie folgt:
$mkdir -pvSelen-xpath/Fahrer 
Navigieren Sie zum Selen-Xpath/ Projektverzeichnis wie folgt:
$CDSelen-xpath/ 
Erstellen Sie eine virtuelle Python-Umgebung im Projektverzeichnis wie folgt:
$virtualenv .venv 
Aktivieren Sie die virtuelle Umgebung wie folgt:
$Quelle.venv/bin/aktivieren Sie 
Installieren Sie die Selenium Python-Bibliothek mit PIP3 wie folgt:
$ pip3 Selen installieren 
Laden Sie alle erforderlichen Webtreiber herunter und installieren Sie sie im Fahrer/ Verzeichnis des Projekts. Den Vorgang zum Herunterladen und Installieren von Webtreibern habe ich in meinem Artikel erklärt Einführung in Selen in Python 3 .
Holen Sie sich den XPath Selector mit dem Chrome Developer Tool:
In diesem Abschnitt zeige ich Ihnen, wie Sie mit dem integrierten Developer Tool des Google Chrome-Webbrowsers den XPath-Selektor des Webseitenelements finden, das Sie mit Selenium auswählen möchten.
Um den XPath-Selektor mit dem Google Chrome-Webbrowser zu erhalten, öffnen Sie Google Chrome und besuchen Sie die Website, von der Sie Daten extrahieren möchten. Drücken Sie dann die rechte Maustaste (RMB) auf einen leeren Bereich der Seite und klicken Sie auf Prüfen die öffnen Chrome-Entwicklertool .
Sie können auch drücken + Schicht + ich die öffnen Chrome-Entwicklertool .
Chrome-Entwicklertool sollte geöffnet werden.
Um die HTML-Darstellung Ihres gewünschten Webseitenelements zu finden, klicken Sie auf das Prüfen (
) Symbol, wie im Screenshot unten markiert.
Bewegen Sie dann den Mauszeiger über das gewünschte Webseitenelement und drücken Sie die linke Maustaste (LMB), um es auszuwählen.
Die HTML-Darstellung des von Ihnen ausgewählten Webelements wird im Elemente Registerkarte des Chrome-Entwicklertool, wie Sie im Screenshot unten sehen können.
Um den XPath-Selektor Ihres gewünschten Elements zu erhalten, wählen Sie das Element aus der Elemente Registerkarte von Chrome-Entwicklertool und klicken Sie mit der rechten Maustaste (RMB) darauf. Wählen Sie dann Kopieren > XPath kopieren, wie im Screenshot unten markiert.
Ich habe den XPath-Selektor in einen Texteditor eingefügt. Der XPath-Selektor sieht wie im Screenshot unten gezeigt aus.
Holen Sie sich den XPath Selector mit dem Firefox Developer Tool:
In diesem Abschnitt zeige ich Ihnen, wie Sie den XPath-Selektor des Webseitenelements finden, das Sie mit Selenium auswählen möchten, indem Sie das integrierte Developer Tool des Mozilla Firefox-Webbrowsers verwenden.
Um den XPath-Selektor mit dem Firefox-Webbrowser zu erhalten, öffnen Sie Firefox und besuchen Sie die Website, von der Sie Daten extrahieren möchten. Drücken Sie dann die rechte Maustaste (RMB) auf einen leeren Bereich der Seite und klicken Sie auf Element prüfen (Q) die öffnen Firefox-Entwicklertool .
Firefox-Entwicklertool sollte geöffnet werden.
Um die HTML-Darstellung Ihres gewünschten Webseitenelements zu finden, klicken Sie auf das Prüfen (
) Symbol, wie im Screenshot unten markiert.
Bewegen Sie dann den Mauszeiger über das gewünschte Webseitenelement und drücken Sie die linke Maustaste (LMB), um es auszuwählen.
Die HTML-Darstellung des von Ihnen ausgewählten Webelements wird im Inspektor Registerkarte von Firefox-Entwicklertool, wie Sie im Screenshot unten sehen können.
Um den XPath-Selektor Ihres gewünschten Elements zu erhalten, wählen Sie das Element aus der Inspektor Registerkarte von Firefox-Entwicklertool und klicken Sie mit der rechten Maustaste (RMB) darauf. Wählen Sie dann Kopieren > XPath wie im Screenshot unten markiert.
Der XPath-Selektor Ihres gewünschten Elements sollte ungefähr so aussehen.
Extrahieren von Daten aus Webseiten mit XPath Selector:
In diesem Abschnitt zeige ich Ihnen, wie Sie Webseitenelemente auswählen und Daten daraus mithilfe von XPath-Selektoren mit der Selenium Python-Bibliothek extrahieren.
Erstellen Sie zuerst ein neues Python-Skript ex01.py und geben Sie die folgenden Codezeilen ein.
vonSelenimportierenWebtreibervonSelen.Webtreiber.gemeinsames.Schlüssel importierenSchlüssel
vonSelen.Webtreiber.gemeinsames.von importierenVon
Optionen=Webtreiber.ChromeOptionen()
Optionen.kopflos = Wahr
Browser=Webtreiber.Chrom(ausführbarer_Pfad='./drivers/chromedriver',
Optionen=Optionen)
Browser.werden('https://www.unixtimestamp.com/')
Zeitstempel=Browser.find_element_by_xpath('/html/body/div[1]/div[1]
/div[2]/div[1]/div/div/h3[2]')
drucken('Aktueller Zeitstempel: %s'%(Zeitstempel.Text.Teilt('')[0]))
Browser.nah dran()
Wenn Sie fertig sind, speichern Sie die ex01.py Python-Skript.
Zeile 1-3 importiert alle erforderlichen Selenium-Komponenten.
Zeile 5 erstellt ein Chrome-Optionsobjekt und Zeile 6 aktiviert den Headless-Modus für den Chrome-Webbrowser.
Zeile 8 erstellt ein Chrome Browser Objekt mit dem Chromtreiber binär aus dem Fahrer/ Verzeichnis des Projekts.
Zeile 10 weist den Browser an, die Website unixtimestamp.com zu laden.
Zeile 12 findet das Element, das die Zeitstempeldaten von der Seite enthält, mithilfe des XPath-Selektors und speichert es im Zeitstempel Variable.
Zeile 13 analysiert die Zeitstempeldaten des Elements und gibt sie auf der Konsole aus.
Ich habe den XPath-Selektor des markierten . kopiert h2 Element aus unixtimestamp.com mit dem Chrome-Entwicklertool.
Zeile 14 schließt den Browser.
Führen Sie das Python-Skript aus ex01.py wie folgt:
$python3 ex01.py 
Wie Sie sehen, werden die Zeitstempeldaten auf dem Bildschirm gedruckt.
Hier habe ich die browser.find_element_by_xpath(Selektor) Methode. Der einzige Parameter dieser Methode ist der Wähler, Dies ist der XPath-Selektor des Elements.
Anstatt von browser.find_element_by_xpath() Methode können Sie auch verwenden browser.find_element(Von, Selektor) Methode. Diese Methode benötigt zwei Parameter. Der erste Parameter Von wird sein Von.XPATH da wir den XPath-Selektor und den zweiten Parameter verwenden werden Wähler wird der XPath-Selektor selbst sein. Das Ergebnis wird das gleiche sein.
Zu sehen, wie browser.find_element() Methode funktioniert für XPath-Selektor, erstellen Sie ein neues Python-Skript ex02.py , kopiere alle Zeilen von ex01.py zu ex02.py und ändern Linie 12 wie im Screenshot unten markiert.
Wie Sie sehen können, ist das Python-Skript ex02.py liefert das gleiche Ergebnis wie ex01.py .
$python3 ex02.py 
Die browser.find_element_by_xpath() und browser.find_element() Methoden werden verwendet, um ein einzelnes Element auf Webseiten zu finden und auszuwählen. Wenn Sie mehrere Elemente mit XPath-Selektoren suchen und auswählen möchten, müssen Sie verwenden browser.find_elements_by_xpath() oder browser.find_elements() Methoden.
Die browser.find_elements_by_xpath() -Methode verwendet das gleiche Argument wie die browser.find_element_by_xpath() Methode.
Die browser.find_elements() -Methode nimmt die gleichen Argumente an wie die browser.find_element() Methode.
Sehen wir uns ein Beispiel für das Extrahieren einer Namensliste mit dem XPath-Selektor aus an Zufallsnamengenerator.info mit der Selenium Python-Bibliothek.
Die ungeordnete Liste ( sterben Tag) hat eine 10 Bei der Tags in jedem enthalten einen zufälligen Namen. Der XPath zum Auswählen aller Bei der Tags innerhalb der sterben Tag ist in diesem Fall //*[@id=main]/div[3]/div[2]/ol//li
Sehen wir uns ein Beispiel für die Auswahl mehrerer Elemente auf der Webseite mit XPath-Selektoren an.
Erstellen Sie ein neues Python-Skript ex03.py und geben Sie die folgenden Codezeilen ein.
vonSelenimportierenWebtreibervonSelen.Webtreiber.gemeinsames.Schlüssel importierenSchlüssel
vonSelen.Webtreiber.gemeinsames.von importierenVon
Optionen=Webtreiber.ChromeOptionen()
Optionen.kopflos = Wahr
Browser=Webtreiber.Chrom(ausführbarer_Pfad='./drivers/chromedriver',
Optionen=Optionen)
Browser.werden('http://zufalls-name-generator.info/')
Namen=Browser.find_elements_by_xpath('
//*[@id='main']/div[3]/div[2]/ol//li')
zumNameinNamen:
drucken(Name.Text)
Browser.nah dran()
Wenn Sie fertig sind, speichern Sie die ex03.py Python-Skript.
Zeile 1-8 ist die gleiche wie in ex01.py Python-Skript. Daher werde ich sie hier nicht noch einmal erklären.
Zeile 10 weist den Browser an, die Website random-name-generator.info zu laden.
Zeile 12 wählt die Namensliste mit der browser.find_elements_by_xpath() Methode. Diese Methode verwendet den XPath-Selektor //*[@id=main]/div[3]/div[2]/ol//li um die Namensliste zu finden. Anschließend wird die Namensliste im Namen Variable.
In den Zeilen 13 und 14, a zum Schleife wird verwendet, um durch die Namen auflisten und die Namen auf der Konsole ausgeben.
Zeile 16 schließt den Browser.
Führen Sie das Python-Skript aus ex03.py wie folgt:
$python3 ex03.py 
Wie Sie sehen, werden die Namen von der Webseite extrahiert und auf der Konsole gedruckt.
Anstatt die browser.find_elements_by_xpath() Methode können Sie auch die browser.find_elements() Methode wie zuvor. Das erste Argument dieser Methode ist Von.XPATH, und das zweite Argument ist der XPath-Selektor.
Zum Experimentieren mit browser.find_elements() Methode erstellen Sie ein neues Python-Skript ex04.py , kopiere alle Codes von ex03.py zu ex04.py , und ändern Sie Zeile 12 wie im Screenshot unten markiert.
Sie sollten das gleiche Ergebnis wie zuvor erhalten.
$python3 ex04.py 
Grundlagen des XPath-Selektors:
Das Developer Tool des Firefox- oder Google Chrome-Webbrowsers generiert den XPath-Selektor automatisch. Aber diese XPath-Selektoren reichen manchmal für Ihr Projekt nicht aus. In diesem Fall müssen Sie wissen, was ein bestimmter XPath-Selektor tut, um Ihren XPath-Selektor zu erstellen. In diesem Abschnitt zeige ich Ihnen die Grundlagen von XPath-Selektoren. Dann sollten Sie in der Lage sein, Ihren eigenen XPath-Selektor zu erstellen.
Erstellen Sie ein neues Verzeichnis www/ in Ihrem Projektverzeichnis wie folgt:
$mkdir -vwww 
Erstellen Sie eine neue Datei web01.html in dem www/ Verzeichnis und geben Sie die folgenden Zeilen in diese Datei ein.
< html lang='An'>
< Kopf >
< Meta Zeichensatz='UTF-8'>
< Meta Name='Ansichtsfenster' Inhalt='width=device-width, initial-scale=1.0'>
< Titel >Einfaches HTML-Dokument</ Titel >
</ Kopf >
< Karosserie >
< h1 >Hallo Welt</ h1 >
</ Karosserie >
</ html >
Wenn Sie fertig sind, speichern Sie die web01.html Datei.
Führen Sie einen einfachen HTTP-Server auf Port 8080 mit dem folgenden Befehl aus:
$python3-m http.Server--Verzeichnis www/8080 
Der HTTP-Server sollte starten.
Sie sollten in der Lage sein, auf die web01.html Datei mit der URL http://localhost:8080/web01.html , wie Sie im Screenshot unten sehen können.
Drücken Sie bei geöffnetem Firefox- oder Chrome-Entwicklertool + F um das Suchfeld zu öffnen. Sie können Ihren XPath-Selektor hier eingeben und sehr einfach sehen, was er auswählt. Ich werde dieses Tool in diesem Abschnitt verwenden.
Ein XPath-Selektor beginnt mit a Schrägstrich (/) meistens. Es ist wie ein Linux-Verzeichnisbaum. Die / ist die Wurzel aller Elemente auf der Webseite.
Das erste Element ist das html . Also, der XPath-Selektor /html wählt das gesamte html Schild.
Innerhalb der html Tag, wir haben ein Karosserie Schild. Die Karosserie Tag kann mit dem XPath-Selektor ausgewählt werden /html/body
Die h1 Header ist in der Karosserie Schild. Die h1 Header kann mit dem XPath-Selektor ausgewählt werden /html/body/h1
Diese Art von XPath-Selektor wird als absoluter Pfadselektor bezeichnet. Bei der absoluten Pfadauswahl müssen Sie die Webseite vom Stammverzeichnis (/) der Seite aus durchlaufen. Der Nachteil eines absoluten Pfadselektors besteht darin, dass selbst eine geringfügige Änderung der Webseitenstruktur Ihren XPath-Selektor ungültig machen kann. Die Lösung für dieses Problem ist ein relativer oder partieller XPath-Selektor.
Um zu sehen, wie der relative Pfad oder Teilpfad funktioniert, erstellen Sie eine neue Datei web02.html in dem www/ Verzeichnis und geben Sie die folgenden Codezeilen ein.
< html lang='An'>
< Kopf >
< Meta Zeichensatz='UTF-8'>
< Meta Name='Ansichtsfenster' Inhalt='width=device-width, initial-scale=1.0'>
< Titel >Einfaches HTML-Dokument</ Titel >
</ Kopf >
< Karosserie >
< h1 >Hallo Welt</ h1 >
< div >
< P >das ist eine Nachricht</ P >
</ div >
< div >
< Spanne >Hallo Welt</ Spanne >
</ div >
</ Karosserie >
</ html >
Wenn Sie fertig sind, speichern Sie die web02.html Datei und laden Sie sie in Ihren Webbrowser.
Wie Sie sehen, ist der XPath-Selektor //div/p wählt die P tag in der div Schild. Dies ist ein Beispiel für einen relativen XPath-Selektor.
Relativer XPath-Selektor beginnt mit // . Anschließend legen Sie die Struktur des Elements fest, das Sie auswählen möchten. In diesem Fall, div/p .
So, //div/p bedeutet, wählen Sie die P Element innerhalb von a div Element, spielt keine Rolle, was davor kommt.
Sie können Elemente auch nach verschiedenen Attributen auswählen wie Ich würde , Klasse , Typ, usw. unter Verwendung des XPath-Selektors. Mal sehen, wie das geht.
Erstellen Sie eine neue Datei web03.html in dem www/ Verzeichnis und geben Sie die folgenden Codezeilen ein.
< html lang='An'>
< Kopf >
< Meta Zeichensatz='UTF-8'>
< Meta Name='Ansichtsfenster' Inhalt='width=device-width, initial-scale=1.0'>
< Titel >Einfaches HTML-Dokument</ Titel >
</ Kopf >
< Karosserie >
< h1 >Hallo Welt</ h1 >
< div Klasse='Behälter1'>
< P > das ist eine Nachricht</ P >
< Spanne >das ist eine andere Nachricht</ Spanne >
</ div >
< div Klasse='Behälter1'>
< h2 >Überschrift2</ h2 >
< P > Einige Leute
weise, die Schmerzen, die Schwierigkeiten zu wählen, die nicht auf den Auserwählten fallen
einfache Flüge oder andere tolle Dienstleistungen? Woher oder woher wurde er geboren?</ P >
</ div >
< Spanne Ich würde='Fußzeile-Nachricht'>Das ist eine Fußzeile</ Spanne >
</Fußzeile>
</ Karosserie >
</ html >
Wenn Sie fertig sind, speichern Sie die web03.html Datei und laden Sie sie in Ihren Webbrowser.
Angenommen, Sie möchten alle auswählen div Elemente, die die Klasse Name Behälter1 . Dazu können Sie den XPath-Selektor verwenden //div[@class=’container1′]
Wie Sie sehen können, habe ich 2 Elemente, die dem XPath-Selektor entsprechen //div[@class=’container1′]
Um das erste auszuwählen div Element mit dem Klasse Name Behälter1 , hinzufügen [1] am Ende der XPath-Auswahl, wie im Screenshot unten gezeigt.
Auf die gleiche Weise können Sie die zweite auswählen div Element mit dem Klasse Name Behälter1 mit dem XPath-Selektor //div[@class=’container1′][2]
Sie können Elemente auswählen durch Ich würde sowie.
Um beispielsweise das Element auszuwählen, das die Ich würde von Fußzeile-Nachricht , können Sie den XPath-Selektor verwenden //*[@id=’footer-msg’]
Hier das * Vor [@id=’footer-msg’] wird verwendet, um ein beliebiges Element unabhängig von seinem Tag auszuwählen.
Das sind die Grundlagen des XPath-Selektors. Jetzt sollten Sie in der Lage sein, Ihren eigenen XPath-Selektor für Ihre Selenium-Projekte zu erstellen.
Abschluss:
In diesem Artikel habe ich Ihnen gezeigt, wie Sie mithilfe des XPath-Selektors mit der Selenium-Python-Bibliothek Elemente von Webseiten finden und auswählen. Ich habe auch die gebräuchlichsten XPath-Selektoren besprochen. Nachdem Sie diesen Artikel gelesen haben, sollten Sie sich bei der Auswahl von Elementen von Webseiten mit dem XPath-Selektor mit der Selenium-Python-Bibliothek ziemlich sicher fühlen.