Wyszukiwanie w witrynie

Parsowanie HTML w Bash


Mam proces, w którym muszę skopiować wszystkie obrazy ze strony internetowej. Kiedyś uruchamiałem ten proces za pomocą xmllint, który przetworzy plik XML lub HTML i wydrukuje określone przez ciebie wpisy. Ale kiedy mój dostawca hosta serwera zaktualizował swoje systemy, nie zawierał xmllint. Musiałem więc znaleźć inny sposób na wyodrębnienie listy obrazów ze strony HTML. Okazuje się, że możesz to zrobić w Bash.

Możesz nie myśleć, że Bash może analizować pliki danych, ale przy odrobinie sprytnego myślenia może to zrobić. Bash, podobnie jak inne wcześniejsze powłoki UNIX, może analizować wiersze pojedynczo z pliku za pomocą wbudowanej instrukcji read.

Domyślnie instrukcja read skanuje linię danych i dzieli ją na pola. Zwykle read dzieli pola za pomocą spacji i tabulacji, z znakami nowej linii kończącymi każdy wiersz, ale możesz zmienić to zachowanie, ustawiając wartość wewnętrznego separatora pól (IFS) i koniec- ogranicznik linii (-d).

Aby przeanalizować plik HTML za pomocą read , ustaw IFS na symbol większości (>), a ogranicznik na symbol mniej niż (<). Za każdym razem, gdy Bash skanuje wiersz, analizuje do następnego < (początek znacznika HTML), a następnie dzieli te dane na każdy > (koniec znacznika HTML ). Ten przykładowy kod pobiera wiersz danych wejściowych i dzieli dane na zmienne TAG i VALUE:

local IFS='>'
read -d '<' TAG VALUE

Sprawdźmy, jak to działa. Rozważ ten prosty plik HTML:

<img src="logo.png"
alt="My logo" />
<p>some text</p>

Gdy odczytuje ten plik po raz pierwszy, zatrzymuje się na pierwszym symbolu <. Ponieważ < jest pierwszym znakiem tego przykładowego wejścia, oznacza to, że Bash znajduje pusty ciąg znaków. Wynikowe łańcuchy TAG i VALUE są również puste. Ale to jest dobre dla mojego przypadku użycia.

Następnym razem, gdy Bash odczyta dane wejściowe, otrzyma img src=\logo.png\↲alt=\Moje logo\ />↲ ze znakiem nowej linii tuż przed alt i zatrzymuje się przed symbol < w następnym wierszu. Następnie read dzieli linię przy symbolu >, co pozostawia TAG z img src=\logo.png\↲alt =\Moje logo\ / i VALUE z pustym znakiem nowej linii.

Gdy odczytuje po raz trzeci analizuje plik HTML, pobiera on p>jakiś tekst. Bash dzieli ciąg znaków na >, w wyniku czego TAG zawiera p i VALUE z jakiś tekst .

Teraz, gdy już wiesz, jak korzystać z read, możesz łatwo przeanalizować dłuższy plik HTML za pomocą Bash. Zacznij od funkcji Bash o nazwie xmlgetnext, aby przeanalizować dane za pomocą read , ponieważ będziesz to robić wielokrotnie w skrypcie. Nazwałem swoją funkcję xmlgetnext, aby przypomnieć mi, że jest to zamiennik programu xmllint w Linuksie, ale równie dobrze mogłem nazwać ją htmlgetnext .

xmlgetnext () {
local IFS='>'
read -d '<' TAG VALUE
}

Teraz wywołaj tę funkcję xmlgetnext, aby przeanalizować plik HTML. Oto mój kompletny skrypt htmltags:

#!/bin/sh
# print a list of all html tags

xmlgetnext () {
local IFS='>'
read -d '<' TAG VALUE
}

cat $1 | while xmlgetnext ; do echo $TAG ; done

Ostatnia linia jest kluczem. Przechodzi przez plik za pomocą xmlgetnext w celu przeanalizowania kodu HTML i drukuje tylko wpisy TAG. A ponieważ echo działa ze standardowymi separatorami pól, wszelkie linie takie jak img src=\logo.png\↲alt=\Moje logo\ /, które zawierają znak nowej linii, zostaną wydrukowane w jednym wierszu, jako img src=\logo.png\ alt=\Moje logo\ /.

Aby pobrać tylko listę obrazów, uruchamiam dane wyjściowe tego skryptu przez grep, aby wydrukować tylko te wiersze, które mają tag img na początku wiersza.

Powiązane artykuły: