Wyszukiwanie w witrynie

Jak skompresować pliki za pomocą zstd z wiersza poleceń lub skryptu bash


We współczesnym świecie wchodzimy w interakcję i pracujemy z danymi wszędzie i każdego dnia. W zależności od bieżących potrzeb i danych wymagających przetwarzania, przechowywanie i moc obliczeniowa mogą szybko stać się zasobami ograniczonymi.

Aby rozwiązać ten problem, programiści opracowali algorytmy kompresji i narzędzia umożliwiające kompresję danych w czasie rzeczywistym, zmniejszając wymagany rozmiar i moc obliczeniową. Jednym z takich narzędzi jest Zstandard, powszechnie znany jako Zstd.

Zstd to darmowy algorytm kompresji w czasie rzeczywistym o otwartym kodzie źródłowym opracowany przez Yanna Collecta, pracownika Facebooka. Zstd jest bardzo szybki i oferuje doskonałe współczynniki kompresji. Jest to algorytm kompresji bezstratnej napisany w C, ale ma implementacje API w innych popularnych językach programowania, takich jak Python, Java, C#, JavaScript i wiele innych. Zapewnia także funkcje kompresji i dekompresji w pamięci.

Aby sprawdzić, czy Zstd obsługuje żądany język, sprawdź zasoby podane poniżej:

https://facebook.github.io/zstd/

Jeśli chcesz zapoznać się z informacjami porównawczymi dotyczącymi Zstd, skorzystaj z poniższego łącza:

https://github.com/facebook/zstd

W tym samouczku dowiesz się, jak skompilować i zainstalować narzędzie Zstd w systemie Linux, a następnie użyć go do kompresji i dekompresji danych.

Jak zainstalować Zstd

Aby użyć Zstd, musimy go zainstalować, kompilując ze źródeł. W zależności od używanego systemu i konfiguracji może być konieczne zainstalowanie zależności i narzędzi, aby pomyślnie przeprowadzić kompilację.

Zacznij od aktualizacji systemu i zainstalowania GNU make za pomocą polecenia:

sudo apt-get update
sudo apt-get upgrade
sudo apt-get -y install build-essential wget tar

Po zainstalowaniu wszystkich narzędzi możemy pobrać pliki źródłowe i je skompilować. Zacznij od przejścia do miejsca, w którym masz uprawnienia do odczytu, zapisu i wykonywania. ~/Pulpit

cd ~/Desktop

Następnie użyj wget, aby pobrać pliki do katalogu.

wget https://github.com/facebook/zstd/releases/download/v1.4.9/zstd-1.4.9.tar.gz

Teraz rozpakuj pobrany plik i przejdź do katalogu, używając poleceń takich jak:

tar xvf zstd-1.4.9.tar.gz
cd zstd-1.4.9

Ostatnim krokiem jest instalacja Zstd za pomocą make i make install w katalogu Zstd.

sudo make
sudo make install

Po pomyślnym zakończeniu kompilacji i instalacji możesz rozpocząć używanie Zstd w swoim systemie do kompresji i dekompresji plików.

Jak korzystać z Zstd

Zstd w niczym nie odbiega od popularnych metod kompresji i dekompresji. Chociaż podstawowa technologia i implementacja różnią się od innych narzędzi, kompresowanie pliku za pomocą Zstd jest podobne do składni tar i gzip.

Jak skompresować plik

Aby skompresować plik, wywołaj polecenie zstd, po którym następuje flaga -z, która nakazuje zstd wykonanie kompresji, a na koniec nazwę pliku do skompresowania.

Na przykład poniższe polecenie kompresuje plik kopii zapasowej systemu do pliku .zst.

$ sudo zstd -z system-backup

Dane wyjściowe polecenia, jak pokazano poniżej:

system-backup :100.00%   (1821109 => 1821164 bytes, system backup.zst)

$ ls system-backup

Powinieneś zobaczyć plik z rozszerzeniem .zst jako:

system-backup.zst

Po wykonaniu polecenia plik jest kompresowany i tworzony jest plik o nazwie .zst, który można zdekompresować.

Skompresuj i usuń plik źródłowy

Jak widać z powyższego polecenia, plik źródłowy nie jest domyślnie usuwany podczas kompresji. Możesz określić usunięcie plików źródłowych za pomocą flagi –rm:

$ sudo zstd -z --rm system-backup
system-backup        :100.00%   (1821109 => 1821164 bytes, system-backup.zst)
$ ls
system-backup.zst

Określenie flagi –rm automatycznie usuwa plik źródłowy.

Uzyskaj informacje o pliku

Aby wyświetlić powiązane informacje o skompresowanym pliku Zstd, możesz użyć flagi -l, po której następuje nazwa pliku. Wyświetlane informacje obejmują rozmiar pliku, współczynnik kompresji i sumę kontrolną pliku

$ zstd -lv system-backup.zst
*** zstd command line interface 64-bits v1.4.9, by Yann Collet ***
system-backup.zst # Zstandard Frames: 1
Window Size: 1.74 MB (1821109 B)
Compressed Size: 1.74 MB (1821164 B)
Decompressed Size: 1.74 MB (1821109 B)
Ratio: 1.0000
Check: XXH64

Określ poziom kompresji

Aby jednoznacznie określić poziom kompresji, użyj – gdzie poziom jest wartością z zakresu 1 – 19. Domyślny poziom kompresji to 3. Możesz także odblokować wyższy poziom kompresji, czyli poziom 20 – 22.

UWAGA: im wyższy poziom kompresji, tym większe zużycie pamięci.

Na przykład, aby skompresować plik o poziomie kompresji 10, użyj polecenia:

zstd -z -10 --rm system-backup

Określ prędkość kompresji.

Zstd pozwala również ustawić prędkość kompresji w zakresie od 1 – do. Szybkość sprężania jest odwrotnie proporcjonalna do stopnia sprężania. Domyślna prędkość kompresji wynosi 1, a im wyższa wartość, tym większa prędkość kompresji.

Na przykład, aby użyć maksymalnej szybkości kompresji, użyj polecenia:

sudo zstd -z --fast=10 system-backup

Określ format kompresji

Możesz także określić format kompresji, który ma być używany, jeśli nie podoba Ci się domyślna kompresja ZST. Formaty obejmują zstd, gzip, xz, lzma i lz4.

Użyj flagi –format i określ format jako:

zstd -z --format=gzip system-backup

Kompresuj listę plików

Załóżmy, że masz listę plików, które chcesz skompresować jednocześnie. Zstd pozwala przekazać plik zawierający listę plików i kompresuje je rekurencyjnie.

Na przykład plik list.txt zawierający pliki

/home/user/mysql-backup
/backups/config
/home/Desktop/media
/sync/2021/users

Po zapisaniu pliku możesz przekazać listę do Zstd ze wszystkimi innymi opcjami do wykonania na plikach.

sudo zstd -z -v --rm --filelist list.txt

To polecenie skompresuje wszystkie pliki określone w pliku tekstowym i usunie je po zakończeniu.

Rozpakuj plik

Aby zdekompresować plik, możesz użyć opcji -d z poleceniem zstd lub po prostu użyć polecenia unzstd w celu zdekompresowania.

Na przykład:

sudo unzstd system-backup.zst
sudo zstd -d system-backup.zst

Sprawdź integralność pliku

Aby przetestować integralność skompresowanego pliku zst, użyj flagi -t, jak pokazano w poleceniu poniżej:

sudo zstd -t system-backup.zst

Wniosek

Jak widać na przykładach, Zstd jest potężnym algorytmem kompresji mającym wiele zastosowań. Aby dowiedzieć się więcej o tym, jak to działa i jego implementacji, sprawdź stronę podręcznika i poeksperymentuj.

Dziękuje za przeczytanie.

Powiązane artykuły: