Jak skompresować pliki za pomocą zstd z wiersza poleceń lub skryptu bash
We współczesnym świecie wchodzimy w interakcję i pracujemy z danymi wszędzie i każdego dnia. W zależności od bieżących potrzeb i danych wymagających przetwarzania, przechowywanie i moc obliczeniowa mogą szybko stać się zasobami ograniczonymi.
Aby rozwiązać ten problem, programiści opracowali algorytmy kompresji i narzędzia umożliwiające kompresję danych w czasie rzeczywistym, zmniejszając wymagany rozmiar i moc obliczeniową. Jednym z takich narzędzi jest Zstandard, powszechnie znany jako Zstd.
Zstd to darmowy algorytm kompresji w czasie rzeczywistym o otwartym kodzie źródłowym opracowany przez Yanna Collecta, pracownika Facebooka. Zstd jest bardzo szybki i oferuje doskonałe współczynniki kompresji. Jest to algorytm kompresji bezstratnej napisany w C, ale ma implementacje API w innych popularnych językach programowania, takich jak Python, Java, C#, JavaScript i wiele innych. Zapewnia także funkcje kompresji i dekompresji w pamięci.
Aby sprawdzić, czy Zstd obsługuje żądany język, sprawdź zasoby podane poniżej:
https://facebook.github.io/zstd/
Jeśli chcesz zapoznać się z informacjami porównawczymi dotyczącymi Zstd, skorzystaj z poniższego łącza:
https://github.com/facebook/zstd
W tym samouczku dowiesz się, jak skompilować i zainstalować narzędzie Zstd w systemie Linux, a następnie użyć go do kompresji i dekompresji danych.
Jak zainstalować Zstd
Aby użyć Zstd, musimy go zainstalować, kompilując ze źródeł. W zależności od używanego systemu i konfiguracji może być konieczne zainstalowanie zależności i narzędzi, aby pomyślnie przeprowadzić kompilację.
Zacznij od aktualizacji systemu i zainstalowania GNU make za pomocą polecenia:
sudo apt-get upgrade
sudo apt-get -y install build-essential wget tar
Po zainstalowaniu wszystkich narzędzi możemy pobrać pliki źródłowe i je skompilować. Zacznij od przejścia do miejsca, w którym masz uprawnienia do odczytu, zapisu i wykonywania. ~/Pulpit
Następnie użyj wget, aby pobrać pliki do katalogu.
Teraz rozpakuj pobrany plik i przejdź do katalogu, używając poleceń takich jak:
cd zstd-1.4.9
Ostatnim krokiem jest instalacja Zstd za pomocą make i make install w katalogu Zstd.
sudo make install
Po pomyślnym zakończeniu kompilacji i instalacji możesz rozpocząć używanie Zstd w swoim systemie do kompresji i dekompresji plików.
Jak korzystać z Zstd
Zstd w niczym nie odbiega od popularnych metod kompresji i dekompresji. Chociaż podstawowa technologia i implementacja różnią się od innych narzędzi, kompresowanie pliku za pomocą Zstd jest podobne do składni tar i gzip.
Jak skompresować plik
Aby skompresować plik, wywołaj polecenie zstd, po którym następuje flaga -z, która nakazuje zstd wykonanie kompresji, a na koniec nazwę pliku do skompresowania.
Na przykład poniższe polecenie kompresuje plik kopii zapasowej systemu do pliku .zst.
Dane wyjściowe polecenia, jak pokazano poniżej:
$ ls system-backup
Powinieneś zobaczyć plik z rozszerzeniem .zst jako:
Po wykonaniu polecenia plik jest kompresowany i tworzony jest plik o nazwie .zst, który można zdekompresować.
Skompresuj i usuń plik źródłowy
Jak widać z powyższego polecenia, plik źródłowy nie jest domyślnie usuwany podczas kompresji. Możesz określić usunięcie plików źródłowych za pomocą flagi –rm:
system-backup :100.00% (1821109 => 1821164 bytes, system-backup.zst)
$ ls
system-backup.zst
Określenie flagi –rm automatycznie usuwa plik źródłowy.
Uzyskaj informacje o pliku
Aby wyświetlić powiązane informacje o skompresowanym pliku Zstd, możesz użyć flagi -l, po której następuje nazwa pliku. Wyświetlane informacje obejmują rozmiar pliku, współczynnik kompresji i sumę kontrolną pliku
*** zstd command line interface 64-bits v1.4.9, by Yann Collet ***
system-backup.zst # Zstandard Frames: 1
Window Size: 1.74 MB (1821109 B)
Compressed Size: 1.74 MB (1821164 B)
Decompressed Size: 1.74 MB (1821109 B)
Ratio: 1.0000
Check: XXH64
Określ poziom kompresji
Aby jednoznacznie określić poziom kompresji, użyj – gdzie poziom jest wartością z zakresu 1 – 19. Domyślny poziom kompresji to 3. Możesz także odblokować wyższy poziom kompresji, czyli poziom 20 – 22.
UWAGA: im wyższy poziom kompresji, tym większe zużycie pamięci.
Na przykład, aby skompresować plik o poziomie kompresji 10, użyj polecenia:
Określ prędkość kompresji.
Zstd pozwala również ustawić prędkość kompresji w zakresie od 1 – do. Szybkość sprężania jest odwrotnie proporcjonalna do stopnia sprężania. Domyślna prędkość kompresji wynosi 1, a im wyższa wartość, tym większa prędkość kompresji.
Na przykład, aby użyć maksymalnej szybkości kompresji, użyj polecenia:
Określ format kompresji
Możesz także określić format kompresji, który ma być używany, jeśli nie podoba Ci się domyślna kompresja ZST. Formaty obejmują zstd, gzip, xz, lzma i lz4.
Użyj flagi –format i określ format jako:
Kompresuj listę plików
Załóżmy, że masz listę plików, które chcesz skompresować jednocześnie. Zstd pozwala przekazać plik zawierający listę plików i kompresuje je rekurencyjnie.
Na przykład plik list.txt zawierający pliki
/backups/config
/home/Desktop/media
/sync/2021/users
Po zapisaniu pliku możesz przekazać listę do Zstd ze wszystkimi innymi opcjami do wykonania na plikach.
To polecenie skompresuje wszystkie pliki określone w pliku tekstowym i usunie je po zakończeniu.
Rozpakuj plik
Aby zdekompresować plik, możesz użyć opcji -d z poleceniem zstd lub po prostu użyć polecenia unzstd w celu zdekompresowania.
Na przykład:
sudo zstd -d system-backup.zst
Sprawdź integralność pliku
Aby przetestować integralność skompresowanego pliku zst, użyj flagi -t, jak pokazano w poleceniu poniżej:
Wniosek
Jak widać na przykładach, Zstd jest potężnym algorytmem kompresji mającym wiele zastosowań. Aby dowiedzieć się więcej o tym, jak to działa i jego implementacji, sprawdź stronę podręcznika i poeksperymentuj.
Dziękuje za przeczytanie.