Bezstratna kompresja danych w czasie rzeczywistym za pomocą Zstandard (zstd)
Dobrze zorganizowana kompresja danych jest niezbędnym elementem skutecznego zarządzania danymi. Pozwala nam zaoszczędzić miejsce na dysku, skrócić czas przesyłania danych i zwiększyć ogólną wydajność danych. Wśród licznych narzędzi do kompresji danych, które z roku na rok zyskują na popularności, opcja -zstd wyróżnia się jako opcja o wysokiej wydajności. Opracowane przez Yanna Colleta, zstd to oprogramowanie typu open source, które oferuje imponujące współczynniki kompresji przy jednoczesnym zachowaniu dużych prędkości dekompresji.
Zstd to elastyczne i elastyczne narzędzie do kompresji danych, odpowiednie do kompresji różnych typów danych, takich jak między innymi tekst, obrazy, audio i wideo. Co więcej, jest kompatybilny z kilkoma platformami, w tym Linux, Windows, MacOS i FreeBSD, co czyni go niezawodnym i dostępnym narzędziem dla różnych użytkowników. Dodatkowo elastyczność zstd rozciąga się na interfejs wiersza poleceń, który jest przyjazny dla użytkownika i wyposażony w wiele opcji i funkcji.
W tym artykule szczegółowo wyjaśnimy zstd, zbadamy, jak działa i jak go zainstalować. Dodatkowo zaoferujemy praktyczne przykłady kompresji i dekompresji plików przy użyciu ZSTD i zademonstrujemy niektóre jego zaawansowane możliwości, takie jak między innymi wielowątkowość, nauka słowników i poziomy kompresji. Pod koniec tego artykułu uzyskasz wszechstronną wiedzę na temat zstd i tego, jak można go wykorzystać, aby spełnić Twoje potrzeby w zakresie kompresji danych.
Instalacja Zstandardu na Linuksie
Zstandard jest dostępny w większości oficjalnych repozytoriów dystrybucji Linuksa, co ułatwia instalację za pomocą menedżera pakietów. Do zainstalowania go na Ubuntu używa się kilku poleceń, które opisano poniżej −
Wprowadź polecenie instalacji Zstandardu
sudo apt-get update
sudo apt-get install zstd
Wyjście wyświetli wszystkie szczegóły dotyczące aktualizacji i instalacji Zstandardu
user@ubuntu:~$ sudo apt-get update
[sudo] password for user:
Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Hit:2 http://us.archive.ubuntu.com/ubuntu focal InRelease
Get:3 http://us.archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB]
Get:4 http://us.archive.ubuntu.com/ubuntu focal-backports InRelease [101 kB]
Get:5 http://us.archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1,341 kB]
Get:6 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages [784 kB]
Get:7 http://security.ubuntu.com/ubuntu focal-security/main Translation-en [236 kB]
Get:8 http://security.ubuntu.com/ubuntu focal-security/restricted amd64 Packages [44.7 kB]
Get:9 http://security.ubuntu.com/ubuntu focal-security/restricted Translation-en [11.6 kB]
Get:10 http://security.ubuntu.com/ubuntu focal-security/universe amd64 Packages [959 kB]
Get:11 http://security.ubuntu.com/ubuntu focal-security/universe Translation-en [172 kB]
Get:12 http://us.archive.ubuntu.com/ubuntu focal-updates/main Translation-en [341 kB]
Get:13 http://us.archive.ubuntu.com/ubuntu focal-updates/restricted amd64 Packages [70.1 kB]
Get:14 http://us.archive.ubuntu.com/ubuntu focal-updates/restricted Translation-en [12.9 kB]
Get:15 http://us.archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [900 kB]
Get:16 http://us.archive.ubuntu.com/ubuntu focal-updates/universe Translation-en [197 kB]
Get:17 http://us.archive.ubuntu.com/ubuntu focal-backports/main amd64 Packages [8,680 B]
Get:18 http://us.archive.ubuntu.com/ubuntu focal-backports/main Translation-en [4,156 B]
Fetched 5,297 kB in 5s (1,163 kB/s)
Reading package lists... Done
Building dependency tree
Reading state information... Done
All packages are up to date.
user@ubuntu:~$ sudo apt-get install zstd
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following NEW packages will be installed:
zstd
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 249 kB of archives.
After this operation, 1,120 kB of additional disk space will be used.
Get:1 http://us.archive.ubuntu.com/ubuntu focal/universe amd64 zstd amd64 1.4.5+dfsg-4 [249 kB]
Fetched 249 kB in 1s (177 kB/s)
Selecting previously unselected package zstd.
(Reading database ... 233077 files and directories currently installed.)
Preparing to unpack .../archives/zstd_1.4.5+dfsg-4_amd64.deb ...
Unpacking zstd (1.4.5+dfsg-4) ...
Setting up zstd (1.4.5+dfsg-4) ...
Processing triggers for man-db (2.9.1-1) ...
user@ubuntu:~$
Po pomyślnym zainstalowaniu Zstandardu możemy teraz przejść do zapoznania się z podstawowymi przykładami użycia poleceń Zstd w poniższej sekcji.
Lista różnych przykładów użycia polecenia „Zstd” w systemie Linux
1. Skompresuj plik
Aby skompresować plik za pomocą Zstd, użyj polecenia „nazwa pliku zstd”. Domyślny poziom kompresji to 3, ale możemy go dostosować za pomocą „-# (liczba)”. Zstd doskonale nadaje się do dużych plików, zmniejszając ich rozmiar w celu łatwiejszego przechowywania i przesyłania. Posiada również dużą prędkość dekompresji, co ułatwia przywracanie bez utraty wydajności. Zstd to proste, ale potężne narzędzie usprawniające zarządzanie danymi w systemach Linux.
Wprowadź polecenie kompresji pliku
zstd example.txt
Wyjście polecenia zstd
user@ubuntu:~$ zstd example.txt
user@ubuntu:~$
2. Rozpakuj plik
Jeśli chcesz zdekompresować plik skompresowany za pomocą Zstd, użyj polecenia „zstd -d”, po którym należy podać nazwę skompresowanego pliku. Na przykład „zstd -d przykład.txt.zst” przywróci skompresowany plik do jego oryginalnego formatu. Wysokie współczynniki kompresji i duże prędkości dekompresji Zstd sprawiają, że jest to niezawodny i wydajny sposób zarządzania dużymi plikami w systemie Linux.
Polecenie dekompresji pliku
zstd -d example.txt.zst
3. Skompresuj katalog
Kompresja całych katalogów za pomocą polecenia Zstd jest bardzo prosta. Wszystko, co musimy zrobić, to użyć polecenia „tar cf - nazwa_katalogu/ | zstd > nazwa_skompresowanego_pliku.tar.zst”. Załóżmy na przykład, że mamy katalog o nazwie „example”, który chcemy skompresować i utworzyć skompresowany plik o nazwie „example.tar.zst”. Musimy uruchomić to polecenie w terminalu „tar cf - przykład/ | zstd > przykład.tar.zst”. Spowoduje to skompresowanie całego katalogu do jednego pliku, w ten sposób możesz użyć tego polecenia.
Polecenie wejściowe służące do kompresji katalogu
tar cf - example/ | zstd > example.tar.zst
4. Rozpakuj katalog
Aby zdekompresować katalog skompresowany przy użyciu Zstd w systemie Linux, możesz użyć polecenia „zstd -d przykład.tar.zst | tar xvf -”. Określ nazwę skompresowanego pliku za pomocą opcji „-d”. Polecenie „tar” rozpakowuje zawartość pliku archiwum przy użyciu opcji „-xvf”. Pamiętaj, aby wykonać kopię zapasową skompresowanego katalogu przed jego dekompresją, aby uniknąć nadpisania istniejących katalogów o tej samej nazwie.
Wejście do dekompresji katalogu
zstd -d example.tar.zst | tar xvf -
Wyjście polecenia „zstd -d”
$ zstd -d example.tar.zst | tar xvf -
example/
example/file1.txt
example/file2.txt
example/file3.txt
5. Kompresja wielowątkowa
Jeśli masz duży plik, który wymaga szybkiej kompresji, możemy użyć Zstd, narzędzia do szybkiej kompresji, które wykorzystuje wiele rdzeni procesora w celu zwiększenia szybkości kompresji. Pisząc to polecenie „zstd -T0 przykład.txt”, możesz aktywować kompresję wielowątkową z liczbą wątków równą 0, co pozwoli Zstd wykorzystać wszystkie dostępne rdzenie procesora do skompresowania pliku „przykład.txt”. W ten sposób , możesz aktywować kompresję wielowątkową w systemie Linux.
Polecenie wejściowe dla kompresji wielowątkowej
zstd -T0 example.txt
Wyjście tego polecenia może wyglądać tak
zstd -T0 example.txt
example.txt : 100% [==================================================================================================] 10.00 MiB/s 2.20:1
6. Ustaw poziom kompresji
Zstd ma 22 poziomy kompresji z różnymi kompromisami między stopniem kompresji a prędkością. Użyj polecenia „zstd -
Polecenie wejściowe określające poziom kompresji
zstd -3 example.txt
Wyjście poziomu kompresji zstd
example.txt : 10.00 MB
--
example.txt : 3.55 MB (35.45%) (x3.18)
--
Wniosek
Podsumowując, Zstandard to cenne narzędzie do kompresji, które może zaoszczędzić miejsce na dysku i przyspieszyć przesyłanie danych. Instalacja zstd w systemie Linux jest prostym procesem, a używanie go do kompresji i dekompresji plików jest dziecinnie proste. Ufamy, że ten artykuł pomógł Ci rozpocząć pracę z zstd i poinstruował, jak go używać w celu zwiększenia wymagań dotyczących kompresji danych.