Wyszukiwanie w witrynie

Bezstratna kompresja danych w czasie rzeczywistym za pomocą Zstandard (zstd)


Dobrze zorganizowana kompresja danych jest niezbędnym elementem skutecznego zarządzania danymi. Pozwala nam zaoszczędzić miejsce na dysku, skrócić czas przesyłania danych i zwiększyć ogólną wydajność danych. Wśród licznych narzędzi do kompresji danych, które z roku na rok zyskują na popularności, opcja -zstd wyróżnia się jako opcja o wysokiej wydajności. Opracowane przez Yanna Colleta, zstd to oprogramowanie typu open source, które oferuje imponujące współczynniki kompresji przy jednoczesnym zachowaniu dużych prędkości dekompresji.

Zstd to elastyczne i elastyczne narzędzie do kompresji danych, odpowiednie do kompresji różnych typów danych, takich jak między innymi tekst, obrazy, audio i wideo. Co więcej, jest kompatybilny z kilkoma platformami, w tym Linux, Windows, MacOS i FreeBSD, co czyni go niezawodnym i dostępnym narzędziem dla różnych użytkowników. Dodatkowo elastyczność zstd rozciąga się na interfejs wiersza poleceń, który jest przyjazny dla użytkownika i wyposażony w wiele opcji i funkcji.

W tym artykule szczegółowo wyjaśnimy zstd, zbadamy, jak działa i jak go zainstalować. Dodatkowo zaoferujemy praktyczne przykłady kompresji i dekompresji plików przy użyciu ZSTD i zademonstrujemy niektóre jego zaawansowane możliwości, takie jak między innymi wielowątkowość, nauka słowników i poziomy kompresji. Pod koniec tego artykułu uzyskasz wszechstronną wiedzę na temat zstd i tego, jak można go wykorzystać, aby spełnić Twoje potrzeby w zakresie kompresji danych.

Instalacja Zstandardu na Linuksie

Zstandard jest dostępny w większości oficjalnych repozytoriów dystrybucji Linuksa, co ułatwia instalację za pomocą menedżera pakietów. Do zainstalowania go na Ubuntu używa się kilku poleceń, które opisano poniżej −

Wprowadź polecenie instalacji Zstandardu

sudo apt-get update
sudo apt-get install zstd

Wyjście wyświetli wszystkie szczegóły dotyczące aktualizacji i instalacji Zstandardu

user@ubuntu:~$ sudo apt-get update
[sudo] password for user: 
Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Hit:2 http://us.archive.ubuntu.com/ubuntu focal InRelease                
Get:3 http://us.archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB]             
Get:4 http://us.archive.ubuntu.com/ubuntu focal-backports InRelease [101 kB]             
Get:5 http://us.archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1,341 kB]
Get:6 http://security.ubuntu.com/ubuntu focal-security/main amd64 Packages [784 kB]
Get:7 http://security.ubuntu.com/ubuntu focal-security/main Translation-en [236 kB]
Get:8 http://security.ubuntu.com/ubuntu focal-security/restricted amd64 Packages [44.7 kB]
Get:9 http://security.ubuntu.com/ubuntu focal-security/restricted Translation-en [11.6 kB]
Get:10 http://security.ubuntu.com/ubuntu focal-security/universe amd64 Packages [959 kB]
Get:11 http://security.ubuntu.com/ubuntu focal-security/universe Translation-en [172 kB]
Get:12 http://us.archive.ubuntu.com/ubuntu focal-updates/main Translation-en [341 kB]
Get:13 http://us.archive.ubuntu.com/ubuntu focal-updates/restricted amd64 Packages [70.1 kB]
Get:14 http://us.archive.ubuntu.com/ubuntu focal-updates/restricted Translation-en [12.9 kB]
Get:15 http://us.archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [900 kB]
Get:16 http://us.archive.ubuntu.com/ubuntu focal-updates/universe Translation-en [197 kB]
Get:17 http://us.archive.ubuntu.com/ubuntu focal-backports/main amd64 Packages [8,680 B]
Get:18 http://us.archive.ubuntu.com/ubuntu focal-backports/main Translation-en [4,156 B]
Fetched 5,297 kB in 5s (1,163 kB/s)                          
Reading package lists... Done
Building dependency tree       
Reading state information... Done
All packages are up to date.
user@ubuntu:~$ sudo apt-get install zstd
Reading package lists... Done
Building dependency tree       
Reading state information... Done
The following NEW packages will be installed:
  zstd
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 249 kB of archives.
After this operation, 1,120 kB of additional disk space will be used.
Get:1 http://us.archive.ubuntu.com/ubuntu focal/universe amd64 zstd amd64 1.4.5+dfsg-4 [249 kB]
Fetched 249 kB in 1s (177 kB/s)    
Selecting previously unselected package zstd.
(Reading database ... 233077 files and directories currently installed.)
Preparing to unpack .../archives/zstd_1.4.5+dfsg-4_amd64.deb ...
Unpacking zstd (1.4.5+dfsg-4) ...
Setting up zstd (1.4.5+dfsg-4) ...
Processing triggers for man-db (2.9.1-1) ...
user@ubuntu:~$ 

Po pomyślnym zainstalowaniu Zstandardu możemy teraz przejść do zapoznania się z podstawowymi przykładami użycia poleceń Zstd w poniższej sekcji.

Lista różnych przykładów użycia polecenia „Zstd” w systemie Linux

1. Skompresuj plik

Aby skompresować plik za pomocą Zstd, użyj polecenia „nazwa pliku zstd”. Domyślny poziom kompresji to 3, ale możemy go dostosować za pomocą „-# (liczba)”. Zstd doskonale nadaje się do dużych plików, zmniejszając ich rozmiar w celu łatwiejszego przechowywania i przesyłania. Posiada również dużą prędkość dekompresji, co ułatwia przywracanie bez utraty wydajności. Zstd to proste, ale potężne narzędzie usprawniające zarządzanie danymi w systemach Linux.

Wprowadź polecenie kompresji pliku

zstd example.txt

Wyjście polecenia zstd

user@ubuntu:~$ zstd example.txt
user@ubuntu:~$

2. Rozpakuj plik

Jeśli chcesz zdekompresować plik skompresowany za pomocą Zstd, użyj polecenia „zstd -d”, po którym należy podać nazwę skompresowanego pliku. Na przykład „zstd -d przykład.txt.zst” przywróci skompresowany plik do jego oryginalnego formatu. Wysokie współczynniki kompresji i duże prędkości dekompresji Zstd sprawiają, że jest to niezawodny i wydajny sposób zarządzania dużymi plikami w systemie Linux.

Polecenie dekompresji pliku

zstd -d example.txt.zst

3. Skompresuj katalog

Kompresja całych katalogów za pomocą polecenia Zstd jest bardzo prosta. Wszystko, co musimy zrobić, to użyć polecenia „tar cf - nazwa_katalogu/ | zstd > nazwa_skompresowanego_pliku.tar.zst”. Załóżmy na przykład, że mamy katalog o nazwie „example”, który chcemy skompresować i utworzyć skompresowany plik o nazwie „example.tar.zst”. Musimy uruchomić to polecenie w terminalu „tar cf - przykład/ | zstd > przykład.tar.zst”. Spowoduje to skompresowanie całego katalogu do jednego pliku, w ten sposób możesz użyć tego polecenia.

Polecenie wejściowe służące do kompresji katalogu

tar cf - example/ | zstd > example.tar.zst

4. Rozpakuj katalog

Aby zdekompresować katalog skompresowany przy użyciu Zstd w systemie Linux, możesz użyć polecenia „zstd -d przykład.tar.zst | tar xvf -”. Określ nazwę skompresowanego pliku za pomocą opcji „-d”. Polecenie „tar” rozpakowuje zawartość pliku archiwum przy użyciu opcji „-xvf”. Pamiętaj, aby wykonać kopię zapasową skompresowanego katalogu przed jego dekompresją, aby uniknąć nadpisania istniejących katalogów o tej samej nazwie.

Wejście do dekompresji katalogu

zstd -d example.tar.zst | tar xvf -

Wyjście polecenia „zstd -d”

$ zstd -d example.tar.zst | tar xvf -
example/
example/file1.txt
example/file2.txt
example/file3.txt

5. Kompresja wielowątkowa

Jeśli masz duży plik, który wymaga szybkiej kompresji, możemy użyć Zstd, narzędzia do szybkiej kompresji, które wykorzystuje wiele rdzeni procesora w celu zwiększenia szybkości kompresji. Pisząc to polecenie „zstd -T0 przykład.txt”, możesz aktywować kompresję wielowątkową z liczbą wątków równą 0, co pozwoli Zstd wykorzystać wszystkie dostępne rdzenie procesora do skompresowania pliku „przykład.txt”. W ten sposób , możesz aktywować kompresję wielowątkową w systemie Linux.

Polecenie wejściowe dla kompresji wielowątkowej

zstd -T0 example.txt

Wyjście tego polecenia może wyglądać tak

zstd -T0 example.txt
example.txt         : 100%   [==================================================================================================]  10.00 MiB/s  2.20:1  

6. Ustaw poziom kompresji

Zstd ma 22 poziomy kompresji z różnymi kompromisami między stopniem kompresji a prędkością. Użyj polecenia „zstd - ”, aby ustawić poziom kompresji pliku. Wyższe poziomy wymagają więcej zasobów procesora i czasu. Wybierz odpowiedni poziom kompresji, aby uzyskać optymalne rezultaty.

Polecenie wejściowe określające poziom kompresji

zstd -3 example.txt

Wyjście poziomu kompresji zstd

example.txt             :  10.00 MB
--
example.txt         :  3.55 MB        (35.45%)   (x3.18)
--

Wniosek

Podsumowując, Zstandard to cenne narzędzie do kompresji, które może zaoszczędzić miejsce na dysku i przyspieszyć przesyłanie danych. Instalacja zstd w systemie Linux jest prostym procesem, a używanie go do kompresji i dekompresji plików jest dziecinnie proste. Ufamy, że ten artykuł pomógł Ci rozpocząć pracę z zstd i poinstruował, jak go używać w celu zwiększenia wymagań dotyczących kompresji danych.

Powiązane artykuły: