Jak zapisać ramkę danych Pandy jako plik gzip/zip?
Ramkę danych Pandy można zapisać w formacie gzip/zip przy użyciu modułu gzip i zipfile w Pythonie. Pandas to biblioteka Pythona używana do manipulacji i analizy danych. Zapewnia dwuwymiarową oznaczoną strukturę danych z kolumnami potencjalnie różnych typów danych. Aby zmniejszyć rozmiar ramki danych, musimy przechowywać ją w formacie gzip/zip. W tym artykule zrozumiemy, jak możemy zapisać ramkę danych Pandy jako plik gzip/zip.
Algorytm
Poniżej opisano uogólniony algorytm zapisywania ramki danych Pandas w postaci skompresowanego pliku gzip/zip. Jednak dokładna implementacja tego algorytmu może się różnić w zależności od konkretnego przypadku użycia i używanego formatu pliku. Na przykład, jeśli używasz formatu PyArrow i Parquet, algorytm będzie musiał użyć biblioteki PyArrow do przekonwertowania ramki DataFrame na tabelę Parquet przed zapisaniem jej w skompresowanym pliku.
Zaimportuj niezbędne biblioteki: Pandas, bibliotekę gzip/zip (np. plik zip do kompresji zip, gzip do kompresji gzip) i PyArrow (jeśli używasz formatu Parquet).
Załaduj lub utwórz ramkę danych Pandas, którą chcesz zapisać jako plik skompresowany.
Wybierz metodę kompresji, której chcesz użyć (gzip lub zip) i otwórz obiekt pliku, w którym chcesz zapisywać, korzystając z odpowiedniej biblioteki. Na przykład, jeśli używasz gzip, możesz użyć „gzip.open”, aby utworzyć obiekt pliku.
-
Użyj odpowiedniej metody (np. to_csv, to_pickle, to_parquet), aby zapisać DataFrame do obiektu pliku, z argumentem „compression” ustawionym na wybraną metodę kompresji.
Zamknij obiekt pliku.
Metoda 1: Użycie metody to_csv().
Zapisywanie ramki danych Pandy jako pliku Gzip
Gzip to format kompresji używany do kompresji plików w Pythonie. Jest używany w systemach operacyjnych Linux i UNIX. Aby zapisać ramkę danych Pandy jako plik gzip, musimy zaimportować moduł gzip i użyć jego metody open() w celu utworzenia obiektu pliku w trybie zapisu. Obiekt pliku jest następnie przekazywany do metody to_csv() obiektu DataFrame.
Składnia
df.to_csv('data.csv.gz', index=False, compression='gzip')
W tym przypadku metoda to_csv() zapisuje ramkę danych Pandas jako skompresowany plik CSV z kompresją gzip. Argument „index=False” określa, że kolumna indeksu nie powinna być uwzględniana w pliku wyjściowym, a argument „compression='gzip'” informuje metodę, aby zastosowała kompresję gzip do pliku wyjściowego.
Przykład
W poniższym kodzie utworzyliśmy ramkę danych zawierającą trzy kolumny (imię i nazwisko, wiek i wynagrodzenie) i zapisaliśmy ją jako plik gzip o nazwie „data.gz”. Użyliśmy instrukcji with, aby upewnić się, że obiekt pliku zostanie zamknięty po zapisaniu do niego ramki DataFrame. Argument indeks=False informuje metodę to_csv(), aby nie zapisywała indeksu wiersza do pliku.
import pandas as pd
import gzip
# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
# Save DataFrame as a gzip file
with gzip.open('data.gz', 'wb') as f:
df.to_csv(f, index=False)
Wyjście
Ramka danych zostanie zapisana jako plik gzip, a zawartość pliku pokazano poniżej −
Name,Age,Salary
Alice,25,50000
Bob,30,60000
Charlie,35,70000
Zapisywanie ramki danych Pandas jako pliku ZIP
Zip to popularny format pliku kompresji, najczęściej używany w systemie operacyjnym Windows. Moduł zipfile w Pythonie zapewnia prosty sposób zapisania ramki danych Pandas jako skompresowanego pliku zip.
Aby zapisać ramkę danych Pandas jako plik zip, musimy zaimportować moduł zipfile i użyć jego metody ZipFile() w celu utworzenia obiektu ZipFile w trybie zapisu. Następnie możemy użyć metody open() obiektu ZipFile, aby utworzyć obiekt plikowy w pliku zip. Na koniec możemy przekazać ten obiekt pliku do metody to_csv() obiektu DataFrame.
Przykład
W poniższym kodzie utworzyliśmy ramkę DataFrame z trzema kolumnami (Imię, Wiek i Wynagrodzenie) i zapisaliśmy ją jako plik ZIP o nazwie „data.zip”. Użyliśmy instrukcji with, aby mieć pewność, że obiekt ZipFile zostanie zamknięty po zapisaniu do niego ramki DataFrame. Argument kompresji=zipfile.ZIP_DEFLATED informuje obiekt ZipFile, aby używał algorytmu kompresji DEFLATE. Metoda open() obiektu ZipFile tworzy obiekt pliku w pliku ZIP o nazwie „data.csv”. Argument indeks=False informuje metodę to_csv(), aby nie zapisywała indeksu wiersza do pliku.
import pandas as pd
import zipfile
# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
# Save DataFrame as a zip file
with zipfile.ZipFile('data.zip', 'w', compression=zipfile.ZIP_DEFLATED) as z:
with z.open('data.csv', 'w') as f:
df.to_csv(f, index=False)
Wyjście
Name Age Name
Alice 25 Alice
Bob 30 Bob
Charlie 35 Charlie
Metoda 2: Użycie metody to_pickle() z kompresją gzip/zip
Metodę to_pickle() obiektu DataFrame można wykorzystać do zapisania ramki DataFrame jako pliku pickle z kompresją gzip lub zip.
Składnia
df.to_pickle('data.pkl.gz', compression='gzip')
df.to_pickle('data.pkl.zip', compression='zip')
W tym przypadku metoda to_pickle() zapisuje ramkę danych Pandas jako skompresowany plik pikli z kompresją gzip lub zip. Argument „compression='gzip'” lub „compression='zip'” informuje metodę, aby zastosowała kompresję gzip lub zip do pliku wyjściowego.
Przykład
W poniższym kodzie użyliśmy metody to_pickle(), aby zapisać ramkę DataFrame jako plik pickle z kompresją odpowiednio gzip i zip. Argument „compression='gzip'” lub „compression='zip'” informuje metodę, aby zastosowała kompresję gzip lub zip do pliku wyjściowego.
import pandas as pd
# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
# Save DataFrame as a gzipped pickle file
df.to_pickle('data.pkl.gz', compression='gzip')
# Save DataFrame as a zipped pickle file
df.to_pickle('data.pkl.zip', compression='zip')
Wyjście
Name Age Name
Alice 25 Alice
Bob 30 Bob
Charlie 35 Charlie
Metoda 3: Użycie metody to_parquet z kompresją gzip/zip
Metodę to_parquet() obiektu DataFrame można wykorzystać do zapisania ramki DataFrame jako pliku Parquet z kompresją gzip lub zip przy użyciu biblioteki PyArrow.
Składnia
pq.write_table(table, 'data.parquet.gz', compression='gzip')
pq.write_table(table, 'data.parquet.zip', compression='snappy')
W tym przypadku metoda write_table() zapisuje ramkę danych Pandas jako skompresowany plik Parquet przy użyciu biblioteki PyArrow. Argument „compression='gzip'” lub „compression='snappy'” informuje metodę, aby zastosowała kompresję gzip lub snappy do pliku wyjściowego.
Przykład
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
# Convert DataFrame to PyArrow table
table = pa.Table.from_pandas(df)
# Save PyArrow table as a gzipped Parquet file
pq.write_table(table, 'data.parquet.gz', compression='gzip')
# Save PyArrow table as a zipped Parquet file
pq.write_table(table, 'data.parquet.zip', compression='snappy')
Wyjście
Name Age Name
Alice 25 Alice
Bob 30 Bob
Charlie 35 Charlie
Wniosek
W tym artykule omówiliśmy, jak zapisać ramkę danych Pandas jako plik gzip/zip przy użyciu języka Python. Użyliśmy modułu gzip do utworzenia pliku gzip i modułu zipfile do utworzenia pliku zip. Obydwa formaty kompresji są szeroko stosowane i mogą pomóc w zmniejszeniu rozmiaru dużych plików danych, ułatwiając ich przechowywanie i przesyłanie. Gzip ma zwykle lepsze współczynniki kompresji danych tekstowych, podczas gdy pliki zip lepiej nadają się do kompresji plików binarnych, takich jak obrazy lub inne dane nietekstowe.