Wyszukiwanie w witrynie

Jak zapisać ramkę danych Pandy jako plik gzip/zip?


Ramkę danych Pandy można zapisać w formacie gzip/zip przy użyciu modułu gzip i zipfile w Pythonie. Pandas to biblioteka Pythona używana do manipulacji i analizy danych. Zapewnia dwuwymiarową oznaczoną strukturę danych z kolumnami potencjalnie różnych typów danych. Aby zmniejszyć rozmiar ramki danych, musimy przechowywać ją w formacie gzip/zip. W tym artykule zrozumiemy, jak możemy zapisać ramkę danych Pandy jako plik gzip/zip.

Algorytm

Poniżej opisano uogólniony algorytm zapisywania ramki danych Pandas w postaci skompresowanego pliku gzip/zip. Jednak dokładna implementacja tego algorytmu może się różnić w zależności od konkretnego przypadku użycia i używanego formatu pliku. Na przykład, jeśli używasz formatu PyArrow i Parquet, algorytm będzie musiał użyć biblioteki PyArrow do przekonwertowania ramki DataFrame na tabelę Parquet przed zapisaniem jej w skompresowanym pliku.

  • Zaimportuj niezbędne biblioteki: Pandas, bibliotekę gzip/zip (np. plik zip do kompresji zip, gzip do kompresji gzip) i PyArrow (jeśli używasz formatu Parquet).

  • Załaduj lub utwórz ramkę danych Pandas, którą chcesz zapisać jako plik skompresowany.

  • Wybierz metodę kompresji, której chcesz użyć (gzip lub zip) i otwórz obiekt pliku, w którym chcesz zapisywać, korzystając z odpowiedniej biblioteki. Na przykład, jeśli używasz gzip, możesz użyć „gzip.open”, aby utworzyć obiekt pliku.

  • Użyj odpowiedniej metody (np. to_csv, to_pickle, to_parquet), aby zapisać DataFrame do obiektu pliku, z argumentem „compression” ustawionym na wybraną metodę kompresji.

  • Zamknij obiekt pliku.

Metoda 1: Użycie metody to_csv().

Zapisywanie ramki danych Pandy jako pliku Gzip

Gzip to format kompresji używany do kompresji plików w Pythonie. Jest używany w systemach operacyjnych Linux i UNIX. Aby zapisać ramkę danych Pandy jako plik gzip, musimy zaimportować moduł gzip i użyć jego metody open() w celu utworzenia obiektu pliku w trybie zapisu. Obiekt pliku jest następnie przekazywany do metody to_csv() obiektu DataFrame.

Składnia

df.to_csv('data.csv.gz', index=False, compression='gzip')

W tym przypadku metoda to_csv() zapisuje ramkę danych Pandas jako skompresowany plik CSV z kompresją gzip. Argument „index=False” określa, że kolumna indeksu nie powinna być uwzględniana w pliku wyjściowym, a argument „compression='gzip'” informuje metodę, aby zastosowała kompresję gzip do pliku wyjściowego.

Przykład

W poniższym kodzie utworzyliśmy ramkę danych zawierającą trzy kolumny (imię i nazwisko, wiek i wynagrodzenie) i zapisaliśmy ją jako plik gzip o nazwie „data.gz”. Użyliśmy instrukcji with, aby upewnić się, że obiekt pliku zostanie zamknięty po zapisaniu do niego ramki DataFrame. Argument indeks=False informuje metodę to_csv(), aby nie zapisywała indeksu wiersza do pliku.

import pandas as pd
import gzip

# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
      'Age': [25, 30, 35],
      'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)

# Save DataFrame as a gzip file
with gzip.open('data.gz', 'wb') as f:
   df.to_csv(f, index=False)

Wyjście

Ramka danych zostanie zapisana jako plik gzip, a zawartość pliku pokazano poniżej −

Name,Age,Salary
Alice,25,50000
Bob,30,60000
Charlie,35,70000

Zapisywanie ramki danych Pandas jako pliku ZIP

Zip to popularny format pliku kompresji, najczęściej używany w systemie operacyjnym Windows. Moduł zipfile w Pythonie zapewnia prosty sposób zapisania ramki danych Pandas jako skompresowanego pliku zip.

Aby zapisać ramkę danych Pandas jako plik zip, musimy zaimportować moduł zipfile i użyć jego metody ZipFile() w celu utworzenia obiektu ZipFile w trybie zapisu. Następnie możemy użyć metody open() obiektu ZipFile, aby utworzyć obiekt plikowy w pliku zip. Na koniec możemy przekazać ten obiekt pliku do metody to_csv() obiektu DataFrame.

Przykład

W poniższym kodzie utworzyliśmy ramkę DataFrame z trzema kolumnami (Imię, Wiek i Wynagrodzenie) i zapisaliśmy ją jako plik ZIP o nazwie „data.zip”. Użyliśmy instrukcji with, aby mieć pewność, że obiekt ZipFile zostanie zamknięty po zapisaniu do niego ramki DataFrame. Argument kompresji=zipfile.ZIP_DEFLATED informuje obiekt ZipFile, aby używał algorytmu kompresji DEFLATE. Metoda open() obiektu ZipFile tworzy obiekt pliku w pliku ZIP o nazwie „data.csv”. Argument indeks=False informuje metodę to_csv(), aby nie zapisywała indeksu wiersza do pliku.

import pandas as pd
import zipfile

# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
   'Age': [25, 30, 35],
   'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)

# Save DataFrame as a zip file
with zipfile.ZipFile('data.zip', 'w', compression=zipfile.ZIP_DEFLATED) as z:
   with z.open('data.csv', 'w') as f:
   df.to_csv(f, index=False)

Wyjście

Name	Age	Name
Alice	25	Alice
Bob	30	Bob
Charlie	35	Charlie

Metoda 2: Użycie metody to_pickle() z kompresją gzip/zip

Metodę to_pickle() obiektu DataFrame można wykorzystać do zapisania ramki DataFrame jako pliku pickle z kompresją gzip lub zip.

Składnia

df.to_pickle('data.pkl.gz', compression='gzip')
df.to_pickle('data.pkl.zip', compression='zip')

W tym przypadku metoda to_pickle() zapisuje ramkę danych Pandas jako skompresowany plik pikli z kompresją gzip lub zip. Argument „compression='gzip'” lub „compression='zip'” informuje metodę, aby zastosowała kompresję gzip lub zip do pliku wyjściowego.

Przykład

W poniższym kodzie użyliśmy metody to_pickle(), aby zapisać ramkę DataFrame jako plik pickle z kompresją odpowiednio gzip i zip. Argument „compression='gzip'” lub „compression='zip'” informuje metodę, aby zastosowała kompresję gzip lub zip do pliku wyjściowego.

import pandas as pd

# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
      'Age': [25, 30, 35],
      'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)

# Save DataFrame as a gzipped pickle file
df.to_pickle('data.pkl.gz', compression='gzip')

# Save DataFrame as a zipped pickle file
df.to_pickle('data.pkl.zip', compression='zip')

Wyjście

Name	Age	Name
Alice	25	Alice
Bob	30	Bob
Charlie	35	Charlie

Metoda 3: Użycie metody to_parquet z kompresją gzip/zip

Metodę to_parquet() obiektu DataFrame można wykorzystać do zapisania ramki DataFrame jako pliku Parquet z kompresją gzip lub zip przy użyciu biblioteki PyArrow.

Składnia

pq.write_table(table, 'data.parquet.gz', compression='gzip')
pq.write_table(table, 'data.parquet.zip', compression='snappy')

W tym przypadku metoda write_table() zapisuje ramkę danych Pandas jako skompresowany plik Parquet przy użyciu biblioteki PyArrow. Argument „compression='gzip'” lub „compression='snappy'” informuje metodę, aby zastosowała kompresję gzip lub snappy do pliku wyjściowego.

Przykład

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq

# Create a DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
      'Age': [25, 30, 35],
      'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)

# Convert DataFrame to PyArrow table
table = pa.Table.from_pandas(df)

# Save PyArrow table as a gzipped Parquet file
pq.write_table(table, 'data.parquet.gz', compression='gzip')

# Save PyArrow table as a zipped Parquet file
pq.write_table(table, 'data.parquet.zip', compression='snappy')

Wyjście

Name	Age	Name
Alice	25	Alice
Bob	30	Bob
Charlie	35	Charlie

Wniosek

W tym artykule omówiliśmy, jak zapisać ramkę danych Pandas jako plik gzip/zip przy użyciu języka Python. Użyliśmy modułu gzip do utworzenia pliku gzip i modułu zipfile do utworzenia pliku zip. Obydwa formaty kompresji są szeroko stosowane i mogą pomóc w zmniejszeniu rozmiaru dużych plików danych, ułatwiając ich przechowywanie i przesyłanie. Gzip ma zwykle lepsze współczynniki kompresji danych tekstowych, podczas gdy pliki zip lepiej nadają się do kompresji plików binarnych, takich jak obrazy lub inne dane nietekstowe.

Powiązane artykuły: