Łączenie w konwolucyjnych sieciach neuronowych
Wstęp
Termin „łączenie” będzie znajomy każdemu, kto zna konwolucyjne sieci neuronowe, ponieważ jest to proces powszechnie stosowany po każdej warstwie splotu. W tym artykule będziemy badać przyczyny i sposoby stojące za tym podstawowym procesem w architekturach CNN.
Warunki wstępne
Aby zrozumieć tworzenie puli w konwolucyjnych sieciach neuronowych (CNN), powinniśmy znać następujące pojęcia:
Operacja splotu: zrozumienie działania warstw splotu w sieciach CNN, w tym sposobu stosowania filtrów (jądra) do danych wejściowych w celu tworzenia map obiektów. Zrozum pojęcia takie jak krok, dopełnienie i sposób, w jaki sploty pomagają wyodrębnić przestrzenne hierarchie obiektów z obrazów.
Mapy obiektów: zrozumienie, w jaki sposób mapy obiektów są tworzone na podstawie obrazów wejściowych za pomocą filtrów i jak te mapy reprezentują różne wykryte wzorce (takie jak krawędzie lub tekstury) na różnych warstwach.
-
Funkcje aktywacji: sposób, w jaki funkcje aktywacji (takie jak ReLU) są stosowane w celu wprowadzenia do sieci nieliniowości, co pozwala jej uczyć się złożonych wzorców.
Solidne zrozumienie tych podstaw pomoże Ci zrozumieć rolę łączenia danych w zmniejszaniu wymiarów przestrzennych, ulepszaniu ekstrakcji cech i zwiększaniu wydajności CNN.
Proces łączenia
Podobnie jak w przypadku splotu, proces łączenia również wykorzystuje filtr/jądro, aczkolwiek bez żadnych elementów (coś w rodzaju pustej tablicy). Zasadniczo polega to na przesuwaniu tego filtra po kolejnych fragmentach obrazu i przetwarzaniu pikseli uwięzionych w jądrze w jakiś sposób; w zasadzie to samo, co operacja splotu.
Postępy w widzeniu komputerowym
W frameworkach głębokiego uczenia się istnieje niezbyt popularny, ale bardzo podstawowy parametr, który dyktuje zachowanie klas splotowych i pulowych. W bardziej ogólnym sensie kontroluje zachowanie dowolnej klasy, która z tego czy innego powodu wykorzystuje przesuwane okno. Parametr ten nazywany jest „krokiem”. Nazywa się go przesuwanym oknem, ponieważ skanowanie obrazu z filtrem przypomina przesuwanie małego okna po pikselach obrazu).
Parametr stride określa, jak bardzo filtr jest przesunięty w dowolnym wymiarze podczas wykonywania operacji na przesuwanym oknie, takich jak splot i łączenie.
Na powyższym obrazku filtry są przesunięte zarówno w pozycji przyciemnienia 0 (poziomo), jak i przyciemnienia 1 (pionowo) na obrazie (6, 6). Gdy krok=1, filtr jest przesuwany o jeden piksel. Jednakże, gdy krok=2, filtr jest przesuwany o dwa piksele; trzy piksele, gdy krok=3. Ma to ciekawy efekt podczas generowania nowego obrazu w procesie przesuwania okna; jako krok wynoszący 2 w obu wymiarach zasadniczo generuje obraz o połowę mniejszy od oryginalnego obrazu. Podobnie krok 3 da obraz o wielkości jednej trzeciej obrazu referencyjnego i tak dalej.
Gdy krok > 1, tworzona jest reprezentacja będąca ułamkiem rozmiaru obrazu referencyjnego.
Podczas wykonywania operacji łączenia należy pamiętać, że domyślnie krok jest zawsze równy rozmiarowi filtra. Na przykład, jeśli ma zostać użyty filtr (2, 2), wartość kroku domyślnie wynosi 2.
Rodzaje łączenia
W sieciach CNN stosowane są głównie dwa rodzaje operacji łączenia, są to: maksymalne łączenie i średnie łączenie. Istnieją również globalne warianty tych dwóch operacji łączenia, ale wykraczają one poza zakres tego konkretnego artykułu (Globalne łączenie maksymalne i Globalne łączenie średnich).
Maksymalne łączenie
Maksymalne łączenie polega na skanowaniu obrazu przy użyciu filtra i za każdym razem zwracaniu maksymalnej wartości piksela przechwyconej w filtrze jako własnego piksela w nowym obrazie.
Jak widać na ilustracji, pusty filtr (2, 2) nasuwa się na obraz (4, 4) z krokiem 2, jak omówiono w powyższej sekcji. Maksymalna wartość piksela w każdym przypadku jest zwracana jako odrębny piksel, tworząc nowy obraz. Mówi się, że wynikowy obraz jest maksymalnie zbiorczą reprezentacją oryginalnego obrazu (Zauważ, że wynikowy obraz jest o połowę mniejszy od oryginalnego obrazu ze względu na domyślny krok wynoszący 2, jak omówiono w poprzedniej sekcji). .
Średnie łączenie
Podobnie jak w przypadku Max Pooling, na obraz nakładany jest również pusty filtr, ale w tym przypadku zwracana jest średnia/średnia wartość wszystkich pikseli przechwyconych w filtrze, tworząc średnią zbiorczą reprezentację oryginalnego obrazu, jak pokazano poniżej.
Maksymalne łączenie a średnie łączenie
Z ilustracji w poprzedniej sekcji wyraźnie widać, że wartości pikseli są znacznie większe w maksymalnej reprezentacji zbiorczej w porównaniu ze średnią reprezentacją zbiorczą. Mówiąc prościej, oznacza to po prostu, że reprezentacje wynikające z maksymalnego łączenia są często ostrzejsze niż te uzyskane ze średniego łączenia.
Esencja Poolingu
W jednym z moich poprzednich artykułów wspomniałem, jak konwolucyjne sieci neuronowe wyodrębniają cechy jako krawędzie z obrazu w procesie splotu. Te wyodrębnione cechy nazywane są mapami obiektów. Łączenie działa następnie na tych mapach obiektów i służy jako rodzaj analizy głównych składowych (pozwolę sobie być dość liberalnym w tej koncepcji), poprzez przeglądanie map obiektów i tworzenie małe podsumowanie w procesie zwanym próbkowaniem w dół.
Mówiąc mniej technicznie, łączenie generuje obrazy o małych rozmiarach, które zachowują wszystkie istotne atrybuty (piksele) obrazu referencyjnego. Zasadniczo można stworzyć (25, 25) pikselowy obraz samochodu, który zachowałby wszystkie ogólne szczegóły i skład obrazu referencyjnego o rozmiarze (400, 400), poprzez iteracyjne łączenie 4 razy przy użyciu jądra (2, 2). Czyni to poprzez wykorzystanie kroków większych niż 1, co pozwala na tworzenie reprezentacji stanowiących ułamek oryginalnego obrazu.
Wracając do CNN, w miarę pogłębiania się warstw splotu zwiększa się liczba map obiektów (reprezentacji wynikających ze splotu). Jeżeli mapy obiektów mają taki sam rozmiar jak obraz dostarczany do sieci, prędkość obliczeń byłaby poważnie ograniczona ze względu na dużą ilość danych obecnych w sieci, szczególnie podczas uczenia. Dzięki stopniowemu zmniejszaniu próbkowania tych map obiektów, ilość danych w sieci jest skutecznie kontrolowana, nawet w przypadku wzrostu liczby map obiektów. Oznacza to, że sieć będzie stopniowo dysponować rozsądnymi ilościami danych, z którymi będzie mogła sobie poradzić, bez utraty jakichkolwiek podstawowych funkcji wyodrębnionych przez poprzednią warstwę splotu, co spowoduje szybsze obliczenia.
Innym skutkiem łączenia jest to, że pozwala na większą niezawodność konwolucyjnych sieci neuronowych, ponieważ stają się one niezmienne w przypadku translacji. Oznacza to, że sieć będzie w stanie wyodrębnić cechy interesującego obiektu niezależnie od jego położenia na obrazie (więcej na ten temat w kolejnym artykule).
W tej sekcji będziemy używać ręcznie napisanych funkcji łączenia, aby zwizualizować proces łączenia i lepiej zrozumieć, co się właściwie dzieje. Dostępne są dwie funkcje, jedna dla maksymalnego łączenia, a druga dla średniego łączenia. Korzystając z funkcji, spróbujemy połączyć obraz o rozmiarze (446, 550) pikseli poniżej.
# import these dependencies
import torch
import numpy as np
import matplotlib.pyplot as plt
import torch.nn.functional as F
from tqdm import tqdm
Nie zapomnij zaimportować tych zależności
Max łączenie za kulisami
def max_pool(image_path, kernel_size=2, visualize=False, title=''):
"""
This function replicates the maxpooling
process
"""
# assessing image parameter
if type(image_path) is np.ndarray and len(image_path.shape)==2:
image = image_path
else:
image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
# creating an empty list to store convolutions
pooled = np.zeros((image.shape[0]//kernel_size,
image.shape[1]//kernel_size))
# instantiating counter
k=-1
# maxpooling
for i in tqdm(range(0, image.shape[0], kernel_size)):
k+=1
l=-1
if k==pooled.shape[0]:
break
for j in range(0, image.shape[1], kernel_size):
l+=1
if l==pooled.shape[1]:
break
try:
pooled[k,l] = (image[i:(i+kernel_size),
j:(j+kernel_size)]).max()
except ValueError:
pass
if visualize:
# displaying results
figure, axes = plt.subplots(1,2, dpi=120)
plt.suptitle(title)
axes[0].imshow(image, cmap='gray')
axes[0].set_title('reference image')
axes[1].imshow(pooled, cmap='gray')
axes[1].set_title('maxpooled')
return pooled
Funkcja maksymalnego łączenia pokazana powyżej.
Powyższa funkcja replikuje proces maksymalnego łączenia. Korzystając z tej funkcji, spróbujmy maksymalnie połączyć obraz referencyjny za pomocą jądra (2, 2).
max_pool('image.jpg', 2, visualize=True)
Patrząc na osie liczbowe na każdej osi, wyraźnie widać, że obraz został zmniejszony, ale zachował wszystkie szczegóły nienaruszone. To prawie tak, jakby w procesie wyodrębniono najbardziej widoczne piksele i wygenerowano podsumowaną reprezentację o połowie rozmiaru obrazu referencyjnego (o połowie, ponieważ użyto jądra (2, 2)).
Poniższa funkcja pozwala na wizualizację kilku iteracji procesu maksymalnego łączenia.
def visualize_pooling(image_path, iterations, kernel=2):
"""
This function helps to visualise several
iterations of the pooling process
"""
image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
# creating empty list to hold pools
pools = []
pools.append(image)
# performing pooling
for iteration in range(iterations):
pool = max_pool(pools[-1], kernel)
pools.append(pool)
# visualisation
fig, axis = plt.subplots(1, len(pools), dpi=700)
for i in range(len(pools)):
axis[i].imshow(pools[i], cmap='gray')
axis[i].set_title(f'{pools[i].shape}', fontsize=5)
axis[i].axis('off')
pass
Funkcja wizualizacji łączenia pokazana powyżej.
Korzystając z tej funkcji, możemy wizualizować 3 generacje maksymalnej zbiorczej reprezentacji przy użyciu filtra (2, 2), jak pokazano poniżej. Obraz przechodzi od rozmiaru (446, 450) pikseli do rozmiaru (55, 56) pikseli (w zasadzie podsumowanie 1,5%), zachowując jednocześnie swój ogólny wygląd.
visualize_pooling('image.jpg', 3)
Efekty użycia większego jądra (3, 3) pokazano poniżej, zgodnie z oczekiwaniami, obraz referencyjny zmniejsza się do 1/3 poprzedniego rozmiaru w każdej iteracji. W trzeciej iteracji tworzona jest pikselowana (16, 16) reprezentacja o zmniejszonej próbce (podsumowanie 0,1%). Mimo że obraz jest pikselowany, ogólna idea obrazu jest w pewnym stopniu zachowana.
visualize_pooling('image.jpg', 3, kernel=3)
Aby właściwie spróbować naśladować, jak mógłby wyglądać proces maksymalnego łączenia w konwolucyjnej sieci neuronowej, przeprowadźmy kilka iteracji po pionowych krawędziach wykrytych na obrazie, używając operatora Prewitta.
W trzeciej iteracji, pomimo zmniejszenia rozmiaru obrazu, można zauważyć, że jego cechy (krawędzie) są stopniowo wyostrzane.
Średnie zgromadzenie za kulisami
def average_pool(image_path, kernel_size=2, visualize=False, title=''):
"""
This function replicates the averagepooling
process
"""
# assessing image parameter
if type(image_path) is np.ndarray and len(image_path.shape)==2:
image = image_path
else:
image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
# creating an empty list to store convolutions
pooled = np.zeros((image.shape[0]//kernel_size,
image.shape[1]//kernel_size))
# instantiating counter
k=-1
# averagepooling
for i in tqdm(range(0, image.shape[0], kernel_size)):
k+=1
l=-1
if k==pooled.shape[0]:
break
for j in range(0, image.shape[1], kernel_size):
l+=1
if l==pooled.shape[1]:
break
try:
pooled[k,l] = (image[i:(i+kernel_size),
j:(j+kernel_size)]).mean()
except ValueError:
pass
if visualize:
# displaying results
figure, axes = plt.subplots(1,2, dpi=120)
plt.suptitle(title)
axes[0].imshow(image, cmap='gray')
axes[0].set_title('reference image')
axes[1].imshow(pooled, cmap='gray')
axes[1].set_title('averagepooled')
return pooled
Średnia funkcja łączenia pokazana powyżej.
Powyższa funkcja replikuje średni proces łączenia. Należy zauważyć, że jest to identyczny kod jak funkcja max Pooling, z tą różnicą, że używa się metody mean() podczas przesuwania jądra po obrazie. Poniżej przedstawiono średnią zbiorczą reprezentację naszego obrazu referencyjnego.
average_pool('image.jpg', 2, visualize=True)
Podobnie jak w przypadku maksymalnego łączenia, można zauważyć, że obraz został zmniejszony o połowę, zachowując jednocześnie jego najważniejsze atrybuty. Jest to dość interesujące, ponieważ w przeciwieństwie do łączenia maksymalnego, łączenie średnie nie wykorzystuje bezpośrednio pikseli obrazu referencyjnego, a raczej łączy je, tworząc nowe atrybuty (piksele), a mimo to szczegóły obrazu referencyjnego zostają zachowane.
Zobaczmy, jak przebiega średni proces łączenia w trzech iteracjach, korzystając z poniższej funkcji wizualizacji.
def visualize_pooling(image_path, iterations, kernel=2):
"""
This function helps to visualise several
iterations of the pooling process
"""
image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
# creating empty list to hold pools
pools = []
pools.append(image)
# performing pooling
for iteration in range(iterations):
pool = average_pool(pools[-1], kernel)
pools.append(pool)
# visualisation
fig, axis = plt.subplots(1, len(pools), dpi=700)
for i in range(len(pools)):
axis[i].imshow(pools[i], cmap='gray')
axis[i].set_title(f'{pools[i].shape}', fontsize=5)
axis[i].axis('off')
pass
Funkcja wizualizacji łączenia.
Ponownie, nawet jeśli rozmiar obrazu stopniowo zmniejsza się o połowę po każdej iteracji, jego szczegóły pozostają, choć ze stopniową pikselacją (zgodnie z oczekiwaniami w przypadku obrazów o małych rozmiarach).
visualize_pooling('image.jpg', 3)
Średnie łączenie przy użyciu jądra (3, 3) daje następujący wynik. Zgodnie z oczekiwaniami rozmiar obrazu zostaje zmniejszony do 1/3 poprzedniej wartości. Silna pikselacja pojawia się po 3 iteracjach, podobnie jak w przypadku maksymalnego łączenia, ale ogólne atrybuty obrazu pozostają w miarę nienaruszone.
visualize_pooling('image.jpg', 3, kernel=3)
Uruchamianie (2, 2) średniego łączenia na pionowych krawędziach wykrytych za pomocą operatora Prewitta daje poniższe wyniki. Podobnie jak w przypadku maksymalnego łączenia, cechy obrazu (krawędzie) stają się bardziej wyraźne w przypadku progresywnego łączenia średniego.
Maksymalne łączenie czy średnie łączenie?
Naturalną reakcją po zapoznaniu się z procesami łączenia maksymalnego i średniego jest zastanowienie się, który z nich jest lepszy w zastosowaniach związanych z wizją komputerową. Prawda jest taka, że argumenty można przedstawiać w obie strony.
Z jednej strony, ponieważ maksymalne łączenie wybiera najwyższe wartości pikseli przechwycone w jądrze, daje to znacznie ostrzejszą reprezentację.
W kontekście konwolucyjnej sieci neuronowej oznacza to, że znacznie lepiej radzi sobie z wyostrzaniem wykrytych krawędzi na mapach obiektów, jak widać na poniższym obrazku.
Z drugiej strony można argumentować za łączeniem średnich, że tworzy ono bardziej uogólnione mapy obiektów. Rozważmy nasz obraz referencyjny o rozmiarze (444, 448), gdy łączymy go z jądrem o rozmiarze (2, 2), jego zbiorcza reprezentacja ma rozmiar (222, 224), czyli zasadniczo 25% całkowitej liczby pikseli w obrazie referencyjnym. Ponieważ maksymalne łączenie w zasadzie wybiera piksele, niektórzy twierdzą, że powoduje to utratę danych, co może mieć szkodliwy wpływ na wydajność sieci. W odwrotny sposób, zamiast wybierać piksele, średnie łączenie łączy piksele w jeden, obliczając ich średnią wartość, dlatego niektórzy uważają, że średnie łączenie po prostu kompresuje piksele o 75% zamiast jawnie usuwać te, co dałoby w ten sposób bardziej uogólnione mapy obiektów lepszą pracę w walce z nadmiernym dopasowaniem.
Po której stronie podziału należę? Osobiście uważam, że zdolność Max Pooling do dalszego podkreślania krawędzi na mapach obiektów daje mu przewagę w zastosowaniach związanych z wizją komputerową/głębokim uczeniem, dlatego jest bardziej popularny. Nie oznacza to, że użycie średniego łączenia poważnie obniży wydajność sieci, jest to jednak tylko osobista opinia.
Uwagi końcowe
W tym artykule opracowaliśmy intuicję dotyczącą tworzenia puli w kontekście konwolucyjnych sieci neuronowych. Przyjrzeliśmy się dwóm głównym typom łączenia i różnicom w zbiorczych reprezentacjach tworzonych przez każdy z nich.
Biorąc pod uwagę wszystkie dyskusje na temat łączenia zasobów w sieciach CNN, należy pamiętać, że obecnie większość architektur faworyzuje warstwy splotu krokowego zamiast warstw łączenia w celu próbkowania w dół, ponieważ zmniejszają one złożoność sieci. Niezależnie od tego łączenie pozostaje istotnym elementem konwolucyjnych sieci neuronowych.














