Sieci neuronowe w samochodach autonomicznych – jak maszyna uczy się jeździć?

Wyobraź sobie skrzyżowanie w deszczowy wieczór: mokra jezdnia odbija światła, piesi wychodzą zza zaparkowanych aut, a sygnalizacja właśnie zmienia kolor. Człowiek przetwarza to wszystko w ułamku sekundy, opierając się na latach doświadczeń. Samochód autonomiczny musi zrobić to samo – ale bez żadnego doświadczenia w ludzkim sensie tego słowa.

To właśnie w tym miejscu sieci neuronowe stają się sercem całego systemu. Nie chodzi o prosty zestaw reguł w stylu „jeśli czerwone światło, hamuj”. Nowoczesne pojazdy autonomiczne opierają się na modelach, które uczą się z milionów kilometrów danych, rozpoznają kontekst i podejmują decyzje jazdy w czasie rzeczywistym. Żeby zrozumieć, jak to działa od środka, warto prześledzić całą drogę sygnału – od czujnika po koło napędowe.

Trzy warstwy systemu: percepcja, planowanie i kontrola

AI w motoryzacji nie działa jako jeden monolit. Architektura typowego pojazdu autonomicznego dzieli się na trzy odrębne, choć ściśle powiązane warstwy, które razem tworzą pełen łańcuch decyzyjny.

Percepcja: co widzi auto?

Zanim samochód autonomiczny podejmie jakąkolwiek decyzję, musi zrozumieć swoje otoczenie. Percepcja to warstwa, w której sieci neuronowe analizują dane napływające ze wszystkich czujników jednocześnie. Typowy zestaw sensorów pojazdu klasy L4 obejmuje od 8 do 12 kamer, 1 do 4 lidarów, 6 do 8 radarów 4D, 10 do 12 czujników ultradźwiękowych oraz moduły IMU i podwójną antenę RTK GNSS. To ogromna ilość danych – każda kamera generuje dziesiątki klatek na sekundę, lidar produkuje chmury punktów 3D, a radar mierzy prędkość i odległość obiektów nawet w gęstej mgle.

Sieć neuronowa na tym etapie nie „patrzy” jak człowiek. Rozpoznaje wzorce w danych – kształty, odległości, wektory ruchu – i przypisuje im etykiety: pieszy, samochód, znak stop, krawężnik. Sieci neuronowe w warstwie percepcji muszą rozpoznawać obiekty, pasy ruchu, znaki i przeszkody w czasie krótszym niż 100 milisekund, żeby system mógł reagować z bezpiecznym wyprzedzeniem.

Planowanie: co zrobić z tym, co widzę?

Warstwa planowania otrzymuje od percepcji mapę otoczenia i musi odpowiedzieć na pytanie: jaką trajektorię wybrać? To tutaj model generuje możliwe ścieżki ruchu, ocenia ich ryzyko i wybiera optymalną sekwencję działań. W nowszych architekturach planowanie jest coraz ściślej zintegrowane z percepcją – mówi się o podejściu określanym jako „planning-aware holistic perception”, które można przetłumaczyć jako percepcję zorientowaną na planowanie. W tym ujęciu sieć już na etapie analizy obrazu uwzględnia potrzeby modułu planującego.

Autoregresyjne generowanie trajektorii, stosowane w najnowszych systemach, pozwala modelowi przewidywać kolejne punkty trasy krok po kroku, uwzględniając dynamikę innych uczestników ruchu. To zasadnicza różnica w stosunku do klasycznych algorytmów opartych na regułach, które nie radziły sobie z sytuacjami niestandardowymi.

Kontrola: jak wykonać decyzję?

Ostatnia warstwa przekłada zaplanowaną trajektorię na konkretne sygnały sterujące: kąt skrętu kierownicy, siłę hamowania, moc silnika. Rola sieci neuronowych jest tu mniejsza niż w percepcji, choć w podejściu end-to-end – o którym więcej w dalszej części – granica między planowaniem a kontrolą praktycznie znika.

Trzy warstwy tworzą razem zamknięty cykl: percepcja dostarcza obraz świata, planowanie wybiera działanie, kontrola je wykonuje. Każda z nich ma swoje wąskie gardła i każda wymaga osobnego podejścia do trenowania modeli.

Oto kolejność, w jakiej dane przepływają przez system w trakcie jednego cyklu decyzyjnego:

1. czujniki rejestrują otoczenie i przesyłają surowe dane do jednostki obliczeniowej;
2. sieci percepcji przetwarzają dane z kamer, radaru i lidaru na ustrukturyzowaną reprezentację sceny;
3. moduł planowania generuje trajektorię i ocenia jej bezpieczeństwo;
4. warstwa kontrolna przelicza trajektorię na sygnały do układu kierowniczego i hamulcowego;
5. pojazd wykonuje manewr, a czujniki natychmiast rejestrują nowy stan otoczenia.

Jak sieć neuronowa łączy obraz, radar i LiDAR w jedną decyzję?

To jedno z najczęściej zadawanych pytań przez osoby, które dopiero zaczynają rozumieć, jak działa AI w motoryzacji. Każdy czujnik dostarcza innego rodzaju informacji: kamera daje bogaty obraz wizualny, ale gubi się w ciemności i złych warunkach pogodowych. Lidar tworzy precyzyjną mapę 3D, lecz jest drogi i wrażliwy na deszcz. Radar widzi przez mgłę i mierzy prędkość, ale ma niską rozdzielczość kształtów. Żaden z nich osobno nie wystarczy.

W systemach produkcyjnych klasy L4 klasyczny potok przetwarzania, oparty na oddzielnych sieciach dla każdego czujnika i późnym łączeniu wyników, został zastąpiony przez pojedynczą sieć BEV z mechanizmem multi-modal cross-attention. BEV, czyli bird’s-eye-view, to reprezentacja otoczenia widziana z góry – coś w rodzaju mapy na żywo, na którą rzutowane są dane ze wszystkich źródeł jednocześnie.

Mechanizm cross-attention pozwala sieci pytać jeden strumień danych o informacje istotne dla innego. Jeśli kamera wykryje kształt przypominający pieszego, ale widoczność jest słaba, sieć może wzmocnić uwagę na odpowiednim obszarze w danych radarowych i lidarowych, żeby potwierdzić lub odrzucić tę hipotezę. Fuzja wielomodalna w przestrzeni BEV nie sumuje po prostu wyników – integruje dane na poziomie reprezentacji wewnętrznych, zanim jeszcze padnie jakakolwiek decyzja o klasyfikacji obiektu.

Efektem jest model odporniejszy na awarię pojedynczego czujnika, który lepiej radzi sobie z sytuacjami, w których dane z różnych źródeł są sprzeczne. Samochody autonomiczne korzystające z fuzji wielomodalnej w przestrzeni bird’s-eye-view osiągają znacznie wyższą dokładność wykrywania obiektów niż systemy oparte na pojedynczym typie sensora. Samo połączenie danych to jednak dopiero połowa sukcesu. Sieć musi jeszcze nauczyć się, którym danym ufać bardziej w danym kontekście – a to wymaga ogromnych zbiorów danych treningowych, zebranych w różnych warunkach pogodowych, porach dnia i typach dróg.

Uczenie maszynowe w praktyce – jak trenuje się sieć do jazdy?

Trening sieci neuronowej do prowadzenia pojazdu to proces, który trwa miesiącami i pochłania zasoby obliczeniowe porównywalne z dużymi centrami danych. Zanim samochód autonomiczny wyjedzie na publiczną drogę, jego modele przechodzą przez kilka etapów, z których każdy służy innemu celowi.

Pierwszym etapem jest uczenie nadzorowane na danych historycznych. Inżynierowie zbierają nagrania z kamer, radaru i lidaru z milionów kilometrów jazdy, a następnie ręcznie lub półautomatycznie oznaczają obiekty na każdej klatce: piesi, rowery, sygnalizacja, krawężniki. Sieć uczy się przewidywać te etykiety na podstawie surowych danych wejściowych. Tesla szacowała w 2023 roku, że jej flota zebrała ponad 300 milionów mil danych do treningu modeli wizji. To liczba, której nie da się zastąpić symulacją.

Samo uczenie nadzorowane ma jednak ograniczenia. Dane historyczne nie pokrywają wszystkich możliwych sytuacji – szczególnie tych rzadkich i niebezpiecznych, które w rzeczywistości zdarzają się raz na milion kilometrów. Tu wchodzi uczenie przez wzmacnianie w środowiskach symulowanych.

Silniki symulacyjne, takie jak CARLA czy własne środowiska firm Waymo i NVIDIA, pozwalają generować dowolne scenariusze: oblodzone skrzyżowania, nagłe wtargnięcia pieszych, oślepiające słońce o świcie. Sieć działa w pętli: podejmuje decyzję, otrzymuje sygnał nagrody lub kary, a następnie aktualizuje swoje wagi. Dzięki temu można w ciągu jednej nocy obliczeniowej „przejechać” więcej kilometrów, niż fizyczna flota pokonałaby przez rok.

Symulacja nie zastępuje jednak danych rzeczywistych. Zjawisko zwane domain gap oznacza, że sieć wytrenowana wyłącznie na syntetycznych obrazach traci na jakości w kontakcie z prawdziwym światem – drobne różnice w teksturach, oświetleniu i szumie czujników wystarczają, żeby model zachowywał się nieoczekiwanie. Najlepsze wyniki daje kombinacja: duże zbiory rzeczywistych danych uzupełnione symulacją dla scenariuszy brzegowych.

Nowoczesne systemy nie kończą nauki po wdrożeniu. Pojazdy zbierają dane podczas codziennej eksploatacji, a te trafiają do chmury, gdzie zasilają kolejne iteracje modelu. Aktualizacje są następnie wysyłane do floty bezprzewodowo. Taki cykl pozwala reagować na nowe typy obiektów, zmiany w infrastrukturze drogowej czy specyficzne warunki lokalne – na przykład znaki drogowe charakterystyczne dla konkretnego regionu, których sieć nie widziała podczas pierwszego treningu. Czas między zebraniem danych a wdrożeniem poprawionego modelu skrócił się w wiodących firmach do kilku tygodni.

Gdzie tkwi granica możliwości sieci neuronowych?

Sieci neuronowe radzą sobie znakomicie z zadaniami, które można opisać jako rozpoznawanie wzorców w dużych zbiorach danych. Jazda po dobrze oznakowanej autostradzie w słoneczny dzień to dla nowoczesnego systemu L3 zadanie rutynowe. Problem pojawia się tam, gdzie wzorce się załamują.

Jednym z najtrudniejszych wyzwań pozostają sytuacje poza dystrybucją treningową, określane technicznie jako out-of-distribution scenarios. Jeśli sieć nigdy nie widziała przewróconej ciężarówki blokującej drogę, nie ma gwarancji, że jej reakcja będzie bezpieczna – model może sklasyfikować obiekt jako element infrastruktury i nie zahamować. Właśnie dlatego systemy L4 i L5 wymagają nie tylko dobrego modelu percepcji, lecz także warstwy weryfikacji bezpieczeństwa, która działa niezależnie od głównej sieci.

Kolejną granicą jest interpretowalność. Sieć neuronowa to w praktyce czarna skrzynka: można obserwować jej wejście i wyjście, ale trudno wytłumaczyć, dlaczego w konkretnym przypadku podjęła taką, a nie inną decyzję. To problem nie tylko inżynieryjny, lecz także prawny i etyczny. Regulatorzy w Unii Europejskiej, w tym w ramach rozporządzenia o sztucznej inteligencji (AI Act) z 2024 roku, wymagają od systemów wysokiego ryzyka możliwości audytu i wyjaśnialności decyzji – a to stawia przed producentami pojazdów autonomicznych wymagania, których same sieci głębokiego uczenia nie spełniają bez dodatkowych narzędzi.

Trzecim ograniczeniem jest czas reakcji w warunkach ekstremalnych. Fuzja wielomodalna i sieci transformer są obliczeniowo kosztowne. Pełny cykl percepcja–planowanie–kontrola musi zamknąć się w czasie poniżej 100 milisekund, żeby pojazd mógł reagować na poziomie człowieka. Przy prędkości 130 km/h auto przejeżdża w tym czasie ponad 3,6 metra – każda milisekunda opóźnienia przekłada się bezpośrednio na drogę hamowania.

Porównanie poziomów autonomii a wymagania sieci

Poziomy autonomii według normy SAE J3016 różnią się nie tylko zakresem zadań, które wykonuje pojazd, lecz także wymaganiami stawianymi modelom uczenia maszynowego. Poniższa tabela zestawia parametry dla poziomów L2–L5.

Przejście z L2 do L3 to nie tylko kwestia lepszego modelu – to zmiana odpowiedzialności prawnej i wymóg redundancji sprzętowej. Na poziomie L4 sieć musi działać niezawodnie w zdefiniowanym obszarze operacyjnym (ang. operational design domain, ODD), a każde wyjście poza ten obszar powinno skutkować bezpiecznym zatrzymaniem pojazdu. L5 pozostaje na razie celem badawczym: latencja poniżej 50 ms przy pełnej fuzji wielomodalnej to wyzwanie, z którym nie poradził sobie jeszcze żaden system produkcyjny.

Sieci neuronowe w samochodach autonomicznych – co dalej?

Tabela wyraźnie pokazuje, że każdy kolejny poziom autonomii to nie ewolucja, lecz skok jakościowy. Wymagania dotyczące latencji maleją dwukrotnie między L2 a L5, a architektury modeli stają się coraz bardziej złożone obliczeniowo. Pytanie, które zadają sobie dziś inżynierowie, brzmi: czy obecne podejście – coraz większe sieci, coraz więcej danych, coraz szybszy sprzęt – wystarczy, żeby dotrzeć do L5, czy potrzebna jest zmiana paradygmatu.

Jednym z kierunków, który zyskuje uwagę środowiska badawczego, są tzw. world models. Zamiast uczyć sieć reagowania na konkretne sytuacje, uczy się ją budować wewnętrzny model świata: przewidywać, jak zachowają się inne pojazdy i piesi w ciągu najbliższych sekund, a następnie planować z tym wyprzedzeniem. Tesla prezentowała takie podejście w architekturze FSD v12, a Waymo testuje podobne rozwiązania w ramach projektu EMMA. To nie eliminuje problemów z interpretowalnością, ale pozwala modelowi planować dłużej niż jeden cykl percepcja–działanie.

Równie istotna jest kwestia certyfikacji. Żaden system L4 nie trafi do masowej produkcji bez pozytywnej oceny regulatora. W Unii Europejskiej ramy wyznacza rozporządzenie UNECE WP.29 oraz wspomniany AI Act, które razem wymagają dokumentacji procesu uczenia, testów w warunkach ekstremalnych i możliwości audytu decyzji modelu. To oznacza, że architektura sieci musi być projektowana z myślą o wyjaśnialności od samego początku, a nie jako funkcja dodana po fakcie.

Jeśli interesujesz się tym, jak sieci neuronowe w samochodach autonomicznych będą się rozwijać w najbliższych latach, warto śledzić nie tylko doniesienia producentów pojazdów, lecz także publikacje regulatorów i instytutów bezpieczeństwa drogowego. To właśnie tam, na styku inżynierii i prawa, rozstrzygają się pytania, które zadecydują o tym, kiedy – i czy w ogóle – autonomiczne auta staną się codziennością na europejskich drogach.