W przypadku wielu urządzeń sieciowych nie ma możliwości wyboru oprogramowania innego niż producenta, ani sprawdzenia, czy nowsze wersje nie mają stwierdzonej przez nas podatności. To platformy zamknięte. Stąd w przypadku sprzętu GPON pod marką Alcatela-Lucenta konieczne jest udostępnienie poprawionego oprogramowania przez Nokię.
Jak wspomniałem, z uwagi na skalę, o incydencie poinformowaliśmy producenta jeszcze tego samego dnia po południu. Zakładaliśmy, że problem może dotyczyć również innych sieci (później uzyskaliśmy potwierdzenia). W ciągu dwóch dni do producenta trafiły dwa uszkodzone terminale ONT z naszej sieci. Potwierdzono naszą diagnozę o uszkodzeniu pamięci flash. W pierwszych dniach wydawało się, że wypracujemy rozwiązania programowe (patch) i ustalimy zasady wymiany wadliwego sprzętu. Niestety, proces szybko wyhamował.
Producent przyjął, że skoro nie mamy aktywnego kontraktu serwisowego, to nie pomoże bez względu na charakter zdarzenia i brak możliwości wykupienia przez nas takiego kontraktu w przeszłości. Nie czuł się w obowiązku zabezpieczyć choćby możliwości zakupu w niezbędnej ilości nowych terminali. Równocześnie zasugerowano, że skoro mamy problem na starej wersji oprogramowania, to… możemy kupić nową w cenie opisanej liczbą 6-cyfrową. Co ważne, na pytanie, czy nowa wersja jest wolna od udokumentowanej wady usłyszeliśmy, że nie ma takiej gwarancji. Odmówiono nam możliwości przeprowadzenia testów najnowszej wersji oprogramowania pod kątem bezpieczeństwa.
Pikanterii całej sytuacji dodaje fakt, iż w efekcie naszych poszukiwań ustaliliśmy, iż na Youtube już w czerwcu 2016 r. opublikowane zostały filmiki pokazujące jak można się włamać na terminale serii 240. Podzieliliśmy się tą wiedzą z producentem, ale do dziś nie otrzymaliśmy żadnej formalnej wypowiedzi w tym zakresie. Jedyną reakcją była kolejna propozycja sprzedaży rozwiązań z większymi rabatami w koszcie oprogramowania przy równoczesnym wymogu zakupu wsparcia na poziomie Gold.
Przekazaliśmy sporo danych (logi z urządzeń i linki do materiałów). Jeżeli ktokolwiek je przeanalizował, to wyników tych prac nie otrzymali żadni znani nam użytkownicy problematycznych urządzeń tych urządzeń. My też nie.
Nie mogąc wymienić uszkodzonych terminali, ani nawet kupić w to miejsce nowych, poprosiliśmy producenta o wsparcie w zakresie ewentualnej naprawy. Niestety, ponownie nie uzyskaliśmy z Nokii nic. Nawet dokumentacji technicznej urządzeń.
W tym miejscu głęboki ukłon wobec Marcina Kuczery (Leon sp. z o.o.), który w swojej firmie przeprowadził diagnostykę uszkodzeń, po czym ustalił źródło problemu i sposób naprawy.
W efekcie jego prac opracowaliśmy procedurę usuwania, programowania i montażu powierzchniowego nowych układów flash. Wymontowywane pamięci często były nie tylko nadpisane losowymi danymi, ale zawierały fizycznie uszkodzone komórki uniemożliwiające ich ponowne zaprogramowanie i montaż. Konieczne było zorganizowanie nowych kości pamięci, programatorów i stacji lutowniczej. W warunkach braku linii produkcyjnej ręczna naprawa to żmudny, a więc i kosztowny proces, który pochłonął dotąd setki roboczogodzin. Nie mieliśmy wyjścia. Część urządzeń nadal czeka na naprawę.
