Jak usunąć tło z obrazów bezpośrednio w przeglądarce bez serwerów i subskrypcji

Za każdym razem, gdy musisz szybko usunąć tło ze zdjęcia do projektu hobbystycznego, karty produktu lub awatara, zaczyna się ta sama walka. Popularne usługi online takie jak Remove.bg wymagają płatnej subskrypcji po trzech pobraniach, kompresują obraz do rozmiaru znaczka pocztowego lub wymagają autoryzacji Google. Co więcej, nie zawsze chcesz wysyłać osobiste zdjęcia lub makiety projektów na serwery stron trzecich.

Niedawno natknąłem się na repozytorium cut-it-out autorstwa dewelopera Suvink. To narzędzie open-source wykonuje tę samą pracę, ale bezpośrednio w przeglądarce na maszynie użytkownika. Bez backendów, kolejek i zerowych kosztów infrastruktury stron trzecich.

Co jest pod maską

Główną zaletą projektu jest to, że wszystkie obliczenia odbywają się po stronie klienta. Repozytorium wykorzystuje bibliotekę @imgly/background-removal, która ładuje model sieci neuronowej U2-Net przez ONNX Runtime w WebAssembly (WASM).

Jeśli wcześniej uruchomienie wnioskowania dla sieci segmentacyjnych wymagało serwera z Pythonem, PyTorch i przynajmniej skromną kartą GPU, to teraz stos WASM + WebGL/WebGPU radzi sobie z tym bezpośrednio w karcie Chrome lub Firefox.

Przy pierwszym otwarciu strony przeglądarka pobiera wagi modelu, buforuje je, a następnie przetwarza przychodzące pliki lokalnie. Żadne dane nie są nigdzie wysyłane. Możesz odłączyć laptop od internetu, przeciągnąć obraz do okna, a maska zostanie wygenerowana w ciągu kilku sekund.

Narzędzia do ręcznej korekty

Sieci neuronowe często popełniają błędy na złożonych granicach. Delikatne włosy, przezroczyste szkło lub częściowo rozmazane tło często zamieniają się w postrzępione krawędzie. Twórcy CutItOut nie ograniczyli się do pojedynczego przycisku „Usuń tło