Agregator danych publicznych
W ramach tego projektu stworzyliśmy kompleksowy system przetwarzania i integracji danych z różnych publicznych rejestrów, w tym Krajowego Rejestru Sądowego (KRS), Białej Listy VAT, SUDOP oraz Centralnego Rejestru Beneficjentów Rzeczywistych (CRBR). Nasza platforma gromadzi informacje o ponad 800 000 organizacjach z KRS, dostarczając cyfrowy dostęp do ich szczegółowych danych rejestrowych oraz powiązań osobowo-kapitałowych.
Dzięki zastosowanym rozwiązaniom, system umożliwia nie tylko przetwarzanie danych osobowych zawartych w odpisach KRS, ale także analizę relacji kapitałowych między firmami i organizacjami, gromadzenie danych o pomocy publicznej oraz integrację tych danych z innymi systemami za pomocą API. Całość działa na infrastrukturze, która automatycznie aktualizuje dane codziennie, gwarantując 100% aktualność informacji.
Główne funkcjonalności:
- Przetwarzanie odpisów KRS: System automatycznie pobiera odpisy z Krajowego Rejestru Sądowego i przetwarza je w celu pozyskania danych rejestrowych oraz osobowych. Dzięki temu możliwa jest identyfikacja powiązań osobowo-kapitałowych między organizacjami oraz dostęp do szczegółowych informacji o ich zarządach, wspólnikach, a także innych kluczowych osobach.
- Gromadzenie danych o pomocy publicznej: Projekt integruje również dane dotyczące pomocy publicznej przyznawanej organizacjom, co pozwala na pełny wgląd w wsparcie finansowe otrzymywane przez podmioty. Informacje te są szczególnie istotne dla monitorowania działalności firm i organizacji non-profit.
- Repozytorium akt rejestrowych: System pobiera dane z repozytorium akt rejestrowych, które zawiera dodatkowe dokumenty dotyczące działalności organizacji. Pozwala to na pozyskanie pełnych informacji o strukturze prawnej i działaniach każdej z organizacji.
- Przetwarzanie sprawozdań finansowych: Oprócz podstawowych informacji rejestrowych, nasza platforma pobiera i przetwarza sprawozdania finansowe publikowane w KRS. System konwertuje te dokumenty w czytelny, przejrzysty format, co umożliwia łatwy dostęp do danych finansowych użytkownikom końcowym oraz partnerom biznesowym.
- API i inne formy integracji: Oferujemy cyfrowy dostęp do danych rejestrowych za pośrednictwem API, umożliwiając integrację z innymi systemami zewnętrznymi. To kluczowe rozwiązanie, które wspiera automatyzację procesów w firmach i organizacjach, pozwalając na bezpośrednie pobieranie danych bez potrzeby ręcznego przeszukiwania rejestrów.
- Codzienna aktualizacja danych: System jest skonfigurowany do codziennego pobierania i aktualizowania danych z rejestrów. Dzięki temu użytkownicy zawsze mają dostęp do najbardziej aktualnych informacji, co zwiększa wiarygodność i precyzję danych udostępnianych na platformie.
Wyzwania:
Jednym z największych wyzwań w projekcie była obsługa tak dużej ilości danych pochodzących z wielu rejestrów. Każdego dnia system pobiera, przetwarza i aktualizuje dane dotyczące ponad 800 000 organizacji, co wymagało nie tylko optymalizacji procesów technicznych, ale także zbudowania wydajnej i skalowalnej infrastruktury.
- Obsługa dużych ilości danych: Pobieranie i przetwarzanie danych z wielu rejestrów publicznych jednocześnie stanowiło ogromne wyzwanie ze względu na różnorodność formatów i struktur danych, a także potrzebę synchronizacji z rejestrami, które regularnie aktualizują swoje bazy.
- Optymalizacja procesów: Zbudowanie efektywnego systemu do przetwarzania danych wymagało zaawansowanej optymalizacji procesów pobierania oraz przetwarzania. Każdy etap — od pobierania danych z rejestrów po ich zapis w bazie danych MySQL — został zoptymalizowany pod kątem szybkości i niezawodności, aby obsługiwać duże ilości danych bez opóźnień.
- Zarządzanie zgodnością z regulacjami: Projekt musiał być zgodny z przepisami dotyczącymi ochrony danych osobowych (RODO), co wymagało dodatkowych zabezpieczeń i procedur, zwłaszcza w kontekście przetwarzania danych osobowych zawartych w odpisach KRS.
Technologie:
Projekt został zbudowany w oparciu o sprawdzone i skalowalne technologie:
- Laravel: Framework Laravel został użyty do budowy backendu aplikacji, zapewniając solidne i bezpieczne fundamenty systemu. Laravel oferuje zaawansowane mechanizmy obsługi baz danych, co było kluczowe przy zarządzaniu tak dużą ilością danych.
- MySQL: Jako baza danych wykorzystaliśmy MySQL, co pozwoliło na efektywne przechowywanie i zarządzanie danymi. MySQL jest skalowalną bazą, która świetnie sprawdza się w środowiskach o dużej liczbie transakcji i zapytań.
- Python: W miejscach, gdzie było to potrzebne, np. przy analizie danych finansowych lub zaawansowanym przetwarzaniu plików, wykorzystaliśmy język Python. Jego wszechstronność i potężne biblioteki sprawiły, że był idealnym wyborem do przetwarzania dużych zbiorów danych.
Kluczowe osiągnięcia:
- Stworzenie wydajnego systemu przetwarzania danych: Pomimo ogromnej liczby przetwarzanych danych oraz częstych aktualizacji, udało się stworzyć system, który automatycznie i bez opóźnień synchronizuje się z zewnętrznymi rejestrami, gwarantując użytkownikom dostęp do zawsze aktualnych informacji.
- Automatyzacja procesów przetwarzania sprawozdań finansowych: Dzięki zaawansowanemu przetwarzaniu sprawozdań finansowych, udało się przedstawić skomplikowane dane w przejrzysty i zrozumiały sposób, co znacznie ułatwiło korzystanie z tych informacji zarówno przez użytkowników, jak i partnerów biznesowych.
- Integracja z repozytorium akt rejestrowych: Pobieranie akt rejestrowych dla każdej organizacji z repozytorium stanowiło kluczowy element projektu, umożliwiający użytkownikom pełny wgląd w dokumentację prawną i działalność organizacji.
- Skalowalność i stabilność: System został zaprojektowany z myślą o przyszłej skalowalności, dzięki czemu z łatwością można rozszerzać jego funkcjonalność oraz obsługiwać coraz większą liczbę użytkowników i zapytań.
