Czy mój system jest wysokiego ryzyka

1Biometria

w zakresie, w jakim stosowanie biometrii jest dozwolone na podstawie prawa Unii lub prawa krajowego

• systemy zdalnej identyfikacji biometrycznej; nie obejmuje to systemów służących wyłącznie weryfikacji, czyli potwierdzeniu, że osoba jest tą, za którą się podaje (lit. a)
• kategoryzacja biometryczna według wrażliwych lub chronionych atrybutów, na podstawie wywnioskowania tych cech (lit. b)
• rozpoznawanie emocji (lit. c)

Kluczowa jest różnica między identyfikacją (kto to jest, porównanie jeden do wielu) a weryfikacją (czy to ta osoba, jeden do jednego), bo weryfikacja jest wyraźnie wyłączona. Zanim jednak dojdzie do klasyfikacji, trzeba sprawdzić art. 5: rozpoznawanie emocji w miejscu pracy i w instytucjach edukacyjnych jest zakazane poza względami medycznymi i bezpieczeństwa (lit. f), a kategoryzacja biometryczna dla wywnioskowania rasy, poglądów, przynależności związkowej, przekonań czy orientacji seksualnej jest zakazana wprost (lit. g).

2Infrastruktura krytyczna

• systemy przeznaczone do wykorzystywania jako związane z bezpieczeństwem elementy zarządzania krytyczną infrastrukturą cyfrową, ruchem drogowym oraz zaopatrzeniem w wodę, gaz, ciepło lub energię elektryczną

Liczy się funkcja bezpieczeństwa, a nie sama obecność AI w spółce infrastrukturalnej. Model prognozujący zapotrzebowanie na ciepło dla celów zakupowych to co innego niż układ, którego błąd może doprowadzić do awarii sieci. Pomocniczo stosuje się tu nowe art. 6 ust. 1a i 1b, bo posługują się tym samym pojęciem elementu bezpieczeństwa.

3Kształcenie i szkolenie zawodowe

• decyzje o dostępie, przyjęciu albo przydzieleniu osób do instytucji edukacyjnych i instytucji szkolenia zawodowego, na wszystkich poziomach (lit. a)
• ocena efektów uczenia się, także gdy służy kierowaniu procesem uczenia się (lit. b)
• ocena odpowiedniego poziomu wykształcenia, jaki osoba otrzyma lub do jakiego będzie miała dostęp (lit. c)
• monitorowanie i wykrywanie niedozwolonego zachowania uczniów podczas testów (lit. d)

Sformułowanie „na wszystkich poziomach” obejmuje także szkolnictwo wyższe i szkolenie zawodowe. Moja ocena, nie stan ustalony: sporne bywa, czy komercyjna firma szkoleniowa jest instytucją szkolenia zawodowego, a im bardziej szkolenie kończy się formalnym uprawnieniem o skutkach na rynku pracy, tym większe ryzyko, że tak. Zaświadczenie o udziale w szkoleniu komercyjnym to jednak nie to samo co uprawnienie zawodowe, a stanowiska Komisji ani organów krajowych w tej sprawie nie potwierdzono. Zastrzegam, że sam prowadzę działalność szkoleniową, więc czytelnik powinien tę ocenę zważyć samodzielnie.

4Zatrudnienie i zarządzanie pracownikami

• rekrutacja lub wybór osób, w szczególności ukierunkowane ogłoszenia o pracę, analizowanie i filtrowanie podań oraz ocena kandydatów (lit. a)
• decyzje wpływające na warunki stosunków pracy, awans lub rozwiązanie umowy, przydzielanie zadań w oparciu o indywidualne zachowanie, cechy osobowości lub charakter, a także monitorowanie i ocena wydajności i zachowania (lit. b)

W praktyce to najczęstszy punkt styku dla organizacji, które nie zajmują się technologią. Litera a obejmuje także sam sposób kierowania ogłoszeń do kandydatów. Moja ocena: przepis mówi o stosunkach pracy szerzej niż Kodeks pracy o stosunku pracy, ale to wykładnia, nie cytat, więc przy współpracownikach na własnej działalności trzeba to rozważyć osobno.

5Dostęp do podstawowych usług publicznych i prywatnych

• ocena kwalifikowalności do podstawowych świadczeń i usług publicznych, w tym opieki zdrowotnej, oraz przyznawanie, ograniczanie, odwoływanie i żądanie zwrotu takich świadczeń, przez organy publiczne lub w ich imieniu (lit. a)
• ocena zdolności kredytowej i scoring kredytowy osób fizycznych, z wyjątkiem systemów służących wykrywaniu oszustw finansowych (lit. b)
• ocena ryzyka i ustalanie cen w ubezpieczeniu na życie i ubezpieczeniu zdrowotnym (lit. c)
• klasyfikacja zgłoszeń alarmowych i ustalanie priorytetów wysyłania służb, a także ocena stanu zdrowia pacjentów w nagłych wypadkach (lit. d)

Litera a obejmuje także podmioty prywatne działające w imieniu organu publicznego, więc powierzenie zadania na zewnątrz nie zdejmuje sprawy z porządku dziennego. W literze b wyłączenie dotyczy wykrywania oszustw, a nie oceny wiarygodności klienta. Litera c ogranicza się do ubezpieczeń na życie i zdrowotnych.

6Ściganie przestępstw

w zakresie, w jakim wykorzystanie jest dozwolone na podstawie prawa Unii lub prawa krajowego; systemy przeznaczone dla organów ścigania lub używane w ich imieniu

• ocena ryzyka, że osoba stanie się ofiarą przestępstwa (lit. a)
• wariografy i podobne narzędzia (lit. b)
• ocena wiarygodności dowodów (lit. c)
• ocena ryzyka popełnienia lub ponownego popełnienia przestępstwa, przeprowadzana nie tylko na podstawie profilowania, albo ocena cech osobowości i charakteru lub uprzedniego zachowania przestępczego (lit. d)
• profilowanie osób fizycznych w toku wykrywania i ścigania przestępstw (lit. e)

Decyduje przeznaczenie narzędzia, a nie tożsamość nabywcy. Producent narzędzia analitycznego sprzedawanego Policji albo prokuraturze może być dostawcą systemu wysokiego ryzyka, jeżeli przeznaczenie odpowiada któremuś z zastosowań z liter a do e; sam fakt, że nabywcą jest organ ścigania, nie wystarczy. Zwykły system obiegu dokumentów w prokuraturze nie wchodzi do tego punktu.

7Migracja, azyl i kontrola graniczna

w zakresie, w jakim wykorzystanie jest dozwolone; systemy dla właściwych organów publicznych lub używane w ich imieniu

• wariografy i podobne narzędzia (lit. a)
• ocena ryzyka, w tym dla bezpieczeństwa, ryzyka migracji nieuregulowanej i ryzyka dla zdrowia, stwarzanego przez osobę zamierzającą wjechać albo która wjechała (lit. b)
• wsparcie przy rozpatrywaniu wniosków o azyl, wizę lub dokument pobytowy, w tym przy ocenie wiarygodności dowodów (lit. c)
• wykrywanie, rozpoznawanie i identyfikacja osób w tym kontekście, z wyjątkiem weryfikacji dokumentów podróży (lit. d)

Obszar istotny przy obsłudze pracodawców zatrudniających cudzoziemców, choć podmiotem stosującym jest zwykle organ, a nie kancelaria. Sama weryfikacja dokumentu podróży jest z litery d wyłączona.

8Wymiar sprawiedliwości i procesy demokratyczne

• systemy przeznaczone dla organu wymiaru sprawiedliwości lub używane w jego imieniu, wspomagające w badaniu i interpretacji stanu faktycznego i przepisów oraz w stosowaniu prawa do konkretnego stanu faktycznego, a także wykorzystywane w podobny sposób w alternatywnych metodach rozwiązywania sporów (lit. a)
• systemy przeznaczone do wywierania wpływu na wynik wyborów lub referendum albo na zachowanie osób podczas głosowania; nie obejmuje to narzędzi do organizowania, optymalizacji i strukturyzowania kampanii od strony administracyjnej lub logistycznej (lit. b)

To punkt w praktyce często mylnie odnoszony do kancelarii. Litera a dotyczy narzędzia używanego przez organ wymiaru sprawiedliwości albo w jego imieniu. Narzędzie, którym pełnomocnik przygotowuje własne pismo, nie wspomaga sądu i nie działa w jego imieniu. Inaczej jest, gdy prawnik występuje jako arbiter albo mediator, bo litera a obejmuje wykorzystanie w podobny sposób w alternatywnych metodach rozwiązywania sporów. Reprezentowanie strony w arbitrażu to nadal praca pełnomocnika, nie wspomaganie rozstrzygającego.