Page 113 - Izobraževanje v dobi generativne umetne inteligence

Strateški okviri uporabe generativne umetne inteligence v visokošolskem izobraževanju

− visoko tveganje (npr. sistemi za biometrično identifikacijo in kategori-
zacijo ter sistemi kritične digitalne infrastrukture, vključno s sistemi UI
v izobraževanju in poklicnem usposabljanju),
− omejeno tveganje (npr. klepetalni roboti ter orodja za ustvarjanje vizu-
alnih in avdiovsebin),
− minimalno tveganje (sistemi, ki jih uredba ne obravnava v okviru zgor-
njih treh kategorij in so zato neregulirani; npr. filtri za neželeno e-po-
što).

Uporaba sistemov UI v (visokošolskem) izobraževanju torej predstavlja
uporabo z visoko stopnjo tveganja, nanaša pa se predvsem na primere
sprejemanja in razvrščanja oseb v izobraževalne ustanove, evalvacijo ciljev
izobraževanja, ocenjevanje posamezniku primerne ravni izobraževanja (na-
čeloma pred vključitvijo v sam izobraževalni program) ter nadzor študentov
ali učencev med preizkusi znanja (Uredba Evropskega parlamenta in Sveta o
določitvi harmoniziranih pravil o umetni inteligenci, 2024, str. 127). Vsi primeri
uporabe UI z visoko stopnjo tveganja so izpostavljeni tudi visoki stopnji re-
gulacije uredbe (najpozneje od 2. avgusta 2026 dalje), ki jo morajo upoštevati
predvsem razvijalci sistemov, pomembni pa so tudi za upravljalce sistemov.
Sistemi z visokim tveganjem morajo namreč imeti izoblikovan sistem za ob-
vladovanje tveganja1 in skladno urejeno tehnično dokumentacijo, samodej-
no beležiti tvegane dogodke ob uporabi sistema, ponujati razumljiva navodi-
la ustreznega upravljanja za uvajalce sistema, omogočati človeški nadzor ter
dosegati ustrezno raven točnosti, robustnosti in kibernetske varnosti (Ured-
ba Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o ume-
tni inteligenci, 2024). V primeru uporabe tehnik učenja modelov UI na podlagi
določene baze podatkov je treba tudi poskrbeti, da so ti podatki ustrezno
izbrani, reprezentativni, preverjeni, skladni z namenom uporabe sistema UI
ter v največji možni meri brez napak.
Poleg omenjenih tveganj uporabe UI v izobraževanju uredba poudarja tudi
pozitivne vidike rabe UI in pomembnost uvajanja UI na različne ravni izobraže-
vanja ter spodbujanje visokokakovostnega digitalnega izobraževanja, saj se

1 Sistem za obvladovanje tveganja se nanaša na »neprekinjen in ponavljajoč se proces, ki se
načrtuje in izvaja v celotnem življenjskem ciklu visoko tveganega sistema UI in ga je treba
redno sistematično pregledovati in posodabljati« (Uredba Evropskega parlamenta in Sveta o
določitvi harmoniziranih pravil o umetni inteligenci, 2024, str. 56). Obsega opredelitev in ana-
lizo tveganj za zdravje, varnost in temeljne pravice; ovrednotenje tveganj v primerih razumno
pričakovane napačne uporabe sistema; ovrednotenje tveganj na podlagi podatkov o uporabi
(ko je sistem že na voljo uporabnikom) ter sprejetje ciljno usmerjenih ukrepov za obvladovan-
je identificiranih tveganj.

113