Osoba posiadająca kwalifikację wolnorynkową "Wykorzystanie dużych modeli językowych" jest przygotowana do samodzielnego i efektywnego wykorzystywania dużych modeli językowych LLM (Large Language Model). Rozumie zasady działania, w tym ograniczenia, dużych modeli językowych, zna proces tokenizacji, uczenia nienadzorowanego i trenowania dużych modeli językowych oraz potrafi dostosowywać wstępnie trenowane duże modele językowe do konkretnych zadań. Stosuje techniki inżynierii instrukcji (prompt engineering) do optymalizacji wyników. Ocenia jakość generowanych tekstów i dostosowuje parametry dużych modeli językowych. Automatyzuje zadania związane z przetwarzaniem języka naturalnego oraz integruje duże modele językowe z istniejącymi narzędziami. Identyfikuje i minimalizuje zagrożenia związane z ochroną danych. Jest gotowa do przeciwdziałania dyskryminacji i uprzedzeniom w generowanych tekstach oraz do przestrzegania zasad ochrony praw autorskich.

- omawia zasady i zastosowanie dużych modeli językowych.

- omawia zastosowanie dużych modeli językowych w praktyce, ilustrując korzyści płynące z ich wykorzystania.

- opisuje etapy trenowania dużych modeli językowych (np. zbieranie i przygotowywanie danych, wybór architektury modelu, trenowanie modelu, walidacja i testowanie, optymalizacja, wdrażanie, monitorowanie i aktualizacja), - omawia proces strojenia hiperparametrów dużych modeli językowych.

- przygotowuje dane wejściowe do generowania tekstu w języku naturalnym za pomocą dużych modeli językowych, - uruchamia duży model językowy.

- dostosowuje duży model językowy do wskazanego zadania lub wskazanej domeny,

- generuje tekst przy użyciu dużego modelu językowego dostosowanego do tego zadania lub do tej domeny.

- omawia, jak instrukcja (prompt) wpływa na wyniki generowane przez duże modele językowe,

- tworzy efektywną instrukcję (prompt),

- analizuje jakość i użyteczność wyników generowanych przez duży model językowy przy użyciu różnych instrukcji (promptów) i strategii,

- wykorzystuje inżynierię instrukcji (prompt engineering) w kontekście zastosowań dużych modeli językowych (np. analiza tekstu, generowanie treści, automatyzacja zadań).

- wyjaśnia, jak interpretować wyniki metryk automatycznych i manualnych stosowanych do oceny jakości wygenerowanych tekstów,

- stosuje metryki automatyczne i manualne do oceny jakości wygenerowanych tekstów,

- interpretuje wyniki zastosowania metryk automatycznych i manualnych do oceny jakości wygenerowanych tekstów.

- omawia zastosowanie dużych modeli językowych w analizie zbiorów danych tekstowych (np. w badaniu sentymentu, ekstrakcji informacji, klasyfikacji tekstów),

- demonstruje, jak wykorzystać duże modele językowe do analizy zbiorów danych tekstowych i formułowania wniosków.

- demonstruje, jak używać dużych modeli językowych do automatyzacji różnych zadań przetwarzania języka naturalnego (np. tłumaczenie, pod- sumowywanie, generowanie odpowiedzi na pytania).

- omawia korzyści i zagrożenia wynikające z zastosowania dużych modeli językowych w różnych branżach.

- wskazuje metody minimalizowania zagrożeń związanych z wykorzystaniem dużych modeli językowych.

- wyjaśnia, jak zasady ochrony danych instytucjonalnych wpływają na wykorzystywanie dużych modeli językowych.

- wyjaśnia, jak zidentyfikować treści dyskryminujące lub wyrażające uprzedzenia i redukować występowanie tych treści w dużych modelach językowych.

- rozpoznaje sytuacje, w których wynik działania dużego modelu językowego może naruszyć prawa autorskie,

- wskazuje metody zapobiegania naruszeniom praw autorskich podczas wykorzystywania dużych modeli językowych.

Weryfikacja efektów uczenia się jest podzielona na dwie części - teoretyczną i praktyczną.

W części teoretycznej wykorzystuje się metodę testu wiedzy (do weryfikacji zagadnień teoretycznych ze wszystkich zestawów efektów uczenia się). W części praktycznej wykorzystuje się metodę obserwacji, która może być uzupełniona wywiadem swobodnym (rozmową z komisją walidacyjną). W części praktycznej może być również wykorzystana metoda analizy dowodów i deklaracji.

1.2. Zasoby kadrowe

W procesie weryfikacji efektów uczenia się bierze udział komisja walidacyjna, która przeprowadza część praktyczną walidacji. Komisja walidacyjna składa się z co najmniej dwóch osób, w tym przewodniczącego komisji walidacyjnej.

Przewodniczący komisji walidacyjnej posiada dyplom ukończenia studiów drugiego stopnia lub jednolitych studiów magisterskich, których program kształcenia zapewniał uzyskanie wiedzy i umiejętności z zakresu sztucznej inteligencji. Kluczowy jest merytoryczny związek ukończonych studiów z takimi dziedzinami jak uczenie maszynowe, przetwarzanie języka naturalnego, widzenie komputerowe, systemy ekspertowe czy analiza dużych zbiorów danych. Dopuszcza się również ukończone studia podyplomowe lub udokumentowany dorobek naukowy w zakresie związanym z zagadnieniami AI (Artificial Intelligence) lub co najmniej 5 lat udokumentowanego doświadczenia w pracy nad projektami związanymi z zagadnieniami AI w roli managera, programisty lub analityka.

Członek komisji walidacyjnej, który nie jest przewodniczącym komisji walidacyjnej, posiada dyplom ukończenia studiów pierwszego stopnia lub jednolitych studiów magisterskich, których program kształcenia zapewniał uzyskanie wiedzy i umiejętności z zakresu sztucznej inteligencji. Kluczowy jest merytoryczny związek ukończonych studiów

Instytucja przeprowadzająca walidację zapewnia doradcę walidacyjnego. Doradca walidacyjny posiada wiedzę w zakresie znajomości założeń Zintegrowanego Systemu Kwalifikacji.

1.3. Sposób organizacji walidacji oraz warunki organizacyjne i materialne Walidacja może być prowadzona stacjonarnie, zdalnie albo hybrydowo.

Instytucja prowadząca walidację zapewnia:

- do przeprowadzenia testu wiedzy w systemie teleinformatycznym stanowisko komputerowe (jedno stanowisko dla jednego kandydata) wyposażone w przeglądarkę internetową z dostępem do internetu oraz stolik i krzesło,

- do przeprowadzenia praktycznej części walidacji dostęp do:

• komputera z dostępem do internetu - dla każdego kandydata,

• minimum dwóch dużych modeli językowych (jeden komercyjny, który odpowiada komercyjnej licencji najbardziej popularnych dużych modeli językowych, drugi oparty o otwartą licencję (open source)),

• narzędzi do obsługi dużych modeli językowych umożliwiających uruchomienie dużego modelu językowego opartego o otwartą licencję (open source).

Instytucja prowadząca walidację zapewnia bezstronną i niezależną procedurę odwoławczą, w ramach której kandydat ma możliwość odwołania się od decyzji dotyczących spełnienia wymogów formalnych, od wyników egzaminów, a także od decyzji kończącej walidację.

Walidacja może być prowadzona zdalnie albo hybrydowo, pod warunkiem zapewnienia przez instytucję prowadzącą walidację dostępu do:

- minimum dwóch dużych modeli językowych (jeden komercyjny, który odpowiada komercyjnej licencji najbardziej popularnych dużych modeli językowych, drugi oparty o otwartą licencję (open source)),

- narzędzi do obsługi dużych modeli językowych umożliwiających uruchomienie dużego modelu językowego opartego o otwartą licencję (open source),

- narzędzi zapewniających wiarygodne sprawdzenie, czy osoba ubiegająca się o nadanie kwalifikacji wolnorynkowej osiągnęła wyodrębnioną część albo całość efektów uczenia się.

W przypadku zdalnego prowadzenia walidacji komisja walidacyjna zatwierdza warunki przystąpienia do walidacji w oparciu o warunki techniczne dające gwarancję samodzielnej realizacji zadań przez kandydata, w szczególności możliwość stałej obserwacji kandydata z użyciem systemu teleinformatycznego zapewniającego wiarygodne sprawdzenie, czy osoba ubiegająca się o nadanie kwalifikacji wolnorynkowej osiągnęła wyodrębnioną część lub całość efektów uczenia się wymaganych dla tej kwalifikacji. Narzędzia i metody stosowane w walidacji prowadzonej zdalnie powinny w szczególności umożliwiać identyfikację osoby przystępującej do walidacji, zapewniać samodzielność pracy tej osoby i gwarantować zabezpieczenie przebiegu walidacji przed ingerencją osób trzecich.

2. Etap identyfikowania i dokumentowania efektów uczenia się

Nie określa się wymagań dotyczących etapów identyfikowania i dokumentowania efektów uczenia się.