Veliki jezični model

Veliki jezični model (engleski: large language model; LLM) je model umjetne inteligencije (obično umjetna neuronska mreža) treniran na ogromnoj količini teksta za zadatke obrade prirodnog jezika, posebno generiranja jezika. LLM-ovi mogu generirati, sažimati, prevoditi i analizirati tekst u raznim kontekstima. Osnova su mnogih modernih chatbotova, poput ChatGPT-a, Claudea, Geminija, Groka i DeepSeeka.

LLM-ovi se obično temelje na arhitekturi transformatora. Generativni unaprijed obučeni transformatori (GPT-ovi) vrsta su LLM-a koji su unaprijed trenirani za predviđanje sljedeće riječi. GPT-ovi se zatim često delikatno podešavaju kako bi slijedili upute i ponašali se kao asistenti.

Povijest

Datoteka:The number of publications about Large Language Models by year.png

Broj objava o velikim jezičnim modelima po godini grupirano prema vrsti objave

Prije pojave modela temeljenih na transformatorima 2017. godine, neki jezični modeli smatrali su se velikima u odnosu na računalna i podatkovna ograničenja svog vremena. Početkom 1990-ih, IBM-ovi statistički modeli uveli su tehnike poravnanja riječi za strojno prevođenje, postavljajući temelje za jezično modeliranje temeljeno na korpusu. Godine 2001., izglađeni n-gram model, poput onih koji koriste Kneser–Ney izglađivanje, treniran na 300 milijuna riječi, postigao je tada najbolje rezultate perpleksije na referentnim testovima. Tijekom 2000-ih, s porastom široko dostupnog pristupa internetu, istraživači su počeli sastavljati ogromne tekstualne skupove podataka s weba za treniranje statističkih jezičnih modela.

Prelazeći s n-gram modela, istraživači su od 2000. počeli koristiti neuronske mreže kao jezične modele. Nakon proboja dubokih neuronskih mreža u klasifikaciji slika oko 2012. godine, slične arhitekture prilagođene su za jezične zadatke. Godine 2016. Google je svoju uslugu prevođenja prebacio na neuronsko strojno prevođenje, zamjenjujući statističke modele temeljene na frazama dubokim povratnim neuronskim mrežama.

Na konferenciji NeurIPS 2017. godine, istraživači Googlea predstavili su arhitekturu transformera u svom prekretničkom radu „Pažnja je sve što trebate“. Sljedeće godine, 2018., predstavljen je BERT, koji je brzo postao „sveprisutan“. Iako izvorni transformer ima i enkoder i dekoder blokove, BERT je model samo s enkoderom. Akademska i istraživačka upotreba BERT-a počela je opadati 2023. godine, nakon brzog napretka u sposobnostima modela samo s dekoderom (poput GPT-a) u rješavanju zadataka putem promptanja.

Iako je model samo sa dekoderom GPT-1 predstavljen 2018. godine, upravo je GPT-2 2019. privukao široku pozornost jer je OpenAI tvrdio da ga je u početku smatrao previše moćnim za javno objavljivanje, iz straha od zlonamjerne upotrebe. GPT-3 2020. otišao je korak dalje i dostupan je samo putem API-ja, bez mogućnosti preuzimanja modela za lokalno pokretanje. No upravo je chatbot za krajnje korisnike ChatGPT krajem 2022. dobio opsežnu medijsku pokrivenost i javnu pozornost do 2023. GPT-4 iz 2023. pohvaljen je zbog povećane točnosti zbog svojih multimodalnih sposobnosti. OpenAI nije otkrio arhitekturu visoke razine ni broj parametara GPT-4. Objava ChatGPT-a dovela je do porasta upotrebe LLM-ova u nekoliko istraživačkih podpolja računalstva, uključujući robotiku, softversko inženjerstvo i istraživanje društvenog utjecaja. Godine 2024. OpenAI je objavio model rasuđivanja OpenAI o1, koji generira dugačke lance razmišljanja prije davanja konačnog odgovora. Razvijeni su mnogi LLM-ovi s brojevima parametara usporedivim s onima iz OpenAI-jeve GPT serije.