Pred nekaj desetletji so znanstveniki lahko samo sanjali o avtomatizaciji jezikoslovnih raziskav. Delo je potekalo ročno, vanj je bilo vključenih veliko število študentov, obstajala je velika verjetnost napake »nepazljivosti« in kar je najpomembneje, vse skupaj je vzelo veliko, veliko časa.
Z razvojem računalniške tehnologije je postalo mogoče raziskovati veliko hitreje, danes pa je eno od obetavnih področij študija jezika korpusno jezikoslovje. Njegova glavna značilnost je uporaba velikih količin besedilnih informacij, združenih v enotno bazo podatkov, označenih na poseben način in imenovanih korpus.
Danes obstaja veliko korpusov, ustvarjenih za različne namene, ki temeljijo na različnem jezikovnem gradivu, ki zajemajo od milijonov do desetine milijard leksikalnih enot. Ta smer je prepoznana kot obetavna in kaže na pomemben napredek pri doseganju aplikativnih in raziskovalnih ciljev. Profesionalci se tako ali drugače ukvarjajonaravnega jezika, priporočamo, da se seznanite s korpusi besedil vsaj na osnovni ravni.
Zgodovina korpusnega jezikoslovja
Nastajanje te smeri je povezano z nastankom Brown Corps v ZDA v zgodnjih 60. letih prejšnjega stoletja. Zbirka besedil je obsegala le milijon besednih oblik, danes pa bi bil korpus takšnega obsega povsem nekonkurenčen. To je v veliki meri posledica hitrosti razvoja računalniške tehnologije, pa tudi vse večjega povpraševanja po novih raziskovalnih virih.
V 90. letih se je korpusno jezikoslovje oblikovalo v polnopravno in samostojno disciplino, zbirali in označevali zbirke besedil za več deset jezikov. V tem obdobju je bil na primer ustvarjen britanski nacionalni korpus za 100 milijonov rab besed.
Z razvojem te smeri jezikoslovja se obseg besedil povečuje (in dosega milijarde besednih enot), oznake pa postajajo vse bolj raznolike. Danes lahko v internetnem prostoru najdete korpuse pisnega in ustnega govora, večjezičnega in izobraževalnega, osredotočenega na leposlovje ali akademsko literaturo, pa tudi številne druge sorte.
Kateri primeri obstajajo
Vrste korpusa v korpusnem jezikoslovju lahko predstavimo na več načinov. Intuitivno je jasno, da je osnova za razvrstitev lahko jezik besedil (ruščina, nemščina), način dostopa (odprtokodni, zaprtokodni, komercialni), žanr izvornega gradiva (letristika).književnost, dokumentarni film, akademija, novinarstvo).
Na zanimiv način poteka generiranje gradiv, ki predstavljajo ustni govor. Ker bi premišljeno snemanje takšnega govora ustvarilo umetne pogoje za anketirance, nastalega gradiva pa ne bi mogli imenovati »spontano«, je sodobna korpusna lingvistika šla v drugo smer. Prostovoljec je opremljen z mikrofonom, čez dan pa so posneti vsi pogovori, v katerih sodeluje. Okoliški seveda ne morejo vedeti, da v vsakdanjem pogovoru prispevajo k razvoju znanosti.
Pozneje se prejeti zvočni posnetki shranijo v banko podatkov in jih spremlja natisnjeno besedilo kot prepis. Na ta način postane mogoča oznaka, potrebna za ustvarjanje korpusa govorjenega vsakdanjega govora.
Prijava
Kjer je mogoče uporabiti jezik, je mogoče uporabiti tudi korpuse besedil. Namen uporabe korpusnih metod v jezikoslovju je lahko:
- Ustvarjanje programov razpoloženja, ki se pogosto uporabljajo v politiki in podjetjih za sledenje pozitivnim in negativnim povratnim informacijam volivcev oziroma strank.
- Povezovanje informacijskega sistema s slovarji in prevajalci za izboljšanje njihove učinkovitosti.
- Različne raziskovalne naloge, ki prispevajo k razumevanju strukture jezika, zgodovine njegovega razvoja in napovedi njegove spremembe v bližnji prihodnosti.
- Razvoj sistemov za pridobivanje informacij na podlagi morfoloških,sintaktične, pomenske in druge značilnosti.
- Optimizacija dela različnih jezikovnih sistemov itd.
Uporaba školjk
Vmesnik vira je podoben tipičnemu iskalniku in poziva uporabnika, da vnese besedo ali kombinacijo besed za iskanje po informacijski bazi. Poleg natančnega obrazca zahteve lahko uporabite razširjeno različico, ki omogoča iskanje besedilnih informacij po skoraj vseh jezikovnih merilih.
Osnova za iskanje je lahko:
- pripadajo določeni skupini delov govora;
- slovnične značilnosti;
- semantika;
- stilistična in čustvena obarvanost.
Prav tako lahko kombinirate iskalna merila za zaporedje besed: na primer poiščite vse pojavitve glagola v sedanjiku, prvo osebo, ednino, ki ji sledi predlog "in" in samostalnik v tožilniku. Reševanje tako preproste naloge uporabniku vzame nekaj sekund in zahteva le nekaj klikov z miško v danih poljih.
proces ustvarjanja
Samo iskanje se lahko izvede tako v vseh podkorpusih kot v enem, posebej izbranem, odvisno od potreb pri doseganju določenega cilja:
- Najprej se določi, katera besedila bodo osnova korpusa. Za praktične namene se pogosto uporabljajo novinarski, časopisni materiali, internetni komentarji. V raziskovalnih projektih največrazlične vrste korpusov, vendar morajo biti besedila izbrana na neki skupni osnovi.
- Nastali niz besedil je predhodno obdelan, napake so popravljene, če obstajajo, pripravljen je bibliografski in izvenjezikovni opis besedila.
- Vsi nebesedilni podatki so filtrirani: grafike, slike, tabele so izbrisane.
- Žetoni, običajno besede, so dodeljeni za nadaljnjo obdelavo.
- Na koncu se izvede morfološko, skladenjske in druge oznake nastalega niza elementov.
Rezultat vseh izvedenih operacij je skladenjska struktura z naborom elementov, ki so razporejeni po njej, za vsako od katerih so opredeljeni del govora, slovnične in v nekaterih primerih tudi pomenske značilnosti.
Težave pri ustvarjanju primerov
Pomembno je razumeti, da za pridobitev korpusa ni dovolj sestaviti veliko besed ali stavkov. Po eni strani mora biti zbirka besedil uravnotežena, torej v določenih razmerjih predstaviti različne vrste besedil. Po drugi strani pa mora biti vsebina zaboja označena na poseben način.
Prvo vprašanje je dogovorjeno: zbirka na primer obsega 60 % igranih besedil, 20 % dokumentarnih filmov, določen delež je namenjen pisni predstavitvi ustnega govora, zakonodajnih aktov, znanstvenih člankov itd. Idealen recept za uravnotežen korpus danes ne obstaja.
Drugo vprašanje v zvezi z označevanjem vsebine je težje rešiti. Obstajajo posebni programi in algoritmi, ki se uporabljajo za samodejno označevanje besedil, vendar ne dajejo 100-odstotnega rezultata, lahko povzročijo okvare in zahtevajo ročno izpopolnjevanje. Priložnosti in težave pri reševanju tega problema so podrobno opisane v delu V. P. Zakharova o korpusnem jezikoslovju.
Označevanje besedila se izvaja na več ravneh, ki jih bomo navedli spodaj.
Morfološka oznaka
Iz šolske klopi se spomnimo, da v ruskem jeziku obstajajo različni deli govora in vsak od njih ima svoje značilnosti. Na primer, glagol ima kategorije razpoloženja in časa, ki jih samostalnik nima. Domači govorec brez zadržkov odklanja samostalnike in spregava glagole, vendar ročno delo ni primerno za označevanje korpusa 100 milijonov besednih rab. Vse potrebne operacije lahko izvede računalnik, vendar ga je za to treba naučiti.
Morfološka oznaka je potrebna, da računalnik "razume" vsako besedo kot del govora, ki ima določene slovnične značilnosti. Ker v ruskem (kot v katerem koli drugem) jeziku delujejo številna redna pravila, je mogoče zgraditi avtomatski postopek za morfološko analizo z vstavitvijo številnih algoritmov v stroj. Vendar pa obstajajo izjeme od pravila, pa tudi različni zapleteni dejavniki. Kot rezultat, čista računalniška analiza danes še zdaleč ni idealna in celo 4 % napak daje vrednost 4 milijone besed v korpusu 100 milijonov enot, kar zahteva ročno izpopolnjevanje.
Ta problem je podrobno opisan v knjigi V. P. Zakharova "Korpusna lingvistika".
Sintaktična oznaka
Sintaktična analiza ali razčlenjevanje je postopek, ki določa razmerje besed v stavku. S pomočjo nabora algoritmov je v besedilu mogoče določiti subjekt, predikat, dodatke in različne obrate govora. Če ugotovimo, katere besede v zaporedju so glavne in katere odvisne, lahko učinkovito izvlečemo informacije iz besedila in usposobimo stroj, da vrne samo informacije, ki nas zanimajo, kot odgovor na iskalno zahtevo.
Mimogrede, sodobni iskalniki to uporabljajo za podajanje določenih številk namesto dolgih besedil kot odgovor na ustrezna poizvedba, kot so: "koliko kalorij je v jabolku" ali "razdalja od Moskve do Sankt Peterburga". Za razumevanje celo samih osnov opisanega postopka se boste morali seznaniti z "Uvodom v korpusno jezikoslovje" ali drugim osnovnim učbenikom.
Semantična oznaka
Semantika besede je, preprosto rečeno, njen pomen. Široko uporaben pristop v semantični analizi je pripisovanje oznak besedi, ki odraža njeno pripadnost nizu pomenskih kategorij in podkategorij. Takšne informacije so dragocene za optimizacijo algoritmov za analizo sentimentov besedila, samodejno sklicevanje in izvajanje drugih nalog z uporabo korpusnih lingvističnih metod.
Obstajajo številne "korenine" drevesa, ki so abstraktne besede, ki imajozelo široka semantika. Ko se to drevo razveja, se oblikujejo vozlišča, ki vsebujejo vse bolj specifične leksikalne elemente. Na primer, besedo "bitje" je mogoče povezati s pojmoma "človek" in "žival". Prva beseda se bo še naprej vejala na različne poklice, sorodstvene pogoje, narodnost, druga pa na razrede in vrste živali.
Uporaba sistemov za iskanje informacij
Področja uporabe korpusnega jezikoslovja pokrivajo najrazličnejša področja delovanja. Korpusi se uporabljajo za sestavljanje in popravljanje slovarjev, ustvarjanje avtomatskih prevajalskih sistemov, povzemanje, izločanje dejstev, določanje sentimenta in drugo obdelavo besedila.
Poleg tega se takšni viri aktivno uporabljajo pri preučevanju jezikov sveta in mehanizmov delovanja jezika kot celote. Dostop do velikih količin vnaprej pripravljenih informacij prispeva k hitremu in celovitemu preučevanju trendov v razvoju jezikov, oblikovanju novotvorb in stabilnih govornih obratov, spremembam pomenov leksikalnih enot itd.
Ker delo s tako velikimi količinami podatkov zahteva avtomatizacijo, danes obstaja tesna interakcija med računalniško in korpusno lingvistiko.
Nacionalni korpus ruskega jezika
Ta korpus (skrajšano kot NKRC) vključuje številne podkorpuse, ki omogočajo uporabo vira za reševanje najrazličnejših nalog.
Materiali v bazi podatkov NCRA so razdeljeni na:
- o objavah v medijih 90-ih in 2000-ihlet, tako domačih kot tujih;
- posnetki ustnega govora;
- naglasno označena besedila (tj. z naglasnimi znaki);
- narečni govor;
- pesniška dela;
- gradiva s sintaktično oznako itd.
Informacijski sistem vključuje tudi podkorpuse z vzporednimi prevodi del iz ruščine v angleščino, nemščino, francoščino in številne druge jezike (in obratno).
V bazi podatkov je tudi del zgodovinskih besedil, ki predstavljajo pisni govor v ruščini v različnih obdobjih njenega razvoja. Obstaja tudi izobraževalni korpus, ki je lahko koristen za tuje državljane pri obvladovanju ruskega jezika.
Nacionalni korpus ruskega jezika obsega 400 milijonov leksikalnih enot in je v marsičem pred pomembnim delom korpusov evropskih jezikov.
Možnosti
Dejstvo v prid prepoznavanju tega področja kot obetavnega je prisotnost korpusnih lingvističnih laboratorijev na ruskih univerzah, pa tudi na tujih. Z uporabo in raziskovanjem v okviru obravnavanih virov za iskanje informacij je povezan razvoj nekaterih področij na področju visokih tehnologij, sistemov vprašanj in odgovorov, o čemer smo govorili zgoraj.
Nadaljnji razvoj korpusnega jezikoslovja je predviden na vseh ravneh, od tehnične, v smislu uvajanja novih algoritmov, ki optimizirajo procese iskanja in obdelave informacij, širitve zmogljivosti računalnikov, povečanja operativnostispomina in konča z gospodinjskimi, saj uporabniki najdejo vedno več načinov za uporabo tovrstnih virov v vsakdanjem življenju in pri delu.
Za zaključek
Sredi prejšnjega stoletja se je leto 2017 zdelo kot daljna prihodnost, v kateri vesoljska plovila brskajo po prostranstvih vesolja, roboti pa opravljajo vse delo za ljudi. V resnici pa je znanost polna "praznih pik" in obupno poskuša odgovoriti na vprašanja, ki že stoletja mučijo človeštvo. Vprašanja o delovanju jezika so tu na ponosnem mestu, korpusno in računalniško jezikoslovje pa nam lahko pomaga odgovoriti nanje.
Obdelava velikih količin podatkov vam omogoča odkrivanje vzorcev, ki so bili prej nedostopni, napovedovanje razvoja določenih jezikovnih značilnosti, sledenje tvorbi besed skoraj v realnem času.
Na praktični globalni ravni lahko korpuse obravnavamo na primer kot potencialno orodje za ocenjevanje javnega razpoloženja - internet je nenehno posodabljana zbirka podatkov različnih besedil, ki jih ustvarijo resnični uporabniki: to so komentarji, recenzije, članki, in številne druge oblike govora.
Poleg tega delo s korpusi prispeva k razvoju istih tehničnih sredstev, ki so vključena v pridobivanje informacij, ki jih poznamo iz Googlovih ali Yandexovih storitev, strojnega prevajanja, elektronskih slovarjev.
Možno je reči, da korpusno jezikoslovje dela šele prve korake in se bo v bližnji prihodnosti hitro razvijalo.
