<div rehype-wrapper="true">Fordító, kivonatoló, szentimentelemző, névelem-felismerő, címkéző, ékezet-visszaállító</div>

Magyar nyelvű neurális modelleken alapuló megoldások

PULI, az első teljesen magyar nyelvű GPT-3

<div rehype-wrapper="true">A Magyar Nemzeti Szövegtár (MNSZ) munkálatai 1998 elején kezdődtek el a Magyar Tudományos Akadémia Nyelvtudományi Intézetének Korpusznyelvészeti Osztályán Váradi Tamás vezetésével. A cél egy 100 millió szavas szövegkorpusz létrehozása volt, amely lehetőségeihez mérten reprezentatívan tartalmazza a mai magyar nyelv jellegzetes megnyilvánulásait. A munkálatok 2002-től a Kárpát-medencei Magyar Nyelvi Korpusz projekt keretében kiegészültek a teljes Kárpát-medence magyar nyelvhasználatára kiterjedő gyűjtéssel. Itt a cél egy 15 millió szavas határon túli korpusz létrehozása volt. 2005 novemberében mutatkozott be a szlovákiai, kárpátaljai, erdélyi és vajdasági nyelvváltozatokkal kiegészült, valóban nemzetivé váló Magyar Nemzeti Szövegtár. A Nyelvi Irodák és a Korpusznyelvészeti Osztály <a href="http://corpus.nytud.hu/mnsz/keszitette_hun.html">együttműködésének</a> köszönhetően az első olyan magyar nyelvi korpusz jött létre, amely a magyarországiak mellett a határon túli magyar nyelvváltozatokat is felöleli.</div>

Magyar Nemzeti Szövegtár

Magyar történeti szövegtár (A magyar nyelv nagyszótárának korpusza)

<div rehype-wrapper="true">Uráli etimológiai adatbázis</div>

Uralonet

A magyar nyelv nagyszótára

<div rehype-wrapper="true">One of the aims of the project was to build a linguistically annotated database of written and spoken sources in Udmurt, Tundra Nenets, Synja and Surgut Khanty languages, which makes it possible to research on Uralic–Russian language contacts.In order to observe syntactic changes of minority languages under influence, we aimed at processing texts collected from different times. The oldest sources included in our project originate from the beginning of the 20th century. In addition, we gather modern data from published and/or electronically accessible sources from the 21st century. We focused on selecting texts provided by as many authors as possible from different social classes, age, gender, dialects and genres. Furthermore, our activities included fieldwork, during which we collected contemporary spoken language material, thus the database represents the written and the spoken versions of the languages as well.Unfortunately, the Latin-based transcription systems used by Uralists are not standardized and/or unified, even within one language. For this reason, it is important to publish the texts using the International Phonetic Alphabet (IPA), as it makes the texts readable for further areas of linguistics outside Uralistics. Thus, the database contains each text material at least in its original transcription used by the language documenter and in IPA transliteration. Moreover, since the writing system of the languages concerned is based on the Cyrillic alphabet, we preserve the original Cyrillic script, if it is available. In our database, the sentence-level aligned English, Hungarian, German and Russian translation of the original text material is also available.A part of the corpus contains linguistic annotation even on the morphological level. In these text samples, the lemma, the part-of-speech tag and the English and/or Hungarian glosses are added to each token. We follow the glossing conventions and abbreviations of the Leipzig Glossing Rules with some minor additions.The morphologically analyzed text version is a tab separated text file with fixed columns, which contains all token-level information. A single hyphen in a cell shows an unavailable piece of information. Sentence boundaries are marked by empty lines. The columns are as follows:1. Cyrillic token2. Munkácsi token3. Wichmann token4. Steinitz token5. SzOCh token6. RME token7. Hajdú token8. Mus token9. IPA token10. segmented token11. lemma12. Hungarian gloss13. English gloss14. POS tag15. RUS/-Additionally, there is an .eaf file available for each source material which contains all pieces of information both on the token-level and the sentence-level, being aligned to the audio data. The .eaf files can be opened and searched using the <a href="https://tla.mpi.nl/tools/tla-tools/elan/">ELAN</a> software package.The adequate rendering of Uralic texts requires the <a target="_blank" href="http://software.sil.org/charis/" rel="noreferrer noopener">Charis SIL font package</a>. In order to see the Uralic characters in your browser, you must choose View/Text encoding/UTF-8 (the exact menu names vary from browser to browser, the important part is UTF-8).<a target="_blank" href="http://archive.nytud.hu/depts/tlp/uralic/dbases_synjakhanty.html" rel="noreferrer noopener">Synja Khanty</a><a target="_blank" href="http://archive.nytud.hu/depts/tlp/uralic/dbases_surgutkhanty.html" rel="noreferrer noopener">Surgut Khanty</a><a target="_blank" href="http://archive.nytud.hu/depts/tlp/uralic/dbases_udmurt.html" rel="noreferrer noopener">Udmurt</a><a target="_blank" href="http://archive.nytud.hu/depts/tlp/uralic/dbases_tundranenets.html" rel="noreferrer noopener">Tundra Nenets</a></div>

Databases and corpora

Magyar nyelvű neurális modelleken alapuló megoldások

PULI, az első teljesen magyar nyelvű GPT-3

Magyar Nemzeti Szövegtár

Magyar történeti szövegtár (A magyar nyelv nagyszótárának korpusza)

Uralonet

A magyar nyelv nagyszótára

Uralic Languages under the Influence Database (UraLUID)

Budapesti Szociolingvisztikai Adatbázis (BUSZI)

Csángó korpusz

E-Szókincs

Mazsola – a magyar igei bővítményszerkezet vizsgálata

Moldvai magyar nyelvjárási szövegek Tánczos Vilmos gyűjtéséből

Ó- és középmagyar történeti magánéleti korpusz

Ómagyar korpusz

Orwell 1984: angol ‒ magyar párhuzamos korpusz

Új magyar etimológiai szótár

Párhuzamos Bibliaolvasó

Szovjet táborok magyar foglyainak adatbázisa

Nemzeti korpuszportál