jagomart
digital resources
picture1_Language Pdf 103238 | Zpracovani Jazyka Toki Pona


 182x       Filetype PDF       File size 0.57 MB       Source: www.mensagymnazium.cz


File: Language Pdf 103238 | Zpracovani Jazyka Toki Pona
zpracovani jazyka toki pona tomas brukner ronikova prace 2008 2009 abstrakt tato ronikova prace se zabyva oborem informatiky znamym jako zpracovani pirozeneho jazyka na pikladu zpracovani jednoducheho jazyka toki pona ...

icon picture PDF Filetype PDF | Posted on 23 Sep 2022 | 3 years ago
Partial capture of text on file.
                   Zpracování jazyka Toki Pona
                            Tomáš Brukner
                         Ročníková práce 2008/2009
     Abstrakt
     Tato ročníková práce se zabývá oborem informatiky známým jako zpracování přirozeného jazyka 
     na příkladu zpracování jednoduchého jazyka Toki Pona. Vysvětluje obecný postup překladu a 
     techniky, které jsou v tomto postupu zahrnuty – a to syntaktickou a lexikální analýzu a překladový 
     stroj. 
     V první části je stručný popis jazyka Toki Pony – jeho filozofie, základní gramatické principy, slova 
     a věty. V druhé části je popis syntaktické a lexikální analýzy spolu s popisem nástrojů, které jsem k 
     tomu použil – lex a yacc. Ve třetí části se zabývám myšlenkou překladového stroje, který jsem sám 
     navrhl – popisuji zde princip fungování a způsob použití.
     Výsledkem této práce je kromě následujícího textu i program, který lze použít na překlad vět v 
     jazyce Toki Pona do angličtiny.
     Abstract
     This annual work is concerned with section of informatics known as natural language processing 
     and it uses example of processing simple language named Toki Pona. It explains common routine of 
     translation as well as techniques, that are involved in this routine – a syntactic and lexical analysis 
     and a translation engine.
     The first part of the work shows brief definition of Toki Pona language – it's philosophy, basic 
     grammatical principles, basic words and sentences. In the second part of the work I describe the 
     syntactic and the lexical analysis along with description of tools I used – lex and yacc. Idea of the 
     translation engine is described in the third part of the work. I personally designed the engine and I 
     wrote the principle of operation and how to use it.
     The result of this work is beside following text program, which can be used to translate sentences in 
     Toki Pona language to English.
     Prohlášení
     Prohlašuji, že jsem tuto ročníkovou práci vytvořil samostatně pod vedením Petera Novotného, a že 
     jsem v seznamu použité literatury uvedl veškeré zdroje, které byly při tvorbě práce využity. 
     Na Kladně dne 15. 1. 2009  Tomáš Brukner
                         - 2 -
      Obsah
      Abstrakt................................................................................................................................................2
      Abstract.................................................................................................................................................2
      Obsah....................................................................................................................................................3
      Zpracování jazyka Toki Pona...............................................................................................................4
        Úvod do problematiky.....................................................................................................................4
         Jak funguje kompilátor................................................................................................................4
        Proč Toki Pona ................................................................................................................................5
        Cíl práce...........................................................................................................................................5
      Toki Pona jako jazyk............................................................................................................................6
        Slovník základních slov...................................................................................................................7
        Základní slovní spojení....................................................................................................................8
      Syntaktická a lexikální analýza – lex a yacc........................................................................................9
        Lexikální analýza.............................................................................................................................9
         Lex............................................................................................................................................10
        Syntaktická analýza.......................................................................................................................11
         Definice gramatiky....................................................................................................................11
         Použití gramatiky v syntaktické analýze...................................................................................12
      Překladový stroj..................................................................................................................................13
        Princip fungování...........................................................................................................................14
        Ukázka fungování..........................................................................................................................15
      Testování, dosažené výsledky, závěr..................................................................................................16
      Seznam použité literatury...................................................................................................................17
                              - 3 -
     Zpracování jazyka Toki Pona
     Úvod do problematiky
     Zpracování přirozeného jazyka je oblast informatiky, respektive programování, která dle mého 
     názoru není příliš rozšířena mezi lidmi, kteří se o celou sféru informatiky zajímají. Na druhou 
     stranu, výsledky této práce jsou vidět již nějakou dobu, přestože si to někteří lidé neuvědomují. 
     Začal bych dnes již tak samozřejmou věcí, jako je kontrola gramatiky v textových editorech. Právě 
     takováto funkce je dle mého názoru předchůdcem věcí, které nás čekají – a to kontrola gramatiky na 
     té úrovni, že když napíšete špatně čárku či zaměníte měkké i za tvrdé y ve shodě podmětu s 
     přísudkem, že program bude schopný tuto chybu rozpoznat, upozorní vás na ni, případně ji i za vás 
     opraví. A právě vidina možností, které jsou před námi, mě přiměla k tomu se této oblasti více 
     věnovat, a to právě formou ročníkové práce.
     Historie tohoto oboru začíná v porovnání s dalšími obory informatiky již celkem dávno – a to v 
     souvislostí s kompilátory kódu. Nejdřív si však položíme otázku – co to je kód a co je kompilátor? 
     Kód je informace v nějaké formě, která je někomu srozumitelná. Vezme-li v úvahu například 
     zdrojový kód, tak to je ukázka informace, které rozumí programátor, ale nikoliv počítač. Naopak 
     strojovému kódu rozumí počítač, ale nikoliv programátor (nebo alespoň ne většina). V tomto 
     okamžiku přichází „magický nástroj“ zvaný kompilátor (někdy též nazýván překladač), který 
     překládá zdrojový kód do strojového kódu.[1]
     Překladač (nebo překladatel, jedná-li se o člověka a ne o stroj) je slovo, které je známé i široké 
     veřejnosti. Jedná se o člověka či věc, který vezme informaci v jednom jazyce a převede ji (s větší či 
     menší úspěšností zachování přesného podání informace a jejího obsahu) do jazyka jiného. Bohužel 
     poznámka, kterou jsem uvedl v závorkách, je velmi důležitá. Uvedu příklad – jak byste přeložili do 
     angličtiny hodit s sebou? Throw with myself? Myslím, že by vám angličané nerozuměli (korektní 
     překlad je v tomto případě get a move on[2]). Tohle je jedno z úskalí překladu – mnohoznačnost 
     kontextu. Naštěstí u programovacích jazyků tohle není – tam není důležité „co tím chtěl básník 
     říci“. Zde má veškerý obsah právě jeden smysl. To překlad programovacích jazyků značně 
     zjednodušuje.
     Jak funguje kompilátor
     Existuje několik různých variant, ale obecně se jedná o několik procesů jdoucích za sebou. První je 
     takzvaná lexikální analýza, která převede celý kód na značky. Další je syntaktická analýza, která 
     tyto značky přepíše do mezikódu. Teď se může provádět jeho případná optimalizace. Jako poslední 
     krok se vygeneruje z tohoto mezikódu kód výsledného jazyka. To je již velmi snadné.[1]
     Pro další vysvětlení funkce kompilátoru předvedu to samé na překladu věty. Fáze jsou totiž téměř 
     stejné, až na to, že neexistuje vhodný mezijazyk. První fáze, lexikální analýza, by v našem případě 
     znamenalo určení slovního druhu u všech slov a u některých ještě určení další vlastnosti (u 
     podstatných jmen pád, u sloves osobu atp.). Druhá fáze, syntaktická analýza, by byl v tomto případě 
     větný rozbor. Určili bychom co je podmět, přísudek, jestli má věta nějaké další větné členy a 
     podobně. Dalším krokem by bylo přeložení jednotlivých slov a jejich uspořádání do vhodné věty ve 
     výsledném jazyce. Zde ale nastává největší problém – věta má totiž sama o sobě význam, který 
     ovlivňuje překlad. To je asi ten největší rozdíl od překladu programovacích jazyků a také dle mého 
     názoru i největší problém pro absolutní (nejenom gramaticky, ale i významově správný) strojový 
                         - 4 -
The words contained in this file might help you see if this file matches what you are looking for:

...Zpracovani jazyka toki pona tomas brukner ronikova prace abstrakt tato se zabyva oborem informatiky znamym jako pirozeneho na pikladu jednoducheho vysvtluje obecny postup pekladu a techniky ktere jsou v tomto postupu zahrnuty to syntaktickou lexikalni analyzu pekladovy stroj prvni asti je struny popis pony jeho filozofie zakladni gramaticke principy slova vty druhe syntakticke analyzy spolu s popisem nastroj jsem k tomu pouil lex yacc ve teti zabyvam myslenkou pekladoveho stroje ktery sam navrhl popisuji zde princip fungovani zpsob pouiti vysledkem teto krom nasledujiciho textu i program lze pouit peklad vt jazyce do anglitiny abstract this annual work is concerned with section of informatics known as natural language processing and it uses example simple named explains common routine translation well techniques that are involved in syntactic lexical analysis engine the first part shows brief definition philosophy basic grammatical principles words sentences second describe along descr...

no reviews yet
Please Login to review.