pengantar kuliah computational linguistic
DESCRIPTION
Pengantar kuliah Computational LinguisticsTRANSCRIPT
1
ComputationaltextLinguistics
social media
translation
text mininginformation extractionessay scoring
text categorizationspam filtering
semanticsentiment analysis
dialogue
syntacticword sensenamed entity
Ayu Purwarianti - NLP
Apa itu Computational Linguistics
Teks Bahasa Alami
Bahasa Pemrograman
???Ok
3
Mengapa Belajar Computational Linguistics?
• Perkembangan internet dengan jutaan dokumen merupakan kesempatan bagi industri dgn spesialisasi bidang CL
• Keinginan manusia untuk menggunakan teknologi yg human-friendly termasuk dalam interaksi dengan menggunakan bahasa sehari-hari
• Perkembangan teknologi CL sangat terkait dengan bahasa dari sebuah negara/daerah tertentu kesempatan bagi industri lokal untuk bersaing dengan dunia global
Ayu Purwarianti - NLP
4
Prospek Industri CL
• Sangat tinggi, tergantung kreativitas
Ayu Purwarianti - NLP
TEXT MINING
Dokumen Teks
Pengetahuan
6
Information Extraction
Ayu Purwarianti - NLP
unstructured text
structured text
7
Text Categorization
Ayu Purwarianti - NLP
spam filteringLabel: spam vs bukan spam
Kategorisasi/klasifikasi teks/dokumen: Pemberian label atau kategori thd teks/dokumen secara otomatis
Sentiment analysisLabel: positif, negatif, netral
Document clusteringLabel: bebas tergantung kata kunci pd dok
Plagiarism detectionLabel: plagiat vs tdk plagiat
Essay scoringLabel: nilai
8
Information Retrieval
Sistem mampu memberi dokumen yang relevan terhadap user input yang berupa query atau kumpulan kata dengan bersumber dari kumpulan dokumen
Ayu Purwarianti - NLP
Kata-kata(dlm bhs sehari-hari)
Kumpulan dokumenyang relevan
9
Question Answering
Sistem mampu memberi jawaban atau potongan teks yg berisi jawaban untuk user input yang berupa pertanyaan secara otomatis dari kumpulan dokumen
Ayu Purwarianti - NLP
pertanyaan(dlm bhs sehari-hari)
jawaban
• Chat Robot• Example:
– Human: can you change how you look?ALICE: Yes the ALICE robot is fully parameterized.Human: how to parameterize it?ALICE: What is it to you. I haven't heard of to parameterize it.Human: I mean, I want to see you with other clothALICE: Oh I get it. Thanks for explaining that. Is it a movie?Human: No of course notALICE: A boot? A TV show? Then what is it?
Alice…
Text Understanding
Machine Translation
Sistem mampu mengubah teks dari suatu bahasa alami ke dalam
bahasa alami lain
12
Tools Dasar pada CL
Ayu Purwarianti - NLP
Pemrosesan Leksikal
Syntactic Analysis
Semantic Analysis
Pemrosesan Pragmatik
TokenisasiPemisahan kalimatStemmingLemmatisasiPOS Tagger
Named Entity TaggerPhrase Tagger
Parser
Word Sense DisambiguationSemantic Analysis
reference resolutionanaphora
13
Permasalahan pada Aplikasi CL (peluang riset)
• OOV (Out of vocabulary)– kata-kata baru yang tidak ada pada kamus
• Ambiguitas– Kata-kata yang memiliki lebih dari satu arti
• Utk bahasa Indonesia: low resource language sedikitnya tools dasar CL yang tersedia
• Keterkaitan antar tools dasar – rendahnya akurasi sebuah tools dasar akan
mempengaruhi tools dasar lain yg menggunakannya– Lamanya waktu eksekusi
Ayu Purwarianti - NLP