частотный словарь как вероятностно статистическая...

11
Частотный словарь как вероятностно-статистическая модель

Upload: ehidnat

Post on 14-Jul-2015

212 views

Category:

Education


3 download

TRANSCRIPT

Page 1: частотный словарь как вероятностно статистическая модель

Частотный словарь как вероятностно-статистическая

модель

Page 2: частотный словарь как вероятностно статистическая модель

Содержание

• Что такое частотный словарь

• Основа частотных словарей

• Цель составления

• Примеры использования

• Единицы анализа

• Частотные словари английского языка

Page 3: частотный словарь как вероятностно статистическая модель

Что такое частотный словарь

Частотный словарь - Составленная в результате статистического анализа конкретная вероятностно-статистическая модель изучаемого подъязыка на лексическом (и соответственно любом другом) уровне.

Page 4: частотный словарь как вероятностно статистическая модель

Основа частотных словарей

Обычно частотные словари строятся на основе корпусов текстов: берется набор текстов, представительный для языка в целом, для некоторой предметной области или данного автора и из него извлекаются словоформы, леммы и части речи (последние извлекаются в случае, если корпус имеет морфологическую разметку).

Page 5: частотный словарь как вероятностно статистическая модель

Цель составления

Частотные словари дают большой материал для решения ряда общетеоретических и прикладных проблем, они необходимы при составлении учебных словарей, при разработке учебников, лингвометодической адаптации текстов.

Page 6: частотный словарь как вероятностно статистическая модель

Использование Исследование частотности лексических единиц позволяет сделать важные выводы об особенностях языка и стиля писателя. Так, "Частотный словарь романа Л. Н. Толстого "Война и мир" состоит из алфавитного списка всех слов, расположенных в порядке убывания частот, и статистической структуры словаря, представляющей собой таблицу распределения частот.

Page 7: частотный словарь как вероятностно статистическая модель

• Частотные словари могут быть использованы для исследования лексики в исторической перспективе. Так, "Частотный словарь русского языка второй половины XVI — начала XVII в." А. А. Грузберга характеризует частотность лексики русского языка того времени представленной в 27 памятниках письменности.

Page 8: частотный словарь как вероятностно статистическая модель

Наиболее употребляемые

• Быть

• Князь

• Великий

• Сын

• Государь

• Царь

• День

Наименее употребляемые

• Агарянский

• Блин

• Всплакнуть

• Злосоветник

• Чтец

• Щель

• Полноща

Page 9: частотный словарь как вероятностно статистическая модель

Единицы частотного словаря

• Единицами частотного словаря может быть слово, идиомы, фразовые глаголы, сленг, словосочетания, морфемы, предлоги.

Page 10: частотный словарь как вероятностно статистическая модель

Частотные словари английского языка

• Частотный словарь английского "Слова"

• Частотный словарь английского "Словосочетания"

• Частотный словарь английского "Составные (фразовые) глаголы"

• Частотный словарь английского "Идиомы"

• Частотный словарь английского "Сленг"

• Частотный словарь английского "Суффиксы и приставки"

• Частотный словарь английского "Предлоги"

Page 11: частотный словарь как вероятностно статистическая модель

Частотные словари русского языка

• ЧАСТОТНЫЙ СЛОВАРЬ РУССКОГО ЯЗЫКА(под редакцией Л. Н. Засориной

• Частотный словарь современного русского языка

• Частотный список 32 000 РУССКИХ СЛОВ ( 260 кбайт )

• Частотный словарь РУССКОГО языка 5000 слов (с переводом на 12языков) и с транскрипцией рус.слов. 520кб