Автоматическое реферирование automatic summarization · Задача...
TRANSCRIPT
Автоматическое реферирование
Automatic Summarization
Павел Браславский
ЗАДАЧА
2
Задача
Сформировать сжатое представление (текстового) документа (связанных документов), передающее основное содержание
+ с учетом контекста/ особенностей пользователя+ связное и удобочитаемое
3
Методы
• Одна из самых ранних задач ОЕЯ
• Правила/знания vs. статистика
4
Актуальность
• Большие объемы информации
• Быстрое принятие решений
• Мобильные устройства
NB: алгоритмы + интерфейс (!)
5
6
7
8
Не только новости
• Научные статьи
• Художественные произведения
• Отзывы о товарах
• Веб-страницы (сниппеты)
• …
9
Примеры рефератов
П. Браславский -Избранные
10
11
12
13
14
15
16
Не только текст
• Кино
• Музыка
• Видео (+ текст)
• Речь
17
18
ТИПЫ РЕФЕРАТОВ
19
Типы рефератов
• Abstract → Extract (выжимка)
• Индикативные → информативные
• Один → много документов
• Общие → с учетом контекста/пользователя
• Критический
20
Abstract/Extract
• Текст → «семантическое представление» → генерация реферата
(abstract generation)
• Выбор значимых фрагментов, обычно предложений
(sentence extraction)
21
Экстракты
• + простота
• - связность- дисбаланс (ср. разные точки зрения в статье)
22
МЕТОДЫ
23
Начало [Luhn, 1958]
+[Edmundson, 1969], [Paice, 1981]
24
Слова
• Вес предложения на основе весов входящих в него слов.
• Вес слова – на основе частоты.
• Близко расположенные важные слова усиливают друг друга (keyword burst)
• Сигнальные фразы и слова: можно сделать вывод…, необходимо подчеркнуть…
25
Предложения
• Начало и конец документа/абзаца/раздела
• Похоже на заголовок
• Нормализация по длине предложения
• Вопросительные предложения скорее всего не подходят
• Предложения с анафорической отсылкой не подходят (или включаются в реферат вместе с предыдущим предложением)
26
В отличие от классического токамака тороидальной формы, у NSTX-U, хотя и сохраняющего, строго говоря, такую же форму, крайне малая внутренняя полость. Это позволяет эффективно удерживать и разогревать плазму при менее сильных магнитных полях.
https://lenta.ru/articles/2016/10/10/fusion/
Положение предложений
27
Положение
выделенных
вручную
«информативных»
предложений
(9 новостных
текстов, каждый
обрабатывался 3
асессорами,
длины текстов
нормированы)
Недостатки «выжимок»
• Связность (анафорические отсылки)
• Баланс (например, разные мнения в статье)
28
Методы на основе знаний
• Frump (deJong 1979, 1982)
– Сценарии событий, которые заполняются на основе ключевых слов
• Summons (McKeown & Radev, 1996)
29
Лексические цепочки
• Лексические цепочки (lexical chains) – последовательность
семантически связанных слов:
{корова, овца, шерсть, шарф, шляпа}
• Используются на нахождения связных (cohesive) структур в
тексте, тематических областей и т.п.
• Сегментация текста, автоматическое реферирование, вопросно-ответный
поиск, разрешение лексической многозначности (word sense disambiguation)
• Вычисляются на основе тезауруса
30
Лексические цепочки
Червей тутового шелкопряда кормили листьями шелковицы, опрысканными водными растворами, которые содержали 0,2 процента углеродных одностенных нанотрубок. Когда гусеницы окуклились и сформировали кокон, ученые собрали синтезированный насекомыми шелк. Такой способ является экологически чистым, в отличие от обработки шелка графеном, которая требует применения токсичных химических растворителей.
https://lenta.ru/news/2016/10/10/silcyworms/
32
[Barzilay & Elhadad, 1997]
1. существительные + именные фразы (sea level) 2. повторы слова < синсеты слов непосредственно связаны <
есть путь длины 1+3. построение всех возможных цепочек, снятие
неоднозначности (выбирается наиболее связный граф, разные веса для разных типов связей)
4. взвешивание цепочек → «сильные цепочки»5. Извлечение предложений:
– первое появление звена каждой цепочки– первое появление самого частотного звена *– предложения из «насыщенного» сегмента
33
TextRank [Mihalcea & Tarau, 2004]
• Близость предложений на основе слов (~коэффициента Жаккара)→ взвешенный граф предложений
• Упорядочение предложений на основе значения центральности (PageRank)
34
Машинное обучение [Kupiec’95]
• Корпус статей с рефератами для обучения
• Признаки:– длина, положение предложения
– присутствие «тематических» слов, слов из заглавных букв, «ключевых» фраз
• Сопоставление предложений из реферата и основного текста
• Байесовский классификатор
35
36
Реферирование на основе HMM
[Conroy & O’Leary, 2001]
• 2s+1 состояний
• признаки:
– позиция (документ/абзац)
– # терминов, статистика по коллекции
37
Данные для обучения
• Машинное обучение
• «Дешево» получить данные
• Использовать разнообразный набор признаков
[Браславский, Густелев, 2007]
38
ML + внешние данные
- 1300+ документов, 3-4 выделенных предложения
- Попарный метод ранжирования предложений
- Дополнительные признаки
- на основе лога поиска по новостям
- сущности Wikipedia
[Svore, Vanderwende, Burges, 2007]39
Multi-document summarization
40
MEAD
вес предложения:
+ слова из центроида
+ положение
+ похожесть на первое предложение
-похожесть на другие
[Radev et. al, 2004]
ВЕБ-СНИППЕТЫ
41
42http://www.google.com/intl/en/corporate/tech.html
Особенности веб-сниппетов• Документы
– ссылки, внешние описания
– структура (title, meta, body, anchor)
– очень разные (не все являются связным текстом)
• Сниппеты для разных запросов должны быть
– индикативными
– информативными
• UI
– структура (заголовок + текст)
– жесткое ограничение на длину
– ранжированный список
• Спам/SEO
• Производительность
43
44
45
InCommonSense
• Выбран наиболее продуктивный шаблон ссылающегося абзаца
• Набор таких абзацев, ссылающихся на страницу, –кандидаты в сниппеты
• Проведена оценка полученных описаний в качестве сниппетов
• построен классификатор хороший/плохой сниппет• признаки (15): длина, личные местоимения,
аббревиатуры, оценочные прилагательные, слова, указывающие на содержание (about, information), повторы слов, оформление (заглавные буквы, пунктуация, глаголы)…
[Amitay&Paris, 2000]
46
(The|This) Anchor --- ---- ---- - -- - --- - -------- --------- ----- --- ----------
47
Производительность
• Сниппеты генерируются «на лету» по оригинальному тексту документа
• Комбинация
– схем сжатия (VB encoding),
– кэширования,
– предобработки документов
может существенно повысить производительность.
[Turpin A. et al., 2007]
48
ПОСТОБРАБОТКА РЕФЕРАТА
49
Борьба с избыточностью
• Maximal marginal relevance, MMR[Carbonell&Goldstein, 1998]
• кластеризация предложений [Nomoto&Matsumoto, 2001]
• Cross-sentence informational subsumption, CSIS [Radev et al., 2004]
Но: избыточность может способствовать связности и удобочитаемости
50
Постобработка
• Возможность сократить реферат
• Сделать его более читаемым
• «Середина» между выделением предложений и генерацией реферата
Методы:
• На основе правил (анализ синтаксического разбора)
• Обучение на основе корпуса переформулировок
• Подход на основе «канала с помехами»
• Синтез на основе графового представления (многодокументное реферирование)
51
[Filippova 2011]
52
Промежуточные итоги
• простые универсальные методы позволяют получить приемлемый реферат «в среднем»
• повышение качества
– более глубокий анализ документа
– больше информации о документе (тема, структура…) →специализация
– анализ и обработка «сырого» реферата
– внешний семантические ресурсы
53
ОЦЕНКА РЕФЕРАТОВ
54
Оценка
• Сравнение с идеалом
• В рамках задачи (task-oriented)
• + связность, удобочитаемость…
55
Согласие людей – 1
Проблема: низкое согласие людей
Пример: 16 текстов, 3 асессора/текст, по 5 предложений/текст→182 уникальных предложения.
Согласие: >1: 0,24; 3: 0,05
# of sent 2 or 3 3 ave ave 2
T_Imps 12 3 0 0,25 0,00
T_Used 9 5 0 0,56 0,00
T_Weakness 14 1 0 0,07 0,00
T_Awkward 12 2 0 0,17 0,00
T_Use 12 3 0 0,25 0,00
NY_Frantic 12 2 1 0,17 0,08
H_Helm 12 2 0 0,17 0,00
H_Plotting 11 4 1 0,36 0,09
E_Schools 13 0 1 0,00 0,08
H_Tamiflu 12 2 1 0,17 0,08
H_Straight 12 3 0 0,25 0,00
E_Summer 9 4 2 0,44 0,22
E_Decline 11 4 0 0,36 0,00
E_Little 9 3 2 0,33 0,22
H_Treatment 9 4 2 0,44 0,22
56
Согласие людей – 2
57[Radev et al., 2004]
Document Understanding Conference (DUC)
• Мероприятие по оценке автоматического реферирования
• Задачи
– Реферирование новостного документа (2001, 2002) –100 слов
– Реферирование кластера новостей (рефераты разной длины, в т.ч. «заголовка»)
– Рефераты с учетом контекста/типа события/вопроса/профиля пользователя…
• С 2008 – Text Analysis Conference (TAC)
58
Оценка @ DUC
• Сравнение автоматического реферата (peer) с рефератами-образцами (models):– Разбивка на предложения, сопоставление с последующим ответом
на вопрос «Насколько информация, содержащаяся в образце, передана в оцениваемом реферате?» (0/20/40/60/80/100%)
• Недостатки:– Сильно зависит от автора образца– Низкое согласие асессоров (в т.ч. согласие асессора с самим
собой)
• Лингвистическая оценка (1..5)– Оформление (grammaticality)– Лаконичность (non-redundancy)– Корректные отсылки (referential clarity)– Фокус (focus)– Структура и связность (structure and coherence)
59
ROUGE (Lin, 2004)
• Следует BLEU (bilingual evaluation understudy) –автоматическая метрика качества машинного перевода
• Recall-Oriented Understudy for Gisting Evaluation
• сравнение реферата с набором «идеальных»
• подсчет общих элементов
• варианты: +стемминг –стоп-слова
• отбор метрик, по которым ранжирование систем коррелирует с ранжированием на основе экспертных оценок (разные для разных задач)
60
ROUGE-N
• ROUGE-N: N-gram co-occurrence statistics is a recall oriented metric
=
}Refs{ gram-n
{Refs}S Sgram-n
match
gram)-count(n
gram)-(ncount
N-ROUGE
S S
61
Другие метрики ROUGE
• ROUGE-L: longest common subsequence
• ROUGE-W: weighted longest common subsequence, favours consecutive matches
• ROUGE-S: Skip-bigram recall metric
• ROUGE-SU adds unigrams to ROUGE-S
62
Пример
Модель1: красный синий желтый зеленый
Модель2: красный белый синий желтый
count(1) = 8, count(2) = 6
Реферат1: красный синий голубой
R-1= 4/8 R-2= 1/6
Реферат2: красный белый красный синий
R-1 = 7/8 R-2 = 2/6
63
Люди vs. ROUGE
64
ОЦЕНКА ВЕБ-СНИППЕТОВ
65
Нет документов – есть сниппеты
• Первичная оценка пользователями качества поиска – не на основании документов, а на основании сниппетов
• Сниппеты плохо отражают содержание страницы – потерянный результат
• вводящие в заблуждение сниппеты –лишние клики
66
[Tombros&Sanderson, 1998]
• простой метод реферирования (title, location, term occurrence, query terms)
• рефераты по запросу vs. начало документа
• сравнение:
– оценки релевантности на рефератах/полных
текстах (данные TREC);
– скорость;
– обращения к полным документам
67
[White et al., 2003]
• простой метод выделения предложений: WebDocSum(title, location, query-biased, text-formatting)
• единый интерфейс
• 4 системы: Google +/- WebDocSum, AltaVista +/-WebDocSum
• task-oriented evaluation:– поиск факта
– поиск нескольких объектов
– поиск для принятия решения
– поиск информации по теме
• Анкеты, мысли вслух, логгирование поведения
68
РОМИП
• релевантность на сниппетах/полных документах (2005-2007)– Асессор оценивает релевантность документа запросу по аннотации этого
документа. Сам документ ассессор не увидит. При оценке асессор будет видеть название (первые 100 символов) и аннотацию (300 символов).
• 2008– информативность (плохо/хорошо/отлично)
(«Достаточно ли информации для принятия решения о релевантности?»)
– читабельность (плохо/хорошо/отлично)
– оценка релевантности документа
69
Опыт оценки сниппетов
• Полевые эксперименты (user studies)
• Массовая оценка
• Автоматические метрики
• Поведение пользователей (клики)
70[Savenkov, Braslavski, Lebedev, 2011]
71
Группировка сниппетов
72
Автоматические метрики
• Подсветка
• Пустые сниппеты
• Оформление
• Уникальные слова
73
Поведение пользователей
• Время первого клика
• Инверсии кликов
• Время между кликами
• Отсутствие кликов
74
СОВРЕМЕННОЕ СОСТОЯНИЕ
75
DNN для реферирования
• двунаправленная рекуррентная нейронная сеть
• механизмы внимания – внимание на разных частях статьи → разнообразие/покрытие
реферата
– внимание на уже сгенерированных последовательностях --против повторов
• целевая функция – обучение с подкреплением (reinforcement learning) на уровне
всего реферата
– обучение с учителем (supervised) на уровне слов
• данные – DeepMind Q&A Dataset
– NY Times76[Paulus, Xiong, and Socher, 2017]
77
Paulus, Xiong, and Socher, 2017.A Deep Reinforced Model for Abstractive Summarization
78
CNN/Daily Mail287,113 train
13,368 validation11,490 test
статья 632 словареферат 53 слова
NYT600,000+ рефератов