Дмитрий Кузнецов "Роботы и люди в Твиттере"
DESCRIPTION
2 июля 2011, Я.Субботник в Екатеринбурге Дмитрий Кузнецов "Роботы и люди в Твиттере" О докладе: Какие роботы есть в Твиттере и сколько их? Чем они занимаются и как взаимодействуют с людьми? Как отделить робота от человека, и как нам поможет в этом MatrixNet?TRANSCRIPT
![Page 1: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/1.jpg)
Я.Субботник, Екатеринбург, 2 июля 2011 года
разработчикДмитрий Кузнецов
Роботы и люди в Twitter'е
![Page 2: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/2.jpg)
Зачем мы сегодня здесь?
2
![Page 3: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/3.jpg)
![Page 4: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/4.jpg)
Информационный мусор
4
![Page 5: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/5.jpg)
Twitter растёт, и мы любим эксперименты!
5
![Page 6: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/6.jpg)
Русский Twitter
6
![Page 7: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/7.jpg)
Русский Twitter
2010 год
300 тыс +
200 тыс +
Сегодня
700 тыс + пользователей
400 тыс + твитов каждый день
По данным Яндекс.Поиска по блогам7
![Page 8: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/8.jpg)
Русский Twitter
В Мире
200 млн +
155 млн +
В России
700 тыс + пользователей
400 тыс + твитов каждый день
5 % пользователей пишут 75% всех твитов
По данным Яндекс.Поиска по блогами http://business.twitter.com
8
![Page 9: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/9.jpg)
Twitter : контент
9
![Page 10: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/10.jpg)
Кто о чём пишетTwitter : контент
4%4%
38%
40%
14%
новостиспамобщениетрёппрочее
*PearAnalytics10
![Page 11: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/11.jpg)
Русский Twitter
русскоговорящие пользователи Twitter'а — почти замкнутая система
11
![Page 12: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/12.jpg)
Twitter : контент
каждый третий твит содержит ссылку
http://clck.ru/5dzj
1. рассказать другим о чём-то интересном
2. самопродвижение и реклама
12
![Page 13: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/13.jpg)
Twitter : кто пишет?
13
![Page 14: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/14.jpg)
Twitter : роботы
![Page 15: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/15.jpg)
Twitter : роботыконтент сгенерирован автоматически или «редакцией»
15
![Page 16: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/16.jpg)
Twitter : роботытрансляции с сайта или блога
16
![Page 17: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/17.jpg)
Twitter : роботыссылки — не всегда основное содержимое твитов
17
![Page 18: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/18.jpg)
Twitter : роботы
роботы
спам
33%
46%
18
![Page 19: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/19.jpg)
Сколько?Twitter : роботы
- 10 % пользователей являются роботами
- 25 % всех твитов произведены на свет роботами
19
![Page 20: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/20.jpg)
Twitter : роботы
Теперь роботы тоже умеют искать
20
![Page 21: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/21.jpg)
Twitter : роботысегодня аккаунт есть не только у президентов
21
![Page 22: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/22.jpg)
Twitter : роботысегодня аккаунт есть не только у президентов
22
![Page 23: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/23.jpg)
Мы научились их отличать!
23
![Page 24: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/24.jpg)
Как?
Задача классификации — машинное обучение
24
![Page 25: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/25.jpg)
Классификация
факторы из содержимого твитов
25
![Page 26: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/26.jpg)
Примеркаждый твит содержит ссылку, и пользователь ни с кем не разговаривает
много смайликов и ответов другим пользователям
26
![Page 27: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/27.jpg)
Примеркаждый твит содержит ссылку, и пользователь ни с кем не разговаривает
много смайликов и ответов другим пользователям
доля ссылок на пост
стилистические факторы
разговор с «людьми»
27
![Page 28: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/28.jpg)
Классификация
факторы из социального графа
28
![Page 29: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/29.jpg)
Итого
извлечение факторов
+
суровая математика
= классификация
29
![Page 30: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/30.jpg)
Повторяйте это дома!
30
![Page 31: Дмитрий Кузнецов "Роботы и люди в Твиттере"](https://reader033.vdocuments.net/reader033/viewer/2022060121/5594aea11a28ab82408b4625/html5/thumbnails/31.jpg)
Повторяйте это дома!
Twitter API: http://dev.twitter.com/doc
RapidMiner: http://rapid-i.com
Weka: http://www.cs.waikato.ac.nz/ml/weka
SVM-Light: http://svmlight.joachims.org
31