教育資源の価値を拡大する教育ビッグデータ　＋　 Learning Analytics

株式会社デジタル・ナレッジ　取締役 COO株式会社デジタル・ナレッジ教育テクノロジ研究所 所長　吉田 自由児

2016/5/2013:30-14:30

撮影・録音・シェアALL OK!

株式会社デジタル・ナレッジの紹介まず、弊社の概要を紹介します。

2

デジタル・ナレッジの使命

•「育つ喜びを全ての人へ」を使命とし、ＩＴで教育を支援する

「学びの架け橋」の役割を担っています。

７つの「ワンストップ」メニュー4

構築

クラウド 運用

製品 教材

募集

コンテンツ制作・収録インストラクショナルデザイン

受講者募集リアル・ Web プロモ

教室・ IT 機器タブレットクラウド、 ASP

ストリーミング

カスタマイズシステム連携

LMS 、マルチデバイス学習プラットフォーム

環境

支援スタッフ常駐業務委託

e ラーニングしかやってませんが、e ラーニングなら全てやってます。

1,200 を超える事例

•1,200 を超えるお客様と構築した、

•e ラーニングソリューション実例・ノウハウがあります。

5

• 教育とＩＴに関するテーマで毎月調査した調査報告書を無償公開しています。

6・韓国サイバー大学調査報告書・韓国 e ラーニングビジネス調査報告書・情報処理推進機構（ IPA ）「ライブ研修」調査報告書・ e ラーニングにおけるコミュニケーション戦略・教職員 ICT スキルアップ教育調査報告書・オンライン音楽レッスン調査報告書・不動産証券化専門家養成 e ラーニング調査報告書・伊藤忠テクノソリューションズ e ラーニング活用調査報告書・研修認定薬剤師制度インターネット研修　調査報告書・八洲学園大学調査報告書・ iPad に関する意識調査報告書・ 2010 年新社会人の学習に関する調査報告書・教員に対する iPad の意識調査報告書・企業における研修担当者・受講者の意識調査報告書

・教員の来年度 ICT 予算に関する意識調査報告書

・教員のタブレット端末の授業利用に関する意識調査報告書・企業等の研修担当者に対する 2011 年度新入社員の タイプと研修に関する意識調査報告書・ 2011 年に取り組むべき経営課題に関する 意識調査報告書・社会人の“今後挑戦したい学習内容と学習手法” に関する意識調査報告書・東日本大震災の事業への影響とテレワーク（在宅勤務）導入に関する意識調査報告書・東日本大震災の教育への影響に関する意識調査報告書・ iPad を活用した学習の効果検証報告書・ SOHO 事業者・在宅ワーカーへの 業務委託に関する意識調査報告書・製造業の技術教育における e ラーニング利用に関する意識調査報告書・ビデオ教材（映像コンテンツ）の教育利用に関する意識調査報告書

7デジタル・ナレッジ教育テクノロジ研究所

「みらいの学び」を「テクノロジ」で推進します。【活動内容】•教育テクノロジの研究開発•国内外の最新技術調査•他社・大学・研究機関との連携プロジェクト実施•調査研究成果発表

最新の教育テクノロジの調査・研究を行います。「いま」から「みらい」へのテクノロジの橋渡しをする存在。

業界発展、市場拡大へ

• e ラーニングの市場自身を拡大するための行動をしています。お客様の PR や情報収集にも役だっています。

8初代事務局長とし

て立上げ

理事として推進

理事や執行役員として推進履歴関連の講演誘致や賞

による活性化

学習履歴の標準規格普及活動実施

合弁会社

• e ラーニング市場にてご一緒にビジネスを進めていく際、合弁事業方式を採るケースもあります。

9株式会社デジタル・エデュケーショナル・サポート　大手前学園との合弁会社。高等教育機関向け e ラーニング運営会社。

株式会社デジタル・ナレッジ・ユニバーシティ・ラーニング　八洲学園、デジタルハリウッドとの合弁会社。学校向け e ラーニングサービス。

ドコモ gacco 株式会社　 NTT ドコモとの合弁会社。 MOOC サービス gacco の運営。

株式会社 N-Academy　 NTT グループと立ち上げた消費者向 e ラーニングサービスの事業継続会社。

株式会社 Z 会ラーニングテクノロジ　 Z 会グループとの合弁で初等中等学校向け教育 ICT サービス会社。

10

11

モバイル

教室

自宅

社内

学校

オンデマンドe ラーニング

モバイル学習オリジナルタブレット

映像教材

サテライト校舎

ライブ授業

反転授業

教育機関 受講者

拡がる教育機関クリッカー

ゲーミフィケーション

O2O ラーニング

集合研修管理

HRM

教育IT

通信制開校

ポートフォリオ

e ラーニング事業

デジタル・ナレッジは、教育機関 ( 学校、スクール、研修部門 ) と受講者の「学びの架け橋」を目指しています。

私たちは教育機関様のチカラを IT のチカラで拡張します12

自己紹介公式、私的、双方の自己紹介を・・・

13

14自己紹介•吉田 自由児（よしだ じゆうじ）• 1973 年　福岡県生まれ• 福岡 → 宮崎 → 沖縄 → 福岡で育つ• 早稲田大学理工学部情報学科 卒業知識情報工学専攻　寺田文行研究室” CAI班”所属• 1996 年 1月、株式会社デジタル・ナレッジの前身テレコム学習

ネットワーク有限会社の創業時に学生アルバイトとして入社• エンジニアとして初期のパッケージ開発を担当以降、ディレクタや営業として数々の案件に携わる。

日本語、博多弁、琉球方言のトリリンガルです

e ラーニングの前身” CAI” の研究をやってました

見ず知らずの人からの

メールで始まりました

しょっちゅう英語で話しかけられますが、日本人です

２０年間、いろいろな案件に携わってきました

15自己紹介 2

• 株式会社デジタル・ナレッジ　取締役ＣＯＯ• 株式会社デジタル・ナレッジ教育テクノロジ研究所　所長• 株式会社デジタル・ナレッジ・ユニバーシティ・ラーニング　取締役• 株式会社 Z 会ラーニング・テクノロジ　取締役• 東洋学園大学　非常勤講師• 日本イーラーニングコンソシアム　資格制度 e-Learningエキスパート、講

師（「 e ラーニングテクノロジ」と「ＬＭＳ活用技術」を担当）

16近頃の興味範囲

• Learning Analytics• R言語による分析、システム化• Analytics+ の開発•早稲田大学 / 八洲学園大学との退学予兆検出プロジェクトでメインプログラマを務める• R 、 R 、 R…・数年前にルービックキューブを覚え、１分切る程度

・（いまのところ）社内最速・目標はコンスタントに３０秒台・３０秒切る方、コツ教えてください

17月曜まで２週間、キルギスに居ました

教育ビッグデータ・ Learning Analytics とは？今日の話題の中心、教育ビッグデータ・ Learning Analytics について説明します。

18

19

学習履歴LRS

蓄積された学習履歴をどのように活用するか？

ポートフォリオ

データマイニング

教育ビッグデータ

ラーニング・アナリティクス(Learning Analytics)

課題：学習履歴の利活用

20Learning Analytics の概要さまざまなサービスやデバイスから収集された教育ビッグデータ、

これを蓄積し、分析して活用するプロセスが Learning Analyticsです。

21

Learning Analytics 0.5 集計／統計

Learning Analytics 1.0

Learning Analytics 2.0

基礎情報の可視化解析

学習傾向の分析アルゴリズム

自動化

学習結果や時間など基礎的なデータをグラフ化

関連するデータの有用性・相関を見つけ出す

データの有用性・相関をもとに、指導やレコメンド、アダプティブアクションを自動化したもの

「 Learning Analytics 」を下記３つのレイヤで整理してみました。

Learning Analytics の整理

Learning Analytics総合サービスAnalytics+

22

201510/28

リリース！

23

Knowledge

DeliverKnowledge

Recorder

他社システム

※弊社の LMS”KnowledgeDeliver”や学習履歴統合サービス” KnowledgeRecorder” の学習履歴を利用※他社システムでも標準規格” xAPI”や IMS Caliper( 予定 ) を利用することで利用可能

xAPI IMS Caliper

Analytics+ の概要

Analytics＋／ View学習活動を可視化

24

25• 学習・行動表示

教育ビッグデータを基に学習・行動を様々な観点から可視化します。これにより受講者の学習活動の概要を把握できます。

• 学習傾向分析高い教育効果と相関関係の強い項目・活動とは？　教育効果を高めるには？強みや改善点など戦略立案に必要な情報を、教育ビッグデータを分析し可視化します。

相関関係分析関連教科のクラスター分析学習時間と得点分布 時間帯別ログイン =完了率統計 単元別受講時間統計

【可視化の例】

無償提供

Analytics+/View

26

Analytics+/View の例「平均得点と学習時間のプロット」

縦軸：学習時間、横軸：平均得点の分布を表したグラフ。 青：教科終了者 赤：教科未了者

終了者の方が平均得点は高いのが見て取れる。

学習時間も終了者の方が長めの傾向がある。

時間をかけて勉強して成績優秀な人が教科終了する。（まあ当たり前）

27

Analytics+/View の例「平均得点」

平均得点の分布を箱ひげ図で描いたもの。 青：教科終了者 赤：教科未了者

やはり、終了者の点数が高い。ほぼ倍。

とはいえ、終了者の中にも、「外れ値」として得点が低いにも関わらず終了した人もいる。その逆に、点数が高くても未了の人も。

つぶさに追う必要がありそう。

28

Analytics+/View の例「学習時間分布」

学習時間の分布を箱ひげ図で描いたもの。 青：教科終了者 赤：教科未了者

終了者は長く勉強しており、１時間程度の差がある。

長時間の学習が終了に結びつきやすい。あまりにも短時間だと学習にならない。

このコースは３時間程度が推奨学習時間であろう。

とはいえ、それだけの時間学習しても未了な人は？

29

Analytics+/View の例「ログイン間隔」

前回ログインから次回ログインまで何時間かかってるか？　箱ひげ図でまとめたもの。 横軸：ログイン回数（ 5区切 ) 縦軸：ログイン時間 (hour)

中央値は 24時間　＝毎日ログイン

学習が習慣化すると、定期的にコツコツ勉強するようになるのだろう。

回数が進むごとに、ばらつきがなくなり収斂してくる。

30

Analytics+/View の例「終了別ごと時間帯別ログイン」

１日２４時間の１時間ごとのログイン率を終了状況ごとに描画。 青・オレンジが終了率が高い人のログイン（＝成績優秀） 赤はそうではない人（＝成績不振）

職場で強制的にやらされる人より、深夜早朝に自分の時間を使って学習する人のほうが熱心？

６時～１９時は赤の率が高い

深夜早朝は青・オレンジが高め

31

Analytics+/View の例「テスト設問別正解率」

教科の設問別の正解率。 緑：初回正解率 青：２回目以降の正解率 灰：全回の正解率

この問題が出題者の意図した難易度なのか？

設問： 6275 の初回正解率が極めて低い

教えてない知識を問うてないか？誤答が生じやすい悪問か？

32

Analytics+/View の例「行動別成績相関」

どのような行動が終了率に相関するかを表した相関図。 各アルファベット：各行動 緑：相関関係 赤：逆相関関係※絶対値 0.3 を超えるとやや強い相関がある。

頑張って学習しようと履修数を増やすとかえって足かせになることも。適切な履修指導が大事。

終了率 (A)= 最終得点 (C) は強い相関

終了率

初回得点

最終得点

終了教科数履修教科数

再テスト率

再学習率

終了率 (A)= 履修教科数 (E) は強い逆相関

初回得点 (B)=終了率 (A) には相関ほぼなし

たとえ最初わからなくても繰り返し学習して得点 UP すると終了につながる。

33

Analytics+/View の例「ログイン時期別成績相関」

学習時間帯と終了の相関を示したもの。 各アルファベット：各行動 緑：相関関係 赤：逆相関関係※絶対値 0.3 を超えるとやや強い相関がある。

土日勉強する人と平日勉強する人は違う層

土日 (U)=平日 (T) は強い逆相関

午前 (O)=夜 (R) は強い逆相関

土日 (U)=夜 (R)/深夜早朝 (S) はやや強い相関

土日勉強する人は夜・深夜勉強する傾向が（忙しいのだろうか？）

終了率

初回得点

午前

午後

夜

深夜早朝

平日

昼休み

土日

午前中勉強する人と夜勉強する人は違う層

深夜勉強する人は初回得点が高く成績良好か

34

Analytics+/View の例「終了に至る決定木」

学習が終了する (OK) 、もしくは終了しない (NG) に至る条件をマシンラーニングで計算し、決定木を描いたもの。 青の葉：終了率が高い枝 赤の葉：終了率が低い枝

教材登録数平均得点

ログイン回数 再テスト回

数

教科登録数が 2.5以上だと終了率が下がる平均得点が 90点未満で終了率が下が

る 再テストをしないと終了率が下がるログイン回数が 5.5回未満

で終了率下がる

35• 無償提供

Analytics/View は無料で提供します。 ただし、 KnowledgeDeliver から Analytics+ に必要な

データを取り出す作業費として実費がかかる場合があります。

ASP サービス「ナレッジデリ」や「 Mananda 」をお使いの場合はその限りではなく、無料でご利用いただけます。

• バージョンアップによる進化 今後、新たな分析手法やモジュールが追加された際に随時

バージョンアップを実施します。 最新のアナリティクス手法をご利用いただけます。

無償提供

Analytics+/View の提供について

Analytics＋ / Robot学習結果を分析し、有益な自動処理を行う

36

• レコメンド　・・・　受講者の履修傾向から「次のオススメ」の教材を提示。

• アダプティブ　・・・　受講者の理解度・苦手領域などを判断し、個々の受講者にあったレベル・分野の学習項目を提示。

• 退学予兆検出　・・・　学生の退学の予兆を捉え、退学危険性の高い学生を事前に検出。

37• 受講者の円滑学習支援環境

学習をより円滑に効果的に行う環境を提供するために教育ビッグデータを活用します。

• 自動処理（ Robot）教育ビッグデータの分析結果から導き出したアルゴリズムを利用し、受講者の学習状況や行動履歴をもとに自動処理を行うエンジンを提供します。【 Robot の例】

有償オプションAnalytics+/Robot

原因

38

• 早稲田大学との産学連携プロジェクト 早稲田大学人間科学学術院　松居辰則研究室との産学連携プロジェクトで生まれた製品です。

• 行動の変化から退学予兆を検出 退学は成績不振などの直接的な事実以前に、学習意欲の低下・経済的理由・生活の変化などの原因があります。当エンジンでは退学につながる「姿勢」の変化に着目し、退学に相関する行動を特定、それら行動の変化から退学予兆を検出しました。

直接的な退学の事実

退学

意欲の低下経済的理由

有償オプション

【退学にいたる流れ】

成績不振 欠席

『姿勢』の変化

『行動』の変化

『行動』の変化で退学予兆を検出す

る

Analytics+/Robot『退学予兆検出エンジン』

39

退学

に至

る行

動を

「決定木

」で算出

とある大学さんの分析結果（決定木）

401. 「授業終了後の退室時間、授業の回ごとに増加もしくは減少する傾向に要注意」→授業終了後も教室にダラダラと残ったり逆にサッサと早く退室する傾向が続くと、「姿勢」が悪化している傾向が見られます。

2. 「会議室での発言が突然増減するのは要注意」→普段会議室へ積極的に発言している人の発言数が突如減少したり、普段あまり発言しない人が突如発言数が増加した場合、「姿勢」が悪化している変化が見られます。

3. 「質問数の増減には要注意」→質問件数が徐々に増加もしくは減少することが「姿勢」の悪化につながる傾向が見られます。

4. 「授業後アンケートの特定質問と退学の相関関係が強い」→授業後毎回収集する授業後アンケートのうち、「姿勢」を大きく反映する有効な項目がありました。　　質問：「音声や映像により教室の雰囲気が十分伝わった。」これら相関性の高い原因行動の条件を組み合わせ退学予兆検出ロボットアルゴリズムを開発

しました

退学予兆結果（かみ砕いて）

41 決定木をもとに、 LMSのデータから退学予兆を検出するシステムを実装 退学可能性の高いユーザからリストアップ 提供組織ごとに決定木を調整し実装

退学予兆検出エンジンの機能

Analytics＋ / Project教育ビッグデータをプロジェクトで分析・利活用

42

43• 大学・研究機関との産学連携プロジェクト

Learning Analytics の領域で研究活動をなさっている大学の先生や研究機関の専門家と連携し、産学連携プロジェクトを進めることもできます。

• 独自の分析・独自エンジンの開発それぞれの企業・学校独自の学習特性を踏まえ教育ビッグデータを分析します。さらに分析結果に応じて、独自の自動処理（ Robot）を開発することもできます。

有償オプション

ご興味のある方はお問合せください。

Analytics+/Project

44• e ラーニングノウハウを持つデータサイエンティスト

弊社では「ラーニング・データサイエンティスト」を育成し、ラーニング・アナリティクス業務を行っております。 e ラーニングのノウハウとデータサイエンスのスキルを合わせることで、教育ビッグデータの分析からデータの可視化・自動処理化までを行うことができます。

• カスタマイズ案件に対応それぞれの企業・学校様の教育ビッグデータをラーニング・データサイエンティストが整形した上で分析し、必要に応じて適切な機能を追加します。

ラーニング・データサイエンティストJason Gettys

【カスタマイズ対応例】 独自 View追加開発 独自 Robot 開発 他社 LMS のデータ分析、整形、コンバート LRS の API設計 / 開発 LRS のステートメント設計

ラーニング・データサイエンティスト

45• AIDMA 理論　・・・　広告宣伝に対する消費者の心理プロセス

Attention(注意 ) ⇒ Interest ( 関心 ) ⇒ Desire (欲求 ) ⇒ Memory (記憶 ) ⇒ Action ( 行動 )• AIDMA の教育版、 HIDIV 理論™　

・・・　学習に対する受講者の心理プロセスを理論化してみた。

ラーニング・データサイエンティスト Jason の理論：HIDIV 理論

Hatch ( 意欲誕生 → アカウント作成→ 購入・受講登録 )Ignition ( 学習・受講開始 )Determination ( 学習意欲が強まる )Improvement ( 成長を遂げる )Victory (目標を達成する )

HI

D IV

IDIV

H

LMS/LCMSパッケージknowledgeDeliver6.3最新版の KD で Learning Analytics 的要素が追加されました。

46

47KnowledgeDeliver とは

• これ１つで e ラーニングに求められる機能を提供他の特別なツールは必要なく、これ一本で教材作成・学習・運用管理の e ラーニングに必要な機能が提供されます。

• Learning Analytics への対応タグクラウドによる弱点分析やレコメンドなど、最新の Learning Analytics の機能を搭載しています。

最新版 KnowledgeDeliver6.3 、５月１８日リリース！

48【 KD6.3目玉機能】弱点タグクラウド

• テスト実施後に、受講者の弱点と思われる単語をタグクラウド化して表示• 事前に単語データを登録するのではなく、テスト問題や解説を形態素解析して

自動的に単語データを生成するのがポイント（事前準備必要なく利用できる）

49【 KD6.3目玉機能】おすすめ単元レコメンド

• テスト問題の誤答履歴から、受講者の苦手分野を類推し、その知識体系を含む単元を自動でおすすめ。

• 単元構造の定義やナレッジグラフを作るなどといった事前準備が不要で、テキストマイニングにより自動でレコメンド。

Learning Analytics の可能性今後、何ができるのか？Learning Analytics で先々どのようなことが可能になるのか？

50

51対象 価値・用途

①収集／蓄積 ・ＬＲＳ・オムニチャネル学習環境

②履歴可視化

・ポートフォリオ・統合学習履歴管理・バッジ、修了証・タレントマネジメント

③集計／分析

・経営判断への分析活用・教材評価・指導カルテ（指導者向情報提示による指導精度向上）・ユーザ特性別教育（学習パターン・傾向による分類）・志望校別合格者活動分析

④自動化

・指導を必要とする対象者自動抽出（指導品質向上）・ドロップアウト予兆（トラブルの予測による抑止）・自動採点・アダプティブ（弱点補強のための自動教材提示）・レコメンド（自動履修指導）

教育ビッグデータ・ラーニングアナリティクスの価値・用途

52関心の高いテクノロジ： LEARNING ANALYTICS

• 受講者特性のクラスタリングと特性別指導こつこつ学習 / まとめ学習、書いて覚える /読んで覚える /見て覚える

• 合格者 /終了者の相関行動偏差値だけではない合格の行動があるのでは？

•退学予兆検出の高性能化より退学検知の精度を高め、退学理由も正確に予兆できるように。

• Adaptiveエンジンのアルゴリズム従来の KnowledgeGraph をあらかじめ用意しておく以外のアルゴリズム

53関心の高いテクノロジ： IMS Caliper

• 学習履歴の採取。 xAPI の次と目される。• バージョン１が昨年９月にリリースされたばかりの新しい規格。• 今後日本国内でも普及が見込まれる。• 弊社では既に案件で適応済、ただいまパッケージ化実施中。• IMS Caliper を中心とした活用事例や適用を推進する必要がある。

IMS Caliper に関する取り組みはNII 学術情報基盤　オープンフォーラム 2016 にて発

表予定

54関心の高いテクノロジ： 生体情報• LMS の学習履歴やアプリの行動履歴といったログだけでなく、 IoTなどで収集できるあらゆるデータを分析対象に。•生体情報の例：

汗筋電体の動き心拍数まばたき頷き現在、筋電センサーを用いた

モックアップ開発中。

55関心の高いテクノロジ：テキストマイニング

•タグクラウド•ネガポジ分析•コンテンツ / レポートの内容推測、マッチング

KD6.3 に一部搭載今後拡充予定

56関心の高いテクノロジ： AI / ロボットの利用

•AI(Deep Learning / ニューラルネットワーク ) の利用効果的教育メソッドの算定ノウハウの自動化

•UI としてのロボットロボットメンターロボット家庭教師

57Learning Analytics時代の幕開け！

e ラーニングの評価基準コンテンツ教材・ LMS に加え Learning Analytics が新たな価値に。ノウハウの形式化　＝　教育ビッグデータから有意アルゴリズムを。教育ビッグデータの収集と分析結果が、教育資産になりうる。コンセプト・実証・検証・研究のフェーズではないAnalytics+ は、「いますぐ」「どなたでも」触れるLearning Analytics 、ぜひお試しください。

最後に・・・

58プレゼント

ご聴講ありがとうございました。

【 blog 】 http://www.digital-knowledge.co.jp/blog/

@dk_plat 　 (http://twitter.com/dk_plat)

http://www.facebook.com/jiyuuji.yoshida

http://www.facebook.com/Digital.Knowledge.CO.LTDよろしければ「いいね」おねがいします。

59撮影・録音・シェアALL OK!

ブースにてお待ちしてます！