20170315 deeplearning from_scratch_ch01
TRANSCRIPT
Tomomi Research Inc.
Ch01. Python (Python入門)
2012/03/13 (Mon)
Seong-Hun Choe
Tomomi Research Inc.
関数
2017/9/11
Tomomi Research Inc.
Class
2017/9/11
class Man:"""サンプルクラス"""
def __init__(self, name):self.name = nameprint("Initilized!")
def hello(self):print("Hello " + self.name + "!")
def goodbye(self):print("Good-bye " + self.name + "!")
m = Man("David")m.hello()m.goodbye()
C:/Users/SChoe672007022/Dropbox/Python/deep-learning-from-scratch-master/ch01/man.pyInitilized!Hello David!Good-bye David!
Process finished with exit code 0
Tomomi Research Inc.
Perceptron -> Neural Network
2017/9/11
中間層:Hidden Layer
Tomomi Research Inc.
Review: Perceptron
2017/9/11
Tomomi Research Inc.
Review: Perceptron : Activate Function
2017/9/11
Tomomi Research Inc.
Activate Function
活性化関数:閾値を境にして出力が切り替わる関数。
2017/9/11
1. Step Function 2. Sigmoid Function
Tomomi Research Inc.
Activate Function : New Star
2017/9/11
3. ReLu FunctionReLU : Rectified Linear Unit ダイオードのIV特性の似ているから
Tomomi Research Inc.
Multiplying the Matrix
2017/9/11
Tomomi Research Inc.
Neural Network
2017/9/11
[X] [W] [Y]
𝑋 =𝑋1𝑋2
𝑊 =1 3 52 4 6
𝑌 =𝑌1𝑌2𝑌3
[X][W] = [Y]
𝑋1𝑋2
1 3 52 4 6
=𝑌1𝑌2𝑌3
Tomomi Research Inc.
3 Layer Neural Network
2017/9/11
Input layer (Oth layer)
1st hidden layer (1st layer)
2nd hidden layer (2nd layer)
Output layer (3rd layer)
Tomomi Research Inc.
3 Layer Neural Network
2017/9/11
Original Adding bias Adding Activate function
Tomomi Research Inc.
Activate function on output layer
2017/9/11
• 機械学習の問題は、大きく分けて2種類
1. 回帰問題 (Regression )2. 分類問題 (Classfication)
活性化関数σ
回帰問題 恒等関数
分類問題
分類 シグモイド関数
多重分類ソフトマックス
関数
Tomomi Research Inc.
Activate function on output layer
2017/9/11
活性化関数σ
回帰問題 恒等関数
分類問題
分類 シグモイド関数
多重分類ソフトマックス
関数
回帰問題: 入力データから連続的数値を予測する問題。
例えば、写真に写っている人物の体重(54.7kg)を予測する。
恒等関数
Tomomi Research Inc.
Activate function on output layer
2017/9/11
活性化関数σ
回帰問題 恒等関数
分類問題
分類 シグモイド関数
多重分類ソフトマックス
関数
ソフトマックス関数
分類問題 : 被測定物がどのクラスに属しているかを判断する問題。
例:写真の動物をみて、その種類を判別する。
猫:95% , 犬:1% , イルカ:0.5% , 虎:3.5%
Tomomi Research Inc.
Number of neurons at output layer
2017/9/11
In case of reading handwriting numbers.the # of neurons will be 10. (0,1,2,… 9)
Tomomi Research Inc.
いよいよMNIST
2017/9/11
Handwritten digits :forward propagation in neural network
https://rstudio.github.io/tensorflow/tutorial_mnist_beginners.html* Mixed National Institute of Standards and Technology
database
Tomomi Research Inc.
Training with Python
2017/9/11
Tomomi Research Inc.
Summary
1. Activate function at NN : Sigmoid, ReLU function
2. 回帰問題、 分類問題
3. 出力層の活性化関数:回帰問題 恒等関数、 分類問題 ソフトマックス関数
4. 分類問題での、出力層のニューロンの数
5. MNIST実装
2017/9/11