WorryFree Computers »
Address
:
[go:
up one dir
,
main page
]
Include Form
Remove Scripts
Accept Cookies
Show Images
Show Referer
Rotate13
Base64
Strip Meta
Strip Title
Session Cookies
Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
制限ボルツマンマシンの話 / Introduction of RBM
Search
kaityo256
PRO
May 02, 2024
Education
3
420
制限ボルツマンマシンの話 / Introduction of RBM
制限ボルツマンマシン(Restricted Boltzmann Machine, RBM)の簡単な紹介。
kaityo256
PRO
May 02, 2024
Tweet
Share
More Decks by kaityo256
See All by kaityo256
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
13
4.3k
論文の読み方 / How to survey
kaityo256
PRO
186
130k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
PRO
12
13k
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
PRO
8
7.7k
時間の矢について / Time's arrow
kaityo256
PRO
12
17k
t-SNEをざっくりと理解 / Overview of t-SNE
kaityo256
PRO
2
620
未定義動作でFizz Buzz / Undefined Fizz Buzz
kaityo256
PRO
1
770
卒論の書き方 / Happy Writing
kaityo256
PRO
30
19k
再帰呼び出し / Python Recursion
kaityo256
PRO
0
1.5k
Other Decks in Education
See All in Education
LTをすべき100の理由
eltociear
1
310
week5@tcue2024
nonxxxizm
0
530
Design Guidelines and Principles - Lecture 7 - Information Visualisation (4019538FNR)
signer
PRO
0
1.7k
Canva
matleenalaakso
0
180
Monaca Educationを活用した課題解決型の探究学習の実践
asial_edu
0
220
week2@tcue2024
nonxxxizm
0
830
6 занятие. Четыре тактики метода "8 кубиков"бизнес-модели #ideaNN 1.03.2024.
karlov
0
160
キャリアと組織の成長塾#1 アスリートからエンジニアの道へ
takashi_toyosaki
2
820
Interactive Tabletops and Surfaces - Lecture 5 - Next Generation User Interfaces (4018166FNR)
signer
PRO
1
1.2k
week6@tcue2024
nonxxxizm
0
370
具体と抽象の行き来を意識する
blendthink
0
190
Visualisation Techniques - Lecture 8 - Information Visualisation (4019538FNR)
signer
PRO
0
1.7k
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
1
120
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
8
3.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
660
120k
Git: the NoSQL Database
bkeepers
PRO
423
63k
Clear Off the Table
cherdarchuk
86
310k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
2k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
41
4.5k
How GitHub (no longer) Works
holman
305
140k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
67
14k
A designer walks into a library…
pauljervisheath
201
23k
Embracing the Ebb and Flow
colly
80
4.2k
Transcript
1 19 制限ボルツマンマシンの話 慶應義塾大学理工学部物理情報工学科 渡辺宙志 2024年5月2日 研究室ミーティング
2 19 制限ボルツマンマシンとは 制限ボルツマンマシン(Restricted Boltzmann Machine, RBM) とはボルツマンマシンの一種 ボルツマンマシンとはイジング 模型(Ising
Model)の一種 (※ベルヌーイ-ベルヌーイ型の場合) RBMを理解するには、イジング模型を理解しなければならない
3 19 イジング模型 • 格子の各点にスピン(小さな磁石)がある • スピンは「上」と「下」の状態がある • 隣り合うスピンをつなぐ線をボンドと呼ぶ ボンドの両側の
スピンの向き 同じ 逆 エネルギー −𝐽 𝐽 𝐽 > 0ならスピンは揃いたがる(強磁性的) 𝐽 < 0ならスピンは逆向きを好む(反強磁性)
4 19 イジング模型 格子の上の全てのボンドについてエネルギー の和を取り、この系の全エネルギーとする このような模型をイジング模型(Ising Model)と呼び、 磁性体の簡単なモデルになっている 以下、強磁性 (𝐽
> 0)の場合を考える 𝐸 = −2𝐽 + 2𝐽 = 0
5 19 イジング模型 𝑖番目のスピンの状態を𝜎𝑖 とする 𝜎𝑖 の値は1(上向き)か-1(下向き)のいずれか −𝐽 𝐽 𝜎𝑖
= 1 𝜎𝑗 = 1 𝜎𝑖 = 1 𝜎𝑗 = −1 両方まとめて−𝐽𝜎𝑖 𝜎𝑗 と書ける
6 19 イジング模型 全系のエネルギーは以下のように書ける 𝐻 = −𝐽 𝑖,𝑗 𝜎𝑖
𝜎𝑗 系の全てのボンドについて和をとるという意味 全系のエネルギーを与える量をハミルトニアンとよぶ
7 19 ボルツマン重み 系の状態に通し番号をつけ、𝑖番目の状態のエネルギーを𝐸𝑖 とする 状態𝑖 エネルギー 𝐸𝑖 = 4𝐽
𝑤𝑖 = exp(−𝛽𝐸𝑖 ) ボルツマン定数 𝛽 = 1/𝑘𝐵 𝑇 逆温度 𝑘𝐵 各状態の出現確率がボルツマン重みに比例する
8 19 イジング模型からボルツマンマシンへ イジング模型を「スイッチを押したら、状態がボルツマン重みの確率に比 例して出現するマシン」だと思うことにする = = イジング模型のスピンを電球の配列と考え、 スピン下向きを「電気オフ」、スピン上向きを「電気オン」と対応させる
9 19 イジング模型からボルツマンマシンへ 𝐸 = −4J 𝐸 = 0 𝑤
= exp(4𝛽𝐽) 𝑤 = 1 > 左のパターンの方が出現確率が高い
10 19 イジング模型からボルツマンマシンへ スピンによって電光掲示板のようにパターンを作ることができる イジングマシンはスピン間相互作用から出現パターンを予想していた 逆に、所望の出現パターンを持つようなスピン間相互作用を作れないか? ボルツマンマシン
11 19 ボルツマンマシン スピン間に適当にボンドを繋いでおく ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える 各スピンには局所磁場ℎ𝑖 を与える 𝐻 =
− 𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 状態はボルツマン重みに従って出現させる
12 19 ボルツマンマシン 所望のパターン 1/3 2/3 上記の確率を実現するような重みと局所磁場を求めたい 𝐻 = −
𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 一般には極めて難しい
13 19 制限ボルツマンマシン • スピン間に適当にボンドを繋いでおく • ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える • 各スピンには局所磁場ℎ𝑖
を与える • スピンを2つのグループに分け、同じグループ間にはスピ ン間相互作用を持たせない 隠れ層 可視層 この制限により、CD法(Contrastive divergence method)と言う 効率的な学習アルゴリズムが利用可能に(「制限」のメリット) G. E. Hinton, Neural Comput. 14, 1771–1800 (2002)
14 19 制限ボルツマンマシン 隠れ層 隠れ層 可視層 可視層 スイッチを押すと全て のランプが重みに従っ て確率的に光るが
見えるのは可視層 のランプのみ
15 19 制限ボルツマンマシン 所望のパターン 1/3 2/3 隠れ層 可視層 RBM 可視層の出現パターンが所望のパターンに一致するように重みを決める
その際、隠れ層の状態は問わない RBMの学習
16 19 制限ボルツマンマシン RBMの学習 大量のデータを暗記させる 学習済みRBMができること 聞くたびに覚えたものからランダムに一つ返す
17 19 RBMの用途 ボルツマンマシンはパターンを記憶できる →覚えていないパターンが来たらわかる(異常検知) →パターンの一部を乱されてもわかる(ノイズ修正) 制限ボルツマンマシンは情報を圧縮できる → 可視層に入力された情報を、一度隠れ層に圧縮し て保存し、また可視層に再現できる
18 19 RBMの情報圧縮 1. 可視層にパターン入力 2. 可視層のパターンから 隠れ層のパターン再現 3. 隠れ層のパターンから
可視層のパターン再現
19 19 まとめ • ボルツマンマシンはイジング模型の一種 イジング模型:相互作用から出現パターンを推定 ボルツマンマシン:出現パターンから相互作用を決定 • ボルツマンマシンはパターンを記憶する •
ノイズ修正や異常検知に使える • 制限ボルツマンマシンは、情報を圧縮する • 可視層に比べて隠れ層の数が少ない • 隠れ層は、入力の特徴量ベクトルとみなせる • 制限ボルツマンマシンは構造が単純であるため、 「どこにどのような情報が蓄積されたか」の解析 ができる可能性がある