Dive into Deep Learning — Dive into Deep Learning 1.0.3 documentation

网站标签

该站未曾设置keywords

---

网站描述

该站未曾设置description

---

上一篇：阿里云-全球云计算服务及云解决方案提供商

下一篇：The Data and AI Company — Databricks

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：2 | 站内链接：647
IP网速：	IP地址：- 地址：- | 网速：652毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 HTTP/1.1 200 OK 页面类型 text/html 服务器类型 AmazonS3 程序支持 连接标识 "ed1453444b46ec7508534cefe8eadeb7" 消息发送 2024年10月7日 17时32分43秒 GZIP检测 未启用GZIP压缩 源文件大小 115.70KB 压缩后大小 启用GZIP估计可达到17.75KB 压缩率 估计为84.65%

网站快照

D i v e i n t o D e e p L e a r n i n g — D i v e i n t o D e e p L e a r n i n g 1 . 0 . 3 d o c u m e n t a t i o n D i v e i n t o D e e p L e a r n i n g s e a r c h Q u i c k s e a r c h c o d e S h o w S o u r c e P r e v i e w V e r s i o n P y T o r c h M X N e t N o t e b o o k s C o u r s e s G i t H u b 中 文 版 T a b l e O f C o n t e n t s P r e f a c e I n s t a l l a t i o n N o t a t i o n 1 . I n t r o d u c t i o n 2 . P r e l i m i n a r i e s 2 . 1 . D a t a M a n i p u l a t i o n 2 . 2 . D a t a P r e p r o c e s s i n g 2 . 3 . L i n e a r A l g e b r a 2 . 4 . C a l c u l u s 2 . 5 . A u t o m a t i c D i f f e r e n t i a t i o n 2 . 6 . P r o b a b i l i t y a n d S t a t i s t i c s 2 . 7 . D o c u m e n t a t i o n 3 . L i n e a r N e u r a l N e t w o r k s f o r R e g r e s s i o n 3 . 1 . L i n e a r R e g r e s s i o n 3 . 2 . O b j e c t O r i e n t e d D e s i g n f o r I m p l e m e n t a t i o n 3 . 3 . S y n t h e t i c R e g r e s s i o n D a t a 3 . 4 . L i n e a r R e g r e s s i o n I m p l e m e n t a t i o n f r o m S c r a t c h 3 . 5 . C o n c i s e I m p l e m e n t a t i o n o f L i n e a r R e g r e s s i o n 3 . 6 . G e n e r a l i z a t i o n 3 . 7 . W e i g h t D e c a y 4 . L i n e a r N e u r a l N e t w o r k s f o r C l a s s i f i c a t i o n 4 . 1 . S o f t m a x R e g r e s s i o n 4 . 2 . T h e I m a g e C l a s s i f i c a t i o n D a t a s e t 4 . 3 . T h e B a s e C l a s s i f i c a t i o n M o d e l 4 . 4 . S o f t m a x R e g r e s s i o n I m p l e m e n t a t i o n f r o m S c r a t c h 4 . 5 . C o n c i s e I m p l e m e n t a t i o n o f S o f t m a x R e g r e s s i o n 4 . 6 . G e n e r a l i z a t i o n i n C l a s s i f i c a t i o n 4 . 7 . E n v i r o n m e n t a n d D i s t r i b u t i o n S h i f t 5 . M u l t i l a y e r P e r c e p t r o n s 5 . 1 . M u l t i l a y e r P e r c e p t r o n s 5 . 2 . I m p l e m e n t a t i o n o f M u l t i l a y e r P e r c e p t r o n s 5 . 3 . F o r w a r d P r o p a g a t i o n , B a c k w a r d P r o p a g a t i o n , a n d C o m p u t a t i o n a l G r a p h s 5 . 4 . N u m e r i c a l S t a b i l i t y a n d I n i t i a l i z a t i o n 5 . 5 . G e n e r a l i z a t i o n i n D e e p L e a r n i n g 5 . 6 . D r o p o u t 5 . 7 . P r e d i c t i n g H o u s e P r i c e s o n K a g g l e 6 . B u i l d e r s ’ G u i d e 6 . 1 . L a y e r s a n d M o d u l e s 6 . 2 . P a r a m e t e r M a n a g e m e n t 6 . 3 . P a r a m e t e r I n i t i a l i z a t i o n 6 . 4 . L a z y I n i t i a l i z a t i o n 6 . 5 . C u s t o m L a y e r s 6 . 6 . F i l e I / O 6 . 7 . G P U s 7 . C o n v o l u t i o n a l N e u r a l N e t w o r k s 7 . 1 . F r o m F u l l y C o n n e c t e d L a y e r s t o C o n v o l u t i o n s 7 . 2 . C o n v o l u t i o n s f o r I m a g e s 7 . 3 . P a d d i n g a n d S t r i d e 7 . 4 . M u l t i p l e I n p u t a n d M u l t i p l e O u t p u t C h a n n e l s 7 . 5 . P o o l i n g 7 . 6 . C o n v o l u t i o n a l N e u r a l N e t w o r k s ( L e N e t ) 8 . M o d e r n C o n v o l u t i o n a l N e u r a l N e t w o r k s 8 . 1 . D e e p C o n v o l u t i o n a l N e u r a l N e t w o r k s ( A l e x N e t ) 8 . 2 . N e t w o r k s U s i n g B l o c k s ( V G G ) 8 . 3 . N e t w o r k i n N e t w o r k ( N i N ) 8 . 4 . M u l t i B r a n c h N e t w o r k s ( G o o g L e N e t ) 8 . 5 . B a t c h N o r m a l i z a t i o n 8 . 6 . R e s i d u a l N e t w o r k s ( R e s N e t ) a n d R e s N e X t 8 . 7 . D e n s e l y C o n n e c t e d N e t w o r k s ( D e n s e N e t ) 8 . 8 . D e s i g n i n g C o n v o l u t i o n N e t w o r k A r c h i t e c t u r e s 9 . R e c u r r e n t N e u r a l N e t w o r k s 9 . 1 . W o r k i n g w i t h S e q u e n c e s 9 . 2 . C o n v e r t i n g R a w T e x t i n t o S e q u e n c e D a t a 9 . 3 . L a n g u a g e M o d e l s 9 . 4 . R e c u r r e n t N e u r a l N e t w o r k s 9 . 5 . R e c u r r e n t N e u r a l N e t w o r k I m p l e m e n t a t i o n f r o m S c r a t c h 9 . 6 . C o n c i s e I m p l e m e n t a t i o n o f R e c u r r e n t N e u r a l N e t w o r k s 9 . 7 . B a c k p r o p a g a t i o n T h r o u g h T i m e 1 0 . M o d e r n R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 1 . L o n g S h o r t T e r m M e m o r y ( L S T M ) 1 0 . 2 . G a t e d R e c u r r e n t U n i t s ( G R U ) 1 0 . 3 . D e e p R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 4 . B i d i r e c t i o n a l R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 5 . M a c h i n e T r a n s l a t i o n a n d t h e D a t a s e t 1 0 . 6 . T h e E n c o d e r – D e c o d e r A r c h i t e c t u r e 1 0 . 7 . S e q u e n c e t o S e q u e n c e L e a r n i n g f o r M a c h i n e T r a n s l a t i o n 1 0 . 8 . B e a m S e a r c h 1 1 . A t t e n t i o n M e c h a n i s m s a n d T r a n s f o r m e r s 1 1 . 1 . Q u e r i e s , K e y s , a n d V a l u e s 1 1 . 2 . A t t e n t i o n P o o l i n g b y S i m i l a r i t y 1 1 . 3 . A t t e n t i o n S c o r i n g F u n c t i o n s 1 1 . 4 . T h e B a h d a n a u A t t e n t i o n M e c h a n i s m 1 1 . 5 . M u l t i H e a d A t t e n t i o n 1 1 . 6 . S e l f A t t e n t i o n a n d P o s i t i o n a l E n c o d i n g 1 1 . 7 . T h e T r a n s f o r m e r A r c h i t e c t u r e 1 1 . 8 . T r a n s f o r m e r s f o r V i s i o n 1 1 . 9 . L a r g e S c a l e P r e t r a i n i n g w i t h T r a n s f o r m e r s 1 2 . O p t i m i z a t i o n A l g o r i t h m s 1 2 . 1 . O p t i m i z a t i o n a n d D e e p L e a r n i n g 1 2 . 2 . C o n v e x i t y 1 2 . 3 . G r a d i e n t D e s c e n t 1 2 . 4 . S t o c h a s t i c G r a d i e n t D e s c e n t 1 2 . 5 . M i n i b a t c h S t o c h a s t i c G r a d i e n t D e s c e n t 1 2 . 6 . M o m e n t u m 1 2 . 7 . A d a g r a d 1 2 . 8 . R M S P r o p 1 2 . 9 . A d a d e l t a 1 2 . 1 0 . A d a m 1 2 . 1 1 . L e a r n i n g R a t e S c h e d u l i n g 1 3 . C o m p u t a t i o n a l P e r f o r m a n c e 1 3 . 1 . C o m p i l e r s a n d I n t e r p r e t e r s 1 3 . 2 . A s y n c h r o n o u s C o m p u t a t i o n 1 3 . 3 . A u t o m a t i c P a r a l l e l i s m 1 3 . 4 . H a r d w a r e 1 3 . 5 . T r a i n i n g o n M u l t i p l e G P U s 1 3 . 6 . C o n c i s e I m p l e m e n t a t i o n f o r M u l t i p l e G P U s 1 3 . 7 . P a r a m e t e r S e r v e r s 1 4 . C o m p u t e r V i s i o n 1 4 . 1 . I m a g e A u g m e n t a t i o n 1 4 . 2 . F i n e T u n i n g 1 4 . 3 . O b j e c t D e t e c t i o n a n d B o u n d i n g B o x e s 1 4 . 4 . A n c h o r B o x e s 1 4 . 5 . M u l t i s c a l e O b j e c t D e t e c t i o n 1 4 . 6 . T h e O b j e c t D e t e c t i o n D a t a s e t 1 4 . 7 . S i n g l e S h o t M u l t i b o x D e t e c t i o n 1 4 . 8 . R e g i o n b a s e d C N N s ( R C N N s ) 1 4 . 9 . S e m a n t i c S e g m e n t a t i o n a n d t h e D a t a s e t 1 4 . 1 0 . T r a n s p o s e d C o n v o l u t i o n 1 4 . 1 1 . F u l l y C o n v o l u t i o n a l N e t w o r k s 1 4 . 1 2 . N e u r a l S t y l e T r a n s f e r 1 4 . 1 3 . I m a g e C l a s s i f i c a t i o n ( C I F A R 1 0 ) o n K a g g l e 1 4 . 1 4 . D o g B r e e d I d e n t i f i c a t i o n ( I m a g e N e t D o g s ) o n K a g g l e 1 5 . N a t u r a l L a n g u a g e P r o c e s s i n g : P r e t r a i n i n g 1 5 . 1 . W o r d E m b e d d i n g ( w o r d 2 v e c ) 1 5 . 2 . A p p r o x i m a t e T r a i n i n g 1 5 . 3 . T h e D a t a s e t f o r P r e t r a i n i n g W o r d E m b e d d i n g s 1 5 . 4 . P r e t r a i n i n g w o r d 2 v e c 1 5 . 5 . W o r d E m b e d d i n g w i t h G l o b a l V e c t o r s ( G l o V e ) 1 5 . 6 . S u b w o r d E m b e d d i n g 1 5 . 7 . W o r d S i m i l a r i t y a n d A n a l o g y 1 5 . 8 . B i d i r e c t i o n a l E n c o d e r R e p r e s e n t a t i o n s f r o m T r a n s f o r m e r s ( B E R T ) 1 5 . 9 . T h e D a t a s e t f o r P r e t r a i n i n g B E R T 1 5 . 1 0 . P r e t r a i n i n g B E R T 1 6 . N a t u r a l L a n g u a g e P r o c e s s i n g : A p p l i c a t i o n s 1 6 . 1 . S e n t i m e n t A n a l y s i s a n d t h e D a t a s e t 1 6 . 2 . S e n t i m e n t A n a l y s i s : U s i n g R e c u r r e n t N e u r a l N e t w o r k s 1 6 . 3 . S e n t i m e n t A n a l y s i s : U s i n g C o n v o l u t i o n a l N e u r a l N e t w o r k s 1 6 . 4 . N a t u r a l L a n g u a g e I n f e r e n c e a n d t h e D a t a s e t 1 6 . 5 . N a t u r a l L a n g u a g e I n f e r e n c e : U s i n g A t t e n t i o n 1 6 . 6 . F i n e T u n i n g B E R T f o r S e q u e n c e L e v e l a n d T o k e n L e v e l A p p l i c a t i o n s 1 6 . 7 . N a t u r a l L a n g u a g e I n f e r e n c e : F i n e T u n i n g B E R T 1 7 . R e i n f o r c e m e n t L e a r n i n g 1 7 . 1 . M a r k o v D e c i s i o n P r o c e s s ( M D P ) 1 7 . 2 . V a l u e I t e r a t i o n 1 7 . 3 . Q L e a r n i n g 1 8 . G a u s s i a n P r o c e s s e s 1 8 . 1 . I n t r o d u c t i o n t o G a u s s i a n P r o c e s s e s 1 8 . 2 . G a u s s i a n P r o c e s s P r i o r s 1 8 . 3 . G a u s s i a n P r o c e s s I n f e r e n c e 1 9 . H y p e r p a r a m e t e r O p t i m i z a t i o n 1 9 . 1 . W h a t I s H y p e r p a r a m e t e r O p t i m i z a t i o n ? 1 9 . 2 . H y p e r p a r a m e t e r O p t i m i z a t i o n A P I 1 9 . 3 . A s y n c h r o n o u s R a n d o m S e a r c h 1 9 . 4 . M u l t i F i d e l i t y H y p e r p a r a m e t e r O p t i m i z a t i o n 1 9 . 5 . A s y n c h r o n o u s S u c c e s s i v e H a l v i n g 2 0 . G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 0 . 1 . G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 0 . 2 . D e e p C o n v o l u t i o n a l G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 1 . R e c o m m e n d e r S y s t e m s 2 1 . 1 . O v e r v i e w o f R e c o m m e n d e r S y s t e m s 2 1 . 2 . T h e M o v i e L e n s D a t a s e t 2 1 . 3 . M a t r i x F a c t o r i z a t i o n 2 1 . 4 . A u t o R e c : R a t i n g P r e d i c t i o n w i t h A u t o e n c o d e r s 2 1 . 5 . P e r s o n a l i z e d R a n k i n g f o r R e c o m m e n d e r S y s t e m s 2 1 . 6 . N e u r a l C o l l a b o r a t i v e F i l t e r i n g f o r P e r s o n a l i z e d R a n k i n g 2 1 . 7 . S e q u e n c e A w a r e R e c o m m e n d e r S y s t e m s 2 1 . 8 . F e a t u r e R i c h R e c o m m e n d e r S y s t e m s 2 1 . 9 . F a c t o r i z a t i o n M a c h i n e s 2 1 . 1 0 . D e e p F a c t o r i z a t i o n M a c h i n e s 2 2 . A p p e n d i x : M a t h e m a t i c s f o r D e e p L e a r n i n g 2 2 . 1 . G e o m e t r y a n d L i n e a r A l g e b r a i c O p e r a t i o n s 2 2 . 2 . E i g e n d e c o m p o s i t i o n s 2 2 . 3 . S i n g l e V a r i a b l e C a l c u l u s 2 2 . 4 . M u l t i v a r i a b l e C a l c u l u s 2 2 . 5 . I n t e g r a l C a l c u l u s 2 2 . 6 . R a n d o m V a r i a b l e s 2 2 . 7 . M a x i m u m L i k e l i h o o d 2 2 . 8 . D i s t r i b u t i o n s 2 2 . 9 . N a i v e B a y e s 2 2 . 1 0 . S t a t i s t i c s 2 2 . 1 1 . I n f o r m a t i o n T h e o r y 2 3 . A p p e n d i x : T o o l s f o r D e e p L e a r n i n g 2 3 . 1 . U s i n g J u p y t e r N o t e b o o k s 2 3 . 2 . U s i n g A m a z o n S a g e M a k e r 2 3 . 3 . U s i n g A W S E C 2 I n s t a n c e s 2 3 . 4 . U s i n g G o o g l e C o l a b 2 3 . 5 . S e l e c t i n g S e r v e r s a n d G P U s 2 3 . 6 . C o n t r i b u t i n g t o T h i s B o o k 2 3 . 7 . U t i l i t y F u n c t i o n s a n d C l a s s e s 2 3 . 8 . T h e d 2 l A P I D o c u m e n t R e f e r e n c e s T a b l e O f C o n t e n t s P r e f a c e I n s t a l l a t i o n N o t a t i o n 1 . I n t r o d u c t i o n 2 . P r e l i m i n a r i e s 2 . 1 . D a t a M a n i p u l a t i o n 2 . 2 . D a t a P r e p r o c e s s i n g 2 . 3 . L i n e a r A l g e b r a 2 . 4 . C a l c u l u s 2 . 5 . A u t o m a t i c D i f f e r e n t i a t i o n 2 . 6 . P r o b a b i l i t y a n d S t a t i s t i c s 2 . 7 . D o c u m e n t a t i o n 3 . L i n e a r N e u r a l N e t w o r k s f o r R e g r e s s i o n 3 . 1 . L i n e a r R e g r e s s i o n 3 . 2 . O b j e c t O r i e n t e d D e s i g n f o r I m p l e m e n t a t i o n 3 . 3 . S y n t h e t i c R e g r e s s i o n D a t a 3 . 4 . L i n e a r R e g r e s s i o n I m p l e m e n t a t i o n f r o m S c r a t c h 3 . 5 . C o n c i s e I m p l e m e n t a t i o n o f L i n e a r R e g r e s s i o n 3 . 6 . G e n e r a l i z a t i o n 3 . 7 . W e i g h t D e c a y 4 . L i n e a r N e u r a l N e t w o r k s f o r C l a s s i f i c a t i o n 4 . 1 . S o f t m a x R e g r e s s i o n 4 . 2 . T h e I m a g e C l a s s i f i c a t i o n D a t a s e t 4 . 3 . T h e B a s e C l a s s i f i c a t i o n M o d e l 4 . 4 . S o f t m a x R e g r e s s i o n I m p l e m e n t a t i o n f r o m S c r a t c h 4 . 5 . C o n c i s e I m p l e m e n t a t i o n o f S o f t m a x R e g r e s s i o n 4 . 6 . G e n e r a l i z a t i o n i n C l a s s i f i c a t i o n 4 . 7 . E n v i r o n m e n t a n d D i s t r i b u t i o n S h i f t 5 . M u l t i l a y e r P e r c e p t r o n s 5 . 1 . M u l t i l a y e r P e r c e p t r o n s 5 . 2 . I m p l e m e n t a t i o n o f M u l t i l a y e r P e r c e p t r o n s 5 . 3 . F o r w a r d P r o p a g a t i o n , B a c k w a r d P r o p a g a t i o n , a n d C o m p u t a t i o n a l G r a p h s 5 . 4 . N u m e r i c a l S t a b i l i t y a n d I n i t i a l i z a t i o n 5 . 5 . G e n e r a l i z a t i o n i n D e e p L e a r n i n g 5 . 6 . D r o p o u t 5 . 7 . P r e d i c t i n g H o u s e P r i c e s o n K a g g l e 6 . B u i l d e r s ’ G u i d e 6 . 1 . L a y e r s a n d M o d u l e s 6 . 2 . P a r a m e t e r M a n a g e m e n t 6 . 3 . P a r a m e t e r I n i t i a l i z a t i o n 6 . 4 . L a z y I n i t i a l i z a t i o n 6 . 5 . C u s t o m L a y e r s 6 . 6 . F i l e I / O 6 . 7 . G P U s 7 . C o n v o l u t i o n a l N e u r a l N e t w o r k s 7 . 1 . F r o m F u l l y C o n n e c t e d L a y e r s t o C o n v o l u t i o n s 7 . 2 . C o n v o l u t i o n s f o r I m a g e s 7 . 3 . P a d d i n g a n d S t r i d e 7 . 4 . M u l t i p l e I n p u t a n d M u l t i p l e O u t p u t C h a n n e l s 7 . 5 . P o o l i n g 7 . 6 . C o n v o l u t i o n a l N e u r a l N e t w o r k s ( L e N e t ) 8 . M o d e r n C o n v o l u t i o n a l N e u r a l N e t w o r k s 8 . 1 . D e e p C o n v o l u t i o n a l N e u r a l N e t w o r k s ( A l e x N e t ) 8 . 2 . N e t w o r k s U s i n g B l o c k s ( V G G ) 8 . 3 . N e t w o r k i n N e t w o r k ( N i N ) 8 . 4 . M u l t i B r a n c h N e t w o r k s ( G o o g L e N e t ) 8 . 5 . B a t c h N o r m a l i z a t i o n 8 . 6 . R e s i d u a l N e t w o r k s ( R e s N e t ) a n d R e s N e X t 8 . 7 . D e n s e l y C o n n e c t e d N e t w o r k s ( D e n s e N e t ) 8 . 8 . D e s i g n i n g C o n v o l u t i o n N e t w o r k A r c h i t e c t u r e s 9 . R e c u r r e n t N e u r a l N e t w o r k s 9 . 1 . W o r k i n g w i t h S e q u e n c e s 9 . 2 . C o n v e r t i n g R a w T e x t i n t o S e q u e n c e D a t a 9 . 3 . L a n g u a g e M o d e l s 9 . 4 . R e c u r r e n t N e u r a l N e t w o r k s 9 . 5 . R e c u r r e n t N e u r a l N e t w o r k I m p l e m e n t a t i o n f r o m S c r a t c h 9 . 6 . C o n c i s e I m p l e m e n t a t i o n o f R e c u r r e n t N e u r a l N e t w o r k s 9 . 7 . B a c k p r o p a g a t i o n T h r o u g h T i m e 1 0 . M o d e r n R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 1 . L o n g S h o r t T e r m M e m o r y ( L S T M ) 1 0 . 2 . G a t e d R e c u r r e n t U n i t s ( G R U ) 1 0 . 3 . D e e p R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 4 . B i d i r e c t i o n a l R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 5 . M a c h i n e T r a n s l a t i o n a n d t h e D a t a s e t 1 0 . 6 . T h e E n c o d e r – D e c o d e r A r c h i t e c t u r e 1 0 . 7 . S e q u e n c e t o S e q u e n c e L e a r n i n g f o r M a c h i n e T r a n s l a t i o n 1 0 . 8 . B e a m S e a r c h 1 1 . A t t e n t i o n M e c h a n i s m s a n d T r a n s f o r m e r s 1 1 . 1 . Q u e r i e s , K e y s , a n d V a l u e s 1 1 . 2 . A t t e n t i o n P o o l i n g b y S i m i l a r i t y 1 1 . 3 . A t t e n t i o n S c o r i n g F u n c t i o n s 1 1 . 4 . T h e B a h d a n a u A t t e n t i o n M e c h a n i s m 1 1 . 5 . M u l t i H e a d A t t e n t i o n 1 1 . 6 . S e l f A t t e n t i o n a n d P o s i t i o n a l E n c o d i n g 1 1 . 7 . T h e T r a n s f o r m e r A r c h i t e c t u r e 1 1 . 8 . T r a n s f o r m e r s f o r V i s i o n 1 1 . 9 . L a r g e S c a l e P r e t r a i n i n g w i t h T r a n s f o r m e r s 1 2 . O p t i m i z a t i o n A l g o r i t h m s 1 2 . 1 . O p t i m i z a t i o n a n d D e e p L e a r n i n g 1 2 . 2 . C o n v e x i t y 1 2 . 3 . G r a d i e n t D e s c e n t 1 2 . 4 . S t o c h a s t i c G r a d i e n t D e s c e n t 1 2 . 5 . M i n i b a t c h S t o c h a s t i c G r a d i e n t D e s c e n t 1 2 . 6 . M o m e n t u m 1 2 . 7 . A d a g r a d 1 2 . 8 . R M S P r o p 1 2 . 9 . A d a d e l t a 1 2 . 1 0 . A d a m 1 2 . 1 1 . L e a r n i n g R a t e S c h e d u l i n g 1 3 . C o m p u t a t i o n a l P e r f o r m a n c e 1 3 . 1 . C o m p i l e r s a n d I n t e r p r e t e r s 1 3 . 2 . A s y n c h r o n o u s C o m p u t a t i o n 1 3 . 3 . A u t o m a t i c P a r a l l e l i s m 1 3 . 4 . H a r d w a r e 1 3 . 5 . T r a i n i n g o n M u l t i p l e G P U s 1 3 . 6 . C o n c i s e I m p l e m e n t a t i o n f o r M u l t i p l e G P U s 1 3 . 7 . P a r a m e t e r S e r v e r s 1 4 . C o m p u t e r V i s i o n 1 4 . 1 . I m a g e A u g m e n t a t i o n 1 4 . 2 . F i n e T u n i n g 1 4 . 3 . O b j e c t D e t e c t i o n a n d B o u n d i n g B o x e s 1 4 . 4 . A n c h o r B o x e s 1 4 . 5 . M u l t i s c a l e O b j e c t D e t e c t i o n 1 4 . 6 . T h e O b j e c t D e t e c t i o n D a t a s e t 1 4 . 7 . S i n g l e S h o t M u l t i b o x D e t e c t i o n 1 4 . 8 . R e g i o n b a s e d C N N s ( R C N N s ) 1 4 . 9 . S e m a n t i c S e g m e n t a t i o n a n d t h e D a t a s e t 1 4 . 1 0 . T r a n s p o s e d C o n v o l u t i o n 1 4 . 1 1 . F u l l y C o n v o l u t i o n a l N e t w o r k s 1 4 . 1 2 . N e u r a l S t y l e T r a n s f e r 1 4 . 1 3 . I m a g e C l a s s i f i c a t i o n ( C I F A R 1 0 ) o n K a g g l e 1 4 . 1 4 . D o g B r e e d I d e n t i f i c a t i o n ( I m a g e N e t D o g s ) o n K a g g l e 1 5 . N a t u r a l L a n g u a g e P r o c e s s i n g : P r e t r a i n i n g 1 5 . 1 . W o r d E m b e d d i n g ( w o r d 2 v e c ) 1 5 . 2 . A p p r o x i m a t e T r a i n i n g 1 5 . 3 . T h e D a t a s e t f o r P r e t r a i n i n g W o r d E m b e d d i n g s 1 5 . 4 . P r e t r a i n i n g w o r d 2 v e c 1 5 . 5 . W o r d E m b e d d i n g w i t h G l o b a l V e c t o r s ( G l o V e ) 1 5 . 6 . S u b w o r d E m b e d d i n g 1 5 . 7 . W o r d S i m i l a r i t y a n d A n a l o g y 1 5 . 8 . B i d i r e c t i o n a l E n c o d e r R e p r e s e n t a t i o n s f r o m T r a n s f o r m e r s ( B E R T ) 1 5 . 9 . T h e D a t a s e t f o r P r e t r a i n i n g B E R T 1 5 . 1 0 . P r e t r a i n i n g B E R T 1 6 . N a t u r a l L a n g u a g e P r o c e s s i n g : A p p l i c a t i o n s 1 6 . 1 . S e n t i m e n t A n a l y s i s a n d t h e D a t a s e t 1 6 . 2 . S e n t i m e n t A n a l y s i s : U s i n g R e c u r r e n t N e u r a l N e t w o r k s 1 6 . 3 . S e n t i m e n t A n a l y s i s : U s i n g C o n v o l u t i o n a l N e u r a l N e t w o r k s 1 6 . 4 . N a t u r a l L a n g u a g e I n f e r e n c e a n d t h e D a t a s e t 1 6 . 5 . N a t u r a l L a n g u a g e I n f e r e n c e : U s i n g A t t e n t i o n 1 6 . 6 . F i n e T u n i n g B E R T f o r S e q u e n c e L e v e l a n d T o k e n L e v e l A p p l i c a t i o n s 1 6 . 7 . N a t u r a l L a n g u a g e I n f e r e n c e : F i n e T u n i n g B E R T 1 7 . R e i n f o r c e m e n t L e a r n i n g 1 7 . 1 . M a r k o v D e c i s i o n P r o c e s s ( M D P ) 1 7 . 2 . V a l u e I t e r a t i o n 1 7 . 3 . Q L e a r n i n g 1 8 . G a u s s i a n P r o c e s s e s 1 8 . 1 . I n t r o d u c t i o n t o G a u s s i a n P r o c e s s e s 1 8 . 2 . G a u s s i a n P r o c e s s P r i o r s 1 8 . 3 . G a u s s i a n P r o c e s s I n f e r e n c e 1 9 . H y p e r p a r a m e t e r O p t i m i z a t i o n 1 9 . 1 . W h a t I s H y p e r p a r a m e t e r O p t i m i z a t i o n ? 1 9 . 2 . H y p e r p a r a m e t e r O p t i m i z a t i o n A P I 1 9 . 3 . A s y n c h r o n o u s R a n d o m S e a r c h 1 9 . 4 . M u l t i F i d e l i t y H y p e r p a r a m e t e r O p t i m i z a t i o n 1 9 . 5 . A s y n c h r o n o u s S u c c e s s i v e H a l v i n g 2 0 . G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 0 . 1 . G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 0 . 2 . D e e p C o n v o l u t i o n a l G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 1 . R e c o m m e n d e r S y s t e m s 2 1 . 1 . O v e r v i e w o f R e c o m m e n d e r S y s t e m s 2 1 . 2 . T h e M o v i e L e n s D a t a s e t 2 1 . 3 . M a t r i x F a c t o r i z a t i o n 2 1 . 4 . A u t o R e c : R a t i n g P r e d i c t i o n w i t h A u t o e n c o d e r s 2 1 . 5 . P e r s o n a l i z e d R a n k i n g f o r R e c o m m e n d e r S y s t e m s 2 1 . 6 . N e u r a l C o l l a b o r a t i v e F i l t e r i n g f o r P e r s o n a l i z e d R a n k i n g 2 1 . 7 . S e q u e n c e A w a r e R e c o m m e n d e r S y s t e m s 2 1 . 8 . F e a t u r e R i c h R e c o m m e n d e r S y s t e m s 2 1 . 9 . F a c t o r i z a t i o n M a c h i n e s 2 1 . 1 0 . D e e p F a c t o r i z a t i o n M a c h i n e s 2 2 . A p p e n d i x : M a t h e m a t i c s f o r D e e p L e a r n i n g 2 2 . 1 . G e o m e t r y a n d L i n e a r A l g e b r a i c O p e r a t i o n s 2 2 . 2 . E i g e n d e c o m p o s i t i o n s 2 2 . 3 . S i n g l e V a r i a b l e C a l c u l u s 2 2 . 4 . M u l t i v a r i a b l e C a l c u l u s 2 2 . 5 . I n t e g r a l C a l c u l u s 2 2 . 6 . R a n d o m V a r i a b l e s 2 2 . 7 . M a x i m u m L i k e l i h o o d 2 2 . 8 . D i s t r i b u t i o n s 2 2 . 9 . N a i v e B a y e s 2 2 . 1 0 . S t a t i s t i c s 2 2 . 1 1 . I n f o r m a t i o n T h e o r y 2 3 . A p p e n d i x : T o o l s f o r D e e p L e a r n i n g 2 3 . 1 . U s i n g J u p y t e r N o t e b o o k s 2 3 . 2 . U s i n g A m a z o n S a g e M a k e r 2 3 . 3 . U s i n g A W S E C 2 I n s t a n c e s 2 3 . 4 . U s i n g G o o g l e C o l a b 2 3 . 5 . S e l e c t i n g S e r v e r s a n d G P U s 2 3 . 6 . C o n t r i b u t i n g t o T h i s B o o k 2 3 . 7 . U t i l i t y F u n c t i o n s a n d C l a s s e s 2 3 . 8 . T h e d 2 l A P I D o c u m e n t R e f e r e n c e s D i v e i n t o D e e p L e a r n i n g ¶ D i v e i n t o D e e p L e a r n i n g I n t e r a c t i v e d e e p l e a r n i n g b o o k w i t h c o d e , m a t h , a n d d i s c u s s i o n s I m p l e m e n t e d w i t h P y T o r c h , N u m P y / M X N e t , J A X , a n d T e n s o r F l o w A d o p t e d a t 5 0 0 u n i v e r s i t i e s f r o m 7 0 c o u n t r i e s S t a r F o l l o w @ D 2 L _ a i [ F e b 2 0 2 3 ] T h e b o o k i s f o r t h c o m i n g o n C a m b r i d g e U n i v e r s i t y P r e s s ( o r d e r ) . T h e C h i n e s e v e r s i o n i s t h e b e s t s e l l e r a t t h e l a r g e s t C h i n e s e o n l i n e b o o k s t o r e . F o l l o w D 2 L s o p e n s o u r c e p r o j e c t f o r t h e l a t e s t u p d a t e s . [ D e c 2 0 2 2 ] J A X i m p l e m e n t a t i o n i s a v a i l a b l e ! N e w t o p i c s o f r e i n f o r c e m e n t l e a r n i n g , G a u s s i a n p r o c e s s e s , a n d h y p e r p a r a m e t e r o p t i m i z a t i o n a r e a d d e d ! [ J u l 2 0 2 2 ] C h e c k o u t o u r n e w A P I f o r i m p l e m e n t a t i o n a n d n e w t o p i c s l i k e g e n e r a l i z a t i o n i n c l a s s i f i c a t i o n a n d d e e p l e a r n i n g , R e s N e X t , C N N d e s i g n s p a c e , a n d t r a n s f o r m e r s f o r v i s i o n a n d l a r g e s c a l e p r e t r a i n i n g . [ M a y 2 0 2 2 ] J o i n u s t o i m p r o v e o n g o i n g t r a n s l a t i o n s i n P o r t u g u e s e , T u r k i s h , V i e t n a m e s e , K o r e a n , a n d J a p a n e s e . [ D e c 2 0 2 1 ] W e a d d e d a n e w o p t i o n t o r u n t h i s b o o k f o r f r e e : c h e c k o u t S a g e M a k e r S t u d i o L a b . [ M a y 2 0 2 1 ] S l i d e s , J u p y t e r n o t e b o o k s , a s s i g n m e n t s , a n d v i d e o s o f t h e B e r k e l e y c o u r s e c a n b e f o u n d a t t h e s y l l a b u s p a g e . A u t h o r s A s t o n Z h a n g A m a z o n Z a c k C . L i p t o n C M U a n d A m a z o n M u L i A m a z o n A l e x J . S m o l a A m a z o n V o l . 2 C h a p t e r A u t h o r s P r a t i k C h a u d h a r i U P e n n a n d A m a z o n R e i n f o r c e m e n t L e a r n i n g R a s o o l F a k o o r A m a z o n R e i n f o r c e m e n t L e a r n i n g K a v o s h A s a d i A m a z o n R e i n f o r c e m e n t L e a r n i n g A n d r e w G o r d o n W i l s o n N Y U a n d A m a z o n G a u s s i a n P r o c e s s e s A a r o n K l e i n A m a z o n H y p e r p a r a m e t e r O p t i m i z a t i o n M a t t h i a s S e e g e r A m a z o n H y p e r p a r a m e t e r O p t i m i z a t i o n C e d r i c A r c h a m b e a u A m a z o n H y p e r p a r a m e t e r O p t i m i z a t i o n S h u a i Z h a n g A m a z o n R e c o m m e n d e r S y s t e m s Y i T a y G o o g l e R e c o m m e n d e r S y s t e m s B r e n t W e r n e s s A m a z o n M a t h e m a t i c s f o r D e e p L e a r n i n g R a c h e l H u A m a z o n M a t h e m a t i c s f o r D e e p L e a r n i n g F r a m e w o r k A d a p t a t i o n A u t h o r s A n i r u d h D a g a r A m a z o n P y T o r c h A d a p t a t i o n J A X A d a p t a t i o n Y u a n T a n g A k u i t y T e n s o r F l o w A d a p t a t i o n W e t h a n k a l l t h e c o m m u n i t y c o n t r i b u t o r s f o r m a k i n g t h i s o p e n s o u r c e b o o k b e t t e r f o r e v e r y o n e . C o n t r i b u t e t o t h e b o o k E a c h s e c t i o n i s a n e x e c u t a b l e J u p y t e r n o t e b o o k Y o u c a n m o d i f y t h e c o d e a n d t u n e h y p e r p a r a m e t e r s t o g e t i n s t a n t f e e d b a c k t o a c c u m u l a t e p r a c t i c a l e x p e r i e n c e s i n d e e p l e a r n i n g . R u n l o c a l l y A m a z o n S a g e M a k e r S t u d i o L a b A m a z o n S a g e M a k e r G o o g l e C o l a b M a t h e m a t i c s + F i g u r e s + C o d e W e o f f e r a n i n t e r a c t i v e l e a r n i n g e x p e r i e n c e w i t h m a t h e m a t i c s , f i g u r e s , c o d e , t e x t , a n d d i s c u s s i o n s , w h e r e c o n c e p t s a n d t e c h n i q u e s a r e i l l u s t r a t e d a n d i m p l e m e n t e d w i t h e x p e r i m e n t s o n r e a l d a t a s e t s . A c t i v e c o m m u n i t y s u p p o r t Y o u c a n d i s c u s s a n d l e a r n w i t h t h o u s a n d s o f p e e r s i n t h e c o m m u n i t y t h r o u g h t h e l i n k p r o v i d e d i n e a c h s e c t i o n . D 2 L a s a t e x t b o o k o r a r e f e r e n c e b o o k [ + ] C l i c k h e r e t o s h o w t h e i n c o m p l e t e l i s t . A b a s y n U n i v e r s i t y , I s l a m a b a d C a m p u s A l e x a n d r i a U n i v e r s i t y A m i r k a b i r U n i v e r s i t y o f T e c h n o l o g y A m i t y U n i v e r s i t y A m r i t a V i s h w a V i d y a p e e t h a m U n i v e r s i t y A n n a U n i v e r s i t y A n n a U n i v e r s i t y R e g i o n a l C a m p u s M a d u r a i A t e n e o d e N a g a U n i v e r s i t y A u s t r a l i a n N a t i o n a l U n i v e r s i t y B a r I l a n U n i v e r s i t y B a r n a r d C o l l e g e B e i j i n g F o r e s t y U n i v e r s i t y B i r l a I n s t i t u t e o f T e c h n o l o g y a n d S c i e n c e , H y d e r a b a d B i r l a I n s t i t u t e o f T e c h n o l o g y a n d S c i e n c e , P i l a n i B M L M u n j a l U n i v e r s i t y B o s t o n C o l l e g e B o s t o n U n i v e r s i t y B r a c U n i v e r s i t y B r a n d e i s U n i v e r s i t y B r o w n U n i v e r s i t y B r u n e l U n i v e r s i t y L o n d o n C a i r o U n i v e r s i t y C a l i f o r n i a S t a t e U n i v e r s i t y , N o r t h r i d g e C a n k a y a U n i v e r s i t y C a r n e g i e M e l l o n U n i v e r s i t y C e n t e r f o r R e s e a r c h a n d A d v a n c e d S t u d i e s o f t h e N a t i o n a l P o l y t e c h n i c I n s t i t u t e C h a l m e r s U n i v e r s i t y o f T e c h n o l o g y C h e n n a i M a t h e m a t i c a l I n s t i t u t e C h o u a i b D o u k k a l i U n i v e r s i t y C h u l a l o n g k o r n U n i v e r s i t y C i t y C o l l e g e o f N e w Y o r k C i t y U n i v e r s i t y o f H o n g K o n g C i t y U n i v e r s i t y o f S c i e n c e a n d I n f o r m a t i o n T e c h n o l o g y C o l l e g e o f E n g i n e e r i n g P u n e C o l u m b i a U n i v e r s i t y C o r n e l l U n i v e r s i t y C y p r u s I n s t i t u t e D e a k i n U n i v e r s i t y D i p o n e g o r o U n i v e r s i t y D r e s d e n U n i v e r s i t y o f T e c h n o l o g y D u k e U n i v e r s i t y D u r b a n U n i v e r s i t y o f T e c h n o l o g y E a s t e r n M e d i t e r r a n e a n U n i v e r s i t y E c o l e N a t i o n a l e S u p é r i e u r e d I n f o r m a t i q u e E c o l e N a t i o n a l e S u p é r i e u r e d e C o g n i t i q u e É c o l e N a t i o n a l e S u p é r i e u r e d e T e c h n i q u e s A v a n c é e s E i n d h o v e n U n i v e r s i t y o f T e c h n o l o g y E m o r y U n i v e r s i t y E ö t v ö s L o r á n d U n i v e r s i t y E s c u e l a P o l i t é c n i c a N a c i o n a l E s c u e l a S u p e r i o r P o l i t e c n i c a d e l L i t o r a l F e d e r a l U n i v e r s i t y L o k o j a F e n g C h i a U n i v e r s i t y F i s k U n i v e r s i t y F l o r i d a A t l a n t i c U n i v e r s i t y F P T U n i v e r s i t y F u d a n U n i v e r s i t y G a n p a t U n i v e r s i t y G a y a t r i V i d y a P a r i s h a d C o l l e g e o f E n g i n e e r i n g ( A u t o n o m o u s ) G a z i Ü n i v e r s i t e s i G d a ń s k U n i v e r s i t y o f T e c h n o l o g y G e o r g e M a s o n U n i v e r s i t y G e o r g e t o w n U n i v e r s i t y G e o r g i a I n s t i t u t e o f T e c h n o l o g y G h e o r g h e A s a c h i T e c h n i c a l U n i v e r s i t y o f I a ş i G o l d e n G a t e U n i v e r s i t y G r e a t L a k e s I n s t i t u t e o f M a n a g e m e n t G w a n g j u I n s t i t u t e o f S c i e n c e a n d T e c h n o l o g y H a b i b U n i v e r s i t y H a m a d B i n K h a l i f a U n i v e r s i t y H a n g z h o u D i a n z i U n i v e r s i t y H a n g z h o u D i a n z i U n i v e r s i t y H a n k u k U n i v e r s i t y o f F o r e i g n S t u d i e s H a r a r e I n s t i t u t e o f T e c h n o l o g y H a r b i n I n s t i t u t e o f T e c h n o l o g y H a r v a r d U n i v e r s i t y H a s s o P l a t t n e r I n s t i t u t H e b r e w U n i v e r s i t y o f J e r u s a l e m H e i n r i c h H e i n e U n i v e r s i t ä t D ü s s e l d o r f H e n a n I n s t i t u t e o f T e c h n o l o g y H e r t i e S c h o o l H i g h e r I n s t i t u t e o f A p p l i e d S c i e n c e a n d T e c h n o l o g y o f S o u s s e H i r o s h i m a U n i v e r s i t y H o C h i M i n h C i t y U n i v e r s i t y o f F o r e i g n L a n g u a g e s a n d I n f o r m a t i o n T e c h n o l o g y H o c h s c h u l e B r e m e n H o c h s c h u l e f ü r T e c h n i k u n d W i r t s c h a f t H o c h s c h u l e H a m m L i p p s t a d t H o n g K o n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y H o u s t o n C o m m u n i t y C o l l e g e H u a z h o n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y H u m b o l d t U n i v e r s i t ä t z u B e r l i n İ b n H a l d u n Ü n i v e r s i t e s i I c a h n S c h o o l o f M e d i c i n e a t M o u n t S i n a i I m p e r i a l C o l l e g e L o n d o n I M T M i n e s A l è s I n d i a n I n s t i t u t e o f T e c h n o l o g y B o m b a y I n d i a n I n s t i t u t e o f T e c h n o l o g y H y d e r a b a d I n d i a n I n s t i t u t e o f T e c h n o l o g y J o d h p u r I n d i a n I n s t i t u t e o f T e c h n o l o g y K a n p u r I n d i a n I n s t i t u t e o f T e c h n o l o g y K h a r a g p u r I n d i a n I n s t i t u t e o f T e c h n o l o g y M a n d i I n d i a n I n s t i t u t e o f T e c h n o l o g y R o p a r I n d i a n S c h o o l o f B u s i n e s s I n d i r a G a n d h i N a t i o n a l O p e n U n i v e r s i t y I n d r a p r a s t h a I n s t i t u t e o f I n f o r m a t i o n T e c h n o l o g y , D e l h i I n s t i t u t c a t h o l i q u e d a r t s e t m é t i e r s ( I C A M ) I n s t i t u t d e r e c h e r c h e e n i n f o r m a t i q u e d e T o u l o u s e I n s t i t u t S u p é r i e u r d I n f o r m a t i q u e e t d e s T e c h n i q u e s d e C o m m u n i c a t i o n I n s t i t u t S u p é r i e u r D e L e l e c t r o n i q u e E t D u N u m é r i q u e I n s t i t u t T e k n o l o g i B a n d u n g I n s t i t u t o F e d e r a l d e E d u c a ç ã o , C i ê n c i a e T e c n o l o g i a d e S ã o P a u l o , C a m p u s S a l t o I n s t i t u t o P o l i t é c n i c o N a c i o n a l I n s t i t u t o T e c n o l ó g i c o A u t ó n o m o d e M é x i c o I n s t i t u t o T e c n o l ó g i c o d e B u e n o s A i r e s I s l a m i c U n i v e r s i t y o f M e d i n a İ s t a n b u l T e k n i k Ü n i v e r s i t e s i I T U n i v e r s i t e t e t i K ø b e n h a v n I v a n F r a n k o N a t i o n a l U n i v e r s i t y o f L v i v J e o n b u k N a t i o n a l U n i v e r i t y J o h n s H o p k i n s U n i v e r s i t y J u l i u s M a x i m i l i a n s U n i v e r s i t ä t W ü r z b u r g K e i o U n i v e r s i t y K i n g A b d u l l a h U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y K i n g F a h d U n i v e r s i t y o f P e t r o l e u m a n d M i n e r a l s K i n g F a i s a l U n i v e r s i t y K o n g u E n g i n e e r i n g C o l l e g e K o r e a A e r o s p a c e U n i v e r s i t y K P R I n s t i t u t e o f E n g i n e e r i n g a n d T e c h n o l o g y K y u n g p o o k N a t i o n a l U n i v e r s i t y L a n c a s t e r U n i v e r s i t y L e a d i n g U n v i e r s i t y L e i b n i z U n i v e r s i t ä t H a n n o v e r L e u p h a n a U n i v e r s i t y o f L ü n e b u r g L o n d o n S c h o o l o f E c o n o m i c s & P o l i t i c a l S c i e n c e M . S . R a m a i a h U n i v e r s i t y o f A p p l i e d S c i e n c e s M a k e S c h o o l M a s a r y k U n i v e r s i t y M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y M a y n o o t h U n i v e r s i t y M c G i l l U n i v e r s i t y M e n o u f i a U n i v e r s i t y M i l w a u k e e S c h o o l o f E n g i n e e r i n g M i n i a U n i v e r s i t y M i s s i s s i p p i S t a t e U n i v e r s i t y M i s s o u r i U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y M o h a m m a d A l i J i n n a h U n i v e r s i t y M o h a m m e d V U n i v e r s i t y i n R a b a t M o n a s h U n i v e r s i t y M u l t i m e d i a U n i v e r s i t y M u r d o c h U n i v e r s i t y N a n j i n g U n i v e r s i t y N a n c h a n g H a n g k o n g U n i v e r s i t y N a n j i n g M e d i c a l U n i v e r s i t y N a n j i n g U n i v e r s i t y N a t i o n a l C h u n g H s i n g U n i v e r s i t y N a t i o n a l I n s t i t u t e o f T e c h n i c a l T e a c h e r s T r a i n i n g & R e s e a r c h N a t i o n a l I n s t i t u t e o f T e c h n o l o g y T r i c h y N a t i o n a l I n s t i t u t e o f T e c h n o l o g y , W a r a n g a l N a t i o n a l S u n Y a t s e n U n i v e r s i t y N a t i o n a l T a i c h u n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y N a t i o n a l T a i w a n U n i v e r s i t y N a t i o n a l T e c h n i c a l U n i v e r s i t y o f A t h e n s N a t i o n a l T e c h n i c a l U n i v e r s i t y o f U k r a i n e N a t i o n a l U n i t e d U n i v e r s i t y N a t i o n a l U n i v e r s i t y o f S c i e n c e s a n d T e c h n o l o g y N a t i o n a l U n i v e r s i t y o f S i n g a p o r e N a z a r b a y e v U n i v e r s i t y N e w J e r s e y I n s t i t u t e o f T e c h n o l o g y N e w M e x i c o I n s t i t u t e o f M i n i n g a n d T e c h n o l o g y N e w M e x i c o S t a t e U n i v e r s i t y N e w Y o r k U n i v e r s i t y N e w m a n U n i v e r s i t y N o r t h O s s e t i a n S t a t e U n i v e r s i t y N o r t h C a p U n i v e r s i t y N o r t h e a s t e r n U n i v e r s i t y N o r t h w e s t e r n P o l y t e c h n i c a l U n i v e r s i t y N o r t h w e s t e r n U n i v e r s i t y O h i o U n i v e r s i t y P a k u a n U n i v e r s i t y P e k i n g U n i v e r s i t y P e n n s y l v a n i a S t a t e U n i v e r s i t y P o h a n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y P o l i t e c h n i k a B i a ł o s t o c k a P o l i t e c n i c o d i M i l a n o P o l i t e k n i k N e g e r i S e m a r a n g P o m o n a C o l l e g e P o n t i f i c i a U n i v e r s i d a d C a t ó l i c a d e C h i l e P o n t i f i c i a U n i v e r s i d a d C a t ó l i c a d e l P e r ú P o r t l a n d S t a t e U n i v e r s i t y P u n j a b i U n i v e r s i t y P u r d u e U n i v e r s i t y P u r d u e U n i v e r s i t y N o r t h w e s t Q u a i d e A z a m U n i v e r s i t y Q u e e n M a r y U n i v e r s i t y o f L o n d o n Q u e e n s U n i v e r s i t y R a d b o u d U n i v e r s i t e i t R a d b o u d U n i v e r s i t y R a j i v G a n d h i I n s t i t u t e o f P e t r o l e u m T e c h n o l o g y R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e R o w a n U n i v e r s i t y R u t g e r s , T h e S t a t e U n i v e r s i t y o f N e w J e r s e y R V S I n s t i t u t e o f M a n a g e m e n t S t u d i e s a n d R e s e a r c h R W T H A a c h e n U n i v e r s i t y S a n t L o n g o w a l I n s t i t u t e o f E n g i n e e r i n g T e c h n o l o g y S a n t a C l a r a U n i v e r s i t y S a p i e n z a U n i v e r s i t à d i R o m a S e o u l N a t i o n a l U n i v e r s i t y S e o u l N a t i o n a l U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y S h a n g h a i J i a o T o n g U n i v e r s i t y S h a n g h a i U n i v e r s i t y o f E l e c t r i c P o w e r S h a n g h a i U n i v e r s i t y o f F i n a n c e a n d E c o n o m i c s S h a n t i l a l S h a h E n g i n e e r i n g C o l l e g e S h a r i f U n i v e r s i t y o f T e c h n o l o g y S h e n z h e n U n i v e r s i t y S h i v a j i U n i v e r s i t y , K o l h a p u r S i m o n F r a s e r U n i v e r s i t y S i n g a p o r e U n i v e r s i t y o f T e c h n o l o g y a n d D e s i g n S o g a n g U n i v e r s i t y S o o k m y u n g W o m e n s U n i v e r s i t y S o u t h e r n C o n n e c t i c u t S t a t e U n i v e r s i t y S o u t h e r n N e w H a m p s h i r e U n i v e r s i t y S t . P ö l t e n U n i v e r s i t y o f A p p l i e d S c i e n c e s S t a n f o r d U n i v e r s i t y S t a t e U n i v e r s i t y o f N e w Y o r k a t A l b a n y S t a t e U n i v e r s i t y o f N e w Y o r k a t B i n g h a m t o n S t a t e U n i v e r s i t y o f N e w Y o r k a t F r e d o n i a S t e l l e n b o s c h U n i v e r s i t y S t e v e n s I n s t i t u t e o f T e c h n o l o g y S u n g k y u n k w a n U n i v e r s i t y T e c h n i o n I s r a e l I n s t i t u t e o f T e c h n o l o g y T e c h n i s c h e U n i v e r s i t ä t B e r l i n T e c h n i s c h e U n i v e r s i t ä t M ü n c h e n T e c h n i s c h e U n i v e r s i t e i t D e l f t T e c n o l ó g i c o d e M o n t e r r e y , C a m p u s G u a d a l a j a r a T e k i r d a ğ N a m ı k K e m a l Ü n i v e r s i t e s i T é l é c o m P a r i s T e l k o m U n i v e r s i t y T e x a s A & M U n i v e r s i t y T h a p a r I n s t i t u t e o f E n g i n e e r i n g a n d T e c h n o l o g y T s i n g h u a U n i v e r s i t y T u f t s U n i v e r s i t y U m e å U n i v e r s i t y U n i v e r s i d a d C a r l o s I I I d e M a d r i d U n i v e r s i d a d d e I b a g u é U n i v e r s i d a d d e I n g e n i e r í a y T e c n o l o g í a U T E C U n i v e r s i d a d d e S a l a m a n c a U n i v e r s i d a d d e Z a r a g o z a U n i v e r s i d a d d e l N o r t e , C o l o m b i a U n i v e r s i d a d I c e s i U n i v e r s i d a d M i l i t a r N u e v a G r a n a d a U n i v e r s i d a d N a c i o n a l A g r a r i a L a M o l i n a U n i v e r s i d a d N a c i o n a l A u t ó n o m a d e M é x i c o U n i v e r s i d a d N a c i o n a l d e C o l o m b i a S e d e M a n i z a l e s U n i v e r s i d a d N a c i o n a l d e T i e r r a d e l F u e g o U n i v e r s i d a d P o l i t é c n i c a d e C h i a p a s U n i v e r s i d a d P o l i t é c n i c a d e V a l e n c i a U n i v e r s i d a d P o l i t é c n i c a S a l e s i a n a , C u e n c a U n i v e r s i d a d R a f a e l L a n d i v a r U n i v e r s i d a d R e y J u a n C a r l o s U n i v e r s i d a d S a n F r a n c i s c o d e Q u i t o U n i v e r s i d a d T e c n o l ó g i c a d e P e r e i r a U n i v e r s i d a d T e c n o l ó g i c a N a c i o n a l U n i v e r s i d a d e C a t ó l i c a d e B r a s í l i a U n i v e r s i d a d e E s t a d u a l d e C a m p i n a s U n i v e r s i d a d e F e d e r a l d e G o i á s U n i v e r s i d a d e F e d e r a l d e M i n a s G e r a i s U n i v e r s i d a d e F e d e r a l d e O u r o P r e t o U n i v e r s i d a d e F e d e r a l d e P e r n a m b u c o U n i v e r s i d a d e F e d e r a l d e S ã o C a r l o s U n i v e r s i d a d e F e d e r a l d e V i ç o s a U n i v e r s i d a d e F e d e r a l d o P a m p a U n i v e r s i d a d e F e d e r a l d o R i o G r a n d e U n i v e r s i d a d e N O V A d e L i s b o a U n i v e r s i d a d e P r e s b i t e r i a n a M a c k e n z i e U n i v e r s i d a d e T e c n o l ó g i c a F e d e r a l d o P a r a n á U n i v e r s i t à C a t t o l i c a d e l S a c r o C u o r e U n i v e r s i t à d e g l i S t u d i d i B a r i A l d o M o r o U n i v e r s i t à d e g l i S t u d i d i B r e s c i a U n i v e r s i t à d e g l i S t u d i d i C a t a n i a U n i v e r s i t à d e g l i S t u d i d i P a d o v a U n i v e r s i t a s A n d a l a s , P a d a n g U n i v e r s i t a s I n d o n e s i a U n i v e r s i t a s N e g e r i Y o g y a k a r t a U n i v e r s i t a s U d a y a n a U n i v e r s i t ä t B r e m e n U n i v e r s i t a t d e B a r c e l o n a U n i v e r s i t a t d e V a l è n c i a U n i v e r s i t ä t H e i d e l b e r g U n i v e r s i t ä t L e i p z i g U n i v e r s i t a t P o l i t è c n i c a d e C a t a l u n y a U n i v e r s i t a t e a B a b e ș B o l y a i U n i v e r s i t a t e a d e V e s t d i n T i m i ș o a r a U n i v e r s i t é A b d e r r a h m a n e M i r a d e B é j a ï a U n i v e r s i t é C l e r m o n t A u v e r g n e U n i v e r s i t é C ô t e d A z u r U n i v e r s i t é d e C a e n N o r m a n d i e U n i v e r s i t é d e R o u e n N o r m a n d i e U n i v e r s i t é d e t e c h n o l o g i e d e C o m p i è g n e U n i v e r s i t é P a r i s S a c l a y U n i v e r s i t é T o u l o u s e 1 C a p i t o l e U n i v e r s i t y o f A k r o n U n i v e r s i t y o f A l a b a m a i n H u n t s v i l l e U n i v e r s i t y o f A l l a h a b a d U n i v e r s i t y o f A p p l i e d S c i e n c e s W ü r z b u r g S c h w e i n f u r t U n i v e r s i t y o f A r k a n s a s U n i v e r s i t y o f A u g s b u r g U n i v e r s i t y o f B a g h d a d U n i v e r s i t y o f B a t h U n i v e r s i t y o f B o r d j B o u A r r e r i d j U n i v e r s i t y o f B r i t i s h C o l u m b i a U n i v e r s i t y o f C a l i f o r n i a , B e r k e l e y U n i v e r s i t y o f C a l i f o r n i a , I r v i n e U n i v e r s i t y o f C a l i f o r n i a , L o s A n g e l e s U n i v e r s i t y o f C a l i f o r n i a , S a n D i e g o U n i v e r s i t y o f C a l i f o r n i a , S a n t a B a r b a r a U n i v e r s i t y o f C a l i f o r n i a , S a n t a C r u z U n i v e r s i t y o f C a m b r i d g e U n i v e r s i t y o f C a n b e r r a U n i v e r s i t y o f C a t a n i a U n i v e r s i t y o f C i n c i n n a t i U n i v e r s i t y o f C o l o r a d o B o u l d e r U n i v e r s i t y o f C o n n e c t i c u t U n i v e r s i t y o f C o p e n h a g e n U n i v e r s i t y o f D e r b y U n i v e r s i t y o f F l o r i d a U n i v e r s i t y o f G e n o a U n i v e r s i t y o f G h a n a U n i v e r s i t y o f G r o n i n g e n U n i v e r s i t y o f H a m b u r g U n i v e r s i t y o f H o u s t o n U n i v e r s i t y o f H u l l U n i v e r s i t y o f I c e l a n d U n i v e r s i t y o f I d a h o U n i v e r s i t y o f I l l i n o i s a t U r b a n a C h a m p a i g n U n i v e r s i t y o f I n t e r n a t i o n a l B u s i n e s s a n d E c o n o m i c s U n i v e r s i t y o f K l a g e n f u r t U n i v e r s i t y o f L i è g e U n i v e r s i t y o f L o u i s i a n a a t L a f a y e t t e U n i v e r s i t y o f M a r y l a n d U n i v e r s i t y o f M a r y l a n d B a l t i m o r e C o u n t y U n i v e r s i t y o f M a s s a c h u s e t t s L o w e l l U n i v e r s i t y o f M i c h i g a n U n i v e r s i t y o f M i c h i g a n D e a r b o r n U n i v e r s i t y o f M i l a n o B i c o c c a U n i v e r s i t y o f M i n n e s o t a , T w i n C i t i e s U n i v e r s i t y o f M o r a t u w a U n i v e r s i t y o f N e b r a s k a O m a h a U n i v e r s i t y o f N e w H a m p s h i r e U n i v e r s i t y o f N e w c a s t l e U n i v e r s i t y o f N o r t h C a r o l i n a a t C h a p e l H i l l U n i v e r s i t y o f N o r t h T e x a s U n i v e r s i t y o f N o r t h e r n P h i l i p p i n e s U n i v e r s i t y o f N o t t i n g h a m U n i v e r s i t y o f O s l o U n i v e r s i t y o f P e n n s y l v a n i a U n i v e r s i t y o f P i t t s b u r g h U n i v e r s i t y o f R o s t o c k U n i v e r s i t y o f S ã o P a u l o U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y o f C h i n a U n i v e r s i t y o f S o u t h e r n C a l i f o r n i a U n i v e r s i t y o f S o u t h e r n M a i n e U n i v e r s i t y o f S t A n d r e w s U n i v e r s i t y o f S t . T h o m a s U n i v e r s i t y o f S u f f o l k U n i v e r s i t y o f S y d n e y U n i v e r s i t y o f S z e g e d U n i v e r s i t y o f T e c h n o l o g y S y d n e y U n i v e r s i t y o f T e h r a n U n i v e r s i t y o f T e x a s a t A u s t i n U n i v e r s i t y o f T e x a s a t D a l l a s U n i v e r s i t y o f T e x a s R i o G r a n d e V a l l e y U n i v e r s i t y o f U d i n e U n i v e r s i t y o f W a r s a w U n i v e r s i t y o f W a s h i n g t o n U n i v e r s i t y o f W a t e r l o o U n i v e r s i t y o f W i s c o n s i n M a d i s o n U n i v e r z i t a K o m e n s k é h o v B r a t i s l a v e U n i w e r s y t e t J a g i e l l o ń s k i V a r d h a m a n C o l l e g e o f E n g i n e e r i n g V a r d h m a n M a h a v e e r O p e n U n i v e r s i t y V i e t n a m e s e G e r m a n U n i v e r s i t y V i g n a n a J y o t h i I n s t i t u t e O f M a n a g e m e n t V i l n i u s U n i v e r s i t y W a g e n i n g e n U n i v e r s i t y W e s t V i r g i n i a U n i v e r s i t y W e s t e r n U n i v e r s i t y W i c h i t a S t a t e U n i v e r s i t y X a v i e r U n i v e r s i t y B h u b a n e s w a r X i a n J i a o t o n g L i v e r p o o l U n i v e r s i t y X i a m e n U n i v e r s i t y X i a n n i n g V o c a t i o n a l T e c h n i c a l C o l l e g e Y a l e U n i v e r s i t y Y e s h i v a U n i v e r s i t y Y ı l d ı z T e k n i k Ü n i v e r s i t e s i Y o n s e i U n i v e r s i t y Y u n n a n U n i v e r s i t y Z h e j i a n g U n i v e r s i t y B i b T e X e n t r y f o r c i t i n g t h e b o o k @ b o o k , a u t h o r = , p u b l i s h e r = , n o t e = } , y e a r = } T a b l e o f c o n t e n t s P r e f a c e I n s t a l l a t i o n N o t a t i o n 1 . I n t r o d u c t i o n 1 . 1 . A M o t i v a t i n g E x a m p l e 1 . 2 . K e y C o m p o n e n t s 1 . 3 . K i n d s o f M a c h i n e L e a r n i n g P r o b l e m s 1 . 4 . R o o t s 1 . 5 . T h e R o a d t o D e e p L e a r n i n g 1 . 6 . S u c c e s s S t o r i e s 1 . 7 . T h e E s s e n c e o f D e e p L e a r n i n g 1 . 8 . S u m m a r y 1 . 9 . E x e r c i s e s 2 . P r e l i m i n a r i e s 2 . 1 . D a t a M a n i p u l a t i o n 2 . 2 . D a t a P r e p r o c e s s i n g 2 . 3 . L i n e a r A l g e b r a 2 . 4 . C a l c u l u s 2 . 5 . A u t o m a t i c D i f f e r e n t i a t i o n 2 . 6 . P r o b a b i l i t y a n d S t a t i s t i c s 2 . 7 . D o c u m e n t a t i o n 3 . L i n e a r N e u r a l N e t w o r k s f o r R e g r e s s i o n 3 . 1 . L i n e a r R e g r e s s i o n 3 . 2 . O b j e c t O r i e n t e d D e s i g n f o r I m p l e m e n t a t i o n 3 . 3 . S y n t h e t i c R e g r e s s i o n D a t a 3 . 4 . L i n e a r R e g r e s s i o n I m p l e m e n t a t i o n f r o m S c r a t c h 3 . 5 . C o n c i s e I m p l e m e n t a t i o n o f L i n e a r R e g r e s s i o n 3 . 6 . G e n e r a l i z a t i o n 3 . 7 . W e i g h t D e c a y 4 . L i n e a r N e u r a l N e t w o r k s f o r C l a s s i f i c a t i o n 4 . 1 . S o f t m a x R e g r e s s i o n 4 . 2 . T h e I m a g e C l a s s i f i c a t i o n D a t a s e t 4 . 3 . T h e B a s e C l a s s i f i c a t i o n M o d e l 4 . 4 . S o f t m a x R e g r e s s i o n I m p l e m e n t a t i o n f r o m S c r a t c h 4 . 5 . C o n c i s e I m p l e m e n t a t i o n o f S o f t m a x R e g r e s s i o n 4 . 6 . G e n e r a l i z a t i o n i n C l a s s i f i c a t i o n 4 . 7 . E n v i r o n m e n t a n d D i s t r i b u t i o n S h i f t 5 . M u l t i l a y e r P e r c e p t r o n s 5 . 1 . M u l t i l a y e r P e r c e p t r o n s 5 . 2 . I m p l e m e n t a t i o n o f M u l t i l a y e r P e r c e p t r o n s 5 . 3 . F o r w a r d P r o p a g a t i o n , B a c k w a r d P r o p a g a t i o n , a n d C o m p u t a t i o n a l G r a p h s 5 . 4 . N u m e r i c a l S t a b i l i t y a n d I n i t i a l i z a t i o n 5 . 5 . G e n e r a l i z a t i o n i n D e e p L e a r n i n g 5 . 6 . D r o p o u t 5 . 7 . P r e d i c t i n g H o u s e P r i c e s o n K a g g l e 6 . B u i l d e r s ’ G u i d e 6 . 1 . L a y e r s a n d M o d u l e s 6 . 2 . P a r a m e t e r M a n a g e m e n t 6 . 3 . P a r a m e t e r I n i t i a l i z a t i o n 6 . 4 . L a z y I n i t i a l i z a t i o n 6 . 5 . C u s t o m L a y e r s 6 . 6 . F i l e I / O 6 . 7 . G P U s 7 . C o n v o l u t i o n a l N e u r a l N e t w o r k s 7 . 1 . F r o m F u l l y C o n n e c t e d L a y e r s t o C o n v o l u t i o n s 7 . 2 . C o n v o l u t i o n s f o r I m a g e s 7 . 3 . P a d d i n g a n d S t r i d e 7 . 4 . M u l t i p l e I n p u t a n d M u l t i p l e O u t p u t C h a n n e l s 7 . 5 . P o o l i n g 7 . 6 . C o n v o l u t i o n a l N e u r a l N e t w o r k s ( L e N e t ) 8 . M o d e r n C o n v o l u t i o n a l N e u r a l N e t w o r k s 8 . 1 . D e e p C o n v o l u t i o n a l N e u r a l N e t w o r k s ( A l e x N e t ) 8 . 2 . N e t w o r k s U s i n g B l o c k s ( V G G ) 8 . 3 . N e t w o r k i n N e t w o r k ( N i N ) 8 . 4 . M u l t i B r a n c h N e t w o r k s ( G o o g L e N e t ) 8 . 5 . B a t c h N o r m a l i z a t i o n 8 . 6 . R e s i d u a l N e t w o r k s ( R e s N e t ) a n d R e s N e X t 8 . 7 . D e n s e l y C o n n e c t e d N e t w o r k s ( D e n s e N e t ) 8 . 8 . D e s i g n i n g C o n v o l u t i o n N e t w o r k A r c h i t e c t u r e s 9 . R e c u r r e n t N e u r a l N e t w o r k s 9 . 1 . W o r k i n g w i t h S e q u e n c e s 9 . 2 . C o n v e r t i n g R a w T e x t i n t o S e q u e n c e D a t a 9 . 3 . L a n g u a g e M o d e l s 9 . 4 . R e c u r r e n t N e u r a l N e t w o r k s 9 . 5 . R e c u r r e n t N e u r a l N e t w o r k I m p l e m e n t a t i o n f r o m S c r a t c h 9 . 6 . C o n c i s e I m p l e m e n t a t i o n o f R e c u r r e n t N e u r a l N e t w o r k s 9 . 7 . B a c k p r o p a g a t i o n T h r o u g h T i m e 1 0 . M o d e r n R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 1 . L o n g S h o r t T e r m M e m o r y ( L S T M ) 1 0 . 2 . G a t e d R e c u r r e n t U n i t s ( G R U ) 1 0 . 3 . D e e p R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 4 . B i d i r e c t i o n a l R e c u r r e n t N e u r a l N e t w o r k s 1 0 . 5 . M a c h i n e T r a n s l a t i o n a n d t h e D a t a s e t 1 0 . 6 . T h e E n c o d e r – D e c o d e r A r c h i t e c t u r e 1 0 . 7 . S e q u e n c e t o S e q u e n c e L e a r n i n g f o r M a c h i n e T r a n s l a t i o n 1 0 . 8 . B e a m S e a r c h 1 1 . A t t e n t i o n M e c h a n i s m s a n d T r a n s f o r m e r s 1 1 . 1 . Q u e r i e s , K e y s , a n d V a l u e s 1 1 . 2 . A t t e n t i o n P o o l i n g b y S i m i l a r i t y 1 1 . 3 . A t t e n t i o n S c o r i n g F u n c t i o n s 1 1 . 4 . T h e B a h d a n a u A t t e n t i o n M e c h a n i s m 1 1 . 5 . M u l t i H e a d A t t e n t i o n 1 1 . 6 . S e l f A t t e n t i o n a n d P o s i t i o n a l E n c o d i n g 1 1 . 7 . T h e T r a n s f o r m e r A r c h i t e c t u r e 1 1 . 8 . T r a n s f o r m e r s f o r V i s i o n 1 1 . 9 . L a r g e S c a l e P r e t r a i n i n g w i t h T r a n s f o r m e r s 1 2 . O p t i m i z a t i o n A l g o r i t h m s 1 2 . 1 . O p t i m i z a t i o n a n d D e e p L e a r n i n g 1 2 . 2 . C o n v e x i t y 1 2 . 3 . G r a d i e n t D e s c e n t 1 2 . 4 . S t o c h a s t i c G r a d i e n t D e s c e n t 1 2 . 5 . M i n i b a t c h S t o c h a s t i c G r a d i e n t D e s c e n t 1 2 . 6 . M o m e n t u m 1 2 . 7 . A d a g r a d 1 2 . 8 . R M S P r o p 1 2 . 9 . A d a d e l t a 1 2 . 1 0 . A d a m 1 2 . 1 1 . L e a r n i n g R a t e S c h e d u l i n g 1 3 . C o m p u t a t i o n a l P e r f o r m a n c e 1 3 . 1 . C o m p i l e r s a n d I n t e r p r e t e r s 1 3 . 2 . A s y n c h r o n o u s C o m p u t a t i o n 1 3 . 3 . A u t o m a t i c P a r a l l e l i s m 1 3 . 4 . H a r d w a r e 1 3 . 5 . T r a i n i n g o n M u l t i p l e G P U s 1 3 . 6 . C o n c i s e I m p l e m e n t a t i o n f o r M u l t i p l e G P U s 1 3 . 7 . P a r a m e t e r S e r v e r s 1 4 . C o m p u t e r V i s i o n 1 4 . 1 . I m a g e A u g m e n t a t i o n 1 4 . 2 . F i n e T u n i n g 1 4 . 3 . O b j e c t D e t e c t i o n a n d B o u n d i n g B o x e s 1 4 . 4 . A n c h o r B o x e s 1 4 . 5 . M u l t i s c a l e O b j e c t D e t e c t i o n 1 4 . 6 . T h e O b j e c t D e t e c t i o n D a t a s e t 1 4 . 7 . S i n g l e S h o t M u l t i b o x D e t e c t i o n 1 4 . 8 . R e g i o n b a s e d C N N s ( R C N N s ) 1 4 . 9 . S e m a n t i c S e g m e n t a t i o n a n d t h e D a t a s e t 1 4 . 1 0 . T r a n s p o s e d C o n v o l u t i o n 1 4 . 1 1 . F u l l y C o n v o l u t i o n a l N e t w o r k s 1 4 . 1 2 . N e u r a l S t y l e T r a n s f e r 1 4 . 1 3 . I m a g e C l a s s i f i c a t i o n ( C I F A R 1 0 ) o n K a g g l e 1 4 . 1 4 . D o g B r e e d I d e n t i f i c a t i o n ( I m a g e N e t D o g s ) o n K a g g l e 1 5 . N a t u r a l L a n g u a g e P r o c e s s i n g : P r e t r a i n i n g 1 5 . 1 . W o r d E m b e d d i n g ( w o r d 2 v e c ) 1 5 . 2 . A p p r o x i m a t e T r a i n i n g 1 5 . 3 . T h e D a t a s e t f o r P r e t r a i n i n g W o r d E m b e d d i n g s 1 5 . 4 . P r e t r a i n i n g w o r d 2 v e c 1 5 . 5 . W o r d E m b e d d i n g w i t h G l o b a l V e c t o r s ( G l o V e ) 1 5 . 6 . S u b w o r d E m b e d d i n g 1 5 . 7 . W o r d S i m i l a r i t y a n d A n a l o g y 1 5 . 8 . B i d i r e c t i o n a l E n c o d e r R e p r e s e n t a t i o n s f r o m T r a n s f o r m e r s ( B E R T ) 1 5 . 9 . T h e D a t a s e t f o r P r e t r a i n i n g B E R T 1 5 . 1 0 . P r e t r a i n i n g B E R T 1 6 . N a t u r a l L a n g u a g e P r o c e s s i n g : A p p l i c a t i o n s 1 6 . 1 . S e n t i m e n t A n a l y s i s a n d t h e D a t a s e t 1 6 . 2 . S e n t i m e n t A n a l y s i s : U s i n g R e c u r r e n t N e u r a l N e t w o r k s 1 6 . 3 . S e n t i m e n t A n a l y s i s : U s i n g C o n v o l u t i o n a l N e u r a l N e t w o r k s 1 6 . 4 . N a t u r a l L a n g u a g e I n f e r e n c e a n d t h e D a t a s e t 1 6 . 5 . N a t u r a l L a n g u a g e I n f e r e n c e : U s i n g A t t e n t i o n 1 6 . 6 . F i n e T u n i n g B E R T f o r S e q u e n c e L e v e l a n d T o k e n L e v e l A p p l i c a t i o n s 1 6 . 7 . N a t u r a l L a n g u a g e I n f e r e n c e : F i n e T u n i n g B E R T 1 7 . R e i n f o r c e m e n t L e a r n i n g 1 7 . 1 . M a r k o v D e c i s i o n P r o c e s s ( M D P ) 1 7 . 2 . V a l u e I t e r a t i o n 1 7 . 3 . Q L e a r n i n g 1 8 . G a u s s i a n P r o c e s s e s 1 8 . 1 . I n t r o d u c t i o n t o G a u s s i a n P r o c e s s e s 1 8 . 2 . G a u s s i a n P r o c e s s P r i o r s 1 8 . 3 . G a u s s i a n P r o c e s s I n f e r e n c e 1 9 . H y p e r p a r a m e t e r O p t i m i z a t i o n 1 9 . 1 . W h a t I s H y p e r p a r a m e t e r O p t i m i z a t i o n ? 1 9 . 2 . H y p e r p a r a m e t e r O p t i m i z a t i o n A P I 1 9 . 3 . A s y n c h r o n o u s R a n d o m S e a r c h 1 9 . 4 . M u l t i F i d e l i t y H y p e r p a r a m e t e r O p t i m i z a t i o n 1 9 . 5 . A s y n c h r o n o u s S u c c e s s i v e H a l v i n g 2 0 . G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 0 . 1 . G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 0 . 2 . D e e p C o n v o l u t i o n a l G e n e r a t i v e A d v e r s a r i a l N e t w o r k s 2 1 . R e c o m m e n d e r S y s t e m s 2 1 . 1 . O v e r v i e w o f R e c o m m e n d e r S y s t e m s 2 1 . 2 . T h e M o v i e L e n s D a t a s e t 2 1 . 3 . M a t r i x F a c t o r i z a t i o n 2 1 . 4 . A u t o R e c : R a t i n g P r e d i c t i o n w i t h A u t o e n c o d e r s 2 1 . 5 . P e r s o n a l i z e d R a n k i n g f o r R e c o m m e n d e r S y s t e m s 2 1 . 6 . N e u r a l C o l l a b o r a t i v e F i l t e r i n g f o r P e r s o n a l i z e d R a n k i n g 2 1 . 7 . S e q u e n c e A w a r e R e c o m m e n d e r S y s t e m s 2 1 . 8 . F e a t u r e R i c h R e c o m m e n d e r S y s t e m s 2 1 . 9 . F a c t o r i z a t i o n M a c h i n e s 2 1 . 1 0 . D e e p F a c t o r i z a t i o n M a c h i n e s 2 2 . A p p e n d i x : M a t h e m a t i c s f o r D e e p L e a r n i n g 2 2 . 1 . G e o m e t r y a n d L i n e a r A l g e b r a i c O p e r a t i o n s 2 2 . 2 . E i g e n d e c o m p o s i t i o n s 2 2 . 3 . S i n g l e V a r i a b l e C a l c u l u s 2 2 . 4 . M u l t i v a r i a b l e C a l c u l u s 2 2 . 5 . I n t e g r a l C a l c u l u s 2 2 . 6 . R a n d o m V a r i a b l e s 2 2 . 7 . M a x i m u m L i k e l i h o o d 2 2 . 8 . D i s t r i b u t i o n s 2 2 . 9 . N a i v e B a y e s 2 2 . 1 0 . S t a t i s t i c s 2 2 . 1 1 . I n f o r m a t i o n T h e o r y 2 3 . A p p e n d i x : T o o l s f o r D e e p L e a r n i n g 2 3 . 1 . U s i n g J u p y t e r N o t e b o o k s 2 3 . 2 . U s i n g A m a z o n S a g e M a k e r 2 3 . 3 . U s i n g A W S E C 2 I n s t a n c e s 2 3 . 4 . U s i n g G o o g l e C o l a b 2 3 . 5 . S e l e c t i n g S e r v e r s a n d G P U s 2 3 . 6 . C o n t r i b u t i n g t o T h i s B o o k 2 3 . 7 . U t i l i t y F u n c t i o n s a n d C l a s s e s 2 3 . 8 . T h e d 2 l A P I D o c u m e n t R e f e r e n c e s N e x t P r e f a c e

站点概括

关于d2l.ai说明：
d2l.ai由网友主动性提交被百万链整理收录的，百万链仅提供d2l.ai的基础信息并免费向大众网友展示，d2l.ai的是IP地址：- 地址：-，d2l.ai的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、d2l.ai的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.baiwanlian.cn/links/2571f7a348fb9faae637.html，复制请保留版权链接！

---