ݺߣ

ݺߣShare a Scribd company logo

Neural network

•Download as PPT, PDF•
•
A
Anjali Urmaliya
1 of 16
Download to read offline
NNEEUURRAALL NNEETTWWOORRKK BByy :: FFaarriiddeeddddiinn BBeehhzzaadd SSuuppeerrvviissoorr :: DDrr.. SSaaffffaarr AAvvvvaall MMaayy 22000066 AAmmiirrkkaabbiirr UUnniivveerrssiittyy ooff TTeecchhnnoollooggyy
2 AAggeennddaa  DDeeffiinniittiioonn  AApppplliiccaattiioonn ffiieellddss  HHiissttoorryy  AApppplliiccaattiioonn  BBiioollooggiiccaall iinnssppiirraattiioonn  MMaatthheemmaattiiccaall mmooddeell  BBaassiicc ddeeffiinniittiioonn  LLeeaarrnniinngg  NNeeuurroonn ttyyppeess aanndd ssoommee iissssuueess  EExxaammppllee ooff aapppplliiccaattiioonn iinn eenneerrggyy && eennggiinneeeerriinngg
DDeeffiinniittiioonn HHaayykkiinn((11999999))  mmaassssiivvee ppaarraalllleell--ddiissttrriibbuutteedd pprroocceessssoorr  nnaattuurraall pprrooppeennssiittyy ffoorr ssttoorriinngg eexxppeerriieennttiiaall kknnoowwlleeddggee  aavvaaiillaabbllee ffoorr uussee..  AAccqquuiirriinngg kknnoowwlleeddggee bbyy tthhee nneettwwoorrkk ffrroomm iittss eennvviirroonnmmeenntt tthhrroouugghh aa lleeaarrnniinngg pprroocceessss  UUssiinngg iinntteerrnneeuurroonn ccoonnnneeccttiioonn ssttrreennggtthhss,, ((aa..kk..aa.. ssyynnaappttiicc wweeiigghhttss)),, ttoo ssttoorree tthhee aaccqquuiirreedd kknnoowwlleeddggee 3
4 AApppplliiccaattiioonn ffiieellddss DDaattaa aannaallyyssiiss PPaatttteerrnn rreeccooggnniittiioonn CCoonnttrrooll aapppplliiccaattiioonn
5 HHiissttoorryy  1943, Warren McCulloch & Walter Pitts, works of neurons  1960, Bernard Widrow & Marcian Hoff, developed ADALINE and MADLINE  FFrroomm llaattee 11996600ss ttoo 11998811,, ddeeccrreeaassiinngg ooff rreesseeaarrcchheess  EEaarrllyy 11998800ss,, rreenneewweedd iinntteerreesstt iinn nneeuurraall nneettwwoorrkk  11998866,, DDaaiivviidd RRuummmmeellhhaarrtt && JJaammeess MMccLLaanndd,, eerrrroorr bbaacckk-- pprrooppaaggaattiioonn aallggoorriitthhmm
6 AApppplliiccaattiioonnss  AAeerroossppaaccee iinndduussttrryy  AAuuttoommoottiivvee iinndduussttrryy  BBaannkkiinngg  MMiilliittaarryy iinndduussttrryy  EEccoonnoommiiccss  MMaannuuffaaccttuurriinngg  MMeeddiiccaall aapppplliiccaattiioonnss  OOiill && ppeettrroolleeuumm iinndduussttrryy  AAnndd mmaannyy mmoorree ……
7 BBiioollooggiiccaall iinnssppiirraattiioonn  BBrraaiinn ssttrruuccttuurree  CCeellll CCeellll bbooddyy AAxxoonn DDeennddeerriitteess Dendrites Soma (cell body) Axon
8 MMaatthheemmaattiiccaall mmooddeell Inputs w1 w Output 2 w3 wn wn-1 . x1 x2 x3 … xn-1 xn ; ( ) y n i i = =å= z w x y H z 1 i Node AArrttiiffiicciiaall nneeuurraall cceellll
9 MMaatthheemmaattiiccaall mmooddeell Mathematic model of artificial neural cell å f (åwp + b) w p a b n input Cell body output
10 BBaassiicc ddeeffiinniittiioonn  AArrcchhiitteeccttuurree:: ffoorrmmaall mmaatthheemmaattiiccaall ddeessccrriippttiioonn ooff aa NNeeuurraall NNeettwwoorrkk.. ((ffeeeedd--ffoorrwwaarrdd && ffeeeedd--bbaacckk))  LLaayyeerr oorr SSllaabb:: AA ssuubbsseett ooff nneeuurroonnss iinn aa nneeuurraall nneettwwoorrkk.. ((IInnppuutt,, HHiiddddeenn,, OOuuttppuutt))  EEppiissooddiiccaall vvss ccoonnttiinnuuoouuss nneettwwoorrkkss  NNeeuurroonn wweeiigghhtt  Activation function
11 Activation function Activation function Linear Non-Linear Step Sigmoid Linear Gaussian
12 LLeeaarrnniinngg learning Supervised learning Unsupervised learning  CCooiinncciiddeennccee lleeaarrnniinngg  PPeerrffoorrmmaannccee lleeaarrnniinngg  CCoommppeettiittiivvee lleeaarrnniinngg  FFiilltteerr lleeaarrnniinngg  SSppaattiiootteemmppoorraall lleeaarrnniinngg
13 NNeeuurroonn ttyyppeess  HHeebbbb  PPeerrcceeppttrroonn  AAddaalliinnee  KKoohhoonneenn
14 SSoommee iissssuueess TTrraaiinniinngg ddaattaasseett TTeesstt ddaattaasseett NNeettwwoorrkk ssiizzee
EExxaammppllee ooff aapppplliiccaattiioonn iinn eenneerrggyy  SSoolleeiimmaannii.. MM,, TThhoommaass.. BB,, PPeerr FFaahhlleenn,, ““EEssttiimmaattiioonn ooppeerraattiivvee tteemmppeerraattuurree ooff bbuuiillddiinngg uussiinngg aarrttiiffiicciiaall nneeuurraall nneettwwoorrkk””,, JJoouurrnnaall ooff EEnneerrggyy aanndd BBuuiillddiinngg 3388 ,,22000066  LLuuiiss MM.. RRoommeeoo,, RRaaqquueell GGaarreettaa,, ““ nneeuurraall nneettwwoorrkk ffoorr eevvaalluuaattiinngg bbooiilleerr bbeehhaavviioouurr””,, AApppplliieedd TThheerrmmaall EEnnggiinneeeerriinngg 2266,, 22000066  SSeeyyeeddaann BB..,, CChhiinngg CC..YY..,, ““SSeennssiittiivviittyy aannaallyyssiiss ooff ffrreeeessttrreeaamm ttuurrbbuulleennccee ppaarraammeetteerr oonn ssttaaggnnaattiioonn rreeggiioonn hheeaatt ttrraannssffeerr uussiinngg aa nneeuurraall nneettwwoorrkk””,, IInntteerrnnaattiioonnaall JJoouurrnnaall ooff HHeeaatt aanndd FFlluuiidd FFllooww,, 22000066  PPeerreezz--rrooaa PP..,, VVeessoovviicc VV..,, ““AAiirr--ppoolllluuttiioonn mmooddeelllliinngg iinn aann uurrbbaann aarreeaa:: CCoorrrreellaattiioonn ttuurrbbuulleenntt ddiiffffuussiioonn ccooeeffffiicciieennttss bbyy mmeeaannss ooff aann aarrttiiffiiccaall nneerraall nneettwwoorrkk aapppprrooaacchh””,, AAttmmoosspphheerriicc EEnnvviirroonnmmeenntt 4400,, 22000066 15
16 RReeffeerreenncceess 11 ممننههااجج ممححممدد ببااققرر،، ””ممببااننيي ششببككهه ههاايي ععصصببيي““،، ااننتتششااررااتت ددااننششگگااهه .. صصننععتتيي ااممييررككببييرر،، پپااييييزز 8811 22.. HHeecchhtt--NNiieellsseenn RR..,, ““NNeeuurrooccoommppuuttiinngg““,, AAddddiissoonn--WWeesslleeyy ppuubblliisshhiinngg ccoommppaannyy,, 11999911 33.. MMAATTLLAABB hheellpp ddooccuummeennttaattiioonn

More Related Content

Neural network

  • 1. NNEEUURRAALL NNEETTWWOORRKK BByy :: FFaarriiddeeddddiinn BBeehhzzaadd SSuuppeerrvviissoorr :: DDrr.. SSaaffffaarr AAvvvvaall MMaayy 22000066 AAmmiirrkkaabbiirr UUnniivveerrssiittyy ooff TTeecchhnnoollooggyy
  • 2. 2 AAggeennddaa  DDeeffiinniittiioonn  AApppplliiccaattiioonn ffiieellddss  HHiissttoorryy  AApppplliiccaattiioonn  BBiioollooggiiccaall iinnssppiirraattiioonn  MMaatthheemmaattiiccaall mmooddeell  BBaassiicc ddeeffiinniittiioonn  LLeeaarrnniinngg  NNeeuurroonn ttyyppeess aanndd ssoommee iissssuueess  EExxaammppllee ooff aapppplliiccaattiioonn iinn eenneerrggyy && eennggiinneeeerriinngg
  • 3. DDeeffiinniittiioonn HHaayykkiinn((11999999))  mmaassssiivvee ppaarraalllleell--ddiissttrriibbuutteedd pprroocceessssoorr  nnaattuurraall pprrooppeennssiittyy ffoorr ssttoorriinngg eexxppeerriieennttiiaall kknnoowwlleeddggee  aavvaaiillaabbllee ffoorr uussee..  AAccqquuiirriinngg kknnoowwlleeddggee bbyy tthhee nneettwwoorrkk ffrroomm iittss eennvviirroonnmmeenntt tthhrroouugghh aa lleeaarrnniinngg pprroocceessss  UUssiinngg iinntteerrnneeuurroonn ccoonnnneeccttiioonn ssttrreennggtthhss,, ((aa..kk..aa.. ssyynnaappttiicc wweeiigghhttss)),, ttoo ssttoorree tthhee aaccqquuiirreedd kknnoowwlleeddggee 3
  • 4. 4 AApppplliiccaattiioonn ffiieellddss DDaattaa aannaallyyssiiss PPaatttteerrnn rreeccooggnniittiioonn CCoonnttrrooll aapppplliiccaattiioonn
  • 5. 5 HHiissttoorryy  1943, Warren McCulloch & Walter Pitts, works of neurons  1960, Bernard Widrow & Marcian Hoff, developed ADALINE and MADLINE  FFrroomm llaattee 11996600ss ttoo 11998811,, ddeeccrreeaassiinngg ooff rreesseeaarrcchheess  EEaarrllyy 11998800ss,, rreenneewweedd iinntteerreesstt iinn nneeuurraall nneettwwoorrkk  11998866,, DDaaiivviidd RRuummmmeellhhaarrtt && JJaammeess MMccLLaanndd,, eerrrroorr bbaacckk-- pprrooppaaggaattiioonn aallggoorriitthhmm
  • 6. 6 AApppplliiccaattiioonnss  AAeerroossppaaccee iinndduussttrryy  AAuuttoommoottiivvee iinndduussttrryy  BBaannkkiinngg  MMiilliittaarryy iinndduussttrryy  EEccoonnoommiiccss  MMaannuuffaaccttuurriinngg  MMeeddiiccaall aapppplliiccaattiioonnss  OOiill && ppeettrroolleeuumm iinndduussttrryy  AAnndd mmaannyy mmoorree ……
  • 7. 7 BBiioollooggiiccaall iinnssppiirraattiioonn  BBrraaiinn ssttrruuccttuurree  CCeellll CCeellll bbooddyy AAxxoonn DDeennddeerriitteess Dendrites Soma (cell body) Axon
  • 8. 8 MMaatthheemmaattiiccaall mmooddeell Inputs w1 w Output 2 w3 wn wn-1 . x1 x2 x3 … xn-1 xn ; ( ) y n i i = =å= z w x y H z 1 i Node AArrttiiffiicciiaall nneeuurraall cceellll
  • 9. 9 MMaatthheemmaattiiccaall mmooddeell Mathematic model of artificial neural cell å f (åwp + b) w p a b n input Cell body output
  • 10. 10 BBaassiicc ddeeffiinniittiioonn  AArrcchhiitteeccttuurree:: ffoorrmmaall mmaatthheemmaattiiccaall ddeessccrriippttiioonn ooff aa NNeeuurraall NNeettwwoorrkk.. ((ffeeeedd--ffoorrwwaarrdd && ffeeeedd--bbaacckk))  LLaayyeerr oorr SSllaabb:: AA ssuubbsseett ooff nneeuurroonnss iinn aa nneeuurraall nneettwwoorrkk.. ((IInnppuutt,, HHiiddddeenn,, OOuuttppuutt))  EEppiissooddiiccaall vvss ccoonnttiinnuuoouuss nneettwwoorrkkss  NNeeuurroonn wweeiigghhtt  Activation function
  • 11. 11 Activation function Activation function Linear Non-Linear Step Sigmoid Linear Gaussian
  • 12. 12 LLeeaarrnniinngg learning Supervised learning Unsupervised learning  CCooiinncciiddeennccee lleeaarrnniinngg  PPeerrffoorrmmaannccee lleeaarrnniinngg  CCoommppeettiittiivvee lleeaarrnniinngg  FFiilltteerr lleeaarrnniinngg  SSppaattiiootteemmppoorraall lleeaarrnniinngg
  • 13. 13 NNeeuurroonn ttyyppeess  HHeebbbb  PPeerrcceeppttrroonn  AAddaalliinnee  KKoohhoonneenn
  • 14. 14 SSoommee iissssuueess TTrraaiinniinngg ddaattaasseett TTeesstt ddaattaasseett NNeettwwoorrkk ssiizzee
  • 15. EExxaammppllee ooff aapppplliiccaattiioonn iinn eenneerrggyy  SSoolleeiimmaannii.. MM,, TThhoommaass.. BB,, PPeerr FFaahhlleenn,, ““EEssttiimmaattiioonn ooppeerraattiivvee tteemmppeerraattuurree ooff bbuuiillddiinngg uussiinngg aarrttiiffiicciiaall nneeuurraall nneettwwoorrkk””,, JJoouurrnnaall ooff EEnneerrggyy aanndd BBuuiillddiinngg 3388 ,,22000066  LLuuiiss MM.. RRoommeeoo,, RRaaqquueell GGaarreettaa,, ““ nneeuurraall nneettwwoorrkk ffoorr eevvaalluuaattiinngg bbooiilleerr bbeehhaavviioouurr””,, AApppplliieedd TThheerrmmaall EEnnggiinneeeerriinngg 2266,, 22000066  SSeeyyeeddaann BB..,, CChhiinngg CC..YY..,, ““SSeennssiittiivviittyy aannaallyyssiiss ooff ffrreeeessttrreeaamm ttuurrbbuulleennccee ppaarraammeetteerr oonn ssttaaggnnaattiioonn rreeggiioonn hheeaatt ttrraannssffeerr uussiinngg aa nneeuurraall nneettwwoorrkk””,, IInntteerrnnaattiioonnaall JJoouurrnnaall ooff HHeeaatt aanndd FFlluuiidd FFllooww,, 22000066  PPeerreezz--rrooaa PP..,, VVeessoovviicc VV..,, ““AAiirr--ppoolllluuttiioonn mmooddeelllliinngg iinn aann uurrbbaann aarreeaa:: CCoorrrreellaattiioonn ttuurrbbuulleenntt ddiiffffuussiioonn ccooeeffffiicciieennttss bbyy mmeeaannss ooff aann aarrttiiffiiccaall nneerraall nneettwwoorrkk aapppprrooaacchh””,, AAttmmoosspphheerriicc EEnnvviirroonnmmeenntt 4400,, 22000066 15
  • 16. 16 RReeffeerreenncceess 11 ممننههااجج ممححممدد ببااققرر،، ””ممببااننيي ششببككهه ههاايي ععصصببيي““،، ااننتتششااررااتت ددااننششگگااهه .. صصننععتتيي ااممييررككببييرر،، پپااييييزز 8811 22.. HHeecchhtt--NNiieellsseenn RR..,, ““NNeeuurrooccoommppuuttiinngg““,, AAddddiissoonn--WWeesslleeyy ppuubblliisshhiinngg ccoommppaannyy,, 11999911 33.. MMAATTLLAABB hheellpp ddooccuummeennttaattiioonn