Wireless Control System Simulation and Network Adaptive Control

Helsinki University of Technology Control Engineering Espoo 2010

Report 167

WIRELESS CONTROL SYSTEM SIMULATION AND NETWORK ADAPTIVE CONTROL Mikael Björkbom

AALTO UNIVERSITY SCHOOL OF SCIENCE AND TECHNOLOGY DEPARTMENT OF AUTOMATION AND SYSTEMS TECHNOLOGY

Helsinki University of Technology Control Engineering Espoo October 2010

Report 167

WIRELESS CONTROL SYSTEM SIMULATION AND NETWORK ADAPTIVE CONTROL Mikael Björkbom Doctoral dissertation for the degree of Doctor of Science in Technology to be presented with due permission of the Faculty of Electronics, Communications and Automation for public examination and debate in Auditorium AS1 at the Aalto University School of Science and Technology (Espoo, Finland) on the 10th of December 2010 at 12 noon.

Aalto University School of Science and Technology Faculty of Electronics, Communications and Automation Department of Automation and Systems Technology

Distribution: Aalto University Department of Automation and Systems Technology P.O. Box 15500 FI-00076 Aalto, Finland Tel. +358-9-470 25201 Fax. +358-9-470 25208 E-mail: [email protected] http://autsys.tkk.fi/ ISBN 978-952-60-3460-7 (printed) ISBN 978-952-60-3461-4 (pdf) ISSN 0356-0872 URL: http://lib.tkk.fi/Diss/2010/isbn9789526034614

Aalto-Print Helsinki 2010

        ABSTRACT OF DOCTORAL  DISSERTATION  Author  Mikael Björkbom 

AALTO UNIVERSITY  SCHOOL OF SCIENCE AND TECHNOLOGY  P.O. BOX 11000, FI‐00076 AALTO  http://www.aalto.fi 

Name of the dissertation  Wireless control system simulation and network adaptive control  Manuscript submitted  27.5.2010  Manuscript revised  7.10.2010  Date of the defence  10.12.2010    Monograph    Article dissertation  Faculty     Faculty of Electronics, Communications and Automation  Department    Department of Automation and Systems Technology  Field of research  Control Engineering  Opponents    Prof. Matti Vilkko, Prof. Tapani Ristaniemi  Supervisor    Prof. Heikki Koivo  Abstract  With the arrival of the wireless automation standards WirelessHART and ISA100.11a, the use of wireless  technology  in  the  automation  industry  is  emerging  today.  The  main  benefits  of  using  wireless  devices  range from no cable and lower installation costs to more flexible positioning. When using next generation  agile  wireless  communication  methods  in  control  applications,  the  unreliability  of  the  wireless  network  becomes  an  issue,  due  to  the  real‐time  requirements  of  control.  The  research  has  previously  focused  on  either control design and stability for wired control, or network protocols for wireless sensor networks. A  marginal part of the research has studied wireless control.  This  thesis  takes  a  practical  approach  to  the  field  of  wireless  control  design.  A  simulation  system  called  PiccSIM  is  developed,  where  the  communication  and  control  can  be  co‐simulated  and  studied.  There  already exists some simulation tools, such as TrueTime, but none of them delivers as flexible and versatile  capabilities as PiccSIM for simulation of specific protocols and algorithms. PiccSIM is not only a simulation  system:  it  consists  of  a  tool‐chain  for  network  and  control  design,  and  further  implementation  for  real  wireless  nodes.  A  variety  of  wireless  control  scenarios  are  simulated  and  studied.  The  effects  of  the  net‐ work on the control performance are studied both theoretically and through simulations to gain an insight  into the communication and control interaction.  Typical  control  design  approaches  in  the  literature  are  of  optimal  control‐type,  with  guaranteed  stability  given  certain  network  induced  delay  and  packet  losses.  The  control  design  has  been  complicated  and  resulted in complex controllers. This thesis concentrates on PID‐type controllers, because of their simplicity  and wide use in industry. To accommodate PID controllers to control over unreliable wireless networks,  several  adaptive  schemes,  which  adapt  to  the  network  quality  of  service,  are  developed.  This  results  in  flexible, self‐tuning control that can cope with non‐deterministic and time‐varying wireless networks. The  proposed adaptive control algorithms are tested and verified in simulations using PiccSIM. 

Keywords  wireless networked control systems, co‐simulation, network adaptive control  ISBN (printed)   978‐952‐60‐3460‐7  ISSN (printed)   0356‐0872  ISBN (pdf)   978‐952‐60‐3461‐4  ISSN (pdf)     Language   English  Number of pages  173  Publisher   Aalto University, Department of Automation and Systems Technology  Print distribution   Aalto University, Department of Automation and Systems Technology    The dissertation can be read at http://lib.tkk.fi/Diss/2010/isbn9789526034614/ 

 

          SAMMANFATTNING (ABSTRAKT)   AV DOKTORSAVHANDLING  Författare  Mikael Björkbom  

AALTO‐UNIVERSITETET  TEKNISKA HÖGSKOLAN  PB 11000, FI‐00076 AALTO  http://www.aalto.fi 

Titel    Simulering av trådlösa reglersystem och nätverksadaptiv reglering  Inlämning av manuskriptet  27.5.2010  Korrigering av manuskriptet  7.10.2010  Datum för disputation    10.12.2010    Monografi    Sammanläggningsavhandling  Fakultet     Fakulteten för elektronik, kommunikation och automation  Institution     Institutionen för automations‐ och systemteknik  Forskningsområde   Systemteknik  Opponent(er)     Prof. Matti Vilkko, Prof. Tapani Ristaniemi  Övervakare     Prof. Heikki Koivo  Sammanfattning (Abstrakt)  Användande av trådlös teknologi i automationsindustrin slår nu igenom tack vare de nya standarderna  för  trådlös  automation:  WirelessHART  och  ISA100.11a.  De  största  fördelarna  för  att  använda  trådlösa  apparater  är  saknaden  av  kablar  med  påföljande  lägre  installationskostnader  och  ökad  flexibilitet.  An‐ vändandet  av  den  nästa  generationens  flexible  trådlösa  nätverk  i  reglerapplikation  medför  problem  på  grund  av  nätverkens  opålitlighet  och  den  realtidsprestanda  som  reglersystemet  kräver.  Forskningen  på  detta område har tidigare fokuserat på antingen reglerdesign och stabilitet av trådbundna reglersystem,  eller på nätverksprotokol för trådlösa sensornätverk. En marginell del har studerat trådlös reglering.  Denhär  avhandlingen  närmar  sig  problemen  med  ett  praktiskt  synsätt.  Ett  simulations‐system  kallat  PiccSIM  utvecklas,  där  den  trådlösa  kommunikationen  och  regleringen  kan  simuleras  och  studeras  samtidigt. Det existerar redan ett par liknande simulatorer, till exempel TrueTime, men ingen av dem är  så  flexible  och  mångsidig  som  PiccSIM,  där  simulation  av  specifika  protokol  och  algoritmer  är  möjligt.  PiccSIM är inte endast en simulator, utan består av flera verktyg för design av nätverk och reglersystem.  Flera  trådlösa  reglersystem  simuleras  och  studeras.  Prestandan  av  de  trådlösa  närverken  och  deras  verkan på reglersystemet studeras både teoretiskt och via simulationer för att förstå växelverkan mellan  det trådlösa nätverket och reglersystemet.  Ett  typiskt  tillvägagångssätt  i  litteraturen  är  optimal  reglering,  där  regulatorn  planeras  enligt  vissa  för‐ dröjnings‐  och  paketförlustspecifikationer.  Detta  resulterar  i  en  komplex  reglerdesign.  Denhär  avhand‐ lingen  koncentrerar  sig  på  PID‐typens  regulatorer,  för  de  är  enkla  och  används  omfattande  i  industrin.  För att tillämpa PID regulatorer over opålitliga trådlösa nätverk utvecklas flera adaptiva reglermetoder,  som  anpassar  sig  själv  till  nätverkets  prestanda.  Resultatet  är  flexibla,  självinställbara  regulatorer,  som  fungerar trots det icke‐deterministiska trådlösa nätverket. De utvecklade adaptiva reglermetoderna testas  och verifieras i simulationer med PiccSIM. 

Ämnesord (Nyckelord)  trådlösa reglersystem, co‐simulering, närverksadaptiv reglering  ISBN (tryckt)   978‐952‐60‐3460‐7  ISSN (tryckt)   0356‐0872  ISBN (pdf)   978‐952‐60‐3461‐4  ISSN (pdf)     Språk     Engelska  Sidantal   173  Utgivare   Aalto Universitetet, Institutionen för automations‐ och systemteknik  Distribution  Aalto Universitetet, Institutionen för automations‐ och systemteknik    Avhandlingen är tillgänglig på nätet http://lib.tkk.fi/Diss/2010/isbn9789526034614/ 

 

 

Anyone who has a Master’s degree can become a Ph.D.        – but the persistent drive to discover new knowledge is essential.

 

PREFACE  I  started  my  research  carrier  at  the  former  Control  Engineering  Laboratory  at  Helsinki  University  of  Technology  in  2003  as  a  summer  trainee  with  prof.  Heikki  Koivo  as  my  supervisor.  The  following  summer  I  developed  the  MoCoNet  platform,  which  later  was  extended  to  the  PiccSIM  platform.  The  MoCoNet  platform  became  a  part  of  my  Master’s  thesis,  which  I  finished  in  2006.  Since  the  Master’s  thesis,  I  have  worked  in  the  WiSA  I  and  II  projects  (Wireless Sensor and Actuator Networks for Measurement and Control) where  the  PiccSIM  Toolchain  is  a  major  contribution  to  the  projects.  My  Licentiate  thesis on PiccSIM was a convenient stepping stone for this Doctoral thesis, as it  is now a part of the foundation of this thesis.  My supervisor, prof.  Heikki Koivo, has given me academic freedom in my re‐ search work. I have in other words developed my adaptive control algorithms  completely myself.  In the  implementation  of PiccSIM  I have  collaborated  with  Shekar  Nethi  from  the  Department  of  Communications  and  Networking,  who  has  assisted  with  the  network  simulation  part.  Tuomo  Kohtamäki  has,  under  my  guidance,  done  the  hard  work  by  implemented  the  Toolchain  interfaces,  which  I  am  grateful  for.  Sofia  Piltz  did  her  Master’s  thesis  under  my  supervi‐ sion  about  the  step  adaptive  controller.  I  thank  her  for  her  hard  and  careful  work.  For  the  simulation  case  studies  I  have  received  invaluable  input  and  assistance  from  prof.  Riku  Jäntti,  Shekar  Nethi  and  Lasse  Eriksson.  Lasse  Eriksson has also thoroughly read the thesis and given some excellent sugges‐ tions to improve it. I am very grateful for the countless hours of bedtime read‐ ing he has done. William Martin has done the proofreading with tireless detail  and  grammar  improvements.  I  received  the  final  comments  from  the  pre‐ examiners  associate  prof.  Anton  Cervin  and  prof.  Muhammed  Elmusrati,  of  which the comments by Cervin were objective and insightful.  The funding of the WiSA I‐II projects is from The Finnish Funding Agency for  Technology  and  Innovation  (TEKES),  through  the  Nordite  program.  The  re‐ search  has  been  a  collaboration  between  Nordic  universities,  in  our  case  Kungliga Tekniska Högskolan (KTH) from Stockholm, Sweden. I have had the  pleasure  to  visit  Mikael  Johansson  at  KTH  for  one  month  in  May  2009,  and  many shorter visits later on. The research launched during the visit has contin‐ ued  being  fruitful.  I  appreciate  the  graduate  student  position  I  received  at  the  Graduate  School  in  Electronics,  Telecommunications  and  Automation  (GETA)  in  2007.  It  enabled the  freedom to  solely work on  one’s  own  subject,  although 

v 

there has not been any situation where I have needed to exercise that freedom.  The  wireless  measurements  were  done  at  facilities  of  Konecranes,  for  which  I  thank D.Sc. Timo Sorsa for allowing us to visit their industrial halls.  I would additionally like to thank: Finnish Foundation for Technology Promo‐ tion,  Emil  Aaltonen  Foundation,  The  Finnish  Foundation  for  Economic  and  Technology  Sciences  ‐  KAUTE,  Neles  Oy:n  30‐vuotissäätiö  (The  30th  Anniver‐ sary  Foundation  of  Neles),  the  Walter  Ahlström  Foundation,  and  the  Oskar  Öflund Foundation for the support I have received. I have also received several  travel grants to conferences from The Automation Foundation and GETA.  Finally, I thank my wife Susse for listening patiently to me, when I am trying to  explain, in a simple way, things that she does not understand. The marriage left  an  impact  on  the  contributed  papers,  as  my  family  name  changed.  The  name  Pohjola was exchanged to the, index unfriendly, Björkbom.        Espoo, October 2010  Mikael Björkbom 

vi 

 

TABLE OF CONTENTS  Preface  Table of Contents  List of Publications by the Author  List of Abbreviations 

v  vii  xi  xiii 

List of Symbols 

xv 

1.  Introduction 

1 

1.1.  Objectives of the Thesis .................................................................................. 3  1.2.  Contributions and Organization of the Thesis ........................................... 4  1.3.  Background of Wireless Control .................................................................. 6  1.4.  Wireless Control Systems and Simulation .................................................. 8  1.5.  Research on Wireless Control Networks and Applications ................... 10  1.5.1.  Wireless Networks for Control ............................................................. 11  1.5.2.  Current Standards for Wireless Automation ...................................... 12  1.5.3.  Wireless Sensor Networks ..................................................................... 14 

2.  Preliminaries – Networks and Controllers 

17 

2.1.  The Networked Control Problem ............................................................... 17  2.2.  General Assumptions ................................................................................... 18  2.3.  Networked Control Structures ................................................................... 21  2.4.  Network Models ........................................................................................... 24  2.4.1.  Packet Drop ‐ Delay Jitter ...................................................................... 26  2.4.2.  Drop and Delay Models based on Markov‐chains ............................. 28 

2.5.  Jitter Margin ................................................................................................... 31  2.6.  The PID Controller in Networked Systems .............................................. 32  2.6.1.  Tuning of PID controllers in Networked Control Systems ............... 32  2.6.2.  The PID PLUS Controller ....................................................................... 34 

2.7.  Internal Model Control ................................................................................ 35 

vii 

2.7.1.  Internal Model Control Design .............................................................. 36  2.7.2.  IMC‐PID Controller Design .................................................................... 37 

2.8.  Network Quality of Service in Networked Control Systems ................. 38  2.8.1.  Network Performance Considerations ................................................. 39  2.8.2.  Network Congestion and Traffic Rate Control .................................... 40 

2.9.  Kalman Filtering in Networked Control Systems .................................... 42  2.10.  Summary ................................................................................................... 44 

3.  Networks and Controllers in Practice 

45 

3.1.  Measurements of Radio Environments ...................................................... 45  3.2.  Estimated Gilbert‐Elliott Models ................................................................ 50  3.3.  The Networked PID Controller ................................................................... 51  3.4.  Internal Model Control in Networked Control Systems ......................... 53  3.4.1.  Approximations of Closed‐loop Step Response .................................. 53  3.4.2.  IMC Control and Jitter Margin .............................................................. 55  3.4.3.  Sampling Interval and IMC Tuning for Jitter Margin ........................ 57 

3.5.  Effect of Network Quality of Service on Control Performance .............. 59  3.5.1.  Network Cost for Control ....................................................................... 60  3.5.2.  Simulations for Network and Control Performance Relationship ... 62 

3.6.  Summary ........................................................................................................ 64 

4.  PiccSIM – Toolchain for Network and Control Co‐Design and  Simulation 

67 

4.1.  Development of the Co‐simulation Platform ............................................ 68  4.2.  Review of Networked Control System Simulators .................................. 69  4.3.  PiccSIM Architecture .................................................................................... 75  4.3.1.  Simulink and ns‐2 Integration ............................................................... 77  4.3.2.  Data Exchange Between Simulators ...................................................... 78  4.3.3.  Simulation Clock Synchronization ........................................................ 79  4.3.4.  Other Implemented Features ................................................................. 80 

4.4.  PiccSIM Toolchain ......................................................................................... 82  4.4.1.  PiccSIM Block Library ............................................................................. 83  4.4.2.  Toolchain User Interfaces ....................................................................... 84 

4.5.  Remote User Interfaces ................................................................................. 88  4.6.  Automatic Code Generation and Implementation ................................... 90  4.7.  Simulation Case Studies ............................................................................... 91  4.7.1.  Target Tracking Scenario ........................................................................ 92 

viii 

 

4.7.2.  Robot Squad with Formation Changes ................................................ 95  4.7.3.  Building Automation Scenario .............................................................. 98  4.7.4.  Crane Control in an Industrial Hall ................................................... 102  4.7.5.  PiccSIM Toolchain Demonstrations ................................................... 105 

4.8.  Summary ...................................................................................................... 109 

5.  Adaptive Control in Wireless Networked Control Systems 

111 

5.1.  Adaptive Jitter Margin PID Control ......................................................... 112  5.1.1.  Delay Jitter Estimation Simulations ................................................... 113  5.1.2.  Adaptive Control Tuning Scenario Simulations .............................. 116  5.1.3.  Summary ................................................................................................ 118 

5.2.  Adaptive Control Speed Based on Network Quality of Service .......... 119  5.2.1.  The Adaptive Control Speed Scheme ................................................ 120  5.2.2.  Changing the Sampling Interval ......................................................... 122  5.2.3.  Analysis of the Adaptive Control Speed Algorithm ........................ 124  5.2.4.  Simulation Scenario .............................................................................. 126  5.2.5.  Summary ................................................................................................ 129 

5.3.  Step Adaptive Controller for Networked MIMO Control Systems .... 129  5.3.1.  Controller Tuning by Optimization for MIMO Systems ................. 132  5.3.2.  Step Adaptive Controller Tuning and Simulations ......................... 133  5.3.3.  Summary ................................................................................................ 137 

5.4.  Steady‐State Outage Compensation Heuristic ....................................... 138  5.4.1.  The Steady‐State Heuristic ................................................................... 139  5.4.2.  Stability of the Steady‐State Heuristic ................................................ 142  5.4.3.  Simulations and Comparisons ............................................................ 146  5.4.4.  Summary ................................................................................................ 150 

6.  Conclusions 

151 

References 

157 

ix 

 

LIST OF PUBLICATIONS BY THE  AUTHOR  Although this doctoral dissertation is a monograph, the results presented here  are  based  on  the  following  publications  presented  at international  conferences  or journals.  [P1] Pohjola, M., L. Eriksson, V. Hölttä, and T. Oksanen, Platform for  monitoring and controlling educational laboratory processes over  Internet,  in  Proc.  16th  IFAC  World  Congress,  Prague,  Czech  Republic, 4‐8 July, 2005.  [P2] Nethi,  S.,  M.  Pohjola,  L.  Eriksson,  and  R.  Jäntti,  Platform  for  emulating  networked  control  systems  in  laboratory  environments,  in  Proc.  8th  International  Symposium  on  a  World  of Wireless, Mobile and Multimedia Networks, Helsinki, Finland,  18‐21 June, 2007.  [P3] Kohtamäki,  T.,  M.  Pohjola,  J.  Brand,  and  L.M.  Eriksson,  PiccSIM  Toolchain – Design, simulation and automatic implementation of  wireless  networked  control  systems,  in  Proc.  IEEE  International  Conference  on  Networking,  Sensing  and  Control,  Okayama,  Japan, 26‐29 March, 2009.  [P4] Nethi,  S.,  M.  Pohjola,  L.  Eriksson,  and  R.  Jäntti,  Simulation  case  studies  of  wireless  networked  control  systems,  in  Proc.  10th  ACM/IEEE International Symposium on Modelling, Analysis and  Simulation  of  Wireless  and  Mobile  Systems,  Crete,  Greece,  22‐26  October, 2007.  [P5] Björkbom, M., S. Nethi, and R. Jäntti, Wireless control of multihop  mobile  robot  squad,  IEEE  Wireless  Communications,  Special  Issue  on  Wireless  Communications  in  Networked  Robotics,  vol.  16, no. 1, February, 2009.  [P6] Björkbom, M., S. Nethi, L. Eriksson, and R. Jäntti, Wireless control  system design and co‐simulation, submitted. 

xi 

[P7] Pohjola,  M.  and  H.  Koivo,  Measurement  delay  estimation  for  Kalman  filter  in  networked  control  systems,  in  Proc.  17th  IFAC  World Congress, Seoul, Korea, 6‐11 July, 2008.  [P8] Pohjola,  M.,  Adaptive  jitter  margin  PID  controller,  in  Proc.  4th  IEEE  Conference  on  Automation  Science  and  Engineering,  Washington D.C., USA, 23‐26 August, 2008.  [P9] Pohjola, M., Adaptive control speed based on network quality of  service,  in  Proc.  17th  Mediterranean  Conference  on  Control  and  Automation, Thessaloniki, Greece, 24‐26 June, 2009.  [P10] Piltz,  S.,  M.  Björkbom,  L.M.  Eriksson,  and  H.N.  Koivo,  Step  adaptive controller for networked MIMO control systems, in Proc.  IEEE  International  Conference  on  Networking,  Sensing  and  Control, Chicago, USA, 11‐13 April, 2010.  [P11] Björkbom, M. and M. Johansson, Networked PID control: tuning  and  outage  compensation,  in  Proc.  36th  IEEE  Industrial  Electronics Conference, Glendale, AZ, USA, 7‐10 November, 2010.   

xii 

 

LIST OF ABBREVIATIONS  ACS  AIMD  AJM  ANSI  AODV  CAN  COTS  CSMA  DCF  FDMA  FOLIPD  FOTD  G‐E  GUI  HART  HVAC   IAE  IEC  IEEE  IMC  ISA  ISE  ISM  ITAE  ITSE  KF  LAN  LMI  LMNR  MAC  MIMO  MoCoNet  NCC  NCS 

Adaptive Control Speed  Additive Increase, Multiplicative Decrease  Adaptive Jitter Margin  American National Standards Institute  Ad Hoc On‐demand Distance Vector   Controller Area Network  Commercial Off The Shelf  Carrier Sense Multiple Access  Distributed Coordination Function (MAC protocol for  WLAN)  Frequency Division Multiple Access  First Order Lag Plus Integral Plus Delay  First Order Time‐Delay  Gilbert‐Elliott  Graphical User Interface  Highway Addressable Remote Transducer  Heating, Ventilation and Air Conditioning  Integral of Absolute Error  International Electrotechnical Commission  Institute of Electrical and Electronics Engineers  Internal Model Control  International Society of Automation  Integral of Square Error  Industrial, Scientific, and Medical (frequency band)  Integral of Time weighted Absolute Error  Integral of Time weighted Square Error  Kalman Filter  Local Area Network  Linear Matrix Inequality  Localized Multiple Next‐hop Routing   Medium Access Control  Multiple‐Input Multiple‐Output  Monitoring and Controlling Educational Laboratory  Processes over Internet  Network Cost for Control  Networked Control System 

xiii 

NS‐2  OPNET  PiccSIM  PID  RTE  SAC  SISO  SSH  TCL  TCP  TDMA  TLC   TOSSIM  TSMP  UDP  WNCS  WLAN  WSAN  WSN  QoS  QPT  ZOH   

xiv 

Network Simulator version 2  Optimized Network Engineering Tool  Platform for Integrated Communications and Control design,  Simulation, Implementation and Modeling  Proportional‐Integral‐Derivative  Real‐Time Ethernet  Step Adaptive Controller  Single‐Input Single‐Output  Steady‐State Heuristic  Tool Command Language  Transmission Control Protocol  Time Division Multiple Access  Target Language Compiler  TinyOS Simulator  Time Synchronized Mesh Protocol  User Datagram Protocol  Wireless Networked Control System  Wireless Local Area Network  Wireless Sensor and Actuator Network  Wireless Sensor Network  Quality of Service  Quantitative Parameter Tuning  Zero Order Hold 

 

LIST OF SYMBOLS  α  β  γ  δ  δmax  θ  λ    π ,  πG ,  πB  

Weighting factor  Filtering factor  Time‐constant of discrete‐time filter  Delay jitter  Jitter margin (maximum allowed delay jitter)  Markov‐chain jump parameter  IMC tuning parameter, closed‐loop system time‐constant  distribution  Markov‐chain steady‐state probability, Good and Bad state  of Gilbert‐Elliott model  σ ,  σ D ,  σGE   Standard deviation, of data, of Gilbert‐Elliott model  σnorm   Normalized standard deviation  σNCC   Network cost for control fairness measure  σtot   Total standard deviation, on several time‐scales  τ  Process delay (without network induced delay)  ω  Angular velocity  Γc  Controller input matrix  Φc  Controller state‐transition matrix  Χ  Stochastic process  a  Controller gain parameter  b   Set‐point weighting  c  Update step scaling factor of adaptive control speed algo‐ rithm  Cost scaling factor  cJ   cv  Coefficient of variation  d  Delay of packet  d  Delay difference (jitter)  df  Time‐constant of discrete‐time derivative filter  dG ,  dB ,  dGE   Packet drop probabilities of Gilbert‐Elliott model, Good  state, Bad state, average  dmax  Maximum delay before control is switched to stop mode  e,  eΣ ,  eΔ   Control error, integral of error, derivative of error  ehold  Error signal value hold constant during network outage  f  Frequency  f(k)  Filter for PID PLUS  g  Time‐constant of steady‐state heuristic  h, hbase  Sampling interval, base sampling interval 

xv 

i  j  k  ks  m  m(k)  maxcross  n  pGG ,  pBB   pGB ,  p BG   pdrop  pij  r, rd,  rtot, rmeas  Δr  s  t, t(k)  tn  u, uhold, uol 

uD   x,  xKF ,  xs, xc  y, yhold,  yol, ys  yin, yout  yr  y  Δy  z  A, B,  C, D 

Adrop  D  D(z)  Df  Dhist  Dload  G, Gp  G − ,  G +  

xvi 

index  Imaginary unit or index  Discrete time‐index  Time‐index for switching of controller  Time‐scale  Relative update speed of adaptive control speed scheme  Maximum constraint for cross‐interaction  integer, order of IMC filter  State‐holding probabilities for Gilbert‐Elliott model  State‐transition probabilities for Gilbert‐Elliott model  Packet drop probability  Markov‐chain state‐transition probability  Packet drop, desired, total, and measured packet drop  Velocity of adaptive control speed algorithm  Laplace‐transform variable  Continuous time, discrete time‐instant  Time‐instant  Control signal, signal value hold constant during network  outage, and control signal of open‐loop system  Derivative part of control signal  Process, Kalman filter, sensor, controller state vector  Process output, signal value hold constant during network  outage, and output during open‐loop control, sensor output  Input and output signal of network  Control reference signal  Difference in output  Change in process output  Process output measurement vector  State‐space matrixes, state‐transition, input, output, and di‐ rect terms. Xc: controller, Xc,drop: controller during packet  drop, Xp: process, Xs: sensor  State‐space transition matrix for whole system during packet  drop  Vector of delays  Denominator of discrete‐time controller  Time‐constant of derivative filter  Histogram of consecutive drop lengths  Load disturbance  Process transfer function  Invertible, non‐invertible part of transfer function 

 

Gc  Gcl  Gf  GIMC   Gm  Hc  Jδ ,est   Jtot  JIAE ,  JITAE ,  JISE , JITSE   J NCC   K, Km  Kp, Ki, Kd,  KKF   L  LN   N  N(z)  Nd  Nh  Nmax  NM   P  P  Q  R  T, Tm, Tf  Ti, Td  Tout  TGE   Tr  TW   ΔT   L    Pr  U 

Controller transfer function  Closed‐loop transfer function  Low‐pass filter  Internal model control transfer function  Process transfer function model  Controller output matrix  Delay jitter estimation cost function  Total cost function of MIMO process  Integral error cost functions  Network cost for control measure  Process gain, process model gain  PID controller proportional, integral, and derivative gain  Kalman gain  Process time‐delay (including constant minimum network  induced delay)  Time‐delay of network  Number of  Numerator of discrete‐time controller  Derivative filter constant of discrete‐time PID controller  Sampling instants per rise‐time  Jitter margin in terms of sampling intervals  Number of states in Markov‐chain  Kalman filter state covariance matrix  Markov‐chain state‐transition matrix  State covariance matrix  Measurement covariance matrix  Time‐constant of process, process model, low‐pass filter  Integration, derivation time of PID controller  Length of network outage  State‐residence time of Gilbert‐Elliott model  Rise‐time  Time‐window  Difference in time  Laplace operator  Natural number  Probability  Uniform random distribution 

 

xvii 

 

 

1. INTRODUCTION  The  use  of  wireless  networks  in  control  applications,  so‐called  “wireless  auto‐ mation”, is an emerging application area [50], [110], with the possibility to revo‐ lutionize the automation industry [16]. The primary benefit of wireless control  technology is reduced installation cost, as a considerable investment is made in  the  wiring  of  factories,  both  financially  and  in  labor.  The  use  of wireless  tech‐ nology  is  not  only  a  replacement  of  cables;  the  benefits  go  beyond  that.  With  wireless  devices,  increased  flexibility  is  gained  as  sensors  can  be  placed  more  freely, even on rotating machines. Robustness is increased, as the communica‐ tion can be done over several paths in a mesh network and failure of cables is  eliminated  [155].  Finally,  there  are  the  opportunities  for  new  applications  that  are  enabled  by  wireless  control.  Some  existing  or  emerging  applications  are  remote control  of devices, for example  cranes or  dexterous and  mobile  robots,  mobile applications, and wireless monitoring of large plants for fault detection,  maintenance, production quality monitoring, and compliance to environmental  regulations [59].  There  is  a  strong aim [156] to  develop  and  deploy  wireless networked control  systems  (WNCS),  where  a  control  system  communicate  over  a  wireless  net‐ work, in factory and home automation [9], [40], [50], [59], [82], [163]. In a related  field,  sensor  network  applications  have  as  well  received  much  attention  [2],  [11],  [158],  [176].  Today,  wireless  automation  technology  is  mostly  applied  in  monitoring  applications,  because  in  these  applications  the  network  require‐ ments  in  terms  of  real‐time  performance  are  low.  The  industry  is  cautious  to  apply wireless to closed‐loop control, due to the unreliability issues of wireless  networks. In general the current research on this subject is consequently aiming  on deterministic wireless control.  In addition to the technological and research interests, the simulation of WNCSs  is important and necessary for several reasons. The current networked control  system  (NCS)  research  need  to  be  complemented  by  simulation  to  assess  the  validity  and  practical  benefits  of  the  developed  theory  and  algorithms.  The  applicability  of  the  developed  algorithms  must  be  evaluated  in  practical  case  studies. Simulations are a feasible way to test and assess the network and con‐ trol  strategies  and  theories  for  WNCSs  before  deployment.  With  simulations,  problems occurring in the network and the resulting performance of the control 

1 

  algorithms to these issues can be studied. The critical properties and behavior of  the network, and the impact on the control system can be analyzed. Especially  the  interaction  between  the  network  and  the  control  system  must  be  further  understood,  and  the  practical  impact  must  be  studied  by  simulation.  These  issues, in particular the protocol specific ones, are hard to approach analytically.  Simulation studies will, hopefully, unravel these matters and lead to a coherent  theory, best practices knowledge, and design expertise of WNCSs.  This  thesis  focuses  on  simulations  of  WNCSs  and  controller  adaptation  based  on  the  wireless  network  quality  of  service.  The  aim  is  at  closed‐loop  control  over  an  unreliable  network,  where  the  control  system  adapts  to  the  network  uncertainties. The network uncertainties can be due to fading and interference  of  the  wireless  communication,  or  the  non‐determinism  of  the  network  proto‐ cols,  and  varying  demands  of  the  application.  The  unreliability  refers  thus  to  the non‐determinism and non real‐time operation of the network.  When starting to work on the thesis, the questions that immediately arose were:  How  does  the  quality  of  service  (QoS)  of  the  wireless  network  change?  How  does that affect the control system? What should the control system compensate  for? How should it compensate for the changes in the network QoS? The inves‐ tigations of these issues started by the development of the communication and  control co‐simulator PiccSIM.  The currently available simulation tools for WNCSs are few or limited in simu‐ lation  capabilities.  Most  of  the  available  simulators  concentrate  on  either  the  network  or  control  part.  At  the  moment  there  exist  only  a  couple  of  co‐ simulators, where both the network and control system are properly addressed.  The  PiccSIM  simulator,  presented  in  Chapter  4,  is  an  attempt  to  remedy  this  situation,  with  a  complete  set  of  modeling,  design  and  simulation  tools.  The  initial simulation case studies presented in Section 4.7 give some insight on how  the communication and control layers interact.  With PiccSIM  the controller  adaptive part  of  this  thesis can be addressed.  The  main impact of the wireless network on the control system is the limited band‐ width  and  non‐determinism,  causing  communication  delay  jitter  and  packet  losses.  The  adaptive  control  schemes  developed  in  Chapter  5  deals  with  these  issues. The adaptive control algorithms are not adaptive in the traditional sense  that  they  adapt  to  the  changes  in  the  process  [184],  but  rather  to  the  network  conditions.  The  controllers  are  not  necessary  continuously  updated  as  tradi‐ tionally in adaptive control, but only when compensation of the network condi‐ tions requires it. Thus, the control system is be flexible in compensating for the  problems in the network. The adaptive schemes are ultimately verified by simu‐ lation on PiccSIM. 

2 

 

1.1. Objectives of the Thesis  When  the  subject  of  the  thesis  was  first  envisioned,  the  premise  was  that  in  a  WNCS, an unreliable network is used where the QoS will change over time due  to  the  inherent  uncertainties  of  the  wireless  communication,  changes  in  the  environment, and non‐deterministic network protocols. The solution would be  to develop agile control algorithms that are flexible, self‐tuning, and adaptive to  compensate for the deficiencies of the wireless communication.  The  field  of  WNCSs  is  cross‐disciplinary:  both  the  network  and  the  control  system  need  to  be  taken  into  account.  Traditionally,  either  the  network  or  the  control  system  has  been  studied  separately.  As  such  there  has  been  little  re‐ search  focusing  on  both  aspects  at  the  same  time.  The  stability  of  NCSs  has  received  plenty  of  attention  in  the  literature  [23],  [72],  [178],  [74],  [103],  [160].  Little is said about the practical implementation, behavior, and performance of  the control  systems.  Many of the  stability  proofs or  controller  design  methods  are cumbersome, for instance [74], and if all the network related problems are to  be taken into account, the proofs become complicated [103].  This thesis aims at simplicity, giving a practical viewpoint to WNCS operation  through  the  simulation  cases  and  implementation.  Practical  controller  design  methods  that  likely  will  be  applied  and  implemented  on  real  WNCS  applica‐ tions  are  employed.  Easy  implementation  is  facilitated  by  using  proportional‐ integral‐derivative  (PID)  controllers  and  internal  model  control  (IMC)  design.  The  PiccSIM  simulator, described  in  Chapter 4,  is  merely a tool  to  test the  de‐ veloped  adaptive  networked  control  algorithms  presented  in  Chapter  5.  The  scientific  contribution  in  this  thesis  is  the  developed  adaptive  control  algo‐ rithms  for  WNCSs.  The  aim  of  this  thesis  is  not  state‐of‐the‐art WNCS  control  performance and stability proofs, but giving more insight into the general ten‐ dencies of WNCSs and practical implementation.  Wireless networks are inherently non‐deterministic, and no network design can  make  it  fully  dependable,  because  of  interference  in  the  open  communication  media.  If  for  instance  an  industrial  standard  WirelessHART  type  network  is  used, the network performance can largely be considered deterministic, and the  research  deals  with  communication  and  controller  scheduling  [137],  [160].  In‐ stead of trying to make the network completely deterministic, which ultimately  will  fail,  an  alternative  is  to  accept  the  network‐related  problems  and  use  a  cheap, but unreliable, network based on ZigBee or similar commercial off‐the‐ shelf (COTS) technology. In return, the robustness of the control system to cope  with these deficiencies needs to be improved. In this approach, wireless control  can be applied in the automation industry and other applications, without us‐ ing, possible expensive, industrial grade hardware.  Increasing the control robustness against the network uncertainty can be done,  for instance by controller tuning [47]. The idea of changing  the controller is in 

3 

  this  thesis  taken  further.  Several  adaptive  control  schemes  or  heuristics  are  developed  in  Chapter  5  that  compensate  for  the  unreliable  and  non‐ deterministic network in a WNCS. The objective of this thesis is thus to develop  control systems that work even if problems arise in the network.   The  developed  adaptation  schemes  addresses  several  different  situations  that  arise in a WNCS: the self‐configuration or self‐tuning of the controllers depend‐ ing on the network characteristics; the adaptation of control aggressiveness and  generated  network traffic  for control  according  to  the  network congestion;  the  change of tuning in multiple‐input multiple‐output distributed control systems;  and a heuristic to overcome network outages. All the developed algorithms are  tested with PiccSIM, with promising results.  

1.2. Contributions and Organization of the Thesis  There  are  many  research  topics  in  the  field  of  WNCSs  and  sensor  networks,  such as hardware, sensor and energy technology, network protocols, software,  middleware, and control algorithms. In this thesis little or nothing is said about  the  hardware,  lower level layers,  and  protocols, such as radio,  medium access  control, bandwidth allocation, controller scheduling, and security. The focus in  this thesis is on WNCS simulation and design, and adaptive control algorithms  for WNCSs.  The  main  contributions  of  this  thesis  are  the  development  of  the  simulation  platform  PiccSIM  for  communication  and  control  co‐simulation,  including  the  user  interfaces,  the  case  study  simulations  done  with  the  simulator,  and  the  adaptive control algorithms for WNCSs. PiccSIM is released as an open source  package and it is free for use [127].  The contributions are summarized in the following list:  Development and implementation of a simulation platform for communi‐ cation and control co‐simulation and design.  - Development  of  communication  and  control  co‐simulator  PiccSIM for wireless control systems.  - Development  of  PiccSIM  Toolchain  for  integrated  networked  control system design with PiccSIM, including network design,  control  tuning  tool  and  simulation  graphical  user  interfaces  (GUI)s.  - Integration  of  additional  propagation  models  to  the  network  simulator  ns‐2  for  more  realistic  simulation  of  wireless  net‐ works with data based radio environment models.  - Implementations and case studies of several different scenarios  simulated  on  PiccSIM.  Simulations  of  all  the  adaptive  control‐

4 

 

lers developed in this thesis. Results give new insights into the  behavior of networked control systems.  - Development  of  remote  access  for  PiccSIM  for  educational  re‐ mote  laboratory  experiments  and  for  researchers  around  the  world.  - Automatic  code  generation  from  Simulink  model  block  dia‐ gram  for  implementation  on  Sensinode  wireless  nodes,  with  two demonstration cases.  New concepts and algorithms for networked control systems.  - Network cost for control, relating network quality of service to  quality of control.  - IMC‐PID design for networked control systems.  - Networked PID controller, a distributed version of the PID con‐ troller.  - Method  for  online  changing  of  controller  sampling  interval  without bumps.  Development and simulation of several adaptive controller algorithms for  networked control.  - Adaptive control tuning based on network delay jitter.  - Adaptive  control  speed  and  sampling  interval  based  on  net‐ work congestion.  - Adaptive  MIMO  control  based  on  step  response  and  load  dis‐ turbance  rejection.  Selection  of  cost  function  for  controller  pa‐ rameter optimization in a decentralized MIMO control scenario.  - Control heuristic and compensation during network outages.    The contents of the thesis are based on the work presented in the papers [P1]‐ [P11],  done  in  cooperation  with  the  co‐authors.  The  thesis  can  be  divided  into  two parts. The first part deals with practical control system design for wireless  control  systems.  Chapter  2  gives  the  preliminaries  of  the  thesis.  Chapter  3  in‐ troduces some results regarding WNCSs related to network performance mea‐ surements and evaluation, and control design. Chapter 5 treats different kinds  of  adaptive  control  algorithms  [P8],  [P9]  or  heuristics  [P10],  [P11]  for  wireless  control  systems.  Minor  contribution  related  to  this  area  can  also  be  found  among the control theory preliminaries in Chapter 2.  The other half of the thesis deals with the development of the PiccSIM simulator  and the PiccSIM Toolchain in Chapter 4 [P1], [P2], [P3], [P6]. A survey of related  simulators  is  given  in  Section  4.2.  Because  the  PiccSIM  platform  has  evolved  over the years and a considerable amount of simulations have been done, Chap‐ ter  4  concentrates  on  giving  a  whole,  up‐to‐date,  view  of  the  platform  and  a  coherent presentation of the simulations and the results. Some illustrative simu‐ lations are additionally carried out with PiccSIM in Section 4.7, where different 

5 

  simulation scenarios are considered ranging from building automation, mobile  robot control, to wireless process control [P4], [P5], [P6].   The main work of the author is the development of PiccSIM and the implemen‐ tation of the simulation cases in Chapter 4, the practical control results in Chap‐ ter 3, and the network adaptive control algorithms in Chapter 5. The co‐authors  of  the  related  papers  have  mainly  been  involved  in  planning  the  simulation  cases  and  writing  the  publications.  In  addition,  Shekar  Nethi  has  in  particular  developed the ns‐2 part of PiccSIM, made the wireless measurements in Section  3.1, and assisted in the simulations. Jenna Brand has developed the wall‐fading  model in Section 4.3.4. Huang Chen from Vaasa University of Applied Sciences  has  implemented  the  ns‐2  configuration  tool  presented  in  Section  4.4.2,  with  further  development  by  Tuomo  Kohtamäki,  who  has  also  implemented  the  PiccSIM  user  interfaces  and  the  simulator  time‐synchronization  and  data‐ exchange  mechanisms.  Sofia  Piltz  has  executed  the  simulations  in  Section  5.3.  Kohtamäki  and  Piltz  have  done  the  work  under  the  supervision  and  co‐ development of the author. The author has made the field overview and litera‐ ture survey in Chapters 1 and 2, and developed the theory in Chapter 3.  The  organization  of  the  thesis  is  the  following:  in  Chapter  2  the  preliminaries  used in the later chapters are established. Most notable is the jitter margin tun‐ ing and PID controllers, Sections 2.5 and 2.6, and the IMC design framework in  Section 2.7, which are used in several of the adaptive control schemes. In Chap‐ ter  3,  new  results  regarding  WNCSs  are  presented.  Measurements  of  packet  drop and estimated network models are shown. The application of IMC design  in NCSs is analyzed. A novel network QoS measure for NCSs, based on packet  drops, and the corresponding effect on the control systems is presented in Sec‐ tion  3.5.  The  proposed  network  cost  for  control  measure  correlates  with  the  resulting  obtainable  control  performance,  and  hence  gives  a  good  network  design objective for WNCSs. The network and control co‐simulator PiccSIM is  introduced in Chapter 4, including the technical details  and the PiccSIM Tool‐ chain,  Sections  4.3‐4.6,  and  some  simulation  results  which  point  out  special  characteristics of WNCSs in Section 4.7. In Chapter 5, the adaptive control algo‐ rithms  and  heuristics  are  developed.  The  adaptive  schemes  are  presented  in  separate  sections, with the simulations,  results,  and conclusions  obtained  with  PiccSIM. The thesis is finalized with conclusions in Chapter 6. 

1.3. Background of Wireless Control  One of the first real wireless control systems can be traced to the US patent no.  613809 by Nikolai Tesla, which was filed on 1st of July 1898. The patent named  “Method  of  an  Apparatus  for  Controlling  Mechanism  of  Moving  Vehicle  or  Vehicles“  described  how  to  remotely,  without  mechanical  devices  or  wires  control a boat by switching either on, off, or hold the state of electrical motors.  In one demonstration Tesla remotely controlled  a boat  from 18 miles  away  on 

6 

  the Isle of Wight [57]. The design was improved by Leonardo Torres‐Quevedo  in  1903  (patent  in  Spain)  with  his  Telekino,  which  introduced  multiple  states  and  codewords  to  control  multiple  devices  (up  to  19)  of  different  types  [125].  Later,  Torres‐Quevedo  envisioned  implementing  the  same  technology  on  tor‐ pedoes. He had additional plans to apply the Telekino to remote control dirigi‐ ble balloons and planes (because test flying was dangerous), but lack of funding  made him abandon the development of his inventions.  The few early remote control applications used analog commands and the me‐ chanism of radio controlled electromechanical escapement, similar to the “Tesla  boat” or the Telekino of Torres Quevedo. In the 1960s remote control developed  drastically  with  transistor  based  radios  and  multi‐channel  communication,  which  allowed  the  simultaneous  control  in  several  control  dimensions.  An  example is the control of the pitch, yaw, and motor speed of a remote controlled  model plane. The space age drove the technology forward, dictated by the need  to  get  data  from  the  spacecraft  (telemetry)  or  send  commands  to  it  (remote  control).  The  first  packet  based  radio  network,  ALOHANET,  was  deployed  in  1971  for  the  University  of  Hawaii  [57].  The  industrial  applications  started  also  to  emerge, as more information to separate devices could be communicated. In the  beginning  the  wireless  communication  used  proprietary  protocols.  The  first  widespread  industrial  applications  emerged  in  the  1980s  when  remote  con‐ trolled  switchyard  locomotives  and  cranes  appeared.  At  that  time  proprietary  devices  working  on  standardized  radio  communication  protocols  were  devel‐ oped [140], [150].  The wireless local area network (WLAN) operating on the Industrial, Scientific,  and Medical (ISM) radio band started to be developed in 1985, which later be‐ came generally accepted by the IEEE 802.11 standard, which solved the limita‐ tions  of  the  previous  implementations  [57].  Wireless  digital  communication  developed in the early 1990s for cellular phones. Nowadays coded pulse width  modulation  or  pulse‐code  modulation  are  used  for  planes  and  similar  remote  controlled  toys.  Some  more  advanced  model  plane  remote  controls  use  the  license‐free ISM radio band at 2.4 GHz. At the moment the standardization  of  digital  wireless  communication  and  protocols  suitable  for  industrial  control  systems, such as IEEE 802.15.4 “ZigBee” [180], have sparked the field and new  interoperable devices from different vendors are emerging [16]. These advances  have enabled the use of cheap and ubiquitous devices for wireless automation  of  today  and  wireless  devices  are  currently  starting  to  be  applied  for  wireless  automation  applications.  The  development  from  fieldbus  based  automation  systems to networked systems, such as real time Ethernet (RTE), and in the near  future to wireless networks is described in [50]. 

7 

 

1.4. Wireless Control Systems and Simulation  In a networked control system, sensors, controllers and actuators are connected  with a computer network [9]. The standard approach in automation is to use a  fieldbus, which connects all the devices through a shared network. One of the  benefits of NCSs is reduced cabling cost [115], which is removed completely by  the  introduction  of  wireless  devices.  Other  advantages  include  ease  of  adding  field  devices,  introducing  two‐way  communication  with  field  devices  for  re‐ mote  configuration,  device  status,  diagnostics  and  health  monitoring,  and  uti‐ lizing  more  advanced  control  strategies  because  of  improved  field  data  [59],  [115].  The cheap and proven technology from office environment is being applied to  automation. Ethernet networks are becoming regularly used and have to some  extent replaced fieldbus technology in control applications [110]. The “Industri‐ al Ethernets” or RTE [36], [115], which allow for real‐time operation, where an  operation  is  guaranteed  to  be  executed  in  a  given  time,  are  gradually  being  applied. The same benefits are also available by means of wireless technology,  with  the  addition  of  accessing  the  data  wirelessly  using  a  handheld  device,  enabling in‐situ inspection of the process [19].  The  terms  wireless  networked  control  system  or  wireless  sensor  and  actuator  network (WSAN) refer to a control system, which communicates over a wireless  network.  These  systems  deliver  more  benefits  in  terms  of  flexibility  and  cost  compared  to  NCSs  as  there  are  no  wires,  but  also  more  problems,  mainly  be‐ cause of the open air and shared communication medium. The general conven‐ tion to distinguish between these two terms is related to the background of the  researchers  working  in  this  field.  WSAN  refers  to  a  wireless  sensor  network  (WSN)  [11]  with  the  addition  of  actuators,  where  a  WNCS  is  more  aimed  at  wireless industrial automation. The former is rooted in the networking area and  is  more  ad‐hoc,  redundant  and  tolerates  failures  in  the  system,  whereas  the  latter  comes  from  the  control  area  and  is  designed  for  high  reliability  and  de‐ pendability.  An overview of NCSs can be found in [9] and [65]. The benefits of NCSs are that  cabling  is  reduced,  similarly  as  using  an  automation  fieldbus,  and  cheaper  of‐ fice grade  hardware is utilized [21]. The  general development  and  philosophy  of  networked  control  systems  is  presented  in  [21]  and  [50].  There  are  many  technological  and  social  obstacles  to  using  wireless  networks  in  control.  The  main concern against deploying wireless networks for control is the uncertainty  of communication, co‐existence with other wireless networks [50] and security.  The inability to guarantee a sufficient quality of service for the control system is  a  real  concern.  Control  engineers  are  hesitant  to  apply  technology  that  cannot  be  trusted,  since  failure  in  control  can  cause  physical  damage.  The  network  must  therefore  provide  real‐time  and  constant  operation  [110].  This  required 

8 

  real‐time operation may not always be guaranteed, which causes problems for  the  control  system  design  [93].  This  thesis  tries  to  show  through  simulations  that hard real‐time operation is not necessarily needed in practical applications.  Soft real‐time operation is enough, if it is taken into account in the control de‐ sign, for instance through adaptation. Another concern hindering the adoption  of  wireless  technologies  is  security,  since  the  wireless  medium  is  open  for  eavesdropping and interference [112].  WNCSs are in essence non‐deterministic, stochastic and asynchronous systems,  which  are  difficult  for  traditional  control  theory,  where  constant  sampling  in‐ terval  is  assumed,  cf.  the  Z‐transform.  Therefore  simulators  for  NCSs  are  needed, where the asynchronism and issues related to the network and control  interaction can be studied. Uniform packet loss or analytical delay distributions  are usually used in networked control design. These assumptions do not neces‐ sary  hold in practice. Simulation of WNCSs  with specific  network protocols  is  thus needed. Therefore the network and control co‐simulator PiccSIM is devel‐ oped in this thesis. The strength of PiccSIM is to enable one to quickly test sev‐ eral  control  algorithms  in  realistic  WNCS  scenarios  [P2].  With  the  automatic  code generation capabilities, the algorithms can further be tested easily in  real  applications [P3].   There are already some suitable simulators for WNCSs, such as TrueTime [22]  and Modelica – ns‐2 [17], reviewed in Section 4.2. PiccSIM integrates two simu‐ lators  to  achieve  an  accurate  and  versatile  simulation  system  at  both  the  com‐ munication and control level for WNCSs. It has the unique feature of delivering  a whole chain of tools for network and control modeling and design, integrated  into  one  package  with  communication  and  control  co‐simulation  capabilities.  By  combining  the  design  and  simulation  of  WNCSs  into  one  tool,  a  flexible,  integrated,  and  powerful  co‐simulation  platform  for  research  is  obtained  [P3].  With PiccSIM, the specific characteristics of WNCSs can be studied by simula‐ tions, as is done in some example simulations presented in Section 4.7.  The algorithms developed in this thesis are aimed at future agile wireless con‐ trol  systems,  either  in  the  industry  or  consumer  applications.  The  adaptive  control  algorithms  are  designed  to  work  when  using  a  non‐deterministic  net‐ work  for  control  system  communication.  The  network  used  would  either  be  classified  as  an  office  network  or  a  WSN/WSAN.  The  target  applications  are  process  control  as  opposed  to  discrete  factory  automation.  Typical  usages  are  stable  processes  in  the  industry,  toys  and  home  applications,  or  in  the  society  related to ubiquitous applications. Examples of home applications are building  automation, remote controlled radio cars and robots. In a ubiquitous computing  future,  the  applications  would  be  diverse.  The  initial  industrial  applications  would be such that by adding a cheap wireless control system, additional value  would be obtained from the assistance of this secondary control. Nothing pre‐ vents the use of cheap wireless control in the future for a whole plant, provided 

9 

  that  it  is  stable  and  non‐critical.  In  critical  and  unstable  industrial  processes,  special industrial networks and protocols, which can deliver deterministic real‐ time performance, are recommended.  

1.5. Research on Wireless Control Networks and  Applications  The wireless roadmap developed by the RUNES project, with the needed tech‐ nological  and  social  development  for  the  adoption  of  wireless  technology  in  automation, is summarized in [80]. A comprehensive overview of current tech‐ nologies, future issues, and research topics of wireless industrial networking is  given in  [59] and  [165].  Several wireless standards  are  presented  and the  anti‐ cipated  promising  research  topics  are  introduced.  Some  of  them  are:  network  architecture  and  scalability,  network  standards,  quality  of  service  measures,  provisioning  and  analysis  of  wireless  industrial  networks,  real‐time  and  relia‐ bility, security, and energy efficiency. Another source of information on indus‐ trial wireless control is the report [46], where the whole field is reviewed start‐ ing  from  wireless  communication  to  control  issues  and  theories,  and  finally  simulation tools. The wired NCS case with similar MAC, QoS and other issues  as the wireless case, is discussed in [110].  There  are  many  other  papers  giving  an  overview  of  the  current  wireless  tech‐ nologies  and  networks  for  control,  e.g.  [59],  [69],  [124],  and  [163].  Gungor  re‐ views  the challenges, design goals, and  technical solutions for industrial  wire‐ less  sensor  networks  [59].  Willig  [163]  discusses  several  properties  and  chal‐ lenges of using wireless in real‐time control applications. Some of the network  related issues are: interference, path loss, timing and timeliness, co‐existence of  other  wireless  networks,  and  connection  to  an  existing  wired  automation  sys‐ tem. Pellegrini [124] discusses the requirements and features for using wireless  at  the  device  level  in  an  automation  system,  including  power  consumption,  security, and connection to the wired control system. The necessity of wireless  protocols aimed specifically at control applications is also pointed out.  Wireless communication can be applied in many control applications in process  control  and  factory  automation.  The  first  benefit  is  the  reduced  wiring  and  installation costs [19]. The savings naturally increase with increasing plant size  such  as  oil  refineries  and  with  increasing  number  of  sensors.  Use  of  wireless  technologies in automation enables one to more freely place sensors in a factory  and  even  in  places  where  it  previously  was  expensive  or  impossible,  such  as  explosive environments and rotating devices. Industrial robots will also become  more  agile,  as  the  wires  are  removed  [150].  New  applications  using  wireless  communication will emerge, such as mobile applications. 

10 

 

1.5.1. Wireless Networks for Control  Wireless networks for control applications are currently envisioned to use stan‐ dard  existing  wireless  devices  such  as  Bluetooth,  ZigBee  (based  on  IEEE  802.15.4  radio)  [11],  and  WLAN  (IEEE  802.11).  The  wireless  network  design  problems  are  presented  for  instance  in  [82].  Traditional  computer  networks,  such  as  Ethernet  and  WLAN,  use  carrier  sense  multiple  access  (CSMA)  type  medium  access  control  (MAC)  with  exponential  back‐off  in  case  of  collisions.  Several MAC‐types are compared and their suitability for control purposes are  evaluated  in  [25],  where,  among  the  compared  protocols,  the  CSMA‐type  was  found  to  be  the  best  because  of  the  immediate  transmission  opportunity.  This  result  does  not  hold  in  high  traffic  conditions  where  collisions  triggers  back‐ offs, which were not taken into account in [25]. The non‐deterministic exponen‐ tial  back‐off  of  the  default  CSMA  protocol  is  not  suitable  for  wireless  control  applications, since the communication delay, which is important for the control  stability [23], cannot be bounded and packet drop due to congestion decreases  the  performance  [96].  The  current  preferred  solution  is  to  use  deterministic  networks,  using  polling  (e.g.  Bluetooth)  or  scheduling  (WirelessHART  and  ISA100.11a).   Wireless networks are already used for control. Some early adoptions of wire‐ less  devices  as  cable  replacements  are  listed  in  [80].  The  first  wireless  deploy‐ ments  have  been  mostly  cable  replacements  using  Bluetooth.  Bluetooth  has,  however,  given  way  to  ZigBee,  as  ZigBee  has  lower  power  consumption  and  more flexible networking. An overview of ZigBee/IEEE 802.15.4 can be found in  [11].  ZigBee  has  rightfully  been  criticized  for  being  unreliable,  lacking  tech‐ niques  to  mitigate  the  communication  problems,  and  unsuitable  for  industrial  control [88]. ZigBee is more suitable for small applications, and there are sepa‐ rate  industrial  standards  for  wireless  automation.  Using  standard  wireless  hardware  for  automation  is  considered  in  [124],  where  two  application  layer  protocols suitable for real‐time control are designed and evaluated.  In the current wireless automation applications, the radios typically operate in  the open ISM frequency band. The ISM band is quite crowded, as also the office  networks  (WLAN,  Bluetooth)  operate  at  the  same  frequencies.  In  the  future,  a  separate  frequency  band  could  be  reserved  world‐wide  exclusively  for  indus‐ trial  automation  applications,  to  enable  proper,  interference  free  wireless  con‐ trol operation.   The  use  of  heterogeneous  networks  spanning  the  whole  automation  system  from low level devices to high level functions, such as production monitoring,  is considered in [115] and [110], where the applicability of different networks at  the different levels and tasks are evaluated. For the higher level functions, such  as  plant  monitoring  and  production  planning,  trend  analysis,  or  gathering  of  batch  information,  real‐time  operation  is  not  necessary,  and  office  grade  wire‐ less  networks  are  suitable  for  these  tasks.  In  the  current  wireless  automation 

11 

  standards,  only  device  level  wireless  networks,  where  sensor  devices  report  their measured values and possible health data to a gateway and the rest of the  automation system, are considered. The network is thus used only at the lowest  device level in the whole automation system [150]. In practice, also plant wide  wireless  networks  with  proprietary  protocols  based  on  the  office  grade  IEEE  802.11 standard are used.   Despite  the  wireless  communication,  the  devices  may  still  have  wired  power,  because of large power requirements of the sensor or, more often, the actuator.  For truly wireless devices, the power source must be local. A battery contains a  finite amount of energy, and thus either the device lifetime is limited, or energy  must be gathered during operation from the environment with energy harvest‐ ing  techniques.  Sources  of  auxiliary  energy  are  for  example  electromagnetic  waves,  light,  vibration,  or  temperature  differences  [123].  Another  solution  to  completely get rid of cables is wireless power transportation. An existing solu‐ tion is inductive power transfer to devices located inside a cage [140]. The cage  walls  induce  a  rotating  magnetic  field  that  solenoids  in  the  devices  convert  to  current. Typical power transfer ranges from 10 to 100mW [150]. 

1.5.2. Current Standards for Wireless Automation  Currently,  there  are  two  standards  for  industrial  wireless  automation  applica‐ tions:  WirelessHART  and  ISA100.11a.  Both  industrial  standards  are  based  on  the IEEE 802.15.4 radio [180]. The IEEE 802.15.4 standard is suitable for building  automation [76], industrial monitoring, and control applications [40], [161]. The  main characteristics are low bit rate and low power consumption. The Wireless‐ HART  standard  and  some  implementation  details  are  discussed  in  [148].  ISA100.11a  is  in  practice  very  similar  to  WirelessHART,  as  both  have  similar  design goals and use the same radio, but the two standards are not compatible.  The WISA system is a complete solution for a reliable wireless cell in industrial  manufacturing [140].  The  architecture  of  both  industrial  wireless  network  standards  include  sensor  nodes, wireless routers communicating with each other, and a gateway, which  is connected to the automation fieldbus and the rest of the automation system.  Mesh  networking  is  possible  for  reliability,  but  all  communication  between  devices  in  the  wireless  network  is  routed  via  the  gateway.  This  routing  con‐ straint makes the network scheduling and routing design easier.  WirelessHART was approved by the International Electrotechnical Commission  (IEC) as a full international standard (IEC 62591Ed. 1.0) in March 2010. Several  manufacturers have released devices for WirelessHART and it is by now in use  in  control  applications  [166].  The  ISA100.11a  standard  [70]  was  published  in  September  2009,  gained  IEC  approval  in  2010.  Hence,  the  field  of  industrial  wireless control has taken its first steps. The standards are designed for deter‐ minism,  such  that  traditional  control  can  readily  be  applied.  Although  deter‐

12 

  minism is the main design goal, this is never fully assured and is on the expense  on performance and flexibility.  WirelessHART  uses  a  combination  of  time  division  multiple  access  (TDMA)  and frequency division multiple access (FDMA) MAC protocol. The TDMA slot  is  10  ms,  in  which  the  data  packet  with  sensor  or  control  information  and  an  acknowledgement  are  exchanged  between  two  nodes.  The  network  and  trans‐ port layers are based on the Time Synchronized Mesh Protocol (TSMP) original‐ ly  developed  by  Dust  Networks  [155].  Each  node  pair  is  assigned  a  unique  time/frequency slot for contention free communication by a centralized network  manager  [155].  Some  slots  can  be  reserved  for  contention  based  access  using  CSMA,  for  communicating  rare  event  messages  or  retransmissions  in  case  of  dropped  packets.  Additionally,  frequency  hopping  is  used  to  mitigate  interfe‐ rence on some channels. A more detailed presentation of WirelessHART can be  found  in  [148].  The  benefits  of  WirelessHART  and  how  to  accommodate  the  control  system  to  the  wireless  network,  and  meet  the  required  control  perfor‐ mance,  are  discussed  in  [117].  ISA100.11a  uses  similar  techniques  and  both  network  standards  can  be  applied  where  the  application  can  tolerate  a  delay  jitter  in  the  order  of  100  ms.  The  delay  jitter  stems  from  packet  drop  due  to  interference.  The scheduling and routing of the WirelessHART and ISA100.11a networks are  left  open  in  their  standards.  Due  to  the  determinism  of  the  TDMA  approach  with  a  pre‐determined  schedule,  fixed  bounds  on  the  communication  can  be  advertized,  although  not  guaranteed.  In  the  case  of  packet  drops,  retransmis‐ sion  is  needed,  which  may  cause  the  information  to  exceed  the  delay  bound.  Retransmission slots must thus be incorporated into the schedule, which reduc‐ es  the  bandwidth  usage  and  unavoidably  introduces  delay  jitter.  Retransmis‐ sion  can  take  place  on  the  slots  allocated  for  random  access,  or  on  extra  slots  allocated  in  the  schedule.  The  schedule  and  retransmissions  determine  when  information is available to the control system, and hence affect the control oper‐ ation.  There  exists  work  where  the  actual  network  MAC  protocol  and  related  functions such as duty‐cycle [102], or routing and schedule [137], [160] are taken  into account in the control stability proof.  The  current  standards  are  designed  for  reliability  and  are  thus  conservative,  which  implies  that  closed‐loop  control  of  fast  processes  is  not  possible.  The  design  decisions  of  both  standards  ensure  a  relatively  simple  network  design.  The use of TDMA ensures determinism (disregarding packet drop due to inter‐ ference)  and  the  routing  via  gateway  constraint  results  in  a  simpler  routing  design. Current research related to the standards is for instance the optimality  of  the  time/frequency‐slot  scheduling  and  routing  [160].  The  room  for  im‐ provement is thus limited.  The future research issues therefore include new technologies and algorithms to  advance the capabilities of wireless control. The introduction of new agile and 

13 

  intelligent communication methods will improve the field. These new networks  will probably not guarantee a certain QoS or be deterministic, such as the case  when using TDMA. One research direction is then the introduction of adaptive  control methods to compensate for the deficiencies of the wireless communica‐ tion, which this thesis focuses on.  In the future, wireless control systems with low performance requirements are  likely to emerge. These can be based on commercial off‐the‐shelf hardware, by  adopting  robust  control  algorithms.  Today’s  COTS  hardware,  such  as  WLAN,  Bluetooth, and IEEE 802.15.4, utilizes mostly CSMA type communications [69].  This  implies  that  the  network  is  inherently  non‐deterministic  and  unreliable.  There  are  no  quality  of  service  guarantees,  such  as  designated  transmission  slots.  This  does  not  mean  that  wireless  applications  on  this  hardware  are  im‐ possible; it is rather a research opportunity. Several practical applications can be  proven to work satisfactorily, using simulations and pilot implementation. 

1.5.3. Wireless Sensor Networks  Wireless  sensor  networks  are  a  field  closely  related  to  WNCSs,  with  a  lot  of  ongoing research. In WSNs a low powered wireless network with hundreds or  thousands of nodes are sensing or observing some phenomenon and collaborat‐ ing on environment monitoring to deliver situation awareness to the user [73].  The  nodes  are  small  and  low  cost  with  a  limited  operational  time  [158].  The  limited power source of WSN nodes demands for algorithms with low compu‐ tational and communication requirements to enable a long lifetime of the appli‐ cation  [59].  The  applications  range  from  environmental,  agricultural  or  struc‐ tural  health  monitoring  (forest,  crop,  earthquakes,  bridges,  buildings,  among  others), asset management (inventory surveillance, plant monitoring, and main‐ tenance),  to  military  and  battlefield  applications  (detection  of  events  such  as  enemy  activity,  poisonous  gases,  or  radioactivity)  [11].  The  key  properties,  applications,  and  open  research  problems  of  wireless  sensor  networks  are  summarized in [176], [2] and [59]. The leading research is summarized in [11].  The network related research topics in WSNs are mostly medium access control  or routing [73]. The networking issues are similar to WNCSs, but there is usual‐ ly no closed‐loop control and thus the real‐time operation requirement is not as  strict  as  in  wireless  automation.  Reliability  is  obtained  with  redundancy  and  distributed  computation.  The  low  power  consumption  of  the  tiny  network  nodes is necessary to save the battery. This boils down to hardware and MAC  protocol design, for example in the WiseNET sensor network [43], or TUTWSN  developed at the Tampere University of Technology, Finland [78]. Other topics  in  sensor  networks  are  data  compression,  storage,  transportation,  processing  and enhancing [54].  Sensor networks can be used as a monitoring system for plants, where the sen‐ sors deliver additional measurements of a plant, independent of the automation 

14 

  system.  The  increased  demand  on  high  efficiency  and  ecological  production  require new, cheap, and flexible production monitoring technologies. Industrial  wireless  sensor  networks  can  be  used  for  production  monitoring  of  energy  efficiency  and  compliance  to  environmental  regulations  [59].  Another  similar  application is the “mobile wireless industrial worker,” where a serviceman can  walk in a factory and monitor the nearby sensors and actuators with a wireless  handheld device [19].  The issues and challenges of applying a sensor network to factory automation  are summarized in [179]. Such lessons are valuable for the deployment of wire‐ less  control  in  industrial  environments,  as  the  conditions  may  be  quite  harsh,  including shadowing and interference from motors and devices [164]. There are  some  reports  on  the  experiences  of  sensor  network  deployments  in  industrial  environments.  A  four  month  continuous  monitoring  campaign  of  a  plant  has  been reported, where power management protocols and periodic system resets  were  used  [81].  Another  example  is  a  sewage  overflow  control  system  called  CSOnet. This is a metropolitan wide sensor and actuator network, consisting of  about 150 wireless sensor nodes, used to control sewage overflow by measuring  the  water  levels  in  the  sewage  and  controlling  storm  water  flow  to  prevent  overflow, in case of heavy rain [109]. The experiences of a WSN deployment in  a mine are presented in [1].   

15 

   

2. PRELIMINARIES – NETWORKS AND  CONTROLLERS  In  this  chapter  preliminary  information  and  relevant  theory  that  are  needed  later are summarized. First the general assumptions of the WNCS used in this  thesis  are  listed  and  networked  control  structures  are  discussed.  A  defining  feature  of  WNCSs  is  packet  drop,  therefore  several  packet  drop  models  are  presented in Section 2.4. Measurements and estimation of corresponding packet  drop model are done in Sections 3.1 and 3.2.  In  the  following  sections  some  controller  design  and  tuning  methods  for  WNCSs are presented. First, a stability criterion for NCSs, used in many of the  controller  tuning  algorithms,  is  given  in  Section  2.5.  Several  PID  controller  structures suitable for NCSs are then presented in Section 2.6 and later, in Sec‐ tion 3.3, a new control structure is proposed. The internal model control frame‐ work is treated in Section 2.7, including the IMC‐PID controller design.  In  Section  2.8,  some  initial  approaches  in  the  literature  on  network  adaptive  control  or  control  traffic  adjustment  are  reviewed.  Network  congestion  and  adaptation  methods  of  control  traffic  are  also  discussed.  These  issues  are  later  developed further in Section 3.5. Finally, Kalman filtering in NCSs with packet  dropout is presented in Section 2.9. 

2.1. The Networked Control Problem  The  general  problem  in  the  NCS  field  is  related  to  the  stability  of  the  control  system in the case of information loss. In a traditional wired control system, the  operation is deterministic and the sampling instants are equally spaced. These  dynamic  systems  can  be  analyzed  effectively  using  the  Z‐transform,  where  several  proofs  of  stability  exist,  based  for  instance  on  the  poles  of  the  closed‐ loop system transfer function.  In the wireless control case the  information  flow between  some  of the  compo‐ nents is stochastic and the situation becomes problematic. In this case the stabil‐ ity  depends  on  the  varying  delay  and  packet  drop  of  the  network.  Often  also  the system is not synchronized or periodic sampling is not possible as the sen‐ sors  and  controllers  are  distributed,  which  means  that  the  Z‐transform  cannot 

17 

  be readily applied. This results in stochastic stability proofs or cases where for  example  all  the  possible  packet  drop  realizations  have  to  be  enumerated  for  proving the stability.  Current  wireless  control  system  research  has  its  roots  in  networked  control  system theory, as the issues of a shared communication medium are the same.  The  research  problems  are  mainly  related  to  variable  communication  time‐ delays  and  packet  losses,  and  system  architecture  design,  see  [179]  and  [165].  Both  fields  deal  with  network  protocols  [6],  [102],  transmission  scheduling  [160], [159], communication and control co‐scheduling [137], [153], traffic reduc‐ tion [27], [92], congestion control [134], [157], and estimation [113], [173], [177].  The main difference between NCSs and WNCSs is that wireless communication  is  less deterministic  because of external interference  and finite communication  range, but problems with wiring and failing connectors are eliminated.   Some  of  the  approaches  for  proving  controller  stability  include:  LQG  control  [60],  Linear  Matrix  Inequalities  (LMIs)  [178],  Markov  Jump  Linear  Systems  (MJLS) [74], the jitter margin, [23], [72], Lyapunov functions [103], power spec‐ trum  [94],  and  optimal  communication  scheduling  for  stability  [160].  Other  control  related  theory relates to  Kalman filtering [144], [171], controller  tuning  [47], [67], and control performance [91], [94]. 

2.2. General Assumptions  Throughout  this  thesis  certain  assumptions  on  the  studied  WNCS  are  made.  The  assumptions  are  declared  and  motivated  here.  Previously  the  majority  of  the literature focused on wired networked control systems. Nowadays, wireless  NCSs  are also  considered. This  thesis  focuses  solely on  WNCSs  and  the simu‐ lated cases are all with a wireless network. Some of the developed theory can be  applied  to  wired  NCSs,  although  the  problems  with  NCSs  are  exaggerated  in  the  wireless  NCS  case,  as  wireless  networks  are,  in  general,  less  reliable  than  wired ones, because the shared and open transmission medium is susceptible to  interference.  The wireless network is thus assumed to be unreliable, with time‐varying deli‐ vered quality of service and with the possibility of longer outages. The unrelia‐ bility  is  either  due  to  the  properties  of  the  wireless  communication,  or  due  to  the used non‐deterministic network protocols, such as CSMA‐type MAC.  The adaptive algorithms adapt to the general, slowly changing, performance of  the network. Instantaneous accommodation to sudden bursts of packet drops is  in  practice  impossible,  and  can  cause  instability  due  to  switching  of  controller  parameters.  The  adaptation  is  done  slowly,  such  that  problems  of  instability  due to switching of tuning are not an issue, as is customary in adaptive control  approaches [184]. 

18 

  Time‐driven  sensors,  controllers,  and  actuators  are  assumed  the  whole  time.  This implies that the observed delays and delay jitters are effectively quantized  to multiples of the sampling interval. This simplifies the analysis, since actions  between  sampling  instants  need  not  be  taken  into  account.  In  the  case  event‐ driven  controllers  and  actuators  are  assumed,  which  is  sometimes  the  case  in  the  literature,  the  theory  and  implementation  would  be  more  complicated,  as  the  algorithms  would  become  truly  time‐variant.  In  practice,  systems  are  still  asynchronous, as there might be a time‐offset between the sampling instants of  the clocks of all the nodes in the WNCS, if they are not synchronized. Random  time offsets are automatically used in the PiccSIM simulator.  Due to the choice of time‐driven operation, a zero order hold (ZOH) is assumed  at the receiver until the next sampling instant. In the case of a dropped packet,  ZOH is also used, such that the previously received information is held until a  new value is received.  The wireless nodes are assumed to be ideal, in the sense that the input/output  and computational tasks are always performed on time. The hardware includ‐ ing the microcontroller and radio are not modeled. The scheduling of the tasks  in  the  microcontroller  and  resulting  computational  delays  are  not  taken  into  account in the PiccSIM simulator. It is assumed that the operations are bounded  by  the  sampling  interval,  such  that  sampling,  transmission,  and  reception,  are  executed before the next sampling instant. This is motivated by the short com‐ munication delay compared to the sampling interval, typically observed in the  simulations of this thesis.  The  wireless  network  is  often  assumed  to  reside  between  the  sensor  and  con‐ troller.  The controller  is co‐located  at  the  actuator,  which then  naturally  elimi‐ nates  one  (unnecessary)  wireless  communication  link  between  the  controller  and  actuator,  and  the  controller  can  take  advantage  of  the  wired  power  often  required  by  the  actuator.  Only  wireless  measurements  are  assumed  in  the  theory because of technical aspects, where stability proofs are only formulated  for  this  case.  In  practice,  depending  on  the  application,  some  simulation  cases  have also wireless communication between the controller and actuator.  Stable  processes  are  assumed,  as  an  outage  in  the  network  makes  the  control  system  work  in  an  open‐loop  configuration,  which  would  be  detrimental  in  control  of  an  unstable  process.  Furthermore,  a  simple  process  model  is  pre‐ ferred.  When  doing  control  design,  generally  a  first‐order  process  with  time  delay (FOTD) [185] of the form  G ( s) =

K − τs e ,  Ts + 1

(1) 

19 

  where  K  is  the  process  gain,  T  is  the  time‐constant  and  τ  is  the  time‐delay,  is  assumed. In the case of higher‐order processes, a first‐order approximation can  in some cases be used.  The total time‐delay L in a control loop is defined as 

L = τ + LN , 

(2) 

where  LN  is the constant minimum communication delay of the network  [23].  The control design is always done for the total delay  L. On top of the constant  time‐delay,  an  additional  varying  delay  δ(t),  caused  by  the  network,  is  often  present.  For  communication,  today’s  commercial  off‐the‐shelf  radios,  or  similar,  are  assumed to be used. In the PiccSIM simulations an IEEE 802.15.4 network [11] is  always  used.  This  network  type  is  selected,  because  it  is  well  suited  for  low  power,  low  bandwidth  communication,  and  the  current  wireless  automation  standards use it. Non‐deterministic operation of the network is assumed, main‐ ly  due  to  the  CSMA  type  MAC  protocol.  Deterministic  approaches  such  as  WirelessHART are not considered, because they do not pose the same problems  of  varying  delivered  QoS.  UDP‐like  (User  Datagram  Protocol)  communication  is used, since the sensors and controllers are time‐driven and they send packets  with a fixed rate. UDP does not have retransmissions in case of packet drop, but  this is not required in control applications, since due to the real‐time operation,  sending  new  information  is  more  desired  than  retransmitting  old,  which  may  be  outdated  when  retransmitting.  Traffic  rate  adopting  protocols,  such  as  Transmission  Control  Protocol  (TCP),  cannot  be  used  in  control  applications,  because of the constant packet rate produced by the sensors. Thus, before dep‐ loyment  of  a  wireless  automation  system,  the  designer  has  to  verify,  for  in‐ stance  by  simulation,  that  the  bandwidth  of  the  network  is  adequate  for  the  application.  In  Section  5.2  a  controller  with  adaptive  communication  rate  is  developed to alleviate this situation.  In this thesis only problems of packet drops in the network are considered. Due  to the time‐driven assumption, packet drop can be thought of as a kind of vary‐ ing delay, as shown in Section 2.4.1, since the controller has to wait for the next  measurement packet if the current one is dropped by the network. In the simu‐ lation cases of this thesis the varying delay induced by the network is negligible  compared  to  the  sampling  interval,  thus  only  packet  drop  needs  to  be  consi‐ dered in the control design.  Only  lightweight  control  algorithms,  such  as  variations  of  the  PID  controller,  are  considered.  The  low  computation  capabilities  and  power  saving  require‐ ment of wireless nodes necessitates the usage of simple algorithms. PID control‐ ler is also favored because of the widespread use of it in the industry. 

20 

 

2.3. Networked Control Structures  When designing a control system for a WNCS, the selection of the control struc‐ ture is important, as it determines what information is processed in which part  of  the  network,  and  what  information  needs  to  be  communicated  to  the  other  nodes  in  the  control  system.  The  controller  algorithm  can  then  be  constructed  with special logic to handle separate cases depending on what information has  been  received  or  lost.  There  are  many  possible  control  structures  and  design  approaches for NCSs or WNCSs, of which only some are discussed here.   In  this  work  single‐input  single‐output  (SISO)  control  loops  are  mainly  consi‐ dered,  which  can  be  extended  to  the  multiple‐input  multiple‐output  (MIMO)   case  by  parallelizing  several  SISO  loops.  Other  MIMO  architectures,  such  as  centralized  or  hierarchical,  are  naturally  possible.  Three  main  control  design  and  tuning  approaches,  with  more  or  less  traditional  control  structures,  for  NCSs are considered next. The first and most complicated approach is to design  an  optimal  controller  that  can  stabilize  the  process  with  given  delay  and  loss  specifications. In the literature, the controller is usually of state‐feedback type,  either time‐varying or constant, and depicted in Figure 1a. The control system  may need a state observer at the transmitter, if the state is not directly observa‐ ble. The optimal controller is usually designed by casting it to an optimization  problem  of  linear  matrix  inequalities,  see  e.g.  [65]  and  [67].  The  math  is  quite  involved  and  it  is  thus  unlikely  that  this  method  will  become  a  mainstream  approach in practical applications, where the operator should be able to under‐ stand the control algorithm and be assured that it works properly.  During  packet  drops  it  seems  intuitively  clear  to  use  a  model  to  predict  the  process output at the controller during outages. The objective is to estimate the  current process state, as shown in Figure 1b, by using the received intermittent  and  delayed  measurement  packets  [108].  The  network  delays  are  taken  into  account  in  the  state‐estimator  and  the  state  can  be  predicted  if  a  packet  is  dropped. In this way there is always a current process state estimate available  for the controller, which can be any conventional (non‐network aware) control‐ ler  [98].  A  suitable  estimator  for  NCSs  is  the  Kalman  filter  (see  Section  2.9),  because of its convenient form with a prediction and an update phase.   In [141] and [174] a ʺsmart sensorʺ is used, capable of doing some processing on  its own. The filtering is done at the sensor and the state estimate is sent over the  network. This ensures that the estimate is optimal, since no measurements are  lost,  and  the  current  state  can  be  calculated  by  prediction,  if  packets  are  dropped. The estimation at the sensor has the downside that the control input  to the process has to be transmitted to the sensor without delay and loss, which  is  not  practically  achievable.  Further,  ztate‐estimators  at  both  sensor  and  con‐ troller can be used to reduce the traffic, by estimating the current process state  without  the  need  to  transmit  all  the  measurements  [177].  In  this  case  the  esti‐

21 

  mates  are  updated  by  communication  only  if  the  estimation  error  grows  too  large.  The  third  alternative  is  to  still  use  a  conventional  controller,  such  as  the  PID  controller  (Figure  1c),  and  tune  it  to  be  robust  to  the  packet  drops  and  delay  jitter (Section 2.5) [47]. The advantage of this approach is that the PID controller  is  widely  used  in  the  industry.  When  wireless  communication  is  adopted  for  control  applications,  the  PID  controller  is  already  available  in  the  automation  system  and  implementing  a  new  controller  suitable  for  wireless  automation  is  more laborious than retuning an existing PID controller. Thus, PID controllers  will  most  probably  be  adopted  for  wireless  control  applications.  Additionally,  the  operators  are  familiar  with  them,  they  understand  how  the  control  law  works, and they have confidence in it.  u

yr Reference

control

State feedback

u z

output

Process

y

State estimator

y out y in Network

(a) Optimal state feedback yr

PID

Reference

u

control

Conventional PID Controller

y

output

y

Process

u z

y out y in

State estimator

Network

(b) State estimator and regular PID controller yr Reference

PID

u

control

Network aware PID Controller

output

y

Process

y out y in Network

(c) Jitter margin tuned PID controller Figure 1. Some control structures suitable for networked control systems. 

22 

 

 

u(t)

yr Reference

State feedback

control

output

y (t )

Process

y (t )

y (k) y (k)

in

out

Network

u(k)

yr Reference

PID

control

output

y (k)

Process

y ( k − 1)

y (k)

y ( k − 1)

out

in

Network

 

Figure 2. Approaches to control with discrete‐time feedback information in  NCSs. Discrete‐time signal indicated with dashed line. Top: only communi‐ cation is in discrete‐time, Bottom: Discrete‐time controller. 

The simulations in Section 4.7.2 compare these control structures. The rest of the  simulations  use,  in  general,  the  structure  of  case  (c),  whereas  the  proposed  Networked PID in Section 3.3 is an attempt to use the advantages of case (a) in a  lightweight  manner.  This  is  further  combined  with  case  (b)  to  achieve  more  benefits, in the steady‐state heuristic suggested in Section 5.4.  Besides controller structures, the approach of control design with packet based  communication,  is  another  fundamental  issue.  In  the  literature  there  are  two  approaches to deal with the case when the feedback information is received as  discrete‐time packets over the network, as depicted in Figure 2. One is to look at  the  control  as  a  continuous‐time  system,  where,  for  implementation  reasons  due to the network, only the feedback information is in discrete‐time, such as in  [103]. In this case, the discrete‐time communication approaches asymptotically  the  continuous‐time  system  when  decreasing  the  sampling  interval.  Typical  approaches  are  state‐feedback  controllers  [128]  or  other  continuous‐time  con‐ trollers with information updated at discrete time‐instants [103].  With truly discrete‐time controllers, the control algorithm is calculated whether  a packet is received or not. This might cause some trouble to the correct opera‐ tion. On the other hand, if the control algorithm is only calculated at the recep‐

23 

  tion of a new packet, the control response changes depending on the timing of  the execution events. In this case the constant operation approach is not valid.  The controller must be changed as a function of the packet inter‐arrival time or  rate, similarly as the PID PLUS controller in Section 2.6.2 or [53], to produce in  the  same  operation  as  the  ideal  continuous‐time  counterpart.  This  is  typically  not  done  in  the  literature,  e.g.  [4],  [20],  and  [128],  and  as  a  consequence  the  control response degrades when the actual sampling interval deviates from the  designed one. Proper changing of the controller sampling interval and tuning is  shown with one of the developed adaptive control schemes in Section 5.2.2.  Both  continuous‐  and  discrete‐time  approaches  have  their  advantages.  In  the  former case, the control design is done in continuous‐time, where event‐driven  feedback is most naturally formulated [8], [153]. In the discrete‐time controller  case, packet drop is more natural to deal with, as the signal value is hold until  the  next  sampling  instant.  The  resulting  network  traffic  is  predictable  as  the  sampling  interval  is  constant,  and  the  implementation  is  better  suitable  for  scheduled networks. 

2.4. Network Models  In WNCSs, the essential challenges for the control system are packet drop and  delay  jitter  caused  by  the  network.  Delay  jitter  is  in  general  caused  by  packet  drop,  random  transmission  opportunities  in  CSMA‐type  MAC  protocols  or  different sequences of timeslots in TDMA MAC protocols. In all cases the delay  jitter is aggravated in multihop communication, typical for WNCSs, as the de‐ lay accumulates at every hop. Packet drop occurs when there is packet collision,  poor  signal  strength  or  interference.  For  simulation  of  WNCSs  and  analysis  purposes, network models that imitate the  packet drop and delay jitter of real  wireless networks are needed.   In  industrial  or  factory  environments  the  radio  propagation  signal  deviates  considerably  from  the  ideal  free  space  propagation  models  used  in  most  net‐ work simulator models. Besides the simple free space model there exists many  other fading models for wireless communication [57]. Metal and obstacles cause  shadowing  and  multipath  effects  that  amplify  or  attenuate  the  radio  signal  strength. The radio environment in a factory can be harsh with interfering elec‐ tromagnetic  radiation  from  motors  and  moving  machinery  temporarily  block‐ ing links of the wireless network. Reflections of radio waves can in these envi‐ ronments  be  an  advantage,  because  shadowed  locations  can  obtain  a  strong  signal through reflections.   There are several studies of the performance of IEEE 802.11 networks, e.g. [131]  where the network design is also discussed. There are some reports on studies  of measurements done in industrial environments. The received signal strength  in a chemical pulp factory, cable factory and a nuclear power plant was meas‐

24 

  ured  with  an  IEEE  802.11  network  at  the  2.45  GHz  ISM  radio  band  [77].  The  conclusions of the experiments were that the radio environment is not as harsh  as  initially  thought;  reflections  and  diffractions  improve  the  signal  strength  in  shadow  areas.  The  study  in  Section  3.1  reveals  that,  while  many  locations  are  improved by multipath fading, communication in some locations is impossible,  due to no signal or destructive interference, even if the distance is short. Anoth‐ er study presents measurements of the bit‐error‐rate and more importantly, the  error  pattern,  of  an  IEEE  802.11  network  in  an  industrial  environment  [162].  Interesting  findings  were  that  the  packet  losses  are  correlated,  error  burst and  packet loss burst lengths fluctuate several orders of magnitude with time. This  means that the consecutive packet drops may be long in some instants and hard  to  eliminate,  for  various  physical  reasons  caused  by  the  environment  and  the  radio. On the other hand, error free periods vary also and can be long. Packet  loss rates vary from the high 80 % to less than 10 % in generous situations. In  the Internet, packet drop is found to be mostly random [15].  In  office  environments,  similar  measurements  can  be  made.  An  example  is  [169],  where  the  propagation  channel  is  measured.  Among  the  tested  models,  the  Ricean  model  fits  the  data  best.  Ricean  models  are  estimated  for  different  distances  and  configurations  between  the  transmitter  and  receiver.  Because  of  multipath propagation, the parameters of the model are not linearly dependent  on  the  transmission  distance,  as  generally  assumed.  On  large  scales,  the  log‐ normal distribution fitted the data well [169].  Wired Ethernet traffic is studied in [87], where the  self‐similar property  of the  traffic is demonstrated. Similar behavior can be assumed with WLAN networks  in office environments, as they both use CSMA. Studies of the traffic properties  in the Internet have also been done [111].  In this section the focus is on models for the packet drop in the network. This  restriction  is  made  because  the  main  limiting  factor  in  real‐time  control  is  the  loss  of  feedback,  for instance  caused by  packet  drop.  First  the  relationship  be‐ tween packet drop and delay is established. Both simple and data‐based packet  drop models, which are adequate for basic simulations of unreliable networks,  are  developed in  the  following  subsections.  For more realistic packet  drop  be‐ havior of the network,  a network simulator, where  also  the network protocols  and packet collisions are taken into account, can be used as discussed in Section  4.3.  Real  environments  have  also  been  measured  in  this  thesis,  as  reported  in  Section  3.1,  to  make  the  simulation  results  more  realistic.  Based  on  the  radio  environment measurements, packet  drop models are  estimated and  the model  fit is evaluated in Section 3.2. These network packet drop models are integrated  into the network simulation model as described in Section 4.3.4. 

25 

 

2.4.1. Packet Drop ‐ Delay Jitter  Although delay jitter and packet drop are two distinct phenomena with differ‐ ent  causes,  they  are  linked  in  a  sense,  as  the  effects  on  the  control  system  are  similar. Consider a controller with zero‐order‐hold. When a packet is dropped,  the controller will use the most recently received data. The drop of a packet will  thus effectively cause an increase in the delay, seen as a delay jitter. In the thesis  the notion delay jitter is used even if the actual underlying event is packet drop.  With a pure delay jitter no information is lost, but in a real‐time system it may  become outdated and thus useless.  In wireless communication, packet drop due to interference or collisions can be  approximated with a uniform random packet drop defined by a certain proba‐ bility  [15].  Consider  a  network  with  a  constant  delay  LN = nh ,  where  n ∈   indicates the delay in terms of sampling intervals  h, and a random packet drop  with probability  pdrop. With time‐driven algorithms and the ZOH assumption at  the receiving side, it  follows that in the network simulations the output of the  network is described by  ⎧⎪ yin ( k − LN / h ) , r ( k ) > pdrop yout ( k ) = ⎨   , r ( k ) ∼ U ( 0,1)   y k − 1 , otherwise ( ) ⎪⎩ out

(3)   

where  yin  and  yout  are  the  input  to,  and  output  from  the  network  respectively,  and  r  is  a  uniformly  distributed  random  number  between  zero  and  one.  The  previous output is thus held if a packet is dropped.   The resulting delay jitter caused by packet drop according to the above model is  thus  δ ( t ) = t − tn     ∀t ∈ ⎣⎡tn , tn+1 ⎣⎡ ,  tn = t  when  r ( k ) > pdrop  

(4) 

where tn are the times of the received packets.  An example realization of the packet drop induced delay is plotted in Figure 3  for  a  uniform  packet  drop  probability  of  pdrop  =  0.2,  and  sampling  interval  of  h  =  0.1  seconds.  Notice  the  additional  constant  minimum  delay  LN   related  to  transmission.  At the receiving side, the communication delay is in certain cases needed by the  control algorithm. The delay estimation with a linear estimator, assuming slow‐ ly changing random delay is presented in [139].  A simple delay jitter estimation algorithm for a quickly changing delay, where  the delay can change on every time‐ step, is presented next. It relies on counting  the timestamps, and the gaps due to packet drop, between the received packets. 

26 

 

0.7 0.6

Delay [s]

0.5 0.4 0.3 0.2 0.1 0 0

5

10 Time [s]

15

20  

Figure  3.  Delay  with  uniform  packet  drop  probability  of  pdrop  =  0.2,  and  sampling interval of h = 0.1 s. 

On the reception of a packet with timestamp tn‐1, the next packet is expected at  time tn‐1 + h, where h is the sampling interval of the sensor. If however one pack‐ et  is  dropped,  the  next  packet  received  has  timestamp  tn  =  tn‐1  +  h  +  dn,  where  dn > 0 is  the additional delay. The delay difference  d  is the difference in time‐ stamps between the two most recently received packets tn‐1 and tn according to 

dn = tn − tn−1 − h . 

(5) 

If  dn = 0 , there is no delay jitter. To record the delay jitter, the tuple: delay jitter  dn   and  timestamp  tn,  of  the  received  packet  are  stored.  In  practice,  the  delay  statistics  of  a  given  time‐window  ⎡⎣t − TW , t ⎦⎤ of  length  TW   is  used.  Thus,  all  the  jitters from the current time‐period  TW , are collected in D(k). 

{

}

D ( k ) = dn , tn |∀tn ∈ ⎡⎣t ( k ) − TW , t ( k ) ⎤⎦ . 

(6) 

Here  t(k) refers to the current time. The maximum delay jitter in the time‐frame  ⎡⎣t ( k ) − TW , t ( k ) ⎤⎦  is defined as 

{

}

δmax ( k ) = arg max D ( k ) .  d

(7) 

This delay counting is used in the adaptive jitter margin controller of Section 5.1  and the notion of packet drop caused delays (4) is used in all the simulations. 

27 

  The assumptions of this method are that every packet has a timestamp and that  the  delay  jitter  seen  by  the  controller  is  only  due  to  dropped  packets.  This  means that the delay variation of successfully transmitted packets is considera‐ bly  smaller  than  the  sampling  interval  of  the  controller.  In  most  applications  this  can  be  assumed  if  the  network  is  small  and  the  communication  times  are  small  compared  to  h.  A  more  complex  delay  estimation  algorithm,  which  avoids  these  assumptions,  is  the  Kalman  filter  based  maximum  a  posteriori  method presented in [P7]. 

2.4.2. Drop and Delay Models based on Markov‐chains  Instead of using a static drop probability as a model for the network, a Markov‐ chain  can  be  used  to  model  correlated  network  delay  or  packet  drop  [172].  In  this  section  several  Markov‐chain  packet  drop  models  are  described  and  Gil‐ bert‐Elliott  model  identification  presented.  These  models  are  identified  from  data in Section 3.2 and used later in the thesis in the simulations.  A Markov‐chain is a sequence of random variables  Χ ( k )  defined by the proba‐ bility of being in a state χ according to  

(

)

P = Pr Χ ( k + 1) = χ ( k + 1)|Χ ( k ) = χ ( k ) , 

(8) 

where  P = ⎡⎣ pij ⎤⎦  is the state‐transition matrix, giving the probability of changing  from state  i to state  j. The steady‐state state distribution of the Markov‐chain is  given  by  the  left  eigenvector  of  the  equation π = πP ,  corresponding  to  the  ei‐ genvalue 1. [34]  For modeling a network with a maximum delay jitter of  δmax , a Markov‐chain  with  N M = δmax / h  states, each corresponding to a delay value, can be used. The  delayed output of the network is then dictated by the current state of the Mar‐ kov‐chain. 

If  a  network  with  constant  delay  and  only  packet  drops  is  considered,  a  Mar‐ kov‐chain  can  also  be  used.  In  this  case  the  delay  increases  by  one  sampling  interval if a packet is dropped, or it returns to the minimum delay if a packet is  transmitted successfully. Thus, with uniform random packet drop and a maxi‐ mum  number  of  consecutive  packet  drops  of  N M = δmax / h ,  the  Markov  chain  state‐transition matrix is of the form 

⎡1 − pdrop ⎢ ⎢1 − pdrop P=⎢ ⎢ ⎢ 1 ⎣

28 

pdrop

0

0 0

0

0 ⎤ ⎥ 0 ⎥ .  pdrop ⎥⎥ 0 ⎥⎦

(9) 

 

pGB

Good dG

pGG

Bad dB

pBB

pBG

  

Figure  4.  Gilbert‐Elliot  model  with  states  Good  and  Bad.  State‐transitions  and probabilities indicated. 

In the case that the packet drop probability is not uniform, different transition  probabilities  can  be  used  for  the  separate  states  and  thus  correlated  packet  drops can be simulated. Other Markov chains are also possible, see e.g. [172].  A  common  way  to  model  a  network  with  packet  drops  is  the  Gilbert‐Elliott  (G‐E) model [41], [56], which is based on the Markov‐chain. The G‐E model has  two states: one corresponding to good (G) and the other to bad (B) conditions,  with  separate  packet  drop  probabilities  in  the  good  and  bad  state,  P ( drop |G ) = dG   and  P ( drop | B ) = dB ,  respectively.  The  transitions  between  the  states follow a two‐state Markov model. The state‐transition matrix is given by 

⎡p P =⎢ GG ⎣ pBG

( (

) )

pGB = P Χ ( k ) = B|Χ ( k − 1) = G ,     pGG = 1 − pGB pGB ⎤ ,  ⎥ ,        pBB ⎦ pBG = P Χ ( k ) = G |Χ ( k − 1) = B ,     pBB = 1 − pBG

(10) 

where  pGG   and  pBB   are  the  state‐holding,  and  pGB   and  p BG   are  the  state‐ transition  probabilities  as  illustrated  in  Figure  4.  The  state  residence  time  of  state i is given by 

TGE ,i =

h ,  1 − pii

(11) 

where h is the time‐step of the Markov‐chain.  The average good and bad state probabilities of the G‐E model are  πG =

pBG pGB ,  πB = ,  pBG + pGB pBG + pGB

(12) 

and the mean packet drop is [66]  dGE = πG dG + πBdB . 

(13) 

In  Section  3.2,  the  Gilbert‐Elliott  model  is  fitted  to  the  data  collected  from  an  industrial environment. These models are implemented, as explained in Section  4.3.4, for realistic simulation purposes. To fit the G‐E model to the data, the two  drop  probabilities  ( dG   and  dB )  and  the  state‐transition  probabilities  ( pGB   and  29 

  p BG )  must  be  identified  from  the  data.  The  model  identification  is  a  Hidden  Markov  Model  fitting  problem  [66],  where  the  observations,  in  this  case  the  packet drops, are available and the underlying states and emission probabilities  are estimated. To evaluate the model fit on the data, using second order statis‐ tics over different time‐scales is a standard approach [66].  The  time‐scales  are  defined  as  follows.  The  stochastic  process  Χ   can  be  ex‐ amined  on  different  time‐scales  m  by  taking  the  average  of  non‐overlapping  blocks of size m  Χ( m ) ( k ) =

(

)

1 Χ ( mk − m + 1) + m

+ Χ ( mk ) . 

(14) 

For time‐series with little data, averaging with a sliding window or partly over‐ lapping windows of size m can be used.  The  model  fit  is  evaluated  by  the  mean  packet  drop  (13)  and  the  normalized  error in standard deviation  σnorm ( m ) =

σD ( m ) − σGE ( m ) σ D ( 1)

, 

(15) 

where  σ D  and  σGE  are the standard deviations of the data and the Gilbert‐Elliott  model, at time‐scale m. The error (15) is zero if the variances coincide and one if  the  difference  in  variances  is  as  large  as  the  variance  in  the  data.  The  overall  model fit is evaluated with the mean of the normalized standard deviation error  over logarithmically spaced time‐scales, listed in the set M  σtot =

1 M

∑

m∈M

σnorm ( m ) . 

(16) 

The  statistical  properties  of  the  Gilbert‐Elliot  model  and  higher  order  Markov  models are derived in [66]. The coefficient of variation 

cv ≡

σ (Χ)

E (Χ)

 

(17) 

for the G‐E model is  cv ( m ) = =

1 m

⎛ 2 p p ( 1 − p − p )( d − d )2 1 GB BG G B − 1 + ⎜ GB BG 2 ⎜ ( p + p )( p d + p d ) dGE GB BG GB B BG G ⎝

⎞ ⎛ ( 1 − p − p )m ⎞ ,  (18)  GB BG ⎟⎜1− ⎟ ⎟⎜ m ( pGB + pBG ) ⎟ ⎠⎝ ⎠

from which the variance at different time‐scales can be calculated  σGE ( m ) = cv ( m ) dGE . 

30 

(19) 

 

2.5. Jitter Margin  Control  with  packet  drops  and  varying  delay  stemming  from  a  network  is  a  complex  case  to  analyze,  because  of  the  stochastic  and  time‐varying  nature  of  the  problem.  Ensuring  stability  of  NCSs  has  been  under  much  research  lately  [65].  Some  results  deal  with  optimal  control  [95],  jump‐linear  Markov  models  [172] and the jitter margin [23], [72].   The  jitter  margin  [23]  defines  the  amount  of  additional  delay  that  a  control  system  can  tolerate  without  becoming  unstable.  The  delay  may  vary  in  any  way, provided that it is bounded by the jitter margin δmax. By selecting a tuning  of a conventional controller such that the control loop has a positive jitter mar‐ gin, the control loop is stable for network induced delay jitter and packet drop  bounded by the jitter margin.  The  theorem  for  the  jitter  margin  states  that  in  the  continuous‐time  case,  the  closed loop system with process G(s) and controller Gc(s) is stable for any addi‐ tional delay  0 ≤ δ ( t ) ≤ δmax  in the loop, if [72]  Gcl ( s ) =

G ( jω ) Gc ( jω )


1

 

(65) 

for  the  jitter  margin.  Conversely,  the  corresponding  tuning  λ  can  be  solved,  given a jitter margin constraint.  In the case of a FOTD process, where the non‐invertible time‐delay makes the  approximation  (53)  invalid,  as  the  delay  must  be  approximated  in  the  control 

55 

  implementation,  the  above  stability  to  delay  jitter  is  not  guaranteed.  The  jitter  margin  depends  then  on  the  approximation  method  used  for  the  time‐delay,  e.g. one of (58)‐(60). Now  Gcl  is according to (56) and the jitter margin inequali‐ ty (21) becomes 

δmax
rd otherwise

 

(94) 

where  ri  is  the  QoS  of  the  ith  loop  and  rd  is  the  desired  QoS.  If  any  loop  expe‐ riences  worse  QoS  than  desired,  all  loops  use  max ( r )i − rd .  This  decreases  the  i traffic generated by all loops to obtain a better QoS for the loop that has too low  QoS. This global adjustment is used because bad QoS is usually due to the other  control loops taking too much of the available bandwidth. Otherwise the loops 

121 

  adjust  λ  according  to  the  local  QoS.  Moreover,  the  update  speed  depends  on  Δr ( k )  such that  ⎧⎪λ / T ,  if Δr ( k ) ≤ 0   m(k) = ⎨ ⎪⎩T / λ ,  if Δr ( k ) > 0

(95) 

where T is the time constant of the process. The update speed thus depends on  how much the control speed λ differs from the natural speed of the process T.  In case of a process model of higher order, the dominating time‐constant is used  for T in the adaptation algorithm.  At every time‐step the control speed λ is updated and the corresponding IMC  controller is calculated. The sampling interval is updated according to (74). The  sampling interval of the sensor and controller is thus proportional to the control  speed. The sampling interval is additionally quantized to a multiple of two of a  base sampling interval hbase such that  ⎛ ⎛ λ(k) h λ ( k ) = hbase 2 p ,  where p = floor ⎜ log 2 ⎜ ⎜N h ⎜ ⎝ h base ⎝

(

)

⎞⎞ ⎟⎟   ⎟⎟ ⎠⎠

(96) 

where floor rounds down to the nearest integer. Quantization is used for prac‐ tical reasons, because the controller cannot change the sampling interval conti‐ nuously. The procedure for the change is described in the next subsection.  According  to  (75),  a  suitable  jitter  margin  for  the  ACS  scheme  can  be  selected  directly by specifying Nh. The jitter margin in terms of consecutive packet drops  is thus the same regardless of the control speed. The actual jitter margin accord‐ ing  to  (22),  with  IMC‐PID  control  and  the  parameters  given  in  the  simulation  case  described  in  Section  5.2.4  (T  =  10),  is  solved  previously  in  this  thesis  and  plotted  as  a  function  of  control  speed  in  Figure  15.  Without  quantization  the  obtained jitter margin is as specified at Nh = 8, but quantization alters the jitter  margin. 

5.2.2. Changing the Sampling Interval  The algorithm for changing the sampling interval starts by a change in the cal‐ culated  quantized  h(k)  (96)  at  the  controller.  The  process  model  is  first  re‐ discretized  and  then  the  new  IMC  controller  is  calculated.  Changing  the  sam‐ pling interval in the middle of a run requires some calculation to make a seam‐ less transition [3]. The decision to use quantized sampling intervals in the ACS  algorithm  simplifies  the  transition  calculations  and  avoids  changing  sampling  intervals continuously.  Changing to a longer sampling interval is easy, as it is in this case doubled: the  new  samples  are  calculated  as  averages  over  pairs  of  previous  control  in‐ put/output  values  and  the  new  controller  is  switched  on  immediately.  When 

122 

  halving  the  sampling  interval,  the  controller  needs  to  be  initialized  with  in‐ between  samples.  There  exist  several  applicable  methods  to  change  the  sam‐ pling online without bumps. One can use interpolation with splines or optimi‐ zation  to  find  the  in‐between  values  [3].  Here,  an  algorithm  that  matches  the  output of the old and new controllers is proposed [P9].  The change to a shorter sampling interval is sketched in Figure 52. The sensor is  first  informed  of  the  new  sampling  interval,  and  it  starts  transmitting  with  it.  The old controller is still run during the initialization phase, using every other  measurement  of  the  new  sampling  interval.  Once  enough  samples  with  the  faster  sampling  rate  are  received,  the  initialization  is  done  according  to  the  following algorithm and the new controller is applied.  The switch is done at the time‐instant k = ks, with indexing according to the new,  faster  sampling  rate.  As  the  slow‐sampling  controller  has  been  used,  every  other control value is matched such that the same output response is achieved,  i.e. “u(k)” of the old controller must equal “u(2k)” of the new. The in‐between u‐ values (indicated in Figure 53) are solved using the controller equation  D ( z ) u ( ks − m ) = N ( z ) y ( ks − m ) , 

(97) 

where  Gc ( z ) = N ( z ) D ( z ) . The values  u ( ks − even )  are fixed by the old control‐ ler  and  u ( ks − uneven )   are  unknown  (even  =  0,  2,  4,…  and  uneven  =  1,  3,  5,…).  The  “uneven”  values  u ( ks − uneven )   are  found,  by  solving  x  from  the  linear  equation  Ax = b , using the fixed even values (Figure 53), where 

  Figure 52. Proposed method to switch to a shorter sampling interval, with  deg Gc = 5 .  Control  signal  and  instants  for  process  measurements  shown. 

( )

123 

  D ( 1) u ( k s ) + D ( 2 ) u ( k s − 1 ) + D ( 3 ) u ( k s − 2 ) +

= N ( 1) y ( k s ) + N ( 2 ) y ( k s − 1) +

D ( 1) u ( k s − 1) + D ( 2 ) u ( k s − 2 ) + D ( 3 ) u ( k s − 3 ) +

= N ( 1) y ( k s − 1) + N ( 2 ) y ( k s − 2 ) +

D ( 1) u ( k s − 2 ) + D ( 2 ) u ( k s − 3 ) + D ( 3 ) u ( k s − 4 ) +

= N ( 1) y ( k s − 2 ) + N ( 2 ) y ( k s − 3 ) +

D ( 1) u ( k s − 3 ) + D ( 2 ) u ( k s − 4 ) + D ( 3 ) u ( k s − 5 ) +

 

= N ( 1) y ( k s − 3 ) + N ( 2 ) y ( k s − 4 ) +

Figure 53. Unknown u‐values to be solved indicated by box when switch‐ ing from slower to faster sampling. 

x = ⎡⎣u ( ks − 1) u ( ks − 2 − 1)

(

u ( ks − 2 M + 1) ⎤⎦ ,  

(

))

A row 2m  and 2 m + 1, columns m  to m + ceil deg ( D ) / 2 =

  ⎡D ( 2) D ( 4) =⎢ ⎣⎢ D ( 1) D ( 3 )

D ( even ) ⎤ ⎥ D ( odd ) ⎦⎥

 

where  deg ( D ) > 2  is the order of the polynomial D(z), D(n) is the term of the nth  power of D, ceil rounds up to the nearest integer, and  b ( rows 2 m  and 2 m + 1) =

⎡ N ( z ) y ( ks − m ) − D ( 1 + even ) u ( ks − 2 m ) ⎤  =⎢ ⎥ ⎢⎣ N ( z ) y ( ks − m − 1) − D ( 1 + uneven ) u ( ks − 2m − 1) ⎥⎦

where  one‐based  indexing  is  used  for  the  elements  of  D,  m = ⎡⎣0 … M / 2 ⎦⎤ ,  and  M = deg ( D ) − 2 . If  deg ( D ) ≤ 2 , no solving needs to be done, the new controller  can continue immediately using every other previously received value.  An  example  of  changing  the  sampling  interval  is  given  in  Figure  54,  for  both  increasing and decreasing the sampling interval. With the initialization calcula‐ tion presented above, the control continues smoothly after the switch. 

5.2.3. Analysis of the Adaptive Control Speed Algorithm  In this section the ACS algorithm is shown to be of additive increase, multiplic‐ ative decrease‐type (AIMD), which is a typical approach for bandwidth control  of network traffic. AIMD is for instance used in TCP.   The evolution of λ is analyzed by combining (93) with (95) and using (96), neg‐ lecting  the  rounding  by  using  h ( k ) = λ ( k ) / N h   instead.  When  Δr  >  0,  (93)  be‐ comes 

λ ( k + 1) = λ ( k ) + and when Δr  ≤ 0 

124 

cT Δr ( k )   Nh

(98) 

 

3 yr u y

2

1

0

0

5

10

15 Time [s]

20

25

30

3 yr u y

2

1

0

0

5

10

15 Time [s]

20

25

30

 

Figure 54. Switching of sampling interval. Top: slow to fast (h = 1 s to 0.5 s).  Bottom: fast to slow (h = 0.5 s to 1 s), at time t = 8 s. Controller switches to  fast sampling at t = 10 s (top) because of required initialization. Control sig‐ nal u and process response y plotted. 

⎛ ⎞ c λ ( k + 1) = λ ( k ) ⎜ 1 + Δr ( k ) ⎟ .  ⎝ TN h ⎠

(99) 

Equations (98) and (99) show that λ is increased additively when it is too small  and decreased multiplicatively, when it is too large. Thus the ACS is an AIMD  type  algorithm.  The  additive  and  multiplicative  constants  are  proportional  to  the error from the desired QoS,  Δr ( k ) .  The main difference between this algo‐ rithm and any TCP algorithm, is that this adjusts the control speed, where the  actual  traffic  amount  on  the  application  layer  is  adjusted,  instead  of  adjusting  the traffic speed on the transport layer.  Now  the  stability  of  the  ACS  scheme  is  analyzed.  The  general  stability  of  an  AIMD type rate control algorithm is difficult to prove. An early analysis is by  [30]. One can consider several cases, such as one [14] or several bottleneck links  [105], [75]. Below is a very simplistic proof, for the case with one bottleneck and  instantaneous  packet  drop  feedback  and  no  queue  overflows.  Consider  a  sys‐

125 

  tem with several control loops all governed by the ACS scheme. If the desired  QoS  is  reached,  then  Δr  =  0  and  the  control  speed  update  (98),  (99)  remains  constant,  λ ( k + 1) = λ ( k ) .  As  there  exists  an  equilibrium,  we  next  assess  what  happens when the ACS is not at steady‐state. Assume that the network QoS is a  function of the traffic over a bottleneck link   ⎛ 1 ⎞ r (k) = f ⎜ ∑ ⎟= ⎜ i h (k) ⎟ i ⎝ ⎠

⎛ Nh ⎞ f ⎜∑ ⎟ ,   ⎜ i λ (k) ⎟ i ⎠ ⎝

(100) 

where the sum is the packet frequency over that link, summed over all the con‐ trol loops with sampling intervals hi. As traffic increases, f  gives the QoS cost r  as a positive increasing function of the traffic (and ultimately the control speed).  Hence, the network QoS cost increases in some (non‐linear) manner if the traffic  over  the  network  increases,  which  is  a  typical  behavior  of  networks  with  a  CSMA type MAC.  If  Δr  >  0,  (98)  implies  λ ( k + 1) > λ ( k ) ,  and  since  f  is  positive  and  increasing  f ( k + 1) < f ( k )   and  Δr ( k + 1) < Δr ( k ) .   Similar  reasoning  when  Δr  ≤  0  gives  in  (99)  λ ( k + 1) < λ ( k )   and  f ( k + 1) > f ( k ) ,  which  leads  to  Δr ( k + 1) > Δr ( k ) .  The  reasoning is the same for all the control loops, as they all measure the same r,  thus  Δr ( k )  is always decreasing until Δr approaches zero. In practice this may  never  happen,  as  packet  drops  are  randomly  distributed  and  all  loops  do  not  observe exactly the same QoS. The following simulations indicate that the ACS  is still well behaving.  As  with  any  similar  learning  algorithm,  the  choice  of  c  determines  the  rate  of  convergence of the algorithm. Selecting a small value makes convergence slow,  but a too large value may cause oscillation around the optimum. 

5.2.4. Simulation Scenario  The simulation scenario consists of six control loops using ACS. Measurements  of  the  controlled  processes  are  transmitted  wirelessly  over  an  IEEE  802.15.4  network. The network topology is shown in Figure 55, where all control loops  communicate  over  one  bottleneck  in  the  center  of  the  network.  The  distances  are such that the radio signal reaches only the nearest neighbors, thus multihop  communication is used. AODV [126] is used as the routing protocol. A simula‐ tion  for  6000  seconds  is  done,  where  loops  5  and  6  are  initially  idle  and  start  operation  at  times  t  =  2000  s  and  t  =  4000  s,  to  show  how  the  ACS  algorithm  reacts when traffic is suddenly increased.  The process models in the loops are continuous‐time, first order transfer func‐ tions  with  unit  gain  and  time‐constants  as  indicated  in  Figure  55.  All  the  processes have a delay of τ = 0.5 seconds. A PID controller, with the IMC‐PID  tuning without a pre‐filter, described in Section 2.7.2 is used. 

126 

 

4 1 Sensor 2 Sensor 3 Controller 3 Sensor 1 3 5 T = 30 s Controller 5 T = 20 s 7 6 8 9 Controller 4 Sensor 4 Controller 6 T = 40 s 9 T = 30 s 9 Sensor 5 Sensor 6 2 0 Controller 2 Controller 1 T = 20 s T = 10 s

 

Figure 55. Network topology in simulated scenario, consisting of six wire‐ less control loops. Possible communication routes are indicated. 

The  selected  parameters  for  the  ACS  algorithm  are  the  following:  the  packet  drop  low‐pass  filter  coefficient  is  β  =  0.98  and  the  update  speed  is  c  =  2.  The  desired packet drop is rd = 4 %. The base sampling interval is set sufficiently low  at hbase = 0.01 s and Nd = 8.  Changing the sampling interval in practice commences by the controller send‐ ing a packet to the sensor, instructing it to use the new interval. The measure‐ ment packets from the sensor contain the used sampling interval, such that the  controller  knows  when  the  sensor  has  successfully  switched  to  the  new  sam‐ pling interval. If no change is done, the controller repeats the request.  Another  practical  issue  is  the  individual  QoS  needed  by  (94).  The  loops  must  obtain  this  information  from  the  other  loops.  Sharing  this  information  is  done  with the so called send‐on‐delta approach to minimize the used bandwidth. The  send‐on‐delta mechanism means that the loop notify the other loops by sending  a packet of its current local QoS ri, if it is above rd and has changed more than a  certain  threshold  since  the  previous  update.  Additionally,  the  nodes  send  a  packet when the QoS returns to the desired region.  The results of one of several runs are shown in the following figures. Figure 56  shows  the  average  packet  drop  of  the  individual  loops  where  the  bold  line  is  the  total  QoS  (92),  which  is  mostly  kept  below  the  desired  level  of  4  %.  The  control  speeds  and  corresponding  sampling  intervals  for  all  the  loops  are  shown in Figure 57. Initially all the loops decrease the sampling intervals, until  packets start to drop. When loops 5 and 6 starts, congestion occurs and all the  loops  slow  down  to  accommodate  for  the  increased  congestion  introduced  by  the  additional  loops.  Notice  how  the  new  loops  find  an  appropriate  control  speed,  even  though  they  initially  start  with  a  conservative  control  speed.  The  ACS thus compensates for the changing traffic conditions. 

127 

  0.1 0.09 0.08 0.07

QoS

0.06 0.05 0.04 0.03 0.02 0.01 0

0

1000

2000

3000 Time [s]

4000

5000

6000

 

Figure 56. Observed average packet drop for all individual loops and total  QoS rtot (92) (black line). Desired QoS drawn with dotted line.  40

λ

30 20 10 0

0

1000

2000

3000 Time [s]

4000

5000

6000

0

1000

2000

3000 Time [s]

4000

5000

6000

6

h [s]

4

2

0

Figure 57. Top: control speed for all the control loops, evolution as a func‐ tion of time. Bottom: Corresponding sampling intervals. 

128 

 

  From  the  experience  of  the  simulations,  which  include  all  the  network  related  issues of the media access and routing protocols, one can conclude that the ACS  algorithm  works  as  intended.  The  assumption  that  the  packet  drop  depends  directly  on  the  congestion  of  the  network  turns  out,  in  practice,  not  to  hold  completely. Packet drop mostly depends on the precise timing of the network,  examples are collisions when two nodes transmit simultaneously, or in the case  of a queue overflow. This is more probable when the network is congested, but  is in nature stochastic. ACS could instead use network congestion information  to adjust the control  speed. Congestion feedback information, either implicitly  through  random  early  drop  [51]  or  explicitly  by  messaging  from  the  interme‐ diate nodes [136], could be used to accomplish the rate control. 

5.2.5. Summary  The adaptive control speed algorithm for NCSs changes the tuning λ of an IMC  controller  depending  on  the  network  QoS.  The  measurement  sampling  rate  is  changed as a function of λ, which adjusts the traffic of the network such that it  is  not  congested.  If  the  network  is  congested  the  control  speeds  and  sampling  rates  of  all  the  control  loops  are  reduced,  to  compensate.  The  algorithm  is  unique  in  the  sense,  that  it  adjusts  the  controller  generated  traffic  in  a  NCS  setting, depending on the offered network QoS. It is a control oriented approach  to  adapt  to  a  network  layer  problem.  The  sampling  interval  adaptation  can  as  well  be  applied  to  sensor  network  type  of  monitoring  applications  where  the  importance of the measurement is specified by the parameter T.  The  proper  change  of  sampling  interval  is  considered  here,  whereas  in  most  works found in the literature the old controller is continued to be used with a  new sampling interval and the whole issue is ignored. The adaptive IMC based  controller  handles  online  change  of  the  sampling  rate  without  bumps,  by  an  initialization procedure.  The presented ACS algorithm is demonstrated with PiccSIM, where six control  loops using ACS are simulated. The control speeds are adjusted online as more  loops are added to the network, such that the desired QoS is maintained. 

5.3. Step Adaptive Controller for Networked  MIMO Control Systems  In this section the multiple‐input multiple‐output WNCS case is considered. A  decentralized  wireless  2x2  MIMO  control  system  is  depicted  in  Figure  58.  A  MIMO  process,  with  wireless  sensors  measuring  all  the  outputs  and  separate  controllers for the inputs, i.e. diagonal MIMO control, is assumed.  

129 

 

y1

Controller 1

y r1

Process

Control

u1

G11(s)

Network Sensor 1

G12(s ) G21(s )

y r2

Controller 2

u2 G22(s )

Sensor 2

y2

 

Figure 58. Diagram of a 2x2 MIMO process in a NCS. 

Fully  decentralized  MIMO  control  results  in  high  network  traffic  because  the  information  from  every  sensor  is  needed  for  every  control  input.  Due  to  the  communication  requirements  of  full  MIMO  control,  diagonal  MIMO  control,  where separate SISO loops control the MIMO process as shown in Figure 58, is  more suitable for WNCSs and thus considered here.  The  lightweight  requirement,  due  to  the  low  communication  capabilities  of  wireless  nodes,  demands  restricting  the  algorithms  to  simple  types  of  control‐ lers, such as PID or IMC controllers. Although the achievable performance with  several SISO PID or IMC controllers controlling each input‐output pair may not  be  as  good  as  with  a  full  MIMO  controller,  the  decomposition  is  justified  in  a  WNCS, because of the low and local communication needs compared to the full  MIMO  case.  When  carefully  tuned,  the  structural  simplicity  of  the  individual  controllers  may  outrun  the  difference  in  performance  of  the  more  complex  MIMO controller in a WNCS setting. Thus, the need for good diagonal MIMO  PID controller tuning is obvious, of which there are plenty to choose from [145].  Here, a controller tuning switching method is proposed, such that good control  is achieved, depending on in which input a step change in the reference is made  [P10].  In the multivariable control case, the objectives of the controllers are to produce  a  feasible  step  response  in  one  loop  and  an  efficient  cross‐interaction  elimina‐ tion in all the other loops. The idea of the step adaptive controller (SAC) is simi‐ lar to cascade control, where the disturbance would be suppressed by creating a  plain speed difference between the loops. In other words, the controller of the  loop which performs a step would correspond to the primary controller of the  cascade control, with a lower loop speed (equivalent to a larger IMC λ value).  At  the  same  time,  the  other  loop  would  be  tuned  faster  (smaller  λ),  and  thus  more efficient at compensating for the cross‐interaction disturbance. [P10] 

130 

  The  step  adaptive  controller  thus  switches  the  tuning  depending  on  whether  the loop has a change in its own reference or not. If a step response is expected,  the  tuning  is  changed  in  order  to  ensure  a good  response.  Conversely,  if  a  set  point  change  is  made  in  another  interacting  loop,  a  tuning  more  suitable  for  cross‐interaction rejection is selected. If there are concurrent reference changes,  the latter strategy is selected.  The  design  of  the  step  adaptive  controller  is  naturally  done  by  using  the  IMC  framework (Section 2.7), where the controller can be tuned with only one tun‐ ing parameter related to the speed of the step response. The tuning can be ap‐ plied on a conventional IMC controller or on an IMC‐PID controller, which are  considered  here,  with  some  design  alternatives  summarized  in  Figure  59.  The  SAC  framework,  which  changes  the  controller  tuning  depending  on  the  situa‐ tion, is not restricted to IMC control with the notion of control speed, but can be  applied  through  optimization  to  any  parameterized  controller.  An  example  used here is optimizing the parameters of a PID controller.  The  controller  tuning  is  chosen  by  optimization,  thus,  the  envisioned  speed  difference  may  not  necessarily  come  true.  By  changing  the  cost  criterion,  the  operator can choose an acceptable step response. The selection of the cost crite‐ rion is investigated in the next section.  Although the step adaptive controller is applied here to a 2x2 process, it can be  extended to an n x n MIMO case as well. In the n x n case, the proposed proce‐ dure  would  yield  n‐1  tuning  parameter  values  for  every  controller,  optimized  for eliminating the cross‐interaction that originate from the n‐1 other loops. This  large  amount  of  different  tuning  values  (n  x  n‐1)  needed  for  cross‐interaction  elimination  could  be  reduced  by  first  analyzing  the  interactions  between  the  loops and then optimizing only for the loop that causes the largest interaction.  The  chosen  tuning  would  then  be  suitable  for  the  other,  less  significant  cross‐ interactions from other loops.   Design discrete‐time IMC

Design IMC‐PID

Discrete‐time PID

Discrete‐time PID

Optimize γ

Optimize λ

Optimize Kp , Ki, and Kd

n times for separate steps in all the loops

 

Figure 59. Step adaptive controller tuning alternatives. 

131 

 

5.3.1. Controller Tuning by Optimization for MIMO Systems  To  tune  the  step  adaptive  controller,  the  simulation  based  tuning  procedure  [129]  is  applied.  In  the  MIMO  case,  unit  reference  changes  are  for  example  made sequentially to each input of the system. Hence, each output response is  composed of two different situations where the control performance is assessed:  step response and cross‐interaction. These two cases are different in nature, and  may  set  competing  requirements  for  the  control  actions.  Therefore  the  cost  criterion for the tuning optimization is considered in this subsection. A suitable  cost criterion is selected to fit the desired control objectives in both of the above‐ mentioned situations for the SAC.  In  order  to  evaluate  the  control  performance  of  a  MIMO  system  a  new  cost  criterion  is  proposed.  The  total  cost,  which  is  minimized  for  optimal  control  tuning,  is  chosen  as  a  weighted  sum  of  two  individual  costs:  the  costs  during  the step and cross‐interaction response. The ITSE criterion (32) yields good step  responses  because  of  the  absolute  time  included  in  the  cost  calculation,  which  discounts  the  initial  step  transient  and  emphasizes  the  settling  down  to  a  steady‐state.  The  ISE  criterion  in  (31)  is  more  suitable  for  evaluating  the  cost  under load disturbances, which can occur at any time. Therefore, the cost crite‐ rion  is  switched  from  ITSE  to  ISE  at  tload  when  the  character  of  the  response  changes from step response to cross‐interaction, at the time in another loop has  a step response, as shown in Figure 60.  A  weighted  sum  of  the  two  cost  functions  is  taken,  similarly  as  in  [53].  The  weight  factor  α  (0