Particle swarm optimization shows a series of advantages that have given it ...... VANETs is the IEEE 802.11b WLAN, also
Emergent Optimization: Design and Applications in Telecommunications and Bioinformatics
Ph.D. Thesis Dissertation in Computer Sciences Author
José Manuel García-Nieto Supervisor
Dr. Enrique Alba Torres Department of Lenguajes y Ciencias de la Computación
UNIVERSITY OF MÁLAGA
February 2013
Departamento de Lenguajes y Ciencias de la Computación Escuela Técnica Superior de Ingeniería Informática Universidad de Málaga
El Dr. D. Enrique Alba Torres, Catedrático de Universidad perteneciente al Departamento de Lenguajes y Ciencias de la Computación de la Universidad de Málaga,
Certifica
que, D. José Manuel García Nieto, Ingeniero en Informática por la Universidad de Málaga, ha realizado en el Departamento de Lenguajes y Ciencias de la Computación de la Universidad de Málaga, bajo su dirección, el trabajo de investigación correspondiente a su Tesis Doctoral titulada:
Emergent Optimization: Design and Applications in Telecommunications and Bioinformatics Revisado el presente trabajo, estimo que puede ser presentado al tribunal que ha de juzgarlo. Y para que conste a efectos de lo establecido en la legislación vigente, autorizo la presentación de esta Tesis Doctoral en la Universidad de Málaga.
En Málaga,
febrero del 2013
Fdo: Dr. Enrique Alba Torres
Emergent Optimization: Design and Applications in Telecommunications and Bioinformatics Ph.D. Thesis Dissertation in Computer Sciences written by Jos´e Manuel Garc´ıa-Nieto and supervised by Prof. Enrique Alba Torres February 2013
A mis padres, Juan y Clotilde, por la educaci´ on y confianza que depositaron en mi
A Carmen Jes´ us y a Pedro, por su apoyo, cari˜ no y paciencia durante todo este tiempo
Agradecimientos Antes de empezar esta memoria, me gustar´ıa expresar mi agradecimiento tanto a las personas como a las instituciones que han contribuido de una forma u otra a la realizaci´ on de esta tesis doctoral. En primer lugar, como no puede ser de otra manera, agradezco sinceramente a mi director, el Doctor Enrique Alba Torres, que haya confiado en mi capacidad y que me haya guiado en la realizaci´ on de este trabajo, as´ı como en otras muchas cosas de la vida, siempre ofreci´endome todo su tiempo, dedicaci´ on y amistad. Tambi´en me gustar´ıa agradecer, de manera muy especial, a mis compa˜ neros del grupo de investigaci´on NEO, que han compartido conmigo tantas horas de trabajo en el laboratorio. A Paco, Francis, Gabriel y Bernab´e, que me acogieron desde el primer momento y me ayudaron con su enorme experiencia. A Guillermo, Juanjo y Briseida, que me animaron siempre y compartieron conmigo tantos problemas, alegr´ıas y sentimientos en este arduo camino del doctorado. Por supuesto, agradezco tambi´en a Javier, Jamal, Sebasti´an y Daniel, por su apoyo diario y a los cuales animo en sus propias tesis y andaduras profesionales. No me puedo olvidar de Antonio y de Juan Miguel, que siempre se han prestado a ayudarme y a resolver mis dudas de manera desinteresada, as´ı como de todos los que han pasado por el laboratorio: Juan, Dani, Juli´an y Javier, sin querer dejar de mencionar a ninguno pues a todos agradezco. Para m´ı es un verdadero lujo formar parte de este fant´ astico grupo reunido por Enrique. Quiero agradecer tambi´en a todos los compa˜ neros “extranjeros”, de tantos pa´ıses, que me han acompa˜ nado en mi trabajo y me han mostrado lo diverso, grande y bonito que es el mundo. De manera muy especial, agradezco a mis m´as estrechos colaboradores: los argentinos Javier Apolloni y Ana Carolina Olivera, as´ı como a Pablo, Sergio, Andreas y tantos otros. Por supuesto, debo expresar mi m´as sincero agradecimiento al Profesor El-Ghazali Talbi por haberme facilitado mis estancias doctorales en el INRIA-Lille en Francia, durante tres interesantes meses de mi vida en los que tanto aprend´ı. Termino estas l´ıneas dando gracias, de todo coraz´ on, a mi esposa Carmen Jes´ us y a mi hijo Pedro, que siempre est´ an a mi lado apoy´andome y dando luz a mis d´ıas. Gracias de todo coraz´ on tambi´en a mis queridas hermanas, Cloti, Nati y Carmen, que me han acompa˜ nado durante toda mi vida. Por u ´ltimo, gracias a mis maravillosos padres, Juan y Clotilde, que me lo han dado todo y me han ense˜ nado que con trabajo, voluntad y esfuerzo puedo conseguir cualquier cosa que me proponga.
Acknowledgements This work thesis has been partially funded by the Spanish Ministry of Sciences and Innovation (MEC) and the European Regional Development Fund (FEDER), under contract TIN2008-06491C04-01 of the Mstar project (http://mstar.lcc.uma.es). It has been also partially funded by the National (MEC) RoadMe TIN2011-28194 (http://roadme.lcc.uma.es) and regional (Junta de Andaluc´ıa) DIRICOM P07-TIC-03044 (http://diricom.lcc.uma.es) projects. Finally, the author is supported by a FPI grant with code BES-2009-018767 from MEC.
Contents Acknowledgements
iv
I
1
Motivation and Fundamentals
1 Introduction 1.1 Motivation . . . . . . . . 1.2 Objectives and Phases . . 1.3 PhD Thesis Contributions 1.4 Thesis Organization . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
3 3 6 6 7
2 Fundamentals of Metaheuristics 2.1 Metaheuristics . . . . . . . . . . . . . . 2.1.1 Classification of Metaheuristics . 2.1.2 Extended Models . . . . . . . . . 2.1.3 Statistical Validation Procedure .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
11 11 15 19 23
3 Fundamentals of Particle Swarm Optimization (PSO) 3.1 PSO: Introduction . . . . . . . . . . . . . . . . . . . . . 3.1.1 Canonical PSO . . . . . . . . . . . . . . . . . . . 3.1.2 Standard Versions of PSO . . . . . . . . . . . . . 3.1.3 Prominent Versions of PSO . . . . . . . . . . . . 3.1.4 Related Approaches: Differential Evolution (DE) 3.2 A General Survey on PSO Applications . . . . . . . . . 3.2.1 Benchmarking . . . . . . . . . . . . . . . . . . . 3.2.2 Real World Applications . . . . . . . . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
25 25 26 27 30 36 37 37 40
II
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
Algorithm Proposals and Validation on Benchmarks
4 DEPSO: Hybrid PSO with DE 4.1 Introduction . . . . . . . . . . . . . . . . 4.2 The Algorithm: DEPSO . . . . . . . . . 4.3 Experiments on MAEB’09 . . . . . . . . 4.3.1 MAEB’09: Results and Analysis 4.4 Experiments on BBOB’09 . . . . . . . .
v
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
43 . . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
45 45 46 47 48 52
4.5 4.6
4.4.1 GECCO’09: 4.4.2 GECCO’09: Run Time Analysis Conclusions . . . .
Numerical Experiments on Noiseless Functions Numerical Experiments on Noisy Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
53 53 56 56
Scale Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
59 59 60 62 62 63 63 63 66 70 71
Multi-objective Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
73 73 74 75 76 76 76 77 79 83
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
85 . 85 . 87 . 87 . 88 . 88 . 90 . 92 . 93 . 93 . 94 . 95 . 97 . 98 . 99 . 99 . 101 . 103 . 110
5 RPSO-vm: Velocity Modulation PSO for Large 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . 5.2 The Algorithm: RPSO-vm . . . . . . . . . . . . . 5.3 Experimental Setup . . . . . . . . . . . . . . . . 5.3.1 Benchmark Functions . . . . . . . . . . . 5.3.2 Parameter Settings . . . . . . . . . . . . . 5.4 Analysis of Results . . . . . . . . . . . . . . . . . 5.4.1 RPSO-vm Numerical Results . . . . . . . 5.4.2 Scalability Analysis . . . . . . . . . . . . 5.4.3 Computational Effort . . . . . . . . . . . 5.5 Conclusions . . . . . . . . . . . . . . . . . . . . . 6 SMPSO: Speed Modulation 6.1 Introduction . . . . . . . . 6.2 The Basic MOPSO . . . . 6.3 Studied Approaches . . . 6.4 Experimentation . . . . . 6.4.1 Parameterization . 6.4.2 Methodology . . . 6.5 Computational Results . . 6.6 Discussion . . . . . . . . . 6.7 Conclusions . . . . . . . .
PSO for . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7 PSO6: Quasi-optimally Informed PSO 7.1 Introduction . . . . . . . . . . . . . . . . . . . . . 7.2 The Quest for an Optimal Number of Informants 7.3 Experimental Setup . . . . . . . . . . . . . . . . 7.4 Analysis and Discussion . . . . . . . . . . . . . . 7.4.1 Impact of the Number of Informants . . . 7.4.2 Performance Comparisons . . . . . . . . . 7.4.3 Computational Effort . . . . . . . . . . . 7.4.4 Influence of the Swarm Size . . . . . . . . 7.4.5 Influence of the Problem Dimension . . . 7.5 Evolvability Analysis . . . . . . . . . . . . . . . . 7.5.1 Evolvability Measures . . . . . . . . . . . 7.5.2 Fitness-Distance Analysis . . . . . . . . . 7.5.3 Fitness-Fitness Analysis . . . . . . . . . . 7.6 PSO6 with Multiple Trajectory Search . . . . . . 7.6.1 The Proposal: PSO6-Mtsls . . . . . . . . 7.6.2 Experiments with PSO6-Mtsls . . . . . . 7.6.3 PSO6-Mtsls: Performance Comparisons . 7.7 Conclusions . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
. . . .
. . . . . . . . . . . . . . . . . .
. . . .
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
III
Real World Applications
113
8 Gene Selection in DNA Microarrays 8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 8.2 DNA Microarrays . . . . . . . . . . . . . . . . . . . . . . 8.3 PMSO for Gene Selection . . . . . . . . . . . . . . . . . 8.4 Experimental Results . . . . . . . . . . . . . . . . . . . . 8.4.1 Microarray 1" offset="0"> …
green
red red
