International Journal of Advanced Robotic Systems
ARTICLE
Self-Supervised Online Learning of Basic Object Push Affordances Regular Paper
Barry Ridge1*, Aleš Leonardis2,3, Aleš Ude1, Miha Deniša1 and Danijel Skočaj2 1 Humanoid and Cognitive Robotics Lab, Department for Automation, Biocybernetics and Robotics, Jožef Stefan Institute, Slovenia 2 Faculty of Computer and Information Science, University of Ljubljana, Slovenia 3 School of Computer Science, University of Birmingham, UK * Corresponding author(s) E-mail:
[email protected] Received 24 January 2013; Accepted 20 October 2014 DOI: 10.5772/59654 © 2015 The Author(s). Licensee InTech. This is an open access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by/3.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.
ŗǯȱ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ¢ȱȱȱȱǯȱȱȱǰ ȱȱȱ ȱȱ¢ȱȱ ȱȱ¢ȱȱȱȱȱȱ ȱȱȱ ȱǰȱȱ ȱȱȬ ¢ȱ ǰȱ ȱ ¡ȱ ǰȱ ȱ ȱȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ £ȱ ȱ ȱ ȱ ȱ Ȭ ȱȱ ȱȱȬȱȱ ȱ ȱ ȱȱǰȱȱ ȱȱȱȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ£ȱȱȱȱȱǯȱ ȱ¡ǰȱ ȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱȱȱǯ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ¢ǰȱ ȱ ȱ ȱ ȱȱȬ¢ȱȬȱȱȱ¢ȱȱ ȱȱ¡ȱȱȱǽŗřǾǯȱȱ£ ȱȱȱ ȱȱȱȱ ǰȱȱȱȱ£ ȱ ¢ȱ ȱ ȱ ¢ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ Dzȱ ǰ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰ ȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ Ȭ ǯȱ ȱ ȱ ȱ ȱ ȱ ǰ ȱȱȱ ȱȱ¡ȱȱȱ ȱȱ ȱȱǰȱȱ ȱ¢ȱȱȱ ȱȱȱǰȱ¢ǰȱȱ¡ȱǯ ȱȱȱȱȱȱȱȱȬ ȱȱȱȱȱȱȱǰȱȱ ȱ ȱ ¢ȱ ȱ ¢ȱ ȱ ȱ ȱ ǯȱ¢ǰȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ¢ȱ Ȭ ¢ȱǰȱ ȱȱȱȱȱ ǰȱȱǰȱȱǰȱ¢Ȭ ¢ǰȱǰȱȱǯ
¢ ȱ ȱ ȱ ȱ ǰ ǰȱȬȱǰȱȱ
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
1
ȱŗǯȱȱȱȱȱ¡ȱȱȱȱ ǰȱȱȱȱȱȱȱȱ ȱ
ȱ Řǯȱ ȱ ȱ ¡ȱ ȱ ȱ ȱ Ȭȱ ǰȱ ȱȱȱȱ ȱ Ȭȱ
ȱȱǰȱ ȱȱȱȱ¢ȱȱ ȱ¢ǰȱȱȱȱȱŗȱȱŘǰȱȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ £ȱ ȱ ȱ řǯȱ ȱǰȱȱȱřȱȱȱȱȱȬ ȱ ȱ ȱ ȱ ȱ ȱ ¡ ȱǰȱȱȱ ȱȱ DZȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ¡ȱȱȱȱǯȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Dzȱ ȱ Ȭ ȱ Ȭ ȱ ȱ ȱ ȱ ¢¢ȱȱȱȱȱȱȱ ȱȱ ȱȱȱȱȱȱǯ
ȱǰȱȱȱǰȱȱȱ ǰȱ ȱ ¡ȱ ȱ ¡ȱ ȱ ȱ ȱȱȱȱȱȬ ¢ȱȱȱ ȱ ¢DZ
ȱȱȱȱȱȱȱ ȱȱ ȱȱȱǰȱ ȱȱ ȱǰȱ ¢ȱȱ ȱ¢ȱȱȱ¡ȱȬ ȱ ȱǯȱȱȱ ȱȱ ȱǰȱ ȱȱȱȱȱǰȱȱȱǰ ȱȱȱ ȱȱȱȱȱȱȱ ȱȱȱȱǯȱ ȱȱȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱ ȱȱȱȱ¢¢ȱ ȱȱȱǯȱȱȱǰȱȱȱ ȱȱȱȱȱȱ ȱȱDZ
ȱǰȱȱȱȱ¢ȱȱȱ ȱȱȱȱȱ¢ȱȱȬ ȱȱǰȱȱȱȱȱȱ ȱȱȱȱȱȱǯ
ŗǯ
Řǯ
řǯ
2
ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱȱȱȱǰȱȱȱ¡¢ȱ ¢ȱ ȱ Ȭ ȱ ǰȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱȱ¢ȱȱȱǯ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ¢ȱȱȱȱȱ ȱȱȱ ¢ȱ ȱȱ ȱȱȱȱ ȱǰ Ȭȱȱȱȱȱȱȱȱ ȱȱȱ¢ȱ ȱȱ¢ȱȱ¢ ȱȱȱ ȱȱȱȱ ȱǯ ȱȱȱȱ¢Ȧǰ ȱǰȱȱȱȱȱ¡ȱ
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ǯ
ȱ ȱ ȱ ȱ ȱ ȱ ǻǯǯǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ǽȱ ȱ ȱȱȱȱȱ ȱǯ
ǯ
ȱ ȱ ǻǯǯǰȱ ȱ ȱ ȱ ȱ Ǽȱ ȱ ȱ ȱ ȱ ȱȱǰȱ ȱȱǯ
ǯ
ȱ ȱȱȱȱ ȱȱȱ ȱȱǯ
Input Data View
Output Data View
ȱřǯȱȱȱȱȱȱȱȱ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱǯȱȱ ȱ¢ȱȱ ȱȱȱȱ ȱȱ ȱȱȱȱ ȱȱ¢ȱ£ȱȱǯȱǽŗŗǾǯ ȱ ȱ ȱ ȱ ȱ ȱ ȱ £ ȃȄȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ
ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱȱȱ ȱȱȱ ȱ ȱȱǯȱ¢ǰȱȱǽŗŗǰȱŘŘǾǰȱȱȱ ȱȱȱȱȱ ȱǰ ȱȱȱ¢ǰȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǯȱ¢ǰȱȱ¢ȱȱȱȬ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ǰ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ǻȱ ȱ ȱ ȱ Ǽȱ ǰȱ ȱ ȱȱ¢ǰȱȱȱȱȱ ȱȱȱȱȱȱȱǻǯǯǰȱǼǯ ¡ȱȱǯȱǽřŗǾȱȱȱȱ ȱȱȱȱ ȱ ȱ ȱ ǻȱ ǯȱ řǯŗǼȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱ¢ ȱȱȱȱȱȱ ȱȱǯ ǰȱ¢ȱȱǯȱǽŝǾȱȱȱȱȱǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢¢ ȱ ǰȱ ¢ȱ ȱ ȱ ȱ ȱȱȱȱȱȱ¡¢ȱǰȱȱ ȱ ȱ ȱ ȱ ǯȱ ¢ȱ ȱ ȱȱȱȱȱȱǰȱǯǯǰ ȱ ȱ ȱ ȱ ȱ ȱ ȱȬȱȱǯȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ DZ ȱȱȬǯȱȱ¢ȱȱȱ ǰȱ¢ȱǰȱȱȱ ȱȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ǽřśǾ ȱ ȱȱȱ¢ȱȱȱȱȱ ȱȱȱȱȱȱȱȱȱȱ Ȭȱȱȱȱȱ Ȭȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱǯȱ¢ȱȱȱȱȱȱ ȱȱȬ¢ȱȱȱȱ ȱȱȱǽřŜǾǯ ȱȱȱȱȱȱȱ£ȱ ȱȱȱȬ£ȱȱǻǼȱǽŗŝǾǰȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱ ¢ȱǽŜǰȱŘŜǰȱřŘǾǯȱȱǽŜǾǰȱȱȱ ȱ ȱȱȱȱȱȱ ȱȱȱȱ ȱȱ¢ȱ¡ȱȱȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ǰȱ ¢ȱ ǰ ȱȱȱȱ ȱȱȱȱȱȱȬ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ¢ ȱȱǯȱǽřŘǾǰȱ ȱȱ ȱȱȱȱ ȱȱȱȱȱ¢ȱ¢ȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡¢ȱȱȱǯȱȱǽŘŚǾǰȱȱȱ ȱȱȱȱǰȱȱȱȱȱȱȱ ȱ ȱȱȱ¢ȱ ȱȱȱȱ
ǰȱȱȱǯȱȱȱȱ ȱ ȱȱ¡ȱȱȱǰȱȱȱȱȱ ȱȱȱǰȱȱȱȱȱȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱȱȱǯ ȱȱ¡ȱǰȱ ȱȱȱ ȱȱȱ ȱǰȱ ȱ ȱȱȱȱȱ ȱȱȱ¢ǯȱȱȱ ȱȱȱȱȱřǰȱ ȱ ȱ ȱȱ ¢ȱ ȱ ȱ ȱ ȱ ¡ǰȱ ȱ Śǰ ȱ ȱ ȱ ȱ ¡ȱ ǰȱ ȱśǰȱ ȱ ȱȱȱǯ ŘǯȱȬȱȬ ȱȱ Ȭ ȱȱǽřřǾǰȱȱȱȱȱ ȱ ȱ ȂȬȱ Ȃǰȱ ȂȬȱ Ȃ ȱȂȬȂȱǽşǰȱŘǰȱŗǰȱŚǰȱŞǾȱȱȱȱȱȱ ǰȱȱȱȱȱȱȱȱȱ ȱȱǰȱȱȱȱȱȱ ȱȱǰȱ ȱ ȱȱȂȱ Ȃ ȱȂȂǰȱȱ ȱȱȬǯȱ ȱȱ ǰȱȱȱȱ¢ȱ ȱȱ ȱ ȱ ȱ ¡ȱ ǽřřǾǯȱ ȱ ȱ ǰȱ ȱȱȱȱȱȱȱȱ ȱȱȱ ǰȱȱȱȱ Ի ъǰȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ Ի ъ ǯȱ ȱ ȱȱȱȬȱȱȱȱǯ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱȱȱȱȱ ȱȱȱȱȱȱȱ ȱǰȱȱȱȱȱ DZ ъ ĺ тȱȱ ȱȱȱȱȱȱȱȬ ȱȱȱȱȱȱǯȱȱ ȱȱȱȬ ȱȱȱȱȱȱȱ ȱȱ ȱȱ ȱȱȱ ǰȱ ȱȱȱȱȱ ȱ¢ǰȱȱȱȱȱȬȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱǰȱȱ ȱȱȱȱȱ¡ȱȱȬ ȱȱȱ¢¢ȱȱ¢ǯȱȱ ǰȱ ȱ¢ȱȱȱȱȱȱȱȬ ȱ ȱ Ȭȱ Ȭ ȱ ȱ ¢ ȱȱǽŘŝǾŗȱȱ ȱȱ ȱȱȬ ȱȱȱ ǰȱȱȱȱȱ¢ȱ ȱ ȱ Ȭȱ ǰȱ ƽ ǿ¡ Ӈ ъ ȩ ƽ ŗǰ dz ǰ Ȁȱ ȱ ȱ
ȱȱ ƽ ǿ¢ Ӈ ъ ȩ ƽ ŗǰ dz ǰ Ȁȱȱȱȱǰȱ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ ȱ ȱ ¢ ȱ
ȱȱȱȱȱȱȱȱȱ¢ȱȱ ȱȱȱǯȱȱȱȱȱȱȱȱ ȱȱȱ£ȱǽŗŝǰȱŘŗǾȱȱȱ
ŗȱȱȱȱȱȱȱȱ Ȧ ȱȱȱDZȦȦǯȦ¢Ȧǯ
Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
3
¢ȱ ȱ ƽ ǿ Ӈ ъ ȩ ƽ ŗǰ dz ǰ Ȁȱ ȱ ȱ
ȱ ȱ ƽ ǿ Ӈ ъ ȩ ƽ ŗǰ dz ǰ Ȁȱ ȱ ȱ ȱ ǰ
¢ǰȱ¡ȱȱȱȱȱ ǰȱȱȱȱȱȱȱȱȱǽŚǾǰ ǽŘřǾȱȱȱ ȱȱȱ ȱ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱȱȱ DZ
^J
`
ǻŗǼ
ȱȱ· ȱȱ ȱȱȱȱȱȱȱ
ȱ ȱ Ȭȱ ȱ Ȭȱ Ȭ ¢ȱȱȱȱȱǯ ǰȱ ȱȱȱȱȱȱȱ¢ȱ ȱ ȱ ȱ ǻȱ Ǽȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȬ ȱǻȱǼǯ
ǰȱȱȱȱȱ¢Ȭȱȱ ȱDzȱǰȱ ȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱǯȱ ȱ ȱȱȱ ǰȱǰȱȱ ȱ ǯȱȱȱȱǻǯȱȱŘǯŗǼǰȱȱȬ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱȱ¢ȱ¡ǯȱȱȱ ǻǯȱ ȱ ŘǯŘǼǰȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱ Ȭ ȱǯȱȱȱǰȱ ¢ȱȱȱȱ¢ȱȱȬȱȱȱ ȱȱȱȱ ȱ¢ȱȱ ȱȱǰȱȱȱ ȱȱȱŘǯřǯȱ¢ǰ ȱȱŘǯŚǰȱ ȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ¢ȱȱȱǯ ŘǯŗȱȱȱŗDZȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ¢ȱ ȱ ȱ ǽŗŝǾȱ ȱ ȱ ȱ £ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ǯȱ ȱ ȱȱȱ ȱȱȱȱ ȱȬ ȱ ȱ¢ȱ ȱȱȱ¢Dzȱȱȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ¢ȱ ȱ ȱȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱȱ ȱȱȱȱȱǰȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱDZ ¡
¦O ¡
4
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ǻŘǼ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ
^¡ ¡ d ¡ `
ǻřǼ
ȱǻŘǼȱǰȱȱ Ώ ȱȱ ȱȱȱȱȬ ǰȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱȱȱȱȱȱŘǯŚǯ ȱ¡ǰȱȱȱȱȱ¢ȱȱ ȱȱȱ ȱDZ D ¡
ǻŚǼ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǻǯȱ ǻśǼ
ǼȱȱȱȬȱ¢ȱ ǰȱȱǰȱ
ȱ¢ȱȱȱȱ ¡ȱȱȱ ǰȱȱ ΅ȱȱ
ȱȱȱȱ ǯȱȱ¢ȱȱ ȱ¢ȱȱȱȱȱȱ¢ǰȱ ȱ ȱȱȱȱȱȱȱǽŗŝǾǯȱȱ ǰȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱȱȱǰȱȱ¢ȱ ǰȱȱ ȱ ȱȱȱȱ Ӈ ъŘȱȱȱ ȱȱǯȱȱ¢ȱȱ ȱ ȱDZ
§ · ¡ ¨ ¸ V ¹ ©
ǻśǼ
ȱ ȱ ȱ Ӈ ъŘȱ ȱ Ӈ ъŘȱ ȱ Řȱ
ȱ ȱ ȱ Ȭȱ ¢ȱ ȱ
¢ȱ ǰȱ¢ǰȱȱȱȱ Η ȱ
ȱ ȱȱȱȱȱȱ ǯȱȱȱȱȱ ȱȱȱȱȱȱȱ ȱ ¢ȱ ¡ȱ ȱ ȱ ȱ Ȭ Ȭȱȱ ȬȱȱDZ
_ ¡
¦
ǻŜǼ
ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ¢ȱ Ӈ ȱȱȱȱ¡ǯȱȱȱDZ ¡
^ _ ¡ _ ¡ ! _ ¡ `
ǻŝǼ
ȱȱȱȱȱ¢ȱ¢ȱȱȱ ȱ ȱ ȱ ȱ ȱ ¡ǯȱ ȱ ȱ
ȱ¢ȱȱȱȱ ȱȱ ǯȱȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱǽŘřǾȱȱǰȱȱ¢ȱȱȱ ȱ ȱȱ ȱ¢ȱȱȱ ȱǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ¢ǯȱȱȱȱȱȱȱȱ ȱȱǻśǼ ȱ ¢ȱ ȱ ȱ ȱ ǽŘřǰȱ ŗŜǾȱ ȱ ȱ ȱ
ǻ ǰ ǼȱȱȱȱDZ
J
J D
ǻŞǼ
ȱ ΅ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ
ǰȱ ȱ ¢ȱ ȱ ȱ ¢ȱ ȱ ȱȱȱȱȱǯ ŘǯŘȱȱȱŘDZȱȬȱ
ȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ Ȭȱ ȱ ȱ ¢ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱ £ȱǻǼȱǽŗŝǾȱȱȱ¢ȱȱȬ ȱȱȱȱȱȱȬ ȱ ǯȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ Ȭ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ¡ǯȱȱŘȱȱȱȱȱȱŚǯ ŘǯŘǯŗȱȬ ȱ ȱ ȱ ȱȬȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ǰȱȱȱ ¢ȱȱȱȱȱȱȱȱ
ȱȱǽŚǰȱśǾǯȱȱ ȱȱȱȱ ¢ȱȱȱȱȱȱȱȱ ȱȱȱ¢ȱȱȱȱȱ£ ȱ ȱȬȱ ȱȱȱȱȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱ ȱȱȱȱȱ ȱȱȱȱȱȬȱȱǯȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ¢ȱ Ӈ ȱ ȱDZ
_
¦J
ǻŗŖǼ
ŘǯŘǯŘȱȱ¢ȱ ȱȱ ȱȱȱȱǽŗŘǾǰȱȱȱȱȱ
̛ ȱȱȱ¢ȱȱΐ ȱȱΑ ȱDZ
ª P Q « ¦ ¬Z:
º P Z Q Z » ¼
ǻŗŗǼ
ȱȱȱȱȱȱȱȱ ȱȱȱ ȱ ¢ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǯȱȱ ȱȱȱ ȱ ȱ ȱ ȱ Ŗǰ Ř ǰȱ ȱ ȱ ȱ ȱ ¢ȱ ǻǯǯǰȱ ȱ ȱ ȱ Ǽǯ ǰȱȱȱȱ ȱȱȱ¡ǰȱȱ ȱ ĺ ǻ ǻ Ǽǰ ǻ¢ǼǼǰȱ ȱ ȱ ȱ ȱ
ȱ ȱ ȱ ȱ ȱ ¢ȱ Ӈ ȱ ȱ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ¢ǰȱ ȱȱȱȱȱȱ ȱ ȱ ȱ
ȱ¢ȱȱȱȱ ȱȱȱ¡ǯȱ ȱ ȱȱȱ¢ȱȱȱǰȱ ȱ¢ȱȱ ȱȱȱȱǯ ŘǯŘǯřȱȬȱȱȱ£ ȱȱȱȱǽŗŝǾǰȱ¢ȱȱȱ¡ ȱȱȱǯȱ¢ǰȱȱȱȱ ¢ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǯȱȱȱ¢ȱȱȱȱȱȱ ȱǰȱȱ¢ȱȱȱȱ ȱ ǯȱȱȱȱȱȱǰȱȱ¢ȱȱ ȱ ¢ȱȱȱǯȱȱȱȱȱȱ ȱȱǰȱ ȱȱȱȱȱ¢ȱȱǯ ȱ Ȭȱ ǻ¡ǰ¢Ǽȱ ǰȱ ȱ ȱ ¢ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ ĺ ǻ ǻ Ǽǰ ǻ¢ǼǼǰȱ ȱ ȱ ȱ ȱ
ȱȱȱȱȱȱ¢
Ӈ ȱȱ ȱȱȱȱȱȱ ȱ
ȱ ȱȱ¢ǯȱȱȱȱȱǰȱ ȱȱ
ȱ ȱ ¡ǰȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ
ȱ ¢ȱȱ DZ
J
G ^ _ _ ! _ `
ǻşǼ
ȱȱȱȱ¢ȱȱȱȬȱȱ ȱȱȱ¢ȱ Ӈ ȱȱȱȱ
ȱ ȱ ȱ ȱ ¢ȱ Ӈ ǯȱ ȱ ¢ȱ
ȱȱ ȱȱȱ¢ȱ ȱȱ
D ¡ G ° ° ¢ H G ° °° ® D ¡ G ° ° ¢ t H G ° ° °¯
ǻŗŘǼ
ȱȱȱ ȱDZ
Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
5
ǰȱ ΅ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ
ĺ ǻ ǻ Ǽǰ ǻ¢ǼǼȱȱǰȱΉ ȱȱȱȱȬ
ȱȱ ȱ¢ȱ ȱƹΈ ǯ
ȱȱ ȘȬȱ ȱȱȱ¢ȱȱ ȱȱȱ¢ȱǯȱȱ¢ȱȱ ȱȱ Ȭ ȱ ǽřǾDz ȱ ȱ ǽřǾDz ȱ Ȭ £ ȱ ǽŗŖǾDz
£ ȬȱǽŗŖǾDzȱȱȱȱ¡ȱǽřǾǯȱǰ ȱ ȱ ȱ Ȭ ȱ ŗ ǰ dz ǰ ǰ dz ȱ ȱ ¢ ȱ Ȭǰ ȱ ǯǯ ȱ ȱ ƽ ŗǰ dz ǰŗŖǰ ȱ
ƽ ǿŗ ǰ dz ǰ Ȁȱȱȱ ȱȱȱȱȱ¢
Ӈ ǰȱȱȱ¢ȱȱȱȱȱȱ ȱ ȱȱȱȱ ȱǯȱȱ Ȭȱ ȱȱȱǰ Șǰȱȱǰȱȱ Ș ȱȱȱȱǯ
ŘǯřǯŘȱȬ ȱȱ ȱ Ȭ ȱ ǰȱ ȱ ȱ ȱ DZ ъ ĺ ǻ Ǽȱȱȱȱȱȱȱȱǰ ȱ ǻǼȱ ȱ ȱ ȱ ǯȱ ȱ ȱ
ȱǰȱȱ Ș ƽ ǿŗ ǰ dz ǰȘ Ȁȱȱȱ
ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱȱ ǯȱ ȱȱȱ ȱȱȱ¡ȱȱ ǰȱ ȱ Ȭȱ ¢ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱȱ£ȱȱȱśǯ ¢ȱȱȱȱȱ ǻ ȩ Ǽȱ
¢ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ¢ȱȱȱȱ ȱȱȱ ȱȱ ȱŚǯȱȱȱȱȬȱȱȱȱǻŗŘǼǯȱ
ĺ ȱ ȱ ȱ ȱ ȱ ȱ ǻ ǻ Ǽǰ ǻ¢ǼǼ ǀ Ή ƺ Έ ȱ ȱ ĺ ǰȱ ȱ ǻ ǻ Ǽǰ ǻ¢ǼǼ ǃ Ή Ƹ Έ ǯ
ȱ¢ȱ ȱȱȱ ȱȱ ȱȱ
¦
ŘǯřȱȬ ȱ
ȱ Ȭ ȱ ǰȱ ȱ ȱ ȱ
DZ ъ ĺ ǻ Ǽȱȱȱȱ ȱȱȱȱǰ ȱ ǻǼȱȱȱȱǯȱȱȱȱ ȱȱ ǯȱȱȱȱȱȱȱ£Ȭ ȱȱȱ¢ȱȱȱȱȱȱȱ ǰ ȱ ȱȱȱȱȱ¢ȱȱȱ¢ ȱȱȱȱ ȱ ȱ ȱȱȱȱ ¢ȱȱȱȱȱȱȱ ȱ¢ȱȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȬǯ
³
_
ȱ ƽ Ǖ
Ӈ
_
_
ǻŗřǼ
ǻŗŚǼ
ȱȱȱȱȱȱȱ
ǯȱȱ ȱȱȱȱȱȱ ȱȱ
ȱȱȱȱȱ¢ȱȱȱȱ ȱ ¢ȱ ¡£ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱȱǯȱǰȱȱ ǰȱ ȱȱȱȱ
¡
!
_
ǻŗśǼ
Řǯřǯŗȱȱ¢ ȱȱȱȱȱȱȱȱ¢ǰȱ ȱȱ ¢ȱȱȱȱȱȱ¢ȱ ȱǰȱ¢ǰȱȱ ȬȱȬ ȱǯȱȱȱ ȱȱ Ȭȱȱȱ ȱ ȱȱȱǯȱȱȱǰȱ ǰȱȱ ȱȱȱȱ ȱȱȱ¢ǯȱ ȱ ȱ ¢ ȱ ȱ Ȭ ȱ ȱ ȱ ȱȱ ǰȱȱȱȱȱȱȱ ȱ ȱ ȱ ¢ ȱ ǰ ȱ ȱ ¢ 6
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ȱȱȱȱ ȱ¢ȱȱȱȱȱ ¢ȱȱȱȱȱȱ Ș ƽ ǿŗ ǰ dz ǰȘ Ȁȱȱ
ȱ ȱ ȱ ƽ ǿ Ӈ ȩ ǻ Ǽ ƽ Ȁǯ Řǯřǯřȱȱ
ȱ ȱ ȱ ȱ ȱ ȱ ¡ǰȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ¢ȱ ȱ ȱ ȱ ȱȱȱǻŗśǼǰȱȱ ȱȱȬ
n
o
ȱ ȱȱȱȱȱȱȱȱȱ¢
Clustering of output view codebook prototypes
ȱȱȱ Ȭȱ¢ȱ ȱ¢ǰȱ
Ö
¦
Ö
¦
ǻŗşǼ
ȱ ȱȱȱȱ ȬȱȱȱȱȬ ¢ȱȱ ȱȱ ȱ¢ǰȱ ȱ ȱȱȱ
ȱȱȱȱȱȱȱȱȱ¢
ȱ ȱȱȬȱȱǰȱ ȱśǯȱȬ ȱ
ȱȱȱȱǻŘǼǰȱȱȱȬ ȱȱ DZ § · ¨ ¡ ¸ ¨ ¸ © ¹
¡
ǻŗŜǼ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǰȱȱȱȱ¢ȱȱȱǰ ȱȱȱ¡ȱȱȱȱȱ¡Ȭ ȱȱȱȱȱ¢ǯȱȱȱǰȱ ȱȱȱȱȱȱǰȱȱȱȱ ȱ ȱȱȱȱȱȱȱȬ ȱ ȱ ȱ ȱ £ȱ ȱ ȱ ȱǽŘśǾǯ ŘǯŚǯŗȱȱȱ ȱ¡ȱȱȱȱȱ¢ȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǯȱȱǰȱȱǰȱȱ ȱȱ Ώ ȱ ȱȱȱǻŘǼȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱǯȱȱȱǰȱȱ ȱȱ ǻ Ǽȱ¢ȱȱȱȱȱ ȬȱȬ ȱȱ ȱ
|
ǻŗŝǼ
¦ Ö
Ö
¦
Ö
ǻŘŖǼ
ȱȱȱ Ȭȱȱȱȱ ȬȱȬ ǯ
ȱȱȱȱȱȱȱȱȱ ȱȱȱ ǰȱȱȱȱȱȱȱ ȱȱȱǰȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ǰȱ ¢ȱ ȱ ȱ ȱȱȱǯȱ ǰȱ ȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ ǯȱȱȱȱǰȱȱȱȱȱ ȱȱ¢ȱ ǰȱȱȱȱȱȱ ȱȱȱȱ¢ȱȱȱȱȱȱ ȱ ¢ǯȱ ¢ǰȱ ȱ ǰȱ ȱ ȱ ȱ Ȭ ȱ ȱ ȱ ȱ ȱ ȱ ŗ ǰ dz ǰ ǰ dz ǰȱ ȱȱ ƽ ǿ ŗ ǰ dz ǰ Ȁȱȱ
ȱȱȱȱ ȱȱ ȱ¢Ȭ£ȱȱȱ Ȭ ¢ǯȱȱȱ ȱȱȱȱ Ș ȱȱǻŗŝǼǰȱȬ
ȱǻŗŝǼȱȱȱȱȱ ȱȱǻ ȱȱ ƽ ŘǰŚǰŜǰŞǰŗŖȱ ȱ ¡Ǽǰȱ ȱ ȱ ǰȱ ȱ ȱ ȱ Ώ ȱȱȱ Ȭȱǰȱ ȱ¢ȱȱȱ ȱȱȱǻ ȱȱȱΏ Ȭȱȱȱ¡Ȭ Ǽȱȱȱ¢ȱȱȱȱȱȱ ȱȱȱȱ Ȭǯȱȱȱȱȱȱȱ ȱȱȱȱȱȱȱŘǯřǯŗǯ řǯȱȱȱȱ¢
ȱ ȱ Ώ ȱ ȱ ȱ ȱ £ȱ ȱ ȱ ȱǰȱȱ
¦
ŘǯŚǯŘȱȱȱ
ŘǯŚȱȱȱ
O v
ǻŗŞǼ
ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ Ȭ ȱ ȱ ȱ ȱ ȱ ƽ ŗǰ dz ǰ Șǰȱ ȱ
ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱ ¡ǯȱȱřǯŗȱ ȱȱȱ ȱȱ ȱȱǰȱȱ ȱȱřǯŘȱȱȱ ȱǰȱ ȱȱřǯřȱȱřǯŚȱȱȱ ȱ¡ȱȱȱȱȱ ȱ ȱ ¢ǯȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ¡DZȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
7
Ȭȱ ǰȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱ ȱȱȱȬȱȱȱǯ řǯŗȱ¡ȱ ȱȱȱȱ ȱȱȱśȬȱȱ ȱŜ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ¢ ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ Řȱ ¢ȱ ȱ ǰȱ ȱ ǰȱ ȱ ȱ řȱ ȱ ȱ ȱ ǯȱȱȱ ȱȱȱȱȱ ȱȱȱ ȱȱȱȱȱȱȱȱȱȱ ȱȱȱȱ ȱǽŗŞǾǰȱȱ ȱȱ
ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ǽŘŝǾǯȱ ȱ ȱǰȱȱȱȱȱŘǰȱȱŝȬȱ Ȭ ȱ ȱ ȱ řȬȱ ȱ ȱ ȱ ȱ ȱȱǰȱ ȱȱȱ ȱ Ȭ ȱ ȱȱȱȱřȱȱȱȱȱǯȱ ȱ ȱ ¢ȱ ǻǼŘȱ ȱ ȱ ȱ ¡ȱ ȱȱȱȱȱȱǯ
ȱȱȱȱȱȱȱȱȱřȱ ȱȱȱȱȱȱȱ¢ȱȱ ǯȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ¢ ȱ ȱ ȱ Ŝǰȱ ȱ Ȭ¢ȱ ȱ ȱȱȱȱȱȱȱ řȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ǯǯǰȱ ȱ ȱ ¢ȱȱȱȱȱȱȱǻǯȱǽŘŝǾȱȱȱǼǯ ȱȱȱȱȱ ȬȦ ȱǰȱȱȱ ȱ ¢ȱȱȱȱȱȱǰȱȱ ȱ ȱȱ ȱȱȱȱȱȱȱȱ ȱȱ¢ȱȱȱȱȱȱȱȱ ȱȱ¢ȱȱ ǯ
řǯŘȱȱȱ ¡ȱȱȱȱȱ ȱȱȱȱȱ ¡ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱǽŘşǰȱŘŚǾ ȱȱ¢ȱȱ ȱǰȱȱ ǰȱȱȱ ȱȱȱȱȱ ȱ ¢ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱ ȱǯȱȱ ȱȱȱ¡ȱǰȱȱȱ ȱ¢ȱȱȱȱȱȱȱȱ¡Ȭ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ŗŝǯȱȱȱȱ¢ȱǽŘŞǾǰȱ ȱ¡ȱȱȱ ȱȱȱȱ ȱȱȱȱ ȱ¢ȱȱȱȱȱȱ ǰ ȱȱȱȱȱȱȱśǯ řǯřȱȱȱ¡ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ¢ȱȱȱ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ¢ȱ ¢ȱȱȱȱȱȱȱ ȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱǯ řǯřǯŗȱȱȱȱ ȱ¡ȱȱȱȱǰȱ ȱȱȱ ȱȱȱȱȱȱȱȱǯȱ ȱ ȱ ȱ ȱ Ȧȱ ǰȱ ȱ ȱ Ȭ ŘȱDZȦȦǯȦ
8
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ȱŜǯȱ Ȧȱȱȱȱ
řǯřǯŘȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ Ȧȱ ǰȱ ȱ ȱ¡ȱȱȱȱȱȱ¢ ȱ ȱ ȱ ¢ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ Ŝȱ ¢ ¢ȱȱȱȱȱǰȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ DZ ŗ DZ ȱDZȱȱȱ¡ȱȱȱȱǯ Ř DZ ȱ¡ȱDZȱȱȱ¡ȱȱȱ¡ȱȱȱ
ȱǯ
ř DZ ȱ¢DZȱȱȱȱȱ ȱȱȱ
ȱȱȱȱȱȱȬȱȱȱ ȱȱȱȱ¡ȱǯ Ś DZ ȱȱȱDZȱȱȱȱȱ
ȱȱȱȱȱȱǯ
ś DZ ȱ¡DZȱȱȱ¡ȱȱȱȱȱȱȱ¡
ȱȱȱ¡ǯ
Ŝ DZ ȱȱDZȱȱȱ¡ȱȱȱȱȱǯ
ȱȱȱȱ£ȱȱȱȱ ȱȱǯ
ȱȱȱȱȱǻ ȱȱȱȬ ȱȱ ȱȱǼȱȱȱ Ȧȱǰ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱȱȱǰȱȱ ȱȱȱȱȱ ¢ȱȱȱȱȱ¢ȱȱ ȱȱȱ¡ȱ ȱ ¢ǯȱȱ¢ȱȱ ȱȱȱDZ
ş DZ ȱDZȱȱȱ¢ȱȱȱȱǯ
ŗdzŚ DZ ȱ ȱȱȱȱȦȱǯ
ŝ DZ ȱȱ¡ȱDZȱȱȱȱȱ¡ȱȱȱ
ȱȱȱȱ£ȱȱȱȱ ȱȱǯ Ş DZ ȱȱ¡ȱDZȱȱȱȱȱ¡ȱȱȱ
śdzŞ DZ ¡ Ȭ¡ȱǰȱȱȦȱǯ
řǯřǯřȱřȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ řȱ ȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȧȱ ȱ
ȬȦ ȱ¡ȱǯȱȱȱȱ ȱ ȱ ¢ȱ ȱ ȱ ǯȱ ȱ ǰȱ ȱ ȱȱȱ Ȧȱǰȱȱȱȱ ȱȱȱȱȱǰȱȱȱȱȱȱȱȱ ǰȱȱȱȱȱȱȱȱȱ ǯȱ ȱȱȱȱȱȱȱȱȱȱǰ ȱȱȱ ȱȱ¢ȱDZ
şdzŗŘ DZ ¡ Ȭ¡ȱǰȱȱȦȱǯ ŗřdzŗŜ DZ ¢ Ȭ¡ȱǰȱȱȦȱǯ ŗŝdzŘŖ DZ ¢ Ȭ¡ȱǰȱȱȦȱǯ ŘŗdzŘŚ DZ ¡ Ȭ ¢ Ȭ¡ȱǰȱȬȱȦȱǯ ŘśdzŘŞ DZ ¡ Ȭ ¢ Ȭ¡ȱǰȱȬȱȦȱǯ ŘşdzřŘ DZ ¡ Ȭ ¢ Ȭ¡ȱǰȱȬȱȦȱǯ řřdzŘŜ DZ ¡ Ȭ ¢ Ȭ¡ȱǰȱȬȱȦȱǯ
ǻŘŗǼ
ȱ ȱ ȱ ȱ ǰǰǰ ǰ ȱ ȱ ǯȱ ȱ ȱȱȱȱȱȱȱ¢ȱȱȬ
ǻ Ǽǰȱȱ ȱȱ ȱ
ȱȱȱ¡DZȱ
ȱȱȱȱȱȱȱȱǯȱȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱǰȱ ȱȱ ȱȱǻ ȱ ȱ £ Ȭǰȱ ȱ ȱ ȱ ȱ £ȱ ȱ ȱ ȱ ȱ ȱ Ǽǯ
ȱ Şǯȱ ȱ DZȱ ȱ ȱ ȱ ǯȱ ȱ DZȱ ȱȱȱȱȱ¢ȱȱȱȱȱȱȬǯ ȱ DZȱȱȱȱȱȱȬȱȱȱ¡ǯ
ȱŝǯȱ¡ȱȱȱȱȱřȱȱȱ ȱ ȱȱȱ ȱȱȱȱȱ ȱȱ¢ȱ DZȱȱȱ ȱȱ ȱȱ¢ȱȱȱǰȱȱȱ ȱ ȱȱ ȱȱ¢ȱȱ
ȱȱȱȱȱ ȬȦ ȱǰȱ ȱ ȱȱȱȱ¢ȱ¢ǰȱȱȱ ȱ Şǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ ǰȱ ¢ ȱ ȱ £ ȱ ¡ ¢ȱȱ ȱȱȱȱȱȱȱȱȱ ȱȱȱȱȱ ȱȱȱȱȱ ȱǯȱȱȱȱȱȱȱ ȱȱ¢ȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ ȱ ȱȱǯȱȱǰȱȱȱ ȱ ȱȱȱȱȱȱȱ ȱǰ ȱȱȱȱȱǰȱȱȱȱǰ Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
9
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱǰȱȱȱȱ ȱ ȱDZ ŗdzŝ DZ ȱ ȱȱȱȦȦȱǯ ŞdzŗŚ DZ ¡ ȬǰȱȱȦȦȱǯ ŗśdzŘŗ DZ ¡ ȬǰȱȱȦȦȱǯ ŘŘdzŘŞ DZ ¢ ȬǰȱȱȦȦȱǯ Řşdzřś DZ ¢ ȬǰȱȱȦȦȱǯ řŜdzŚŘ DZ £ ȬǰȱȱȦȦȱǯ ŚřdzŚş DZ £ ȬǰȱȱȦȦȱǯ
řǯŚȱȱȱ¡ ȱȱȱȱȱȱǰȱ ȱȱȱȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱ¢ǰȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱȱȱřȱǰȱȱȱȱ ȱȱǰȱ¢ǰȱȱȱȱǯ
řǯŚǯŘȱȱȱ ȱȱȱȱȱ¢Ȭȱȱȱ ȱ ȱ Ȧȱ ǰȱ ȱ ȱ ȱ ȱDZ ŗdzŘ DZ ȱȱȱȱȱ ¡ ȱǭȱ ¢ ȱǰ
řǯŚǯŗȱȱȱ
ř DZ ȱȱȱȱǰ
ȱ ȱ Ȧȱ ǰȱ ȱ ȱ ȱ ȱ ȱȱȱǰȱȱȱȱȱȱȬ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ¢ȱ Ȭ ȱ ȱ ȱ ȱ ȱ ȱ ǽŗşǾǰȱ ȱ ȱ ȱȱȬȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ Ȭȱ ǯȱ ȱ ȱ ȱ ¡ȱ ¢ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ǽŘŖǾǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǻǯȱ ȱ şȱ ȱ řǯŚǯŚǼǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱ Ȭȱ ǽřŚǾǯȱ ȱ ǽŘŝǾȱ ȱ ȱ ȱ ȱ ǯ
Śdzś DZ ȱȱ¢ȱȱ ¡ ȱǭȱ ¢ ȱǰ
ȱ ȬȦ ȱ ǰȱ ȱ ȱ ȱ ǰȱ ȱȱȱȏȱ¢ȱȱȱǰȱ ȱ ȱȱȱȱȱȱřȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱ ȱȱȱ¢Ȭ ȱ ȱ ȱ ǰȱ ǰȱ ȱ ǯȱȱřȱȱȱ ȱȱȱ ȱȱȱȱȱȱȱȬ ȱ ȱ ȱ ȱ ȱ řǯřǯŗǯȱ ȱ Ȭȱ ř ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱŗŖǯ 10
ȱşǯȱȱ ȱȱ ȱ Ȧȱ ǯȱ ȱ DZȱ ȱȱȱȱ ȱȱȱȱȱȱȱǯ ȱȱȱȱȱȱȬȱȱ£ȱ ǯȱ ȱ DZȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱǯ
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
Ŝdzŝ DZ ȱ¢ȱȱȱ ¡ ȱǭȱ ¢ ȱǰ Şdzş DZ ȱȱ ¡ ȱǭȱ ¢ ȱǯ
ȱȱȱȱȱ ȬȦ ȱǰȱȱȱř ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱȱȱȱȱȱǰȱ ȱȱȱ¡ȱȱȱȱŘȱȱȱȱ ȱ ȱ ȱ ȱ £ ȱ ǯȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ Ȭȱ ȱ ȱ ¡ȱȱ ȱȱǯȱȱŗŝȱ ȱȱȱȱ DZ ŗdzŘ DZ ȱȱȱȱȱ ¡ ǰȱ ¢ ȱǭȱ£ ȱǯ
Ś DZ ȱȱȱȱȱȱъŘǯ ś DZ ȱȱȱȱȱȱъřǯ ŜdzŞ DZ ȱȱ ¡ ǰȱ ¢ ȱǭȱ£ ȱǯ
ş DZ ȱȱȱǯ ŗŖ DZ ȱ¢ȱ¡ȱǯ ŗŗ DZ ȱ¢ȱ¡ȱȱǯ ŗŘ DZ ȱ¢ȱ¡ȱȱȱǯ ŗř DZ ȱȱ¢ȱȱȱȱȱǯ
ŗŚ DZ ȱȱ¢ȱȱȱȱȱǯ ŗś DZ ȱ¢ȱȱȱȱȱȱǯ ŗŜ DZ ŗŚ ǰȱ ȱȱȱȱȱȱȱ¢ǯ ŝŗ DZ ŗś ǰȱ ȱȱȱȱȱȱȱ¢ǯ
ȱȱȱȱȱȱȱǯȱȱȱ ȱȱȱȱDZ ŗ DZ ȱȱȱȱǯ Ř DZ ȱȱȱȱǯ ř DZ ȱȱȱŗ ȱȱ Ř ǯ
Śǯȱ¡
ȱŗŖǯȱȬȱȱȱȱȱȱ ȬȦ ¡ǯȱȱDZȱȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ DZȱ ȱ ȱȱȱȱȱȱȱȱȱȱȱǯ
řǯŚǯřȱȱȬȱ ȱȱȱȱȱ¡ȱȱȱȱ Ȭ Ȧ ȱ ǰȱ ȱ ȱ ȱ ȱ ¢ȱ ǰȱ ȱȱȱȱȱȱ ¢ȱȱȱȱȱȱȱȱȱ ȱȱȱȱǯȱǰȱȱȱ ¢ȱȱȱȱȱȱǯȱǽřŜǾǰȱ ȱȱȱȱ řȱȱȱȱ¢ȱȱȱȱ ȱ ŗdzŚş ȱ řȱ ȱ ȱ ȱ ȱ řǯřǯřȱ
ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭǯȱ ȱ ǰȱŗdzŚş ǰȱ ȱȱȱȱ DZ ŗdzŚş DZ ǻ Ǽ ƺ ǻ Ǽȱ ȱ ƽ ŗ dz Śşǰȱ ȱ ǻ Ǽȱ ȱ ǻ Ǽ
ȱȱȱȱȱ ȱ¡ȱȱȱ
ȱȱ ǰȱ ȱȱȱȱȱȱǰȱȱȱȱ ǰȱ
ȱȱȱǰȱ¢ǯ
řǯŚǯŚȱȱȱȱ ȱȱ¡ȱȱȱ Ȧȱǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǻǯȱȱşǼǰȱȱȱ¢ȱȱȱ ȱȱȱȱȱ ȱȱȱȬ ȱǰȱ ȱȱȱȱȱȱ ȱȱȱȱ ȱȱȱȱ ǰȱȱȱȱȱȱȱȱȱȱ ¡ȱ ȱ ȱ ȱ ¢ȱ ȱ ǯ
ȱȱȱ ȱȱȱ
ȱ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱȱȱȱřǰȱȱȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱȬȱȱȱ Ȭ ȱȬ ȱ ȱ £ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ¡ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱřǯřȱȱřǯŚȱȱȱȱȱ ȱȱȱȱȱȱȱ¡ǯȱȱ Ȧ ȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ Ȭȱ ȱ ȱ Ȭȱ Ȭ ȱ ȱ ȱ ȬȦ ȱ ¡ǰȱ ¡ȱȱ ȱȱȱȱȱǰȱ ȱȱȱǰȱȱȱȱȱȬ ȱ DZȱ ǰȱ Ȭȱ ȱ ǯȱ ȱȱȱ ȱȱ ȱȬ £ȱȱȱ£ȱǻ ǼȱǽřŖǾǰȱ£ ȱȱȱ£ȱǻ ǼȱǽŗśǾȱ ȱȱȱȱǻ ǼȱǽŗŚǾǰȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱȱȱȱȱȱȬ ȱ ȱ ¢ȱ ¢ȱ ȱ ȱ ȱ ǯ Śǯŗȱȱ ȱȱ ǰȱȱȱȱȱȬȬȱȬ ǰȱ ȱ ȱ ȱ ȬȬȬȱ Ȭ ȱǻǼȱ ȱ¢ǯȱȱȱȱ ȱȱǰȱȱȱ ǿ ǰ Ȁȱȱȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ¡ǰȱȱȱȱȱ ȱȱȱȱȱȱȱȱȱȱȱȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱǰȱȱȱȱ ȱȱȱ ȱȱ¢ȱȱ¢ȱȱȱȱȱ ȱ Ȭȱ ȱ ȱ ȱ ǯȱ Ȭȱ ȱ¢ȱȱȱȱȱȱȱȱȱȱ ȱȱȱȱȱȱȱȱȱȱȱǰ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱȱ¢ȱȱȱȱȱ ȱȱǯȱȱȱȱȱȱ ¢ǰȱ ǰȱ ȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
11
ȱ ȱ ȱȱȱ¢ȱȱȱ Ȭ ȱǯ ȱ Ȭȱ ȱ ȱ £ȱ Ȭ ȱ ǻǼȱ ȱ ȱ ȱ ȱ Ȭȱ Ȭ £ȱȱǻǼǰȱȱ ȱȱȱ¢ ȱ ȱ ȱ ȱ ȱ ǻȱǻǼȱȱȱǻǼǼȱȱȱ ȱ ǰȱ ȱ ȱ ǯȱ ȱ ȱȱȱȱȱ¢ȱȱȱȱȱȱȱǻŚǼȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ Ȭ ¢ȱȱȬȱȱȱǻŗŘǼȱȱȱȱ ǯ ȱ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱ Ȧ ȱ ȱ ȱ ȱ ȱ ŚǯŘǰȱ ȱ ȱ ȱ ȱ ȱ ȱ Śşȱ ¢ȱ ȱ ȱ ȱ ŝ Ƽ ŝ ¡ȱ ȱ ȱ ȱ Ȭȱ ¢ȱ ǽŗŝǾǰ ȱȱȱ¡ȱȱȱ ȬȦ ȱ ȱ ȱ ȱ Śǯřǰȱ ȱ ŗŖ Ƽ ŗŖȱ ȱǯȱȱȱ ȱȱȱȱ¢ ȱ ȱ¢ȱ£ȱȱȱȱȱȱ ȱȱȱȱǯȱȱ ȱ ȱȱŗŖȱȱȱȱ ȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ £ ȱǯȱȱȱȱȱ ΅ ƽ Ŗǯŗǰȱ ΅ ƽ Ŗǯŗǰ
ȱȱȱȱȱȱȱȬȱ ȱȱȱǰȱȱ ȱȱȱȱȱȱǯ ȱ ȱ ȱ ȱ ȱ ȱ ¢ ȱȱΏ ȱ ȱȱǯ ŚǯŘȱ¡ȱȱ Ȧȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ Ȧ ȱ ǰȱ ȱ ¡ȱ ȱ ȱ ȱȱ ȱȱȱŗǯȱȱȱ¡ǰȱ ȱȱȱȱ¡ȱȱȱȱȱǯ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱ ȱǯȱȱȱǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱ ǰȱȱȱȱ Ȭ ȱ ȱȱȱ ȱǯ
ȱȱȱȱ¢ȱȱȱǻŚǼȱȱȱ ȱ ǰȱ ¢ǰȱ ȱ ȱ ȱ ȱ ǰ ȱ΅ ƽ Ŗǯŗȱ ȱȱȱǻŗŘǼȱȱȱȬȱ ǯȱȱȱ ȱ ȱȱ ȱȬȱ ¢ȱȱȱȱȱ Ȧ ȱ ¡ǰȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȬȦ ȱ ¡ȱ ȱ ȱȱȱ ȱ¢ȱȱȱǯ
ȱȱ¡ȱȱȱȱȱȱ DZȱ ȱ ¢ǰȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱȬ ȱȬ ȱȱȱȱ¡ȱ ȱȱ ȱȱ¢ȱȱȱȱȱȱȬ ǰȱ ȱ ȱ Ȭȱ ȱȱȱȬ ȱ ȱȱȱǯȱȱ ¢ȱ ȱ ȱ ¢ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ¢ǵȱ ȱ ȱ ǰȱȱȱ¢ȱ ȱȱȱȱ ȱ ȱ ȱ ȱ ȱ Řǯřǯŗȱ ȱ ¢ ȱȱȱȱȱȱ¢ȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱ ȱ ¢ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ ȱȱȱ¢ǯȱǰȱȱȱǰ ȱȱȱȱȱȱȱȱ ȱȱ ¡ ȱȱȱȱ ȱȱȱ ¢ ǰȱȱȱ ȱȬ ȱ ȱȱ ȱȱȱȱ ȱȱ ȱ¡ ȱȱȱȱȱȱȱŘǯřǯȱȱ ȱȱȱ¢ ȱ ȱȱȱȱȱȱ ȱȱ ȱ ȱ ȱ ȱ Ȭȱ ǯȱ ȱ ȱ ȱȱ¢ȱȱȱȱȱȱ 12
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ȱ ŗŗǯȱ ȱ ȱ ȱ ǻȱ ȱ Ǽȱ ȱ ȱ Ȧ ȱ¡
ȱȱȱȱȱǻǯȱȱŗŗǼȱȱ ¡DZȱȱȬȱȱǻȱǰȱȱȱ¡ǰȱ ¡ȱ ȱ ȱ ȱ ȱ ȱ Ǽȱ ȱ ȱ Ȭ ȱǻȱ¡ȱȱȱ ǰȱȱȱǰȱȱȱȱ ȱȱȱ¡ǯȱȱȱ ȱȱȱȱŘŖ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ŗŜŖȱ ȱ ǯ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǰȱ ȱȱȱȱ ȱȱȬ ¢Dzȱ¢ǰȱȱȱ ȱȱȬȱ ȱ Ȭȱ DZȱ ȱ ȱ Ȭǯȱ Ȭȱȱ ȱȱȱȱȱȱȬȬ ȱȱȱ¢ȱ ȱȱȱȱ ǯȱȱȱ ȱȱȱȱȱ ȱ ȱ ǿŗǰ dz ǰşȀȱ ȱ řȱ ȱ
ǿŗǰ dz ǰřŜ ȀȱǻǯȱȱřǯřǯŘȱǭȱřǯřǯřǼǰȱȱ ȱȱȱ ȱȱȱǿŗǰ dz ǰşȀȱȱȱȱ ȱȱǿŗ ǰ dz ǰř ȀȱǻǯȱȱřǯŚǯŘȱǭȱřǯŚǯŚǼǯȱȱ
ȱȱȱ ȱȬ¡ȱǻȱȱȱ ȱ ȱ Ǽǰȱȱȱǿŗǰ dz ǰşȀȱ ȱȱ ȱ ȱ řȱ ȱ ȱ ȱ ȱ ǿřǰŚȀȱ
ȱȱ ȱȱ ǰȱȱȱȱȱ ȱ¡ ƽ ǿŗǰ dz ǰşǰřǰŚȀ ǰȱ ȱȱȱǰȱȱ
ȱȱ¡ ƽ ǿŗǰ dz ǰřŜ Ȁ ȱȱȱȱȱřȱȱ SelfSupervised Output Feature Relevance 1 Relevance
ȱ ȱ ȱ ȱ Ȭ ȱ ȱ ǯȱ ȱ ȱ Ȭ ¡ǰȱȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰ ȱȱȱ ȱȱ ǰ ȱȱȱ ȱȱȱ¢ ƽ ǿŗǰ dz ǰşǰŗ ǰ dz ǰř Ȁ ǯ ŚǯŘǯŗȱDZȱřȱƸȱŘȱȱ
0
Ground Truth Classification Accuracy %
ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ǯ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱǯ
90 80 70 SSLVQ SSLVQ (FRC)
GLVQ GRLVQ
SRNG
50 0
10
20
30
40
50
60 70 80 Samples
90
0.5
0
GRLVQ
SRNG
SSSOM (FRC)
SSLVQ (FRC)
ȱŗřǯȱȱȱȱȱȱ ȦȱřȱƸȱŘȱ ȱ¡ȱǻǯȱȱŚǯŘǯŗǼǯȱȱȱȱȱȱȱ ȱȱȱȬ ȱȱȱȱ ȱȱ ȱȬȱǯȱȱȱȱ ȱȱ ȱ ȱ ȱȱȱȬȱȱ¢ȱȱ ȱȱ ȱȱȱǻȱǭȱǼǯȱȱȱȬȱǻȱǼǯ
Supervised Vs. Self−Supervised Class Prediction 100
SSSOM SSSOM (FRC)
Supervised Vs. SelfSupervised Input Feature Relevance 1 Relevance
ȱ ȱ ¡ǰȱ ȱ Ȭȱ ȱ ȱȱȱȱ ǿ ǰǰ ǰ Ȁǰȱ ȱȱ ȱ ȱ ȱ ȱ ǿ ǰǰ ǻ ǰǼȀǰȱ ȱ
60
0.5
100 110 120 130 140
ȱŗŘǯȱȱǻǯȱȱŚǯŗǼȱȱȱȱȱȱ Ȧ ȱřȱƸȱŘȱȱȱ¡ȱǻǯȱȱŚǯŘǯŗǼǯȱȱ ȱȱȱȱȱȱȱȱȬ ȱǻǯȱȱŘǼǯ
ȱ ¢DZȱ ȱ ȱ ȱ ȱ ¢ ¢ȱ ȱ ǰȱ ȱ ŗŖȱ ǰȱ ȱ ȬȬȬ Ȭȱ ȱ ¢ȱ ȱ ȱ ȱ ŗŖŖƖ ǰȱ ȱ ȱ Ȭ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱȬ ¢ȱȱȱȱȱȱȱȱ ȱȱǯ
Supervised Vs. Self−Supervised Input Feature Relevance Relevance
1
0.5
0
GRLVQ
SRNG
SSSOM (FRC)
SSLVQ (FRC)
Ground Truth Classification Accuracy %
ȱŗŚǯȱȱ ȱȱȱȱȱȱ Ȧȱ¡ȱȱȱřȬȱȱȱǻǯȱȱŚǯŘǯŘǼ
Supervised Vs. Self−Supervised Class Prediction
ȱDZȱȱȱȱȱȱȱ ¢ ȱǰȱȱŗŘȱ ȱ ȱȱȱȬ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱȱȱȬȱȱ ȱ ȱǯȱȱȱǰȱ¢ȱȱȱȱȱ ȱȱǻȱȱ ǿřǰŚȀǼȱȱȱ
100 90 80 70
SSSOM SSSOM (FRC)
60
SSLVQ SSLVQ (FRC)
GLVQ GRLVQ
SRNG
50 0
10
20
30
40
50
60 70 80 Samples
90
100 110 120 130 140
ȱ ŗśǯȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȧȱ řȬ ȱȱ¡ȱǻǯȱȱŚǯŘǯŘǼ
ȱǰȱȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱȱ¢ȱȱȱȱǯȱ¢ǰȱȱ ȱȬȱȱȬȱȱ ȱ ȱ ǯȱ ȱ ¢ȱ ȱȱ¢ȱȱȱȱȱǰȱ ȱȱȱ£ ¢ȱ £ǰȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ
Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
13
ȱȱȱȱȱȱȱǰȱ ȱ Ȭȱ ȱ ȱ ¢ȱ ȱ ȱȱ ȱ¢ȱȱȱȱȱŘǯřǯŘǯ ȱ ȱ ȱ ȱ ȱ ȱ ¢ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱǯȱȱȱȱ ȱȱ ȱȱȱȱȱȱ¢ȱ ȱȱȱȱȱǰȱ ȱȱȱȬ ȱȱȱȱȱ ǻǯȱȱŘǯŘǯřǼǯ ȱ ȱ DZȱ ȱ ŗřȱ ȱ ȱȱȱȱȱȱȱȱ ȱȱȱȱȱȱȱȱ ǯȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱ ȱȱȱȱ ȱǯȱȱȱ ŘǰřǰşǰŘ ȱ ř ǰȱȱȱȱȱȱȱ ¢ ǰȱȱ
ȱȱǰȱȱ ȱȱȱŗŚǰȱȱȱ¢ȱ ȱȱȱ ȱȱȱȱȱǯȱ řǰşǰŗş ǰȱȱ řř ȱȱȱ¢ȱ¢ȱȱ
ȱ ȱ Ȭȱ ǯȱ ȱ ȱ řȱȱ ȱȱȱȱȱȱ¡ǰ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱȱȱȱȱȱ¡ Ȭ¡ȱȱȱȱ şȱȱȱȱ ȱȱȱȱȱȱ
ǰȱ ȱ ȱ ȱ ȱ řȱ ȱ ǻȱ ¢ ȱȱȱȱȱȱǼǯȱ¢ǰ ŗş ȱȱȱȱȱȱȱȱȱ¢ Ȭ¡ȱǰȱ ȱȱȱȱȱȱȱȱȱȱǯ ¢ǰȱ ȱ řř ȱ ȱ ȱ ȱ ȱ ȱ ȱ
ȱ ȱȱȱ ǰȱȱȱȱ ȱȱ¢ȱȱǯ
ȱ ǰȱ ȱ ¢ ȱ ǰȱ ȱ ȱ ȱȱȱȱȱȱȱȱȱ ǰȱȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ¢ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ ¡ȱ ȱ ¡ǯȱȱȱȱ ǰȱȱȱȱȱ¢ ȱȱ řȱǰȱȱȱȱȱȱȱ ¡ Ȭ ȱǻȱȱȱǼǰȱȱȱȱ ȱȱȱǯȱȱ ȱȱ ȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱȱȬȱȱȱȬȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱȱȱ ȱȱȱ¢ǯ ŚǯŘǯŘȱDZȱřȱȱ ȱ¢DZȱȱȱ¡ǰȱȱȱȱ ȱȱȱȱȱ ȱȱȱȱȱ ȱ ¡Dzȱ ȱ ȱ ¢ȱ ȱ ǰȱ ȱȱȱȱ ȱ¢ȱȱȱȱȱǯ ȱ DZȱ ȱ ȱ ¡ǰȱ ȱ Řȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ řȱ ȱȱȱȱ ǰȱȱȱ¢ȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǰȱȱ ȱȱȱȱ ȱȱȱȱȱǰȱȱȱ ȱ ŗśǯȱ ȱ ǰȱ ȱ ȱ ȱ Ȭȱ ȱ¢ȱ ǰȱȱŗŖŖƖȱ ¢ȱȱǰȱȱ ȱȱȱȱȱȬ ȱȱȱȱȱǯ ȱȱDZȱȱȱȱȱ ȱȱȱȱȱ Ȭȱȱ ȱȱȱȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ǰȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱȱ ȱȱǰȱȱȱ ȱ ȱ ȱ ǯȱ ȱ Ȭ ȱ ȱ ǰȱ 14
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ȱŗŜǯȱȱȱȱȱ ȬȦ ȱ¡
Śǯřȱ¡ȱȱȱ ȬȦ ȱ ȱȱ ȬȦ ȱȱ¡ǰȱ ȱȱ ȱ¢ȱȱȱ ȱȱȱ¢ȱȱ¡ ȱȱȱ ȱ¢ȱȱȱ ȱȬ ȱ DZȱ ǰȱ ȱ ȱ ǯȱ ȱ Ȭ ȱ ȱȱȱȱȱȱȱȱ¡ ȱȱ Ȧȱ¢ȱǻǯȱȱŘǼǯȱȱǰ ȱ ȱ ŗŖȱ ȱ ȱ ǻǯȱ ȱ ŗŜǼȱ ȱ ¡DZȱ ¡ȱ Ȭȱ ȱ ȱ ȱ Ȭ ȱǯȱȱȱ¡ǰȱȱ ȱ ȱȱȱ¡ȱȱȱȱȱǯȱ ǰȱ ǰȱȱ ȱȱȱȱȱ ȱȱȱȱȱȱȱȱ DZȱǰȱ ¢ȱȱǰȱȱȱ ȱȱ ¡ȱȱȱȱȱȱȱȱȱȱ ȱȱȱȱ ȱ ȬǰȱǯǯǰȱȱȱȬ ȱǯȱȱȱȱȱȱȱ Ȃȱȱȱ ȱȱȱȱȱǻ¡ȱ ȱȱȱ¢ȱȱȱȱȱ ȱ Ǽǯȱ ȱ ȱ ǰȱ ȱ Ȭ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱǰȱȱȱȱǰȱȱ ȱ ȱȱȱǰȱȱȱȱȱ¡ ȱȱȱȱȱȱ Ȧȱ¡Ȭ ǰȱȱȱȱȱŗŝǯ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ Ȭ ȱDZȱǰȱȱȱǯȱŗŘŜȱ
ŚǯřǯŘȱ ȱȱDZȱȱȱȱȱ
ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ ŗ ƽ ǿŗ ǰ dz ǰŚş Ȁ ǰȱ
ȱ ȱ ¢ ŗ ƽ ǿŗ ǰ dz ǰŚş ǰŗǰ dz ǰŗŝ Ȁ ǯȱ ȱ ȱ
ǰȱȱȱȱȱȱ ¡ Ř ƽ ¡ ŗȱȱȱ ǰȱ ȱȱȱȱ ȱȱȱȱ Ȁ ȱ ǻǯȱ ȱ ȱ ¢ Ř ƽ ǿ ş ǰŗŗ ǰŘř ǰŘŚ ǰřŞ ǰřş ǰŚś ǰŗŚ ǰŗŜ
ȱŗŞǼǯȱȱȱȱǰȱȱȱȱ ȱ Ȁ ȱ ǰŗŞ ǰŘř ǰŘŚ ǰŘś ǰŘŞ ǰřŗ ǰřŘ ǰřş ǰŚŗ ǰŚś ¡ ř ƽ ǿŚ ǰŗŗ
ȱȱȱřȬȱȱȱȱȱȱȱ ȱȱȱȱȱřǯŚǯŘȱȱřǯŚǯřǰȱȬ ¢ǰȱ ȱ ȱ ȱ Ȭ ȱ ȱ ǰȱ ȱ ȱȱȱȱȱ¢ ƽ ǿŗ ǰ dz ǰŚş ǰŗǰ dz ǰŗŝ Ȁ ǯ
Śǯřǯŗȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǿ ǰ ǰ Ȁ ȱ ȱ ȱ ǰ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢DZ ȱ ȱ Ȭ ȱ ǰ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱǰȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱ¡ȱǯ ȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯ ȱ ȱȱȱȱȱȬȱ ȱ ȱ ȱ ȱ ȱ ǻǼ ȱ ȱ ȱ ŗŖ ȱȱȱȱ ȱǰȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ śŖ ȱ ȱȱȱǯȱȱȱȱǰȱ¢ ȱȱȱȱȱ ȱ ȱǰȱ ȱȱȱǰȱȱȱȱȱȱ ȱ ȱ ȱ ǯ ȱ ȱ ȱ ȱ ǰ ȱ ȱȱȱȱȱȱȱ ȱ ȱ ȱ ǯ ȱ ȱ ȱ ȱ ȱ ¢ ȱ ȱ ȱ ȱ ȱȱȱȱȱǯ
ȱ ȱ ȱ ǰȱ ¢ȱ ȱ Śś ȱ ǻ£ Ȭ¡ȱ ȱ ȱ ȱ ȱ£ ȬȱǼȱȱŗŚ ȱǻȱ¢ȱ
ȱ ȱ ȱ ȱ Ǽȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ǰȱ ȱ ȱ Ȭ ȱŘŞ ȱǻ ¢ Ȭ¡ȱȱȬȱȱ ¢ ȬǼȱȱŚś
ǻ£ Ȭ¡ȱȱȬȱȱȱ £ ȬǼȱȱȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǻŘŞ Ǽȱ ȱ ȱ ȱ ǻŚś Ǽȱ ȱȱȱȱ¢ȱ¢ȱȱ ȱǻŚś Ǽȱȱȱȱȱ¢ȱȱȱ
ȱ ǻŗŚ Ǽǰȱ ȱ ȱ ȱ ¢ȱ
ȱȬȱǯȱȱȱȱȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ¢ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭȱȱȱȱȱȱȱȱ ȱȱȱȱȱȱȱȬ ȱȱȱȱȱ ǯȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ȱ ȱȱǻǯȱȱŚǯŗǼǯ
SelfSupervised Output Feature Relevance 1 Relevance
ȱǰȱȱǰȱȱȱȱ¡ȱǻŗŘȱDZȱ ǰȱ ȱ Ǽǰȱ ȱ ȱ ¡ȱ ǻŘŖȱ DZȱ ǰȱŗśȱǼǰȱȱȱȱǻȱDZȱ Ǽǰȱ ȱ ȱ ȱ ȱ ¡ȱ ǻŗŜȱ DZȱ Ǽǰȱȱ ȱ¡ȱǻŘřȱDZȱȱǰ ŗŚȱ Ǽǰȱ ȱ ȱ ǻŗŚȱ DZȱ ¡ȱ ǰȱ ǼǰȱȱȱǻȱǼǰȱȱȱȱǻ¡ Ǽǰȱ ȱ ȱ ¢ȱ ȱ ǻȱ Ǽȱ ¢ȱȱǻŗŗȱǼȱȱȱ¢ȱǯȱ ǰȱȱȱ ȱȱȱȱȱřȱȱ ȱ ȱ ȱ řǯřǯřȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱ¡ ƽ ǿŗ ǰ dz ǰŚş Ȁ ǰȱ
ȱ ȱ ȱ ȱ ŗŞǼǰȱ ȱ ȱ ȱ ȱ
ȱȱ¢ ř ƽ ǿŚś ǰŗŚ Ȁ ǯȱ¢ȱȱȱȱȱȱȱǰ
Shape: Motion:
0.5
0
Supervised Vs. SelfSupervised Input Feature Relevance 1 Relevance
ȱŗŝǯȱȱȱȱ¢ȱ¡ȱȱȱȱ Ȭ Ȧ ȱ¡ǰȱȬȱ¢ȱȬDzȱDZȱDzȱDZ DzȱDZȱ
ǻǯ
0.5
0
GRLVQ
SRNG
SSSOM (FRC)
SSLVQ (FRC)
ȱŗŞǯȱȱȱȱȱȱȱȱȱȱ ȱȱȱȱȱȱȱ ȬȦ ȱ¡ ȱ ȱ ȱ ȱ Śǯřǯŗǯȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱȱȱȱ ȱȱȱȱȱȱȱȱȱǰȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱ ȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ǯ
Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
15
Class Cluster/Ground Truth Accuracy %
¡ǰȱ ȱȱȱȱȱȱǰȱȱȱŗŗśȱ ȱǰȱŘŘȱȱ ȱȱȱǰȱȱ¢ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ Ȭ ȱǯȱ¢ȱǰȱ ȱȱȱȱ ȱǰȱȱȱŗŘŖȱȱȱǰȱŘŝȱȱ ȱ ȱȱȱŗşȱȱ ȱȱȱȱ¢ ȱȱǯȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ Ȭ ȱȱ ȱȱȱȱȱȱ ȱȱȱǯ
Self−Supervised Class Discovery 100 90 80
Supervised Vs. Self−Supervised Class Prediction 100 90 80 70 60 50 SSSOM SSSOM (FRC)
40
SSLVQ SSLVQ (FRC)
GLVQ GRLVQ
SRNG
30 0
1119
2238
3357
4476
5595
Samples
Self−Supervised Specific Object Prediction 100 90 80 70 60 50 40
Handball Football Dark Ball Light Ball
30 20 10
Biscuit Box Coffee Box Solution Box Mallow Box
Cookie Pack Book
0 0
70
1119
2238
3357
4476
5595
Samples
60 50 SSSOM SSSOM (FRC)
40
SSLVQ SSLVQ (FRC)
30 0
1119
2238
3357
4476
ȱŗşǯȱȱȱ¢ȱȱȱȱȱȱȱȱǻǯ ȱ ŚǯŗǼȱ ȱ ȱ śŖȱ ȱ ȱ ȱ ȱ ȬȦ ¡ȱȱȱȱȱŚǯř
śǯȱ ȱ ȱ ǰȱ ȱ ȱ ȱ Ȭȱ Ȭ ȱȱȱȱ ȱ ȱȱ¢ ȱ ȱ ȱ ȱ Ȭȱ Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ȱŘŖǯȱȱȱȱȱȱȱȱǻȱǼȱǭȱ ȱǻǼȱ ȱȱȱȱǻ ȱǼȱȱȱȱȱ ȱǻǯȱȱŚǯŗǼȱȱȱȱśŖȱȱȱȱ ȬȦ
ȱ¡ȱǻǯȱȱŚǯřǼ
5595
Samples
16
Ground Truth Classification Accuracy %
ȱDZȱŘŖȱ ȱȱȱȱȬ ȱȱȱȱȱȱȱȱȱǻǼ ȱȱȱȱȱǯȱȱ ȱ ȱȱȱȱŞśƖȱ¢ȱȱȱ ȱȱȱśŖȬȱȱǰȱȱȬ ȱȱȱȱ¢ǰȱȱȱŝśƖȱ¢ ¢ȱȱȱȱǯȱȱǻǼȱȱȱȱ¢ ȱȱȱȱȱȬȱǰ ȱȱȱȱǯȱȱȱȱ¡ȱ¢ ȱȱȱȱȱȱȱȱ¢ȱ ¢ȱȱȱȱǯȱȱ ȱȱȱȱŘŖ ȱȱȱǻǼȱȱȱȱȱ ȱȱȬȱȱȱȬȱȱȱȱȱ ȱȱȱǯȱȱ¢ȱȱȱȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱȱȱ ȱǻŘŞ ȱǼȱȱȱ¢ȱȱǻŚś ȱǼǯȱ
¡ȱȱȱ ȱȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱǯȱȱ£ȱȱȬ ȱ ȱ ȱȱȬȱȱ ȱȱȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ¡ȱ ȱȱȱȱȱ ȱȱȱȱȱȱ ȱȱȱȱȱȱȱȱ ǯ ȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ £ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ¡ǯȱ ȱ ȱ ȱ ȱ ȱ ȱȬ ȱ¡ȱ¢ȱȱȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ȱ ¢ȱ ȱ ȱ ȱȱȱǯȱȱǰȱ ȱȱ ȱ ȱ Ȭȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱȱȱȱȱȱȱȱǯ
Ground Truth Classification Accuracy %
ȱ¢DZȱŗşȱ ȱȱȱȱ¢ ȱȱȱȱȱȬȱȱȱŗŖȱ ȱ ȱ śŖȬȱ ȱ ȱ ȱ ǯȱ ȱȱ ȱȱȱȱȱȬ ȱ ȱǰȱȱȱȱȱȱȱȱȱȱǯ ȱȱȱȱȬȱȱ ȱȱ ¢ȱȱşŖƖȱȱśŖȱȱȱǰȱ ȱȱ ȱȱȱȱȱȱȱǯ
ȱȱ ǰȱ ȱȱȱ¡ȱȱȱȱȱ ȱ ȱ ǰȱ ȱ ¢ȱ ȱ ȱ ȱȱ¡ȱȱ¡ȱǯȱȱ ȱȱ¡ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱȱȱ ȱȱ¢ȱǰȱǯǯǰȱǰ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ¢ȱȱȱȱȱ ǰȱȱȱ¢ ȱ ¢ȱȱ ȱ¢ȱȱȱ¡ǰȱȱ
ȱ ȱ ȱ ȱ ¡ȱ ȱ ǽŘŞǾǯȱ ǰ ȱ¢ȱȱȱȱȱȱȱȱ ȱ ȱ ¡¢ȱ ȱ ȱ ȱ Ȭ ǯȱȱȱȱȱȱȱ ȱȱ ȱ¡ȱȱȱȱȱǰȱ ȱȱȬǯȱȱȱǰȱȱȱ ¢ȱ ȱ ȱ ǰȱ ȱ ȱ ȱ ¡ȱȱȱȱǯ
ǽŗŗǾ ǯȱ £ǰȱ ǯȱ ǰȱ ǯȱ ǰȱ ǯȱ ǰȱ ȱ ǯ ǯȱ ȱ ȱ ȱ ȱ Ȭ ȱȱ ȱȱǯȱȱȬ ȱ ȱ ȱ ŘŖŖřȱ ȱ ȱ ȱ ȱȱȱǻǼǰȱȱřǰȱŘŖŖřǯ ǽŗŘǾ ȱȱ ȱȱȱ ȱǯȱȱȬ ȱȱȱ¢ȱǯȱ ȱ ǰȱŝŖǻřǼDZŚŗşȮŚřśǰȱȱŘŖŖŘǯ
Ŝǯȱ
ǽŗřǾ ǯȱ ȱ ǯȱȱȱȱȱȱȬ ǯȱ ȱǰȱŗşŝşǯ
ȱȱ ȱȱ¢ȱȱȱȱŝȱ ȱ ǻȬŘŗśŗŞŗǼȱ ȱ ȱ ȱ ŝȱ ȱ ǻȬŘŝŖŘŝřǼǯ
ǽŗŚǾ ǯȱ ǰȱǯȱǰȱȱǯȱǯȱȬ ȱ ȱ ȱ ȱ ȱ ¢ȱ ǯ ȱȱǰȱŘŗǻŗǼDZŘŗȮŚŚǰȱŘŖŖśǯ
ŝǯȱ
ǽŗśǾ ǯȱ ȱȱǯȱǯȱ £ȱ ȱ ȱ £ǯȱ ȱ ǰ ŗśǻŞȬşǼDZŗŖśşȮŗŖŜŞǰȱŘŖŖŘǯ
ǽŗǾ ǯȱȱȱǯȱǯȱȬ ȱǯȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǻǼǰȱ ȱ ŗşȮŘŜǰȱ ǯǯǰȱǰȱȱŘŖŖŚǯ ǽŘǾ ǯȱ ȱ ȱ ǯȱ ǯȱ ȱ ȱ ȱȱ ȱȬǯȱȱȱȱ ȱȱȱȱȱ ¢ǰȱȱşŘȮŗŖŖǰȱŗşşŞǯ
ǽŗŜǾ ǯȱǯȱ ǯȱȱ£ȱȱDZȱȱȬ ¢ȱ¢ǯȱ ȱDZȱ¢ǰȱŗşŚşǯ ǽŗŝǾ ǯȱ ǯȱȬ£ȱǯȱǰȱŗşşŝǯ ǽŗŞǾ ȱ ǯȱȱȱȱȱȬ ǯȱ ǯǯȱ ǰȱ ¢ȱ ȱ ǰ ȱŘŖŗŖǯ
ǽřǾ ǯȱ ȱ ȱ ǯȱ £ǯȱ ȱ ȱ ȱ ȱ ¡ȱ ǯȱ ǰȱŞřǻŚǼDZŞŘśȮŞřřǰȱȱŘŖŖřǯ
ǽŗşǾ ǯȱ ǰȱ ǯȱñǰȱǯȱǰȱȱǯȱ ²²ǯȱ ȱ¢ȱȱȱȱȱǯ ȱ ȱ ȱ ȱ ¡ȱ ȱ ȱȱǰȱȱŘŖŖŝǯ
ǽŚǾ ȱ ǯȱ ǯȱ Ȭȱ ǯȱ ȱȱȱŘŖȱȱȱȱ ȱ ǻǼǰȱ ȱ Řǰȱ ȱ şřŘȮşřŝǰ ǰȱǰȱǰȱ ¢ȱŘŖŖśǯȱȱǯ
ǽŘŖǾ ǯȱ ǰȱ ǯȱñǰȱǯȱñǰȱȱǯȱ ²²ǯȱȬ ȱ ȱ ȱ ȱ ȱ ȱ Ȭȱ ǯȱ ȱ ȱ ȱǰȱŗŗřǻśǼDZśşŞȮŜŗŗǰȱŘŖŖşǯ
ǽśǾ ȱ ǯȱ ǯȱ Ȭȱ ȱ ȱȱȱǯȱȱȱȱȱŘŗ ȱȱȱȱȱǻǼǰ ȱŘǰȱȱŗŚśŗȮŗŚśŜǰȱǰȱǰȱǰȱ ¢ ŘŖŖŜǯȱȱǯ
ǽŘŗǾ ǯȱǰȱǯȱ£ǰȱȱǯȱ ¢ǯȱȱȱ ȱ £ȱ ǯȱ ȱ ȱ ǰȱŘŞǻŗǼDZŞŚȮşśǰȱŗşŞŖǯ
ǽŜǾ ǯȱȬǰȱǯȱǰȱȱ ǯȱ ¢ǯȱ ȱȱȱȱȱǯȱȱȱ ȱ śȱ ȱ ȱ ¢ȱ ǰȱ ǰȱ ǰ ŘŖŖŚǯ ǽŝǾ ȱ ¢ǰȱ ȱ ǰȱ ȱ ǰȱ ǰȱ ȱǰȱȱ ûǰȱȱ ǯȱ ȱ ȱ ȱ ǯ ¢ǰȱŘǻŗǼDZŗȮŗŝǰȱŘŖŗŗǯ ǽŞǾ ȱȱǰȱȱ ǰȱ ȱ ǰȱ ȱ ǯȱ Ȭ ȱ ȱ ǯ ȱǰȱŝşǻŗǼDZŚŝȮŝŗǰȱŘŖŗŖǯ ǽşǾ ǯȱǯȱȱǯȱȱȱ ȱ ǯȱ ȱ ȱ ȱ ȱ ȱ ¢ȱŜǰȱȱŗŗŘȮŗŗşǰȱǰȱǰȱǰȱŗşşŚǯ ȱ ǯ ǽŗŖǾ ȱȱȱ ȱ¢ǯȱȱȬ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ȱ ǯȱ ȱ ¢ǰ řǻŝǼDZŖŖřŜǰȱ ȱŘŖŖŘǯ
ǽŘŘǾ ǯȱ ȱ ȱ ǯȱ £ǯȱ ¢ȱ ȱ ȱ ȱ ǯȱ ȱ ǰȱ ŗŗǻŘǼDZ ŗŖşȮŗŘŞǰȱŘŖŖřǯ ǽŘřǾ ǯȱ ǯȱ ¢¡ȱ ȱ ¢Ȭ ȱ ȱ ȱ ȱ Ȭ£ȱ ȱȱȱȱ¡ǯȱȱȱǰȱśşǻŘǼDZ řřŚȮřŜŜǰȱŗşşŝǯ ǽŘŚǾ ǯȱ ǰȱ ǯȱ ǰȱ ǯȱ ǰȱ ȱ ǯ Ȭǯȱ ȱ ȱ DZȱ ¢Ȭȱ ȱ ȱ ǯȱ ȱȱǰȱŘŚǻŗǼDZŗśȮŘŜǰȱŘŖŖŞǯ ǽŘśǾ ¢ȱ ǰȱ ñȱ ǰȱ ȱ ȱ ²ǯ ȱ ȱ ȱ ȱ £ȱ ȱ ȱ ȱ ȱ ǯȱ ȱȱȱȱȱȱ ȱǻǼǰȱȱǰȱǰȱȬ ¢ȱŘŖŗŘǯ ǽŘŜǾ ¢ȱǰȱȱ²ǰȱȱñȱǯȱ ¢ȱȱȱȱȱȱȱ Ȭ£ȱ ǯȱ ȱ ȱ ȱ ȱ Barry Ridge, Aleš Leonardis, Aleš Ude, Miha Deniša and Danijel Skočaj: Self-Supervised Online Learning of Basic Object Push Affordances
17
ǽŘŝǾ
ǽŘŞǾ
ǽŘşǾ
ǽřŖǾ
ǽřŗǾ
18
ȱȱȱȱ¢ǰȱ ŜśȮŝŖǰȱ ǰȱ ¢ǰȱŘŖŖŞǯ ¢ȱ ǰȱ ȱ ²ǰȱ ȱ ñȱ ǯ Ȭȱ Ȭȱ ȱ ȱ ȱȱȱȱȱ ¢ǯȱȱȱȱȱŘŖŗŖȱȱ ȱȱȱȱȱǻǼǰȱ śŖŚŝȮśŖśŚǰȱǰȱǰȱ¢ȱŘŖŗŖǯȱǯ ¢ȱȱȱñȱǯȱȬȱ ȱ ȱ ȱ ȱ ǯȱ Ȧ ȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ ǻȱ ŘŖŗřǼǰȱ ¢ǰȱ ǰ ȱŘŖŗřǯ ǯȱǰȱǯȱǰȱǯȱȱǰȱǯȱǰȱȱ ǯ ǯȱȱȱȱȱȱDZȱȱ ȱȬ £ȱ ȱ ȱ ȱ Ȭ ȱǯȱȱǰȱŗśǻŚǼDZŚŚŝǰȱŘŖŖŝǯ ǯȱȱȱ ǯȱǯȱ £ȱȱ £ǯȱ ȱ ȱ ȱ ȱ ȱ ¢ȱ Şǰȱ ȱ ŚŘřȮŚŘşǰȱ ǰȱ ǰ ǰȱŗşşŜǯȱȱǯ ǯȱ ¡ǰȱ ǯȱ ¢ǰȱ ȱ ǯȱ ȱ ǯȱ ȱȱȱȱȱǯȱ ȱȱȱǰȱŘŝǻŘǼDZŗśŝǰȱŘŖŖŞǯ
Int J Adv Robot Syst, 2015, 12:24 | doi: 10.5772/59654
ǽřŘǾ ȱǰȱ¢ȱǰȱȱǰ ȱ ǰȱ ȱ ǰȱ ȱ ¡ ¢ǯȱ ȱ ȱ ȱ ȱȱ¢ȱǯȱȱȬ ȱ ȱȱȱǰȱřŖǻŗŖǼDZŗŘśŖȮŗŘŜŘǰ ȱŘŖŗŗǯ ǽřřǾ ȱ ǯȱ ȱ ¢ȱ ȱ Ȭ ȱ ǯȱȱȱȱǰȱȱŗȮ ŞǰȱŘŖŗřǯ ǽřŚǾ ǯȱ ȱ ȱ ȱ ǯȱ ȱ ǯȱ ȱ ¡ǯ ȱ ȱ ȱ ȱ ǰȱ ŝǻŗǼDZŗŗȮřŘǰ ŗşşŗǯ ǽřśǾ ǯȱǰȱǯȱ£ǰȱȱǯȱǯȱ ȱȱ ȱ ȱ ȱ ȱ ȱ ȱ Ȭ ǯȱȱȱȱ¢ǰȱŘŖŗŗǯ ǽřŜǾ ǯȱǰȱǯȱǰȱȱǯȱ£ǯȱȬ¢ȱ ȱȱȱȱȱǯȱ ȱ ȱ ȱ ŘŖŗŘȱ Ȧ ȱ ȱȱȱȱȱ¢ȱǻǼǰ ȱřŘŜŖȱȮřŘŜŝǰȱȱŘŖŗŘǯ