The Computational Basis of Interactive Skill

UNIVERSITY OF CALIFORNIA, SAN DIEGO

The Computational Basis of Interactive Skill

A dissertation submitted in partial satisfaction of the requirements for the degree Doctor of Philosophy in Cognitive Science

by

Paul P. Maglio

Committee in charge: Professor Professor Professor Professor Professor

David Kirsh, Chair John Batali Charles Elkan Marta Kutas Walter Savitch

1995



Copyright c

Paul P. Maglio, 1995 All rights reserved.

The dissertation of Paul P. Maglio is approved, and it is acceptable in quality and form for publication on micro lm:

Chair University of California, San Diego

1995

iii

To Teenie

with all my love

iv

TABLE OF CONTENTS Signature Page : : : : : : : : : : : : : : Dedication : : : : : : : : : : : : : : : : Table of Contents : : : : : : : : : : : : List of Figures : : : : : : : : : : : : : : List of Tables : : : : : : : : : : : : : : Acknowledgements : : : : : : : : : : : Vita, Publications, and Fields of Study Abstract : : : : : : : : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

1 Introduction : : : : : : : : : : : : : : : : : : 1.1 The Game of Tetris : : : : : : : : : : 1.2 Traces of Skill Learning : : : : : : : : 1.3 Tetris Skill: Some Findings : : : : : : 1.4 Models of Skill Learning : : : : : : : 1.5 Computational Models of Tetris Skill 1.5.1 RoboTetris I : : : : : : : : : : 1.5.2 RoboTetris II : : : : : : : : : 1.5.3 RoboTetris III : : : : : : : : : 1.6 Conclusion : : : : : : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

2 Traces of Skill Learning : : : : : : : : : : : : 2.1 Data Collection : : : : : : : : : : : : : 2.2 The Videogame Tetris : : : : : : : : : 2.2.1 Rules of Tetris : : : : : : : : : : 2.2.2 Other Versions of Tetris : : : : : 2.3 Computational Laboratory : : : : : : : 2.3.1 Records of Human Performance 2.3.2 Prior Videogame Studies : : : : 2.3.3 Subjects and Methods : : : : : : 2.3.4 Data Analysis : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

3 Tetris Skill: Some Findings : : : : : : : : : : : : : : : : 3.1 Three Levels of Tetris Skill : : : : : : : : : : : : : 3.2 How Players Speed-up with Practice : : : : : : : : 3.2.1 Time to Take All Actions Decreases : : : : 3.2.2 Time Between Actions Decreases : : : : : : 3.2.3 Time of First Action Decreases : : : : : : : 3.2.4 Speed-ups Follow the Power-law of Practice 3.3 Backtracking Increases With Skill : : : : : : : : : 3.3.1 Extra Rotations Increase : : : : : : : : : : 3.3.2 When Do Extra Rotations Increase? : : : :

v

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

iii iv v viii xiii xv xvii xix 1 2 3 5 6 6 7 7 8 10 11 12 15 15 19 21 22 30 34 37 43 45 48 52 55 58 60 63 64 70

4 Models of Skill Learning : : : : : : : : : : : : : : : 4.1 Chunking Model of Skill Learning : : : : : : 4.1.1 How the Chunking Model Works : : : 4.2 A Short History of Chunking : : : : : : : : : 4.2.1 The Perceptual Basis of Chess Skill : 4.2.2 Testing the Skilled Perception Model 4.3 Reconsidering the Performance Assumption : 5 Overview of RoboTetris : : : : : : : : : : : : : 5.1 Outline of the Computational Argument 5.2 RoboTetris's Primitive Representation : 5.2.1 De nition of Chunk : : : : : : : : 5.2.2 Features Capture Fitness : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

6 RoboTetris I : : : : : : : : : : : : : : : : : : : : : : : : : 6.1 How RoboTetris I Works : : : : : : : : : : : : : : 6.1.1 Discussion of Results : : : : : : : : : : : : 6.1.2 Need for Fitness : : : : : : : : : : : : : : : 6.1.3 RoboTetris I As Expert : : : : : : : : : : : 6.2 Complexity Analysis of RoboTetris I : : : : : : : 6.2.1 Number of Placements : : : : : : : : : : : 6.2.2 Generate and Test Algorithm : : : : : : : : 6.2.3 Is the Algorithm Psychologically Plausible? 6.2.4 Space-ecient Generate and Test : : : : : 6.3 Behavioral Implications of RoboTetris I : : : : : : 7 RoboTetris II : : : : : : : : : : : : : : : : : : : 7.1 RoboTetris II's Chunks : : : : : : : : : : 7.2 Reasons for Contiguous Chunks : : : : : 7.2.1 Quantity Reason : : : : : : : : : : 7.2.2 Veri cation Argument : : : : : : : 7.2.3 Recognition-time Argument : : : : 7.3 Experiments with RoboTetris II : : : : : 7.3.1 Discussion of Results : : : : : : : 7.4 Complexity Analysis of RoboTetris II : : 7.4.1 Number of Computational Steps : 7.4.2 Temporary Memory Requirements 7.5 Some Behavioral Implications : : : : : : 7.6 Findings of RoboTetris I and II : : : : :

vi

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

78 81 82 87 89 101 110 114 116 118 123 124 127 128 132 134 136 138 139 139 143 148 152 156 157 160 160 166 174 186 189 194 195 197 200 203

8 RoboTetris III : : : : : : : : : : : : : : : : : : : : : : : : 8.1 Chunks Do Not Produce Expertise : : : : : : : : 8.1.1 Discontiguous Patterns Are Needed : : : : 8.1.2 Adding Discontiguous Chunks Works : : : 8.2 Complexity Analysis of RoboTetris III : : : : : : 8.2.1 RoboTetris III's Search : : : : : : : : : : : 8.2.2 How to Limit the Search : : : : : : : : : : 8.2.3 Parsing With Orientation-Speci c Chunks : 8.2.4 Using Cases in Tetris-Perception : : : : : : 9 Conclusions : : : : : : : : : : : : : : : : : 9.1 Review of the Main Argument : : : 9.2 Interactions Save Working Memory 9.3 Some Open Questions : : : : : : : : 9.4 Methodological Issues : : : : : : : : Appendix A Experimental Materials A.1 Tetris Consent Form : : : : : A.2 Tetris Instructions : : : : : : : A.3 Tetris Questionnaire : : : : : A.4 Tabulated Questionnaire Data Appendix B Player Interviews B.1 Expert Subject: NF : : : B.1.1 Transcript : : : : B.1.2 Lessons Learned : B.2 Near Expert: TM : : : : B.2.1 Transcript : : : : B.2.2 Lessons Learned : B.3 Intermediate: JH : : : : B.3.1 Transcript : : : : B.3.2 Lessons Learned : B.4 Intermediate: PD : : : : B.4.1 Transcript : : : : B.4.2 Lessons Learned : B.5 Analysis Summary : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

Appendix C RoboTetris III's Chunks : C.1 Best Set of Contiguous Chunks : C.2 Best Set of Discontiguous Chunks References

: : : : : : : : : : : :

206 208 214 219 220 221 228 230 239 242 243 245 251 252 256 257 258 259 260 262 262 262 264 264 265 266 267 267 270 271 271 273 274

: : : : : : : : : : : : : : :

275 276 284

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

292

vii

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

LIST OF FIGURES 1.1

In Tetris, shapes fall one a time from the top of the screen

2.1 2.2

Tetris shapes fall from the top of the screen one a time : : : The rate at which zoids fall from the top of the Tetris screen increases as a function of the number of rows cleared. : : : This gure shows the layout of the keys used to play Tetris. This gure shows the Tetris screen displayed by RecordTris I. This gure shows the Tetris screen displayed by RecordTris II.

2.3 2.4 2.5 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16

:

A range of Tetris abilities are evident in the data. : : : : : In general, experts are more consistent than intermediates. Experts clear more rows per episode than intermediates, who in turn clear more rows per episode than beginners. : : The average number of rows cleared increases with practice. Tetris improvement follows the power-law of practice. : : : To control for game speed, data are grouped into three speed categories: slow, medium, and fast. : : : : : : : : : : : : : Players clear rows more quickly or more eciently with practice. : : : : : : : : : : : : : : : : : : : : : : : : : : : : The time to place a zoid is de ned as the interval between the time the zoid rst appears on the board and the time of the last action that the player takes to maneuver it. : : : Overall time to place a zoid decreases with increasing skill. Plotting the log of time to place a zoid versus the log of practice for each subject reveals nearly straight lines in two of three cases. : : : : : : : : : : : : : : : : : : : : : : : : : The time between actions is de ned as the interval between consecutive kepresses. : : : : : : : : : : : : : : : : : : : : : The time between consecutive actions decreases with increasing skill. : : : : : : : : : : : : : : : : : : : : : : : : : : The time between consecutive actions (or interkeystroke interval) decreases following a power function of practice. : : The time of the rst action in an episode is measured from when the zoid rst appears on the board. : : : : : : : : : : Time of the rst action in an episode appears to decrease with increasing skill, but the overall F is only marginally signi cant. : : : : : : : : : : : : : : : : : : : : : : : : : : : The time of the rst action decreases following a power function of practice. : : : : : : : : : : : : : : : : : : : : : : : :

viii

4 16 18 24 25 28 46 47 48 50 51 51 52 53 54 55 56 57 58 59 60 61

3.17 3.18 3.19 3.20 3.21 3.22 3.23 3.24 3.25 3.26

5.1

5.2 5.3 5.4 6.1 6.2 6.3

The mean number of actions per episode increases with practice. : : : : : : : : : : : : : : : : : : : : : : : : : : : : Backtracking actions are any actions that do not lie on the shortest path between the zoid's initial location and orientation and its nal location and orientation. : : : : : : : : : Overall, the mean number of backtracking actions does not obviously increase or decrease during the course of practice for LA. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The mean number of backtracking actions seems to increase slightly and then decrease slightly during the course of practice for TM : : : : : : : : : : : : : : : : : : : : : : : : : : : Extra rotations increase with expertise for subject LA. : : : The percentage of episodes containing extra rotations increase with skill for subject LA. : : : : : : : : : : : : : : : The percentage of episodes containing extra rotations varies by both skill and zoid type. : : : : : : : : : : : : : : : : : : In mirror episodes, there is a good place to put the falling zoid's mirror image but no good place to put the falling zoid itself. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The frequency of extra rotations does not depend on mirror episodes for subject LA. : : : : : : : : : : : : : : : : : : : : The mean time in an episode at which the falling zoid is rst rotated into its target orientation is less when there are extra rotations than when there are no extra rotations. : : : The contours around the perimeter of the falling zoid and along the top edge of the lled squares on the board in the Tetris con guration at the top can be represented by the two-dimensional arrays of corners shown at the bottom left. This gure shows how each of the seven dierent types of zoids might be represented as strings of features. : : : : : : A chunk is a contiguous sequence of primitive features concatenated together. : : : : : : : : : : : : : : : : : : : : : : The corner representation highlights how fragments of zoid and contour t together. : : : : : : : : : : : : : : : : : : : :

65 66 67 68 69 71 72 73 74 76

121 122 124 125

Some players reported that row-clearing becomes the most important strategy as the board becomes clogged with un lled rows. : : : : : : : : : : : : : : : : : : : : : : : : : : : 129 The measures RoboTetris I used to evaluate possible placements were based on the verbal reports of Tetris players. : : 130 RoboTetris I generated all possible placements, and then scored each one as a function of the player-reported concerns 131

ix

6.4 6.5

7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 7.9 7.10 7.11 7.12 7.13 7.14

Initial versions of RoboTetris I often built tall towers because of the negative weight on creating holes. : : : : : : : 133 This scene illustrates why placement decisions sometimes need to take account of how snugly the zoid ts the board's contour. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 135 RoboTetris II selectively generates candidate placements based on long-term memory for perceptual chunks. : : : : : 159 The number of chunks is an exponential function of length, as shown on this semi-log graph. : : : : : : : : : : : : : : : 162 Discontiguous features do not lie next to each other on the contour. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 163 A hole is an un lled area enclosed on all sides whereas an overhang is a contour fragment enclosed on only three sides. 163 The number of relevant chunks increases at rst and then drops sharply. : : : : : : : : : : : : : : : : : : : : : : : : : 165 In these situations, the board contour fragments t part of the falling zoid, but the zoid cannot be placed there because another part of the zoid does not t the board contour. : : : 166 To verify that a candidate placement is a legitimate placement, all features along the bottom of the zoid must t corresponding features on the board contour. : : : : : : : : 167 To verify that the candidate generated by the discontiguous chunk is a legitimate placement, three contiguous fragments must be examined. : : : : : : : : : : : : : : : : : : : : : : : 168 Verifying a candidate placement requires unrolling the zoid and board contours and then tting together corresponding contour chunks. : : : : : : : : : : : : : : : : : : : : : : : : 169 Minsky and Papert (1969) showed that certain visual predicates, such as whether an image contains a connected curve, cannot be decided by a linear function of local image properties.176 To recognize a contiguous chunk, simply follow along the board contour and the chunk contour matching features one at a time. : : : : : : : : : : : : : : : : : : : : : : : : : : : : 178 Sequences of features alone cannot be used to represent discontiguous chunks. : : : : : : : : : : : : : : : : : : : : : : : 179 The routine for recognizing d-chunks cannot simply follow the contour. : : : : : : : : : : : : : : : : : : : : : : : : : : 182 The predicate to decide a c-chunk is simpler than the predicate to decide a d-chunk because its description-length is shorter. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 184

x

7.15 7.16 7.17 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10 8.11 8.12 8.13 8.14 8.15 8.16 8.17 8.18 8.19

If a dedicated chunk recognizer is like a template, then a recognizer for a d-chunk that contains n features is always bigger than a recognizer for a c-chunk that contains n features.187 A chunk perfectly ts a fragment of the zoid if each of its features perfectly ts the corresponding zoid features. : : : 189 Each zoid token perfectly ts a speci c feature sequence or chunk. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 190 RoboTetris III determines zoid placement solely on the basis of chunks cached in long-term memory. : : : : : : : : : : : This gure shows a nal board con guration from one RoboTetris III game : : : : : : : : : : : : : : : : : : : : : : : : : This gure illustrates the lowest-chunk bias. : : : : : : : : : The rst versions of RoboTetris III performed poorly. : : : The best place to put the falling zoid cannot be determined by any set of contiguous chunks. : : : : : : : : : : : : : : : Because RoboTetris III cannot distinguish holes from overhangs, it sometimes builds leaning towers. : : : : : : : : : : Because RoboTetris III cannot distinguish holes from overhangs, it sometimes creates deep and narrow valleys. : : : : Beginners create leaning towers more often than experts. : : Beginners create more dependencies than experts : : : : : : Sometimes the best place to put the zoid does not contain the longest chunks on the board contour. : : : : : : : : : : There are many of ways of splitting or parsing the board contour into chunks relevant for the falling zoid. : : : : : : The number of parses of a contour is an exponential function of length. : : : : : : : : : : : : : : : : : : : : : : : : : : : : The average number of parses grows exponentially even when the set of chunks is limited to those relevant for a speci c type of zoid. : : : : : : : : : : : : : : : : : : : : : : The sequence containing the best- tting chunks can stretch across an arbitrary number of features. : : : : : : : : : : : : The average number of parses grows more slowly for orientation-speci c chunks than for all chunks. : : : : : : : Which zoid orientation is the right one? : : : : : : : : : : : Fewer candidates are evaluated in the case of orientationspeci c chunks than are evaluated in the case of all chunks. Using the full set of chunks to parse the board contour produces parses that the falling zoid does not t in any of its orientations. : : : : : : : : : : : : : : : : : : : : : : : : : : Special cases apply in limited circumstances. : : : : : : : :

xi

209 211 212 213 215 216 216 217 218 223 224 226 227 229 232 234 236 237 241

C.1 C.2 C.3 C.4 C.5 C.6 C.7 C.8 C.9 C.10 C.11 C.12 C.13 C.14

Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for Chunks for

. . : .: .: .: . : . : . . : .: .: .: . : . :

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

xii

277 278 279 280 281 282 283 285 286 287 288 289 290 291

LIST OF TABLES 3.1

Power curves t the data better than lines or exponentials.

5.1

This table shows each type of corner in each of its four orientations. : : : : : : : : : : : : : : : : : : : : : : : : : : 119 This table shows how each graphical corner icon corresponds to a formally speci ed corner. : : : : : : : : : : : : : : : : : 123 This table displays the f it scores for each pair of corners. : 126

5.2 5.3 6.1 6.2 6.3 6.4

6.5 6.6 6.7 6.8 6.9

7.1 7.2 7.3 7.4 7.5

62

This table shows some of the results of using RoboTetris I to try to nd appropriate weights : : : : : : : : : : : : : : : 132 In some cases, RoboTetris I was able to play virtually forever. 136 The number of possible placements varies with zoid type. : 140 The generate and test algorithm for nding the best zoid placement loops over zoid orientations and contour locations, imagines the zoid in each placement, evaluates each placement, and keeps track of the best one found so far. : : 143 To determine Fitness, corresponding elements are compared. 145 This version of the generate and test algorithm does not encode the entire board in the primitive feature representation.148 This version of Fitness encodes only the relevant part of the board contour using primitive features. : : : : : : : : : 149 This table shows the mean time to place a zoid (in milliseconds) grouped by zoid type. : : : : : : : : : : : : : : : : : : 153 This table summarizes the signi cant dierences between mean time to place speci c zoid types for all subjects, and also for each of the three skill groups. : : : : : : : : : : : : 154 This table shows the seven features that are used to represent contours without overhanging squares. : : : : : : : : : Using all chunks two or three features long, RoboTetris II played like an expert. : : : : : : : : : : : : : : : : : : : : : RoboTetris II generated substantially fewer candidates than exhaustive search. : : : : : : : : : : : : : : : : : : : : : : : This algorithm selectively generates candidate placements by relying on chunked sequences of features that are known to lie along the bottom contours of the zoids. : : : : : : : : This table shows the mean number of candidates RoboTetris II generated for each type of zoid, along with the mean square error calculated by a one-way analysis of variance on the means for each of six games. : : : : : : : : : : : : : : :

xiii

164 192 193 196

202

7.6

This table shows the mean placement time (in milliseconds) grouped by zoid type, including separate entries for mirror zoids : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 203

8.1

The maximum number of relevant chunks varies with zoid type. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 227

A.1

This table displays some of the results of the Tetris questionnaire. : : : : : : : : : : : : : : : : : : : : : : : : : : : : 261

xiv

ACKNOWLEDGEMENTS David Kirsh, my advisor at UCSD and my friend for over 12 years, has been my partner in the Tetris work. I am grateful for his ethusiasm, knowledge, insight, and for patiently nurturing my intellectual development over the years. Thanks also to the rest of my committee{John Batali, Charles Elkan, Marta Kutas, and Walt Savitch{who provided guidance and insightful feedback when I asked. Much appreciation too to Patrick Winston at MIT, who paid me to do research well before I was competent to. Nick Flor was a collaborator and friend throughout. In discussions and in reading drafts of this work as it progressed, he provided useful comments that helped bring it to fruition. Another good friend, Pete Dapkus, discussed theoretical issues, implementation details, and freely provided all the commands in his bin directory. Anders Dale, my Norwegian ocemate, inspired me by|among other things|his ability to recite the lyrics to Zappa songs. Christine Halverson, my later ocemate, provided useful comments on early drafts of chapters 2 and 3. Barbara Holder accompanied me to the Grove after everyone else had deserted me. Jon King taught me all about working memory in two hours. Javier Movellan answered statistics questions; Ketchen Zhang answered math questions. The Tetris research was funded in part by NIA Grant AG11851 to David Kirsh. Steve Haehnichen implemented the rst versions of RecordTris I and

xv

RoboTetris I (and coined the terms, tetrazoid and

). John Kendall

RoboTetris

implemented the rst version of RecordTris II. Mark Wallen's technical wizardry and aable demeanor enabled me to survive computer problems. Nora Mainland, Rich Doyle, and the Jet Propulsion Lab in Pasadena provided me an extraordinary employment situation. My parents, sisters, and aunt were supportive throughout undergraduate and graduate years. My grandmother started pushing me to go to MIT from the moment I was born. The Robot on

Lost in Space

inspired me to

pursue arti cial intelligence, which lead to my interest in cognitive science. Tim Wilson's friendship and constant encouragement to \write, write, write" has been invaluable. Brett Rhyne, a friend for nearly 20 years, also provided inspiration by nishing months ahead of me. With Jack Greenbaum, I learned to enjoy the jones segment on Late Night

. Nassreen El-

with David Lettermen

Dahabi was understanding when I had to work (always) and provided critical artistic advice on Figure 8.1. Finally, above all I thank Teenie Matlock. As my experimental subject, she showed me how to play Tetris. As my editor, she read and reread and suggested countless improvements to this document, all along showing me how to write well. As my advisor, she showed me how to nish (eventually). As my friend, she was patient and kind. As my partner, she showed me love.

xvi

VITA September 1, 1964 Born, Flushing, New York 1986

S.B. in Computer Science and Engineering, Massachusetts Institute of Technology

1986{1988

Technical Sta, MITRE Corporation

1988{1989

Research Scientist, Arti cial Intelligence Lab, Massachusetts Institute of Technology

1991

M.S. in Cognitive Science, University of California, San Diego

1989{1995

Research Assistant, Department of Cognitive Science, University of California, San Diego

1989{1992

Teaching Assistant, Department of Cognitive Science, University of California, San Diego

1992{1995

Technical Sta, Jet Propulsion Laboratory

1993{1994

Instructor, Department of Cognitive Science, University of California, San Diego

1995

PhD in Cognitive Science, University of California, San Diego

1995

Postdoctoral Research, IBM Almaden Research Center

PUBLICATIONS Kirsh, D., & Maglio, P. (1994). On distinguishing epistemic from pragmatic action. Cognitive Science. 18, 513{549. Kirsh, D., & Maglio, P. (1992). Some epistemic bene ts of action: Tetris, a case study. In Proceedings of the fourteenth annual conference of the Cognitive Science Society. Hillsdale, NJ: Lawrence Erlbaum. Kirsh, D., & Maglio, P. (1992). Reaction and re ection in Tetris. In J. Hendler (Ed.), Arti cial intelligence planning systems: Proceedings of the rst annual international conference (AIPS92). San Mateo, CA: Morgan Kaufman.

xvii

Kirsh, D., & Maglio, P. (1992, March). Perceptive actions in Tetris. In R. Simmons (Chair), AAAI spring symposium on selective perception. Presented at symposium held at Stanford University, Palo Alto, CA. Chase, M. P., Zweben, M., Piazza, R. L., Burger, J. D., Maglio, P. P., & Hirsh, H. (1989). Approximating learned search control knowledge. In Proceedings of the sixth international workshop on machine learning. San Mateo, CA: Morgan Kaufman.

FIELDS OF STUDY Major Field: Cognitive Science Studies in Arti cial Intelligence and Computation Professors David Kirsh, John Batali, and Patrick Winston, MIT Studies in Cognitive Neuroscience Professors Marta Kutas, Helen Neville, Jaime Pineda, and Marty Sereno Studies in Cognitive Engineering Professor Donald Norman Studies in Cognitive Linguistics Professor Gilles Fauconnier Studies in Quantitative Methods in Psychology Professor Norman Anderson Studies in Parallel Distributed Processing Professors Jerey Elman and David Zipser Studies in Philosophy of Cognitive Science Professor David Kirsh

xviii

ABSTRACT OF THE DISSERTATION The Computational Basis of Interactive Skill by Paul P. Maglio Doctor of Philosophy in Cognitive Science University of California, San Diego, 1995 Professor David Kirsh, Chair

My claim is that it can be computationally ecient to incorporate redundant actions into skilled behavior. My studies of how people improve at playing the videogame Tetris show that part of getting better means getting faster, which is what standard theories of skill learning predict. However, my data also reveal that sometimes getting better involves doing more backtracking in the task environment rather than doing less. This nding opposes standard views of expertise in which increases in skill are driven by improvements internal to the agent, with external changes re ecting better honed internal reasoning, motor, or recognition processes. By implementing a series of computer models, I discovered that even for a skilled perception model of expertise, backtracking is adaptive because it can help constrain the problem that needs to be solved. In particular, I argue that the perceptual computation

xix

required for Tetris is more eciently done by serial search than by fully parallel pattern recognition. If skilled perception is completely parallel, then there is no way to use external action to facilitate processing because processing happens instantly. But because serial search is in fact more ecient, external actions can play a role in skilled recognition. Hence, I provide a computational reason for skilled players' redundant interactions with the Tetris game.

xx