Annotated Bibliography in On-line Character ...

33 downloads 566403 Views 3MB Size Report
Oct 2, 2015 - symbols for text: crossing out to erase, insert, transpose, move, remove spaces / close up, insert ...... Early touch-input device, organ keyboard detecting velocity of key being struck to affect tone ...... IDE which became Xcode.
10.2.2015

Annotated Bibliography in On-line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers http://rwservices.no-ip.info:81/biblio.html

Go

64 captures 7 Jan 07 - 17 Okt 14

MRZ MAI SEP

1

2012 2013 2014

Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s This  is  a  posting  of  a  bibliography  on  on-line  character  recognition  (a.k.a.  dynamic  character recognition, a.k.a. pen computing). I am posting it as a service to those with interest in the field. It may also be of special interest to anyone investigating any of the flood of patents in the areas of digitizer  tablets,  character  recognition,  tablet-PC  GUIs,  and  multi-touch  computing  (such  as  the iPhone and Touch iPod). I have physical copies of most of the papers cited here. This compilation is copyright © Jean Renard Ward, 1992, 1996, 2003, 2005, 2008, 2009, 2011. Permission is hereby given to link to this list, or to cite it provided that notice of the source is given as stated below, that the full URL of this link is included, and also that you use my correct full name "Jean Renard Ward" is included with any such reference or link. Permission is hereby given to reproduce any diagrams or photographs in this collection for any purpose (to the extent that the materials are not subject to copyright by persons other than myself), including for the purposes of confidential reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  " Sour ce: Annotated Bibliogr aphy in Pen Computing and Handwr iting Recognition by J ean Renar d War d" . The bibliography is broken up into several web pages, for convenience in printing:         1971 to 1975         1976 to 1980         1981 to 1983                   1891 to 1970                   1984 to 1985         1985 to 1986         1987 to 1988         1989 to 1990                   1991 to 1995         1996 to 2000         2001 to 2005         2006 to 2007                   2008 to 2010         2011 to current date         not yet catalogued                     Pictures and Videos                                                                                  When was Pen Computing invented? Check this out: Notes on the "unknown" history of Pen Computing (from a talk given to the Boston Computer Society in 1992) Note that there is a tendency for major vendors to re-name Pen Computing ("Tablet PCs", "Touch PCs", "Organic User Interfaces" are a few such names), which tends to obscure the historical record a bit. https://web.archive.org/web/20130501000300/http://rwservices.no-ip.info:81/biblio.html

1/3

10.2.2015

Annotated Bibliography in On-line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers

Who invented Pen Computing? You may have read something somewhere that indicated some organization like                   Microsoft   Nestor   Apple Newton   MicroPad                     IBM   PenCept   GO Corporation   Rand Corporation                     Linus   PenPoint   CIC   Wacom                     GRAIL Casio   Slate   Graffiti   ... had invented pen computing / tablet computing. After skimming through some of the references above, you might start to think some of those claims - particularly those by large corporations could be slightly exaggerated: for example, inventing an improvement on how do spelling correction [Viterbi67] is not the same as inventing the first graphical word-processing program. Which is not to say that a particular system did not do some very interesting new things within the context of pen computing, such as [CarrR91] and [PenCept83]. Note: I find the very early references to technology interesting. For example, Handwr iting r ecognition by a machine in r eal time, with a user  wr iting with a stylus, goes back to befor e Wor ld War  I: United States Patent 1,117,184, November 17, 1914 [GoldbergHE14] United States Patent 1,311,384, July 29, 1919 [Drew19] Optical char acter  r ecognition (fr om a pr inted page) goes back to befor e the days of computer s: United States Patent 1,838,398, December 29, 1931 [GoldbergE31] Electr onic Tablets wer e invented in the 19th centur y: United States Patent 461,472, October 20, 1891 [Gray1891] United States Patent 491,347, February 7, 1893 [Gray1893]  (Note: Elisha Grey is best known in history as the person who may have invented the telephone before Alexander Graham Bell, but lost the patent dispute in a famous and controversial court decision) " Electr onic ink"  (the pen-computing kind, not the electr onic display) is older  than you think: "The RAND Tablet: A Man-Machine Graphical Communication Device", 1964 [DavisMR64]  (Note: This is the earliest published use of this term in pen-computing, AFAIK). Language knowledge being used in char acter  r ecognition: The early references to the "Viterbi" algorithm are interesting to compare with more recent inventions on glyphs and context. [Viterbi67] So you think your  r ecognition softwar e is pr etty good? ... look at this. Another interesting slant is the many claims of "near perfect" handwriting recognition algorithms in the earliest days of pen computing, such as [Simek67] and [Dimond57]  (Note: At one of my pen-computing jobs in the late 1980s, we joked that Dimond had achieved 97% "perfect" handwriting recognition in 1957, and that the technology had been getting about 5% better every decade since: the trend seems to have continued https://web.archive.org/web/20130501000300/http://rwservices.no-ip.info:81/biblio.html

2/3

10.2.2015

Annotated Bibliography in On-line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers

unbroken, like some odd form of Moore's Law.)  You can find almost anything using one of the major search engines on the Internet these days. However, here are some links to other pages with talking about the history of pen computing. (Please note that links expire, so these may not all be up-to-date.) Images of early PenComputing products (work in progress -- I have lots more in my attic) Notes on the "unknown" history of Pen Computing (from a talk given to the Boston Computer Society in 1992) Schomaker's MIAMI group in the "Esprit" project includes a detailed taxonomy and another large set of references relating to pen computing. Andreas Hennig has posted another (shorter) bibliography relating to pen computing. Nottingham Trent University has a research group in this area. Gary Perlman set up an extensive on-line bibliography on human-computer interaction. Bill Buxton has been working on haptic user-interfaces at various institutions for a long time. You can find his most recent work at www.billbuxton.com The "Pen Report" has references to many of the commercial developments in one of the more recent pen-computing "crazes". It is listed as part of the AMUG Newton page, one of many user-group pages on the Web. There have been some original papers posted in odd places, such as this one by Scattolin Patrice. Of course, there is information on Wikipedia, but you should be cautious that the information can be biased towards a particular organization. Thank you,   Mirrors of this page can be found at:  http://users.erols.com/rwservices/biblio.html http://rwservices.no-ip.info:81/biblio.html

Back to homepage for Rueters-Ward / Zurück zur Heimatseite Rüters-Ward Last edited: 16-Jun-2006

https://web.archive.org/web/20130501000300/http://rwservices.no-ip.info:81/biblio.html

3/3

10.2.2015

(1891..1970) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio70.html

Go

63 captures

DEZ MAI SEP

1

2012 2013 2014

7 Jan 07 - 8 Dez 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1891 to 1970. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:48 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio70.html http://216.15.114.196:81/pens/biblio70.html http://rwservices.no-ip.info:81/pens/biblio70.html (Generally most up-to-date)

       Main Reference Page        [Alberga67] (*p) Alberga, C.N. "String similarity and misspellings", Communications of the A.C.M., Vol 10 No 5, May 1967, pp 302-313. Context string correction, spelling correction: review of several algorithms, some of which turned out to be trash

[AndersonR68] (*p) Anderson, Robert H. "Syntax-Directed Recognition of Hand-Printed Two-Dimensional Mathematics", in "Interactive Systems for Experimental Applied Mathematics", pp 436-459, Klever, M. and Reinfelds, J., editors, Academic Press, New York, 1968. Refers to min/max extents, "typographical" centroid of characters; User interface for mathematical symbol parsing, 2-D symbol parsing, sketch input

https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

1/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

[AndersonR70] (*) Anderson, R.; Bator, R; Gagan, R.; Meads, J.; and Metrick, L. "Interactive Specification of Data Displays", NASA Contractor Report CR-1628, June 1970 Graphical display language: refers to a Symbol recognizer rather than a handwriting recognizer. Mentions Ledeen recognizer from a private communication at Harvard, 1968. Describes both fixed and adaptive/trainable recognizers (a bit naive about trainability). List set of 8 symbols (gestures?) for command input in one application, plus two others: e.g. Scrub/scratch-out for erase.

[Arkadev67] (*p) Arkadev, A.G. and Braverman, E.M. "Computers and Pattern Recognition", translated from Russian by W. Turski and J.D. Cowan, Thompson Book Company, Washington, D.C., 1967. Papers on one character "invading the space" of another, compare to Write 1950 book on Arabic Numerals. Description of Perceptrons, early neural-net technology.

[Attneave54] (*) Attneave, F. "Some informational aspects of visual perception", Psychology Review, Vol 61 No 3, 1954, pp 183-193. Cited in Teh89 , O'Callaghan70, cited in Lipscomb91 as Atteneave Features: Points of high curvature (corners) are dominant points in human pattern recognition, not local maxima/minima

[Baecker69] (*) Baecker, Ronald M. "Picture-driven Animation", Proc. AFIPS Joint Computer Conference, May 14-16 1969, SJCC, pp 273-288. Sketch animation system: uses gestures?

[Bakis68] (*p) Bakis, Raimo, Herbst, Noel M., and Nagy, George "An Experimental Study of Machine Recognition of Hand-printed Numerals", IEEE Transactions on Systems Science and Cybernetics, Vol SSC-4 No 2, July 1968, pp 119-132. Statistical adaptive classifier for handwriting: takes vectors of features, trains self to data base by finding best (lowest error confusion) weighting Data base collections: most are too small ("greenhouse data sets"), therefore low accuracy Formal training of user not acceptable for handwriting recognition 7000 and 30000 character collections from handwriting "back-room" forms not large enough Pre-processing of handwriting before recognition: scaling, shear normalization (tilt), Using too many feature measurements can lower performance, since the probability is higher that some features are of low effectiveness Gives actual/typical substitution errors from data collection on handwriting recognition

[Bernstein64] (*) Bernstein, Morton I. "Computer recognition of on-line, hand-written characters", Memorandum RM-3753-ARPA, The RAND Corporation, Santa Monica, California October 1964

Also position and size invariant (no punctuation): Mentions that he does nothing on stroke segmentation Eight-direction chain direction codes (rotationally invariant), with endpoints for rotation-dependent added Features are eight-direction chain codes, quantized segment length, exhaustive table of types of sequences (like Penverter SME types?), followed by eight directions for end-point relative positions

[Bernstein67a] (*) Bernstein, M.I. "An On-Line System for Utilizing Hand-Printed Input Progress Report", System Development Corporation, Santa Monica, California, Report No NASA-CR-86108; TM/L/3052/001/00, 18 December 1967.

Handwriting recognition software and user-interface: Appendix B refers to using spelling dictionary to do character segmentation / stroke parsing, and corner detection (and not just local minima/maxima?)

[Bernstein67b] . Bernstein, M.I. "Flow charts for recognizing hand printed characters on-line https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

2/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

in real time operation", NASA Technical Report NASA-CR-86108; TM L-3052 001 00, Dec 18, 1967 (Abstract only) Handwriting recognition

[Bernstein68a] (*) Bernstein, M.I. and Howell, H.L "Hand-Printed Input for On-Line Systems: Final Report for Phase I", System Development Corporation, TM-(L)-3964/000/00, Santa Monica, California, April 1968. (abstract only) Trainable recognition: touch-display / electronic ink, by rear-projecting image onto digitizer tablet. Suggests free-form (2-Dimensional) input, not text entry is most useful application: implies that gestures are the useful application over handwriting recognition.

[Bernstein68b] (*) Bernstein, Morton I., and Howell, H.L. "Hand-Printed Input for On-Line Systems", System Development Corporation, TM-3937/000/00, Santa Monica, California, April 1968 (Abstract only).

Bernstein70 User interface: suggests handwriting best used for free-form/two-dimensional input, not linear text.

[Bernstein68c] . Bernstein, Morton I. and Williams, T.G. "A two-dimensional programming system", IFIP Congress, Edinburgh, Scotland, August 5-10, 1968. pp C84-C89. MillerGM69 on mathematical/flow-chart user interface parsing

[Bernstein68d] . Bernstein, Morton I. "A Method for Recognizing Handprinted Characters in Real Time", in Pattern Recognition, proceedings of IEEE Workshop on Pattern Recognition, L.N. Kanal, editor, Thompson Press, Washington, D.C., 1968, pp 109-113. Smoothing, filtering, corner detection features, minima and maxima of character, types of component strokes (chain codes?) Handwriting tablet data rate: 2.5 msecs (400 points/sec.)

[Bernstein69a] . Bernstein, M.I., and Williams, T.G. "A Two-Dimensional Programming System", Proceedings 1968 IFIP Congress, North Holland Pub. Co, page 586, 1969. [Bernstein69b] (*) Bernstein, M.I. and Howell, H.L "Hand-Printed Input for On-Line Systems: Final Report for Phase I", System Development Corporation, NASA Contractor Report CR-1284, March 1969

Trainable recognition: touch-display / electronic ink, by rear-projecting image onto digitizer tablet. Suggests free-form (2-Dimensional) input, not text entry is most useful application: implies that gestures are the useful application over handwriting recognition. Recognition uses 8-direction chain codes, zone recognition (and corner detection?)

[Bernstein70] . Bernstein, M.I. "Software for Interactive Graphics Input", in Computer Handling of Graphical Information, Richard D. Murray, Editors, 1970, SPSE Press, pp 28-40. Claims digitizing tablet invented by Dr. Herbert Teager of MIT around 1960, before Rand tablet Describes different tablet filter pre-processing algorithms: square-window, diamond-window, circular-window, double-square, etc. Handwriting recognition with electronic ink on a RAND tablet/display combination, 1970.

[Blackwell67] (*) Blackwell, F.W. "An On-Line Symbol Manipulation System", Proceedings of the 22nd National ACM Conference, Thompson Book Company, Washington, D.C., 1967, pp 203-209.

Mathematical user interface for symbol-manipulation such as algebra: appears to use a keyboard for input, predecessor to Blackwell70 which was two-dimensional hand-written notation

[Blackwell70] (*) Blackwell, Frederick W. and Anderson, Robert H. "An On-line Symbolic Mathematics System using Hand-Printed Two-Dimensional Notation", RAND Memorandum RM-6018-PR, 1970. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

3/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

User-interface on handwriting and mathematics: parser, as well as recognition, can be extended by user (new operators, new syntax?) using Anderson68 Some user-interface questions on mathematics left open: how to show intermediate results; very large expressions online manipulation of symbolic mathematical formulae: user hand-prints fomulats, in ordinary twodimensional notation

[Bledsoe59] (*) Bledsoe, W.W. and Browning, J. "Pattern recognition and reading by machine", Proceedings of the East Joint Computer Conference, pp 225-232, December 1959.

Had spelling dictionary with probabilities of words; compare to later context/dictionary solutions for handwriting recognition

[Bledsoe66] . Bledsoe, W.W. and Browning, J. "Pattern recognition and reading by machine", in Pattern Recognition, L. Uhr, editor, Wiley, New York, 1966, pp 301-306. Cited in Srihari83 : same as Bledsoe59?

[Bonner67] (*) Bonner, R.E. "Segmentation Method and Apparatus", United States Patent 3,344,399, assigned to International Business Machines Corporation, New York, New York, September 26, 1967. Uses eight-vector-direction chain codes Claims related to curve-following

[Brenner70] (*) Brenner, A.E. and deBruyne, P. "A Sonic Pen: A Digital Stylus System", IEEE Transactions on Computers, June 1970, pp 546..548 Sonic digitizer using plane microphones: three-dimensional digitizer: states 1mm resolution.

[BrownRM64] (*p) Brown, R.M. "Online Computer Recognition of Handprinted Characters", IEEE Transactions on Electronic Computers, Vol EC-13 No 12, December 1964, pp 750-752. alphanumeric and mathematic symbols, uses term "dynamic character recognition", stroke-direction recognition using zones Cited in Litvin82, FoleyJD84, FoleyJD82

[BrownCD70] (*p) Brown, Curtis Del "A Real Time Handprinted Character Recognizer", M.S. Thesis, M.I.T, June, 1970

Mentions Graham as standard set of handwriting styles (for Morse code) intended to avoid conflicts in form handwriting recognition using properties of curvature and chain codes reviews of Teiltelman "sequence" recognizer, Groner at Rand corporation chain-code recognizer, Graham at Sylvania

[BushV45] (*) Bush, Vannevar "As We May think", The Atlantic Monthly, July 1945

Vannevar Bush essay that introduced the concept of the Memex, a hyperlinked information archive. Other references show handwriting (recognition?) input, and a telautograph or digitizer tablet. May have been anticipated by Goldberg Patent in 1931.

[Calabi69] . Calabi, L. and Hartnett, W.E. "A family of codes for the correction of substitution and synchronization errors", IEEE Transactions on Information Theory, Vol IT-15 No 1, pp 102-106. Cited in Kruskal83 String correction, spelling correction distance

[Caldwell59] (*p) Caldwell, S.H. "The Sinotype - a machine for the composition of Chinese from a keyboard", Journal of the Franklin Institute, Vol 267 no 6, June 1959. Crane77b cites this for Chinese Kanji input using one keyboard stroke per character stroke

[Cameron67] (*) Cameron, S.H. et al "DIALOG: A Conversational Programming System with a Graphical Orientation", Communications of the A.C.M., Vol 10 pp 349-357 https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

4/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

DIALOG - Illinois Inst Tech, 1966. Electrosketch Interactive math/geometry using graphics tablet: cited for setting up command/translation areas on a digitizer tablet in Eichen73. Dynamic/virtual keyboard, auto-completion of typed (handwritten?) commands.

[Casey66] . Casey, R. and Nagy, G. "Recognition of printed Chinese characters", IEEE Transactions on Electronic Computers, Vol EC-15, February 1966, pp 91-101. Agui79

[Champion31] . Champion, M.L. and Gregg, J.R. "Gregg handwriting", Gregg publiching company, 1931; Bibliography by T.R. Davis 1931 reference to shorthand writing styles?

[ChengG68] . Cheng, G. Ledley, R.S., Pollock, D. and Rosenfield, A. "Pictorial pattern recognition", Thompson Book Company, Washington D.C., 1968. O'Callaghan70

[Chesler67] (*) Chesler, Leonard G. and Turn, Rein "The Application of On-Line Graphical Techniques for Programming and Operating a "Moving Network" Monitoring Display", RAND Corporation Memorandum RM-5183-PR, 1967

GUI description for RAND Graphic Input Tablet for creating a real-time moving network display of spacecraft checkout operations

[Chodrow66] . Chodrow, M.M., Bivona, W.A. and Walsh, G.M. "A Study of Hand-Printed Character Recognition Techniques", Rome Air Development Center Technical Report No RADC-TR-65-444, February 1966. MunsonJH68 cites as showing handwriting recognition in 1965

[Clark70] . Clark, D.W., Connell, David B., Dimeo, Michael P., Opitz, Bruck K., Sammon, John W. jr., and Sanders, Jon H. "Handprinted Character Recognition Techniques", NTIS Report AD 876 875, RADC Technical Report RADC-TR-70-206, October, 1970.

On-line handprinted/handwritten character recognition, constrained to Standard Character Format.

[Clemens65] . Clemens, J.K. "Optical Character Recognition for Reading Machine Applications", Ph.D. thesis, Massachusetts Institute of Technology, Cambridge, Massachusetts, 1965. MunsonJH68 cites as showing handwriting recognition in 1965

[Clowes68] . Clowes, M.B. "Transformational grammars and the organization of pictures", paper presented to the PISA Conference on Automatic Interpretation and Classification of Images, Pisa, Italy, August, 1968. O'Callaghan70

[Coleman67] . Coleman, M.L. "Design for a text editor", Memo CCP 238, Carnegie-Mellon University, Pittsburgh, Pennsylvania, 1967. Coleman69 user-interface on gestures / handwriting symbols

[Coleman69] (*) Coleman, Michael L. "Text editing on a graphic display device using handdrawn proofreader's symbols", from Pertinent Concepts in Computer Graphics: Proceedings of the 2nd University of Illinois Conference on Computer Graphics, Faiman, M. and Nievergelt, J., editors, University of Illinois Press, Urbana, Illinois, 1969, pp 282-290. Also in M. Faiman and J. Nievergelt (Eds.), Pertinent Concepts in Computer Graphics

User interface: gesture/command symbols for proofreading/editing. User-interface/gesture nine symbols for text: crossing out to erase, insert, transpose, move, remove spaces / close up, insert space, scroll up, scroll down, delete. Features for gestures / handwriting proofreading marks: closure. User-interface: text entry via voice, tolerate higher error rate on voice recognition if gestureeditor is convenient.

https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

5/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

[Cotton72] . Cotton, I. "Network graphic attention handling", Online 72 International Conference, Brunel University, Uxbridge, England September 1972, pp 465-490 Cited in Wallace76 for "virtual devices"

[CrookMN63] (*) Crook, M.N. and Kellogg, D.S. "Experimental Study of Human Factors for a Handwritten Numeral Reader", IBM Journal of Research and Development, January 1963, pp 76 ..78.

Cites G.G. Neal Wright. 90% correct recognition for somewhat constrained handwriting recognition on groups of subjects, no details on the type of recognition. Data scanned optically OCR. Subject were: students, sales clerks, sales clerks. Worst recognition success was with high-school males.

[Curry69] (*) Curry, James E. "A Tablet Input Facility for an Interactive Graphics System", Proceedings IJCAI 1969, AFIPS/ACM International Conference on Artificial Intelligence, pp 33..40, May 1969

Trainable "symbol recognizer" for gestures for the TX-2 computer. Cited in RubinSM94 and Buxton05: Compare with Ledeen recognizer, gesture input? Example is a graphical editor for analog circuits (transistors, resistors, etc.)

[Damerau64] . Damerau, F.J. "A technique for computer detection and correction of spelling errors", Communications of the A.C.M., Vol 7 No 3, March 1964, pp 171-176. Context via a spelling dictionary

[Danna69] . Danna, S.R. "Signature Identification Instrument", United States Patent 3,480,911, November 25, 1969, assigned to Conetta Manufacturing Co. Incorporated, Stamford, Connecticut. Signature verification using force/pressure

[DavisMR64] (*) Davis, M.R. and Ellis, T.O. "The RAND Tablet: A Man-Machine Graphical Communication Device", AFIPS Fall Joint Computer Conference #26, part 1, 1964, Spartan Books, Baltimore, Maryland, pp 325-331. Early reference to RAND tablet: Gray code electronics User interface/ ergonomics: says separate tablet and display not a problem for user after a couple of minutes, even for signatures: even has advantage that hand does not obscure drawing. See also interview notes with Uncapher User interface: earliest reference to electronic ink by name. Gestures? RAND Tablet digitizer was capacitive-coupled/electrostatic.

[DavisMR64b] (*) Davis, M.R. and Ellis, T.O. "The RAND Tablet: A Man-Machine Graphical Communication Device", Rand Memorandum RM-4122-ARPA, August 1964: ARPA Order No. 189-61 Early reference to RAND tablet

[DayLF10] . Day, L.F. "Alphabets Old and New", B.T. Batsford, Limited, London, 1910. [DeHaanWR66a] (*) DeHann, William R. "The Bell Telephone Laboratories automatic graphic schematic drawing program", Proc. of DAC '66 SHARE design automation project

Early CAD / schematic sketching program: input is by sketch recognition on coordinate paper, rather than touchscreen or lightpen digitizer

[Deringer68] . Deringer, D. "The Alphabet", Funk and Wagnalls, New York, 1968. Background on historical variability of the written alphabet

[Deutsch67] (*) Deutsch, P. and Lampson, B.W. "An Online Editor", Communications of the A.C.M., Vol 10 No 12, 1967, pp 793-799. Coleman69 on gesture user-interface. QED keyboard-command text editor had two-letter/twocharacter macros/"gestures" for inserting stored phrases and text.

https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

6/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

[Devoe67] . Devoe, D. "Alternatives to Handprinting in the Manual Entry of Data", IEEE Transactions on Human Factors in Electronics, Vol HFE-8 No 1, January 1967, pp 21-32. Cited in FoleyJD84

[Devoe68] . Devoe, Donald D., and Graham, Donald N. "Evaluation of Handprinted Character Recognition Techniques", Sylvania Electronics Systems Final Report No F-6171-1; RADC-TR-68-103, May 1968 (Abstract only). Goodale83 User interface for handwriting: visual feedback has no effect on writing style, but is essential for editing and correcting Handwriting recognition: user perception of adaptive versus constrained is about the same (adaptive itself is constraining?)

[Dewey23] . Dewey, G. "Relative Frequency of English Speech Sounds", Harvard University Press, Cambridge Massachusetts, 1923. Cited in Srihari83: on spelling/context correction

[DickensonWE60] (*) Dickenson, W.E. "A Character-Recognition Study", IBM Journal of Research and Development, July 1960, pp 335..348 Simulation (no real data) for recognition for ten "specially designed digits", using X-Y scans. Special digit shapes for OCR are intentionally rectangular.

[Dimond57] (*) Dimond, T.L. "Devices for reading handwritten characters", Proceedings of Eastern Joint Computer Conference, pp 232-237, December 1957. Early paper on handwriting character recognition: Stylator (stylus translator), a zone-based tablet, which was earlier than RAND digitizer tablet, which was full Cartesian coordinates. Describes cartesian-coordinate grid for character recognition, zone-based recognizers.

[Dimond58] . Dimond, Tom .L. "Experimental device for reading handwritten numbers", Electronic Equipment, Vol 6 No 1, January 1958, pp 6-7. [Dimond63] (*) Dimond, T.L. "Machine Reading of Handwritten Characters", United States Patent 3,108,254, October 22, 1963, assigned to Bell Telephone Laboratories, New York, New York. Early patent on five-zone/sector recognition. Constraints: user writes around two vertically-oriented dots with a stylus. See also Stylator.

[Dixon65] . Dixon, N.F. "Subliminal Perception: The Nature of a Controversy", McGrawHill, 1965. (Date approximate): threshhold for recognition in humans will vary

[Doyle60] (partial) Doyle, W. "Recognition of sloppy, hand-printed characters", Proceedings of Western Joint Computer Conference, 1960, pp 133-142. Original date 10 December 1959, Revised 2 May 1960 Genchi68 on early handwriting recognition

[Drew19] (*) Drew, W.F. "Electric Keyboard for Calculating Machines, Type Writing Machines, and the Like", United States Patent 1,311,384, July 29, 1919.

Cited in Irland64: on a keyboard terminal that uses a stylus to touch conductive key contacts: may relate to digitizer technology, or handwriting input with a stylus

[Drezner66] (*) Drezner, Stephon M., Gatto, O.T. and Wisneiwski, T.D. "Report on a Demonstration of a Computer-Assisted Countdown", RAND Corporation Research Report RM-5005-NASA, 1966

Describes user interface for a prototype stylus GUI, that enables the executive (user?) to act online with a simulation of the countdown: he can make changes to the script or to the simulation

https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

7/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

[Dreyfuss59] . Dreyfuss, H. "Anthropomorphic data - Adult Male seated at Console", publication source unknown. Ergonomic figures for human reach, console/desk design

[Duda68] . Duda, R.O. and Hart, P.E. "Experiments in the recognition of hand-printed text: part II -- context analysis", Proceedings of Fall Joint Computer Conference, 1968, Thompson Books, Washington, D.C., pp 1139-1149. In Tappert's bibliography, FoleyJD82

[DunnRankin68] . Dunn-Rankin, Peter "The Similarity of Lower-Case Letters of the English Alphabet", Journal of Verbal Learning and Verbal Behavior, Vol 7, pp 990-995, 1968.

Human recognition performance on lower-case letters. Analysis of critical/distinguishing features of letters: compare with Kuklinski and Shillman

[Dydyk70] . Dydyk, R.B., and Kalra, S.N. "Recognition of handprinting", Proceedings of 2nd International Conference on Systems Science, January 1969, pp 333-336. Cited in Blatt88: 60% character recognition rate

[Earnest62] . Earnest, L.D. "Machine recognition of cursive writing", in "Information Processing", C. Cherry, editor, Butterworths, London England, 1962, pp 462-466. Cited in MacDonald 1966, Tappert 1980.

[Eden61] . Eden, Mark and Halle, M. "The characterization of cursive writing", Information Theory, C. Cherry, editor, Butterworth, London, 1961, pp 287-299. Sayre73

[Eden62] . Eden, Mark "Handwriting and pattern recognition", IRE Transactions on Information Theory, Vol IT-8 No 2, pp 160-166, 1962. Ehrich78 cites as saying: 33 basic stroke segments in cursive writing

[Eden64] . Eden, Mark and Mermelstein, P. "Experiments on computer recognition of connected handwritten words", Information and Control, Vol 7., pp 255-270, 1964.

Yasuhara quotes his paper along with some Eden studies of cursive effects on handwriting styles

[Eden68] . Eden, Mark "Other Pattern Recognition Problems and Some Generalizations", in "Recognizing Patterns", edited by Paul A. Kolers and Murray Eden, Massachusetts Institute of Technology Press, Cambridge, Massachusetts 1968, pp 196-225. Any successful recognition machine will ultimately use principles derived from or relevant to the operation of living systems (implementation may differ) Circa 1968: Predictive value of most theoretical models for character recognition is near zero. Validation (testing) of theory has been very meager. (Note: Hype). General theory of pattern recognition based on human recognition and processes, not statistical models. Pragmatic pattern recognition (Murray Eden): depends onpur pose of classification. Why statistical methods for recognition will not hack it. Problems of sample bias and feature weighting in statistical/adaptive recognition.

[EinsteinA30] (*) Einstein, Albert and Szilard, Leo "Refrigeration", United States Patent 1,781,541, November 11, 1930

U.S. Patent for German patent by Albert Einstein and Leo Szilard: no moving parts. Not the original Swiss patent with Einstein's first wife Mileva.

[EllisTO66] . Ellis, T.O. and Sibley, W.L. "On the Development of Equitable Graphic I/O", The RAND Corporation, Report P-3415, Santa Monica, California, July 1966. NTIS citation index: User interface with handwriting

[EllisTO68a] (*) Ellis, T.O., and Davis, M.R. "Digital computer and graphic input system", United States Patent 3,399,401, assigned to the United States of America, August 27, 1968. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

8/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Cited in Tappert's patent list of 1986 Patent on putting a handwriting digitizer in front of a separate display in one system. Capacitive coupling digitizer tablet using wire grid Digitizing tablet with capacitively coupled stylus to X/Y grid, using Gray code encoding of position on on-line/dynamic handwriting recognition. Having touch surface separate from display screen advantageous: user adapted quickly, and display not occluded or obscured by hand in the way (integration of touchscreen and display) Cited in Fox88: on annotation drawing/handwriting

[EllisTO68b] (*) Ellis, T.O., and Sibley, W.L. "On the Problem of Directness in Computer Graphics", The RAND Corporation, Report P-3697, March 1968.

Commentary to accompany a film (!!) entitled "The GRAIL Project" System depends heavily on real-time symbol recognition: Functions can be invoked by pressing "virtual buttons" on the tablet. Bulk of paper is CRT display pictures. Precursor to work later named "direct manipulation"? Possible example of gesture commands?

[EllisTO69a] (*) Ellis, T.O., Heafner, J.F., and Sibley, W.L. "The GRAIL Project: An Experiment in Man-Machine Communications", The RAND Corporation, RM-5999-ARPA, Santa Monica, California, September 1969. Bernstein70 on user-interface for flow-chart symbols User-interface: un-highlight/dim commands not valid at the moment Pen-computing GUI for creating and editing flowcharts Refers to a video of the handwriting recognition system in operation from 1968 Note: file folder also contains later references to the video of the Grail gesture/handwriting user interface, such as Alan Kay's talk.

[EllisTO69b] (*) Ellis, T.O., Heafner, J.F., and Sibley, W.L. "The Grail Language and Operations", The RAND Corporation, RM-6001-ARPA, Santa Monica, California, September 1969. Context sensitive (position) for manipulating on flowchart symbols vs. adding characters Handwriting user interface: multiple character erasure mark, caret gesture for insertion, writing on a "viewing window" Electronic ink / gesture user interface: has list of basic editing functions for handwriting (replacement, placement, insertion, deletion, erasure). Handwriting recognition for alphanumerics, flowchart parts, erase mark (zig-zag), special symbols. Virtual buttons in a handwriting/sketch input user interface, compare with Kaplow. Shows "scribble" (scratch out) gesture/character for erasure recognition, symbolic ink ("electronic ink") tracks Mathematical expression, flow-chart, and text editing (insert, move, delete, line delection, replacement) user interface with handwriting

[EllisTO69c] (*) Ellis, T.O., Heafner, J.F., and Sibley, W.L. "The Grail System Implementation", The RAND Corporation, RM-6002-ARPA, Santa Monica, California, September 1969.

User interface for handwriting: display divided into different virtual areas Mathematical expression and text editing user interface with handwriting (early gestures?) Data structures to denote properties implied by the picture, plus positional information to relate stylus to the other forms Operating system description: garbage collection (or the avoidance thereof), real-time interrupt processing, etc.

[EnglishWK67a] (*) English, W.K., Engelbart, D.C., and Berman, M.L. "Display Selection Techniques for Text Manipulation", Transactions of IEEE, Vol HFE-8, page 5-ff. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

9/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Text selection UI with different devices: light pen (stylus digitizer), Grafacon (commercial version of Rand Tablet digitizer), joystick in rate and absolute modes, knee-control level, SRI "mouse". Based on two years actual experience. Mouse generally considered best. Cited in NewmanWM68: as the original SRI "mouse", for a user-interface

[EvansSutherland70a] (*) Evans and Sutherland Computer Corp. "Evans and Sutherland Line Drawing System Model 1 System Reference Manual", Evans and Sutherland Computer Corporation, November 1, 1970, U0800-1-1 Early graphical system: Windows and Views, 3D projections, drawing instructions similar to Turtle. Uses tablet input (LDS-1)

[Feder65] . Feder, J. and Freeman, H. "Segment fitting of curves in pattern analysis using chain correlation", NTIS report AD619525, March, 1965.

DavisLS77 on segment fitting for shape recognition: feature is match along a segment [Finger47] . Finger, Frank W. and Spelt, David K. "The Illustration of the Horizontal-Vertical Illusion", Journal of Experimental Psychology, Vol 37, pp 243-250. Cites earlier references for horizontal/vertical perception, back to 1912, 1893. [FittsPM54a] (*) Fitts, Paul. M. "The Information Capacity of the Human Motor System in Controlling the Amplitude of Movement", Journal of Experimental Psychology, Vol 47, pp. 381391, 1954 Fitts' Law [Flannery18] (*) Flannery, J.R. and Dodds, E.I. "Means for Displaying Illuminated Words or Characters", United States Patent 1,285,098, assigned to Flannery Bolt Company, Pittsburgh, Pennsylvania, November 19, 1918 An electric pencil moved over contacts on a digitizer board to trigger display of characters with lamps [Frank69] . Frank, A.I. "Data Entry System", United States Patent 3,487,371, assigned to ScanData Corporation, Norristown, Pennsylvania, December 30, 1969. Shows that final (throughput) error rate is 0%, if user can make corrections Patent on real-time display of DCR input (?) Real-time display makes DCR device self-teaching/adapting to train user immediate feedback [Freeman61] . Freeman, H. "On the encoding of arbitrary geometric configurations", IRE Transactions on Electronic Computers, Vol EC-10, 1961, pp 260-268. Segment matching, for recognition of figures by segments [Freeman70] . Freeman, H. "Boundary encoding and processing", in Picture Processing and Psychopictorics, B.S. Lipkin and A. Rosenfeld, editors, New York, Academic Press, 1970, pp 241266. Pavlidis80, Shu89 [FriedmanSR68] (*) Friedman, Symour R; Campbell, Douglas A; and Fehskens, Leonard G. "MOSAIC - The Improved Editing of Scientific Text by Handdrawn Commands and Data: A Technique for RAND Tablet and CRT Display", Technical Reports. Inforonics Inc, Cambridge MA, 14 Oct 1968 Nugent67 same title? Abstract only: Mentions cursive recognition, and use of both command input of a gesture and location of gesture, combining gesture and direct manipulation? Text editing of handwriting like van Raamsdonk? [Frishkopf61] . Frishkopf, L.S. and Harmon, L.D. "Machine Reading of Cursive Script", Information Theory (symposium proceedings, London 1960). C. Cherry, Editor, Butterworth, London, 1961, pp 300-316. Goodale83, Sayre73 [Frishkopf64] . Frishkopf, L.S. "Automatic Recognition of Handwriting", United States Patent 3,133,266, assigned to Bell Telephone Laboratories, New York, New York, 1964.

https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

10/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Early script DCR recognition patent Script recognition on word basis, not letters, to get "context" X-ordinate is "general direction of writing" for script Cites disregard of position and size as a distinct advantage [Funk70] (*) Funk, Howard L. and Kamble, Stanley F. "Handwritten Character Recognition Apparatus", United States Patent 3,500,323, March 10, 1970, assigned to IBM Corporation, Armonk, New York. DCR with a mechanical pantograph tablet Six-zone/sector character recognition Cites real-time display for immediate feedback and correction Citable in the Xerox/Palm patent dispute [Gaffney65] (*) Gaffney, J.E. and Kusnick, A.A. "Character Identification Device", United States Patent 3,199,078, assigned to IBM Corporation, New York, New York. Like BLRT chain codes without regard to position (!) for handwriting recognition Compare to SRI pen with BLRT chain codes Number of strokes in different end-to-end slant orientations: used modified forms of letters O, X, and Y "point touch" to indicate end-of-character for character segmentation (!) [GallensonL67a] (*) Gallenson, L "A graphic display console for use under time-sharing", Proc. AFIPS '67 (Fall FJCC), November 14-16, 1967, pp. 689-695 Graphic tablet display (GTD) console user-interface with digitizer integrated into display. Higher data sampling rates (200 points/second) when stylus in contact with display for inking. Filtering of coordinate data, resampling for minimum distance between points. [Garner54] . Garner, W.R. "Context Effects and the Validity of Loudness Scales", Journal of Experimental Psychology, Vol 48 No 3, 1954, pp 218-224. Background on context showing median and mean (goodness and reaction time) are same for judgments [Genchi68] . Genchi, Hiroshi, Mori, Ken-Ichi, Watanabe, Sadakazu, and Katsuragi, Sumio "Recognition of Handwritten Numerical Characters for Automatic Letter Sorting", Proceedings of the IEEE, Vol 56 No 8, August 1968, pp 1292-1301. Handwritten numeral recognition for postal codes: features are zones after height and width normalization (after segmentation): 95% correct per character, 0.1% wrong across three digits (similar to human) Gives frequency of writing variants / base forms / prototypes with and without model characters shown. Line-thinning, normalization of size: rejects touching characters Handwriting OCR: features are segment types, similar to chain codes, for scanned images [GilmoreJT58] (partial) Gilmore, John T. and Peterson, Holmer P. "A functional description of the TX-0 computer", M.I.T. / Lincoln Laboratory Report 6M-4789-1, October 3, 1958. TK7855.M41.L7455 The TX-0 computer was used for early stylus input, including handwriting recognition, before the GRAIL project [Glatte59] (partial) Glatte, H. "Shorthand Systems of the World", The Wisdom Library, Division of Philosophical Libary New York, 1959 Gabelsberger shorthand: unistroke alphabet [GoldbergE31] (*) Goldberg, Emanuel "Statistical Machine", United States Patent 1,838,398, December 29, 1931 Very earlier OCR character recognition patent: Goldberg patent later mentioned as predecessor to Memex by Vannevar Bush, as it included filing and indexing of records. [GoldbergHE14] (*) Goldberg, Hyman Eli "Controller", United States Patent 1,117,184, November https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

11/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

17, 1914. Cited in Tappert's patent list of 1986 on on-line/dynamic: handwriting recognition Very early patent on handwriting recognition: conductive ink written on paper dots triggers adding certain weighted values for the dots Very early patent on handwriting recognition: happens to show constrained writing of numerals (around dot patterns), segmentation into what looks like chain codes See other patents by Goldberg [GoldbergHE15] (*) Goldberg, Hyman Eli "Controller", United States Patent 1,116,663, December 28, 1915 Very early patent on handwriting recognition: writing on 7-segment sensor for Roman letters and Arabic numerals (alphanumerics) See other patents by Goldberg [Golshan70] . Golshan, N. and Hsu, C.C. "A Recognition Algorithm for Handprinted Arabic Numerals", IEEE Transactions on Systems Science and Cybernetics, July 1970, pp 246-250. Features are like seven-segment LCD display for numerics: 1970 [Graham70?] . Graham, D.N. "An Adaptive Character Recognition System\", Sylvania Applied Research Laboratory, Research Note Number 718 Cited in BrownCD70, simplified writing style for morse code training used as constrained writing: Reference to Morse Code writing style from American Radio Relay League? [Gray1888a] (*) Gray, Elisha "Art of Telegraphy", United States Patent 386,814, July 31, 1888 Telautograph: very early precursor to electronic stylus and digitizing tablet. [Gray1888b] (*) Gray, Elisha "Telautograph", United States Patent 386,815, July 31, 1888 Telautograph: very early precursor to electronic stylus and digitizing tablet. [Gray1891a] (*) Gray, Elisha "Telautograph", United States Patent 461,470, October 20, 1891 Telautograph: very early precursor to electronic stylus and digitizing tablet. [Gray1891b] (*) Gray, Elisha "Art Of and Apparatus for Telautographic Communication", United States Patent 461,472, October 20, 1891 Telautograph: very early precursor to electronic stylus and digitizing tablet. [Gray1893a] (*) Gray, Elisha "Telautograph", United States Patent 491,347, February 7, 1893 Telautograph: very early precursor to electronic stylus and digitizing tablet [Gray1893b] (*) Gray, Elisha "Telautograph", United States Patent 494,562, April 4, 1893 Telautograph: very early precursor to electronic stylus and digitizing tablet [Greanias57] (*) Greanias, E.; Hoppel, C.J.; Kloomok, M.; Osborne, J.S. "Design of Logic for Recognition of Printed Characters by Simulation", IBM Journal of Research and Development, Vol 1 No 1, 1957, pp 8 ff. OCR handwriting recognition of hand-printed digits and characters; simulated input using punch-card input of bitmaps of images; "proportional parts" using vertical (not horizontal) scanned input. [Greanias63] . Greanias, E., Meagher, P., Norman, R. and Essigner, P. "The recognition of handwritten numerals by contour analysis", IBM Journal of Research and Development, Vol 7 No 1, January 1963, pp 14-21. O'Callaghan70, Groner66a [Griffin67] . Griffin, Eugene H. and Gunn, James W. "End of Character Detector", United States Patent 3,305,832, assigned to Sperry Rand Corporation, New York, New York, February 21, 1967. Cited in Tappert88b: on character segmentation on cursive script segmentation (Does OCR character segmentation) OCR scanning character segmentation (?) [Groner66a] (*) Groner, G.F. "Real-Time Recognition of Handprinted Text", Memorandum RM5016-ARPA, The Rand Corporation, October 1966. Handwriting recognition on RAND tablet: curvature feature, corner detection, endpoints, https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

12/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

height, width, center, aspect ratio, position relative to writing baseline (on screen) Segmentation in handwriting by X overlap, centers, spatial separation Performance: goes into details of 20 minutes user practice, information training: 82% to 92%, 81% to 93%, 90% to 96%, depending on user training/familiarity Shows actual confusion pairs: 7 and >, G and C, 5 and S, + and T, 0 and ) (???), 2 and Z, 1 and I, (-1CL, [-1CL, etc. User-interface for handwriting recognition/editing of FORTRAN coding forms Quick writing more distorted than usual training samples 53 symbols. Recogition tablet at 4msecs/point or 250 Hz. Multiple stroke characters were not order dependent, segmentation by relative location [Groner66b] (*) Groner, G.F. "Real-Time Recognition of Hand-printed Text", AFIPS Fall Joint Computer Conference #29, 1966, Spartan Books, Washington, D.C., pp 591-601. Mentions that subjective results of DCR are more important than statistics % correct [Groner67] (*) Groner, G.F., Heafner, J.F., and Robinson, T.W. "On-line computer classification of handprinted Chinese characters as a translation aid", RAND Corporation publication P-3568, April 1967. IEEE Transactions on Electronic Computers, Vol 16, December 1966/1967(?), pp 856-860. Tappert's bibliography [Groner68a] . Groner, G.F. "Real-Time Recognition of Handprinted Symbols", in Pattern Recognition, proceedings of IEEE Workshop on Pattern Recognition, L.N. Kanal, editor, Thompson Press, Washington, D.C., 1968, pp 103-108. Description of GRAIL system (which see), user interface for handwriting recognition text input, erase gesture, special symbols [Groner68b] (*) Groner, Gabriel F. "Real-Time Recognition of Handprinted Symbols: Program Documentation", RAND Corporation Research Memorandum RM-5550-ARPA, 1968 IBM/360 assembly language program for online graphical-input character recognition using the RAND tablet Recognizes handprinted letters, numbers, punctuation marks, and geometric figures: separates/segments characters written in rapid succession and close proximity [GroverGF66] . Grover, G.F. "Real-Time Recognition of Hand-Printed Text", Proceedings of the Fall Joint Computer Conference, 1966, p 591. Bernstein70 on user-interface [Handel31] (*) Handel, P.W. "Statistical Machine", United States Patent 1,915,993, June 27, 1933 OCR Optical Character Recognition system using rotating disk with stenciled patterns for characters [Hansell39] (*) Hansell, C.W. "Multiplex Facsimile Printer System", United States Patent 2,143,875, assigned to Radio Corporation of America, Delaware, January 17, 1939. Cited in Irland64: on a handwriting terminal. Facsimile system which read characters printed in one line along a roll of paper tape or other material. Second(?) earliest U.S. Patent on dynamic/on-line handwriting character recognition: refers to low error rate, both for wrong character and unrecognized / mis-recognized character [Harmon62] . Harmon, L.D. "Handwriting reader recognizes whole words", Electronics, Vol 35, August 1962, pp 29-31. Tappert's bibliography on script handwriting recognition [Harmon63] (*) Harmon, L.D. "Method and Apparatus for Reading Cursive Script", United States Patent 3,111,646, November 19, 1963, assigned to Bell Telephone Laboratories, New York, New York. Refers to same subject/inter-subject variation in writing/segmentation Patent on script recognition segmentation Groups characters first by certain characteristics, such as vertical extent, then recognizes by other features within the group https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

13/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

[Harmon64a] (*) Harmon, L.D. "Automatic Reading of Cursive Script", United States Patent 3,127,588, March 31, 1964, assigned to Bell Telephone Laboratories, New York, New York. Word-at-a-time script recognition Script handwriting recognition in conjunction with a one-dimensional conductive-wire digitizing tablet Patent on script recognition segmentation Zone-based recognition of script using one-dimension horizontal digitizer Gives purely electro-mechanical implementation of handwriting/script input in the patent [Harmon64b] . Harmon, L.D. "Automatic reading of printing and script", presented to the American Association for the Advancement of Science, 29 December, 1964. Cited in Sayre73 [Harmon64c] (*) Harmon, L.D. "Automatic Character Recognizer", United States Patent 3,050,711, Agust 21, 1962, assigned to Bell Telephone Laboratories, New York, New York. Recognized characters by spiral scan, and noting the encounters with elements of the character: gives purely electro-mechanical implementation in the patent [Harmon65] . Harmon, L.D. and Sitar, E.J. "Method and apparatus for correcting errors in mutilated text", United States Patent 3,188,609, June, 1965 Suen79 [HarperTP66a] (*) Harper, T.P. "Electronic Handwriting Detection and Display Apparatus", United States Patent 3,271,515, September 6, 1996 Early light-gun/light-pen device. [Haverty68] (*) Haverty, J.P. "GRAIL/GPSS: Graphic On-Line Modeling", RAND Corporation publication P-3838, 1968. Presented at an IBM Seminar on Operations Research in the Arospace Industry: Models in Planning and Control, Newport Beach, April 1968 Describes GUI for logical flow diagram / flowchart input, to avoid delays of having input keypunched [HayesHV32] (*) Hayes, H.V. "Radiant Energy Signalling", United States Patent 1,954,204, April 10, 1934 Cited in Hieronymous patent on unknown "Psi-wave" radiation. Very early patent on use of visible light wave transmission, which could be more directional (beam) than radio waves. [Helson65] . Helson, H. "Adaptation Level Theory, an Experimental and Systematic Approach to Behavior", Harper and Row, New York, 1964. User's perception changes to make data look "reasonable": use of context in human perception of images, such as handwriting recognition. [Hilditch69] . Hilditch, C.J. "Linear skeletons from square cupboards", Machine Intelligence, Vol 4, 1969, pp 403-420. [HieronymusTG49] (*) Hieronymus, Thomas G. "Detection of Emanations from Materials and Measurement of the Volumes Thereof", United States Patent 2,482,773, September 27, 1949 Cited in Analog Science article in 1960's by John W. Campbell. Circuit for detecting unknown types of radiation (eloptic energy) using unknown physics to determine compositions of material from valence-electron characteristics at room temperature. [HladyAM69a] (*) Hlady, A.m. "A touch sensitive X-Y position encoder for computer input", Proc. Fall Joint Computer Converence, 1969, pp. 545-551 Surface acoustic wave transparent touchscreen, describes construction of transducers for radiating acoustic waves [Hochberg53] . Hochberg, J. and McAlister, E. "A quantitative approach to figural 'goodness'", Journal of Experimental Psychology, Vol 46, 1953, pp 361-364. Cited in IchikawaS84 [Hornbuckle67] . Hornbuckle, G.D. "The Computer Graphics / User Interface", IEEE Transactions on Human Factors in Electronics, Vol HFE-8 No 1, March, 1967, pp 17-22. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

14/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Cited in FoleyJD84 [Hoshino69] . Hoshino, T. and Kiji, K. "Computer-Aided Design for a Reader of Hand-Printed Characters", Proceedings IJCAI 1969, AFIPS/ACM International Conference on Artificial Intelligence, pp 153-160, May 1969 [Hough62] (*) Hough, P.V.C. "Method and Mesn for Recognizing Complex Patterns", United States Patent 3,069,654, December 18, 1962 Cited in Li89, straight-line detection in images: division of television image into framelets such that straight-line segments can be extracted and recognized. Mentions recognition of couldchamber particle tracks. Secondary mention of handwrintg analysis recognition and map (sketch) recognition. [Hu62] . Hu, M.K. "Visual Pattern Recognition by Moment Invariants", IRE Transactions on Information Theory, Vol IT-8, February 1962, pp 179-187. Horowitz89 [Hughes68] . Hughes, G.F. "On the mean accuracy of statistical pattern recognizers", IEEE Transactions on Information Theory, Vol IT-14, 1968, pp 55-63. Martin,GL90 on the accuracy of neural nets [HuntWA37] . Hunt, W.A. and Volkmann, J. "The Anchoring of an Affective Scale", American Journal of Psychology, Vol 49, 1937, pp 88-92. As stimuli are varied as a group up or down a scale, human recognition boundaries shift to match Recognition variability in humans affected by grouping of stimuli [HuntWA38] . Hunt, W.A. and Flannery, J. "Variability in the Affective Judgement", American Journal of Psychology, Vol 51, 1938, pp 507-513. Variability in the affective judgment (vs generative variability). Recognition variability in humans increases with more stimuli (noise?) due to decrease in separation/differences among samples Functional attributes experiments: response time in humans decreases parallel to "goodness" judgement (decrease in affective judgement variability) [HuntWA41] . Hunt, W.A. "Anchoring Effects in Judgement", American Journal of Psychology, Vol 54, 1941, pp 395-403. Recognition variability in humans affected by grouping of stimuli. Psychophysics of human recognition variability [Irland64] (*) Irland, E.A. and Morrison, C.G. "Real Time Reader for Hand-written Alpha Numeric Characters", United States Patent 3,142,039, assigned to Bell Telephone Laboratories, New York, New York, July 21, 1964 Extension of Dimond63 patent for five-zone/sector recognition? to letters: 7-segment crossings / six zones. Says "D" normally written clockwise, "O" counter-clockwise Constrained handwriting to write around two dots one above the other: no punctuation or lower-case recognition, but full alphanumerics. [Ivaschentzo69] . Ivaschentzo/Ivaschenko et al "Inductive Transducers for Graphical Input Devices", Soviet Journal of Instrumentation and Control, August 1969, pp 22-25 Early tablet digitizer technology survey reference (in Russian) [JacksonJ94a] (*) Jackson, John "The Theory and Practice of Handwriting", William Beverley Harison press, 1894 Early work on handwriting styles (cursive). Mentions effects of writing desks -- compare with WardBJ thesis? [JohnsonCI68] (*) Johnson, C.I. "Interactive Graphics in Data Processing: Principles of interactive systems", In Interactive Systems, Numbers 3 and 4, 1968,pp 147-173 Mentions Sketchpad and light pens, primarily about graphics output software https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

15/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

[JohnsonEA65a] (*) Johnson, E.A. "Touch Display - a Novel Input/Output Device for Computers", Electronics Letters, Oct. 1965, Vol. 1 No. 0, pp 219-220 Cross-wire electrostatic capacitive tablet, used in touchscreen. [JohnsonEA67a] . Johnson, E.A. "Touch Displays: A Programmed Man-Machine Interface", Proc. Conf. on The Human Operator in Complex Systems. W. T. Singleton et al, Eds., London: Taylor and Francis, Ltd.: pp 171-177 Expansion of 1965 Electronic Letters: de-bouncing of input, undo operation, pictures of touch architecture. [JohnsonEA69a] (*) Johnson, Eric Arthur "Touch Displays", United States Patent 3,482,241, December 2, 1969 Cross-wire electrostatic capacitive tablet, used in touchscreen. Also mentions resistance. [JohnsonRB56] (*) Johnson, Reynold B. "Indicia-controlled Record Perforating Machine", United States Patent 2,741,312, April 10, 1956. Zone-based handwriting recognition terminal, using two guide dots, 10 digits. Illustrations show 80-column card input. Processing is electromechanical. Cited in Irland64: on a handwriting terminal [Kamentsky64] (*) Kamentsky, L.A. "Character Recognition System", United States Patent 3,123,804, March 3, 1964 Zone-based constrained optical scanning OCR character recognition of handwritten digitz on paper: user must write numerals around two vertically-aligned guide dots [KaplowR66a] (*) Kaplow, R.; Brackett, J. and Strong, S. "Man-Machine Communication in online mathematical analysis", Proc. FJCC, 1966, pp. 465-477 Early graphical mathematical analysis program: compare with Macsysma/maxima. Graphical display, refers to briefly to graphical curve-tracing input, UI user interface mostly teletypewriter keyboard. [Kay69] . Kay, A.C. "The Reactive Engine", Ph.D. Thesis, Massachusetts Institute of Technology, Cambridge, Massachusetts, 1969. Cited in JohnsonJ89: on Dynabook [KingJH66] (*) King, J.H. jr. and Tunis, C.J. "Some Experiments in Spoken Word Recognition", IBM Journal of Research and Development, January 1966, pp. 65..79 Speech recognition for limited vocabulary of 30 words -- digits and mathematical operations -using filter-bank spectrum analysis. Claimed over 99% correct recognition for both speakerindependent (actually multi-speaker) and single-speaker system, but test data was the same as the training data. [Kinsler62] . Kinsler, L.E. and Frey, A.R. "Fundamentals of Acoustics", 2nd Edition, page 503, John Wiley and Sons, Incorporated, New York, 1962. Speed of sound in air changes 0.08% for 5 degrees C (sonic/acoustic digitizer tablets) [Knoegig61] (*) Koenig, Walter Jr. "Telautograph System", United States Patent 3,005,050, October 17, 1961 Early resistive-sheet/film digitizer, with stylus: two sheets, analog signals only, not digital [Knoll69] . Knoll, A.L. "Experiments with characteristic loci for recognition of hand-printed characters", IEEE Transactions on Computers, Vol 18, pp 366-372, 1969. Choice of samples affects recognition performance results [Krantz61] . Krantz, D.L. and Campbell, D.T. "Separating Perceptual and Linguistic Effects in Context Shifts upon Absolute Judgement", Experimental Psychology, Vol 62 No 1, 1961, pp 35-42. Human recognition variability: there are linguistic/semantic effects that change perception as well Human recognition variability: strongly affected by the most recent temporal stimuli [Kucera67] . Kucera, H. and Francis, W.N. "Computational analysis of present day American English", Brown University Press, Providence, Rhode Island, 1967. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

16/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Cited in Sinha88 Cited in Sinha88: as source of probability and statistics for context post-processing of English text [KuepfmuellerK44a] (*) Kuepfmueller, Kurt and Reche, Karl "Telautograph", United States Patent 2,338,949, January 11, 1944 Telautograph: electronic (CRT) display and resistive tablet, using a stylus, instead of electomechanical input and output or linear resistor arps. [Kuennapas66] (*p) Kuennapas, Teodor "Visual Perception of Capital Letters: Multidimensional ratio scaling and multidimensional similarity", Scand. Journal of Psychology, Vol 7, 1966 pp 189196 nine capital letters: I, J, L, F, E, U, O, S, A distinguished in human perceptual recognition by the characteristics of Rectangulairy, O/Roundness, and I Vertial Linearity [Kuhl63] . Kuhl, F. "Classification and Recognition of Hand-Printed Characters", IEEE International Convention Record, Part 4, 1963, pp 75-93. Groner66a [LeCaineH56a] (*) LeCaine, Hugh "Touch Senstive Organ", www.hughlecaine.com/en/tsorgan.html, Fetched February 2011 Early touch-input device, organ keyboard detecting velocity of key being struck to affect tone played by electronic music organ, control of attack and volume. [LeiferJC67a] (*) Leifer, J.C., Mittelman, Louis Jr.; Sobol, Erwin J. "Free Stylus Position Locating System", United States Patent 3,342,935,September 19, 1967 Capactive grid digitizer tablet with stylus. Fine and coarse position determination. States no tilt error because only tip of stylus is sensed. [Leitner61] (*) Leitner, R.G. "Telescribing Apparatus", United States Patent 2,975,235, March 14, 1961 Resistive sheet/film digitizer using two sheets: a conductive flexible sheet and a second resistive sheet (or grid of conductors). Output device is mechanical: Telautograph [LesterCHT38] . Lester, C.H.T. "Single-stroke writing", Bibliography by T.R. Davis 1938 reference to unistroke writing styles? [Levenshtein66] . Levenshtein, A. "Binary codes capable of correcting deletions, insertions and reversals", Soviet Physics - Dolkady, Vol 10, 1966, pp 707-710. Bozinovic82 about spelling correction context (Russian) [Licklider62] . Licklider, J.C.R., and Clark, W.E. "On-Line Man-Computer Communications", Proceedings of the SJCC, 1963, p 329. Ellis69: DavisMR64 cites for early handwriting user interface? [LincolnA49] (*) Lincoln, Abraham "Buoying Vessals over Shoals", United States Patent 6,469, May 22, 1849 Attaching additional floatation air chambers to a boat or ship to reduce the draft to get the vessel through shallow water. Only patent issued to a person who was also President of the United States. [Lindgren65] . Lindgren, N. "Machine recognition of human language: Part III--cursive script recognition", IEEE Spectrum, May 1965, pp 104-116. Sayre73 [LiuJ69] . Liu, J. "Real-Time Chinese Handwriting Recognition Machine", E.E. Thesis, Massachusetts Institute of Technology, Cambridge Massachusetts, 1969. Goodale83 [Long60] (*) Long, E.R. and Henneman, R.H. "An Experimental Analysis of Set: Variables Influencing the Identification of Ambiguous, Visual Stimulus-Objects", American Journal of Psychology, Vol 73, 1960, pp 553-562. Experiment on degraded/low-quality letter-patterns (dot-matrix characters): human recognition https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

17/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

varies depending on what samples subjects were trained on Functional attributes experiments: tests of human character recognition using ambiguous stimuli [LoomisHH60] (*) Loomis, Herschel H. Jr. "Graphical Manipulation Techniques Using the Lincoln TX-2 Computer", Lincoln Laboratory, MIT, Cambridge Massachusetts Report 516-0017, November 11, 1960. DavisMR64 on handwriting user interface (?) User-interface (CAD) on TX-2 computer, using lightpen for sketching / drawing circuit diagrams: does not include character recognition, but suggests using character recognizer by H.P. Peterson (Page 8) : find a citable a reference to that? [MacDonaldJS66] (*) MacDonald, John S. "Experimental Studies of Handwriting Signals", M.I.T. Research Lab of Electronics, March 31, 1996, Technical Report RLE TR-443 Digitizer tablet consisted of electrolytic fluid and current sensors at each side of a rectangular tank. Contains model of handwriting motion implemented as a simulation. Asserts that modeling of neuromotor or physical generation of handwriting motion may assist in understanding invariant features for handwriting recognition: cites Teager and Mermelstein. [MarrillWA63a] (*) Marrill, T., Hartley, A.K., Evans, T.G., Bloom, B.H., Park, D.M., Hart, T.P., and Dorley, D.L. "CYCLOPS-1: A Second Generation Recognition System", AFIPS Conference Proceedings of the 1963 Fall Joint Computer Conference, Vol 24, pp 27-33, 1963. Light pen with handwriting recognition (single characters): Rhyne86 gives this as a reference to an early digitizer tablet, like RAND tablet [MartinWA67a] . Martin, William Arthur "Symbolic Mathematical Laboratory", Ph.D. Thesis, Massachusetts Institute of Technology, Cambridge, Massachusetts, Report No MAC-TR-36, January 1967. Contains chapter on parsing two-dimensional mathematical expressions, perhaps with handwriting recognition input Points out that with handwriting user-interface, knowing when an input is complete is unclear (p 235) [MartinWA67b] (partial) Martin, W.A. "A Fast Parsing Scheme for Hand-Printed Mathematical Expressions", Massachusetts Institute of Technology, Artificial Intelligence Project Memo No 145, Memorandum MAC-M-360, October 19, 1967. User-interface for parsing mathematics: untested [Masterson62] . Masterson, J.L. and Hirsch, R.S. "Machine recognition of handwritten constrained Arabic numerals", IRE Transactions on Human Factors and Electronics, Vol 3, pp 62-65, September 1962. Cited in Blatt88: 99.79% character recognition rate [McElwain62] . McElwain, C.K. and Evans, M.E. "The degarbler -- a program for correcting machine-read Morse code", Information and Control, Vol 5 No 4, December 1962, pp 368-384. Peterson80: spelling dictionary [Merryman70] (*p) Merryman, Coleman T. and Restle, Frank "Perceptual Displacement of a Test Mark Toward the Larger of Two Visual Objects", Journal of Experimental Psychology, 1970, Vol 84 No 2, pp 311-318 [Mermelstein64a] . Mermelstein, P. and Eden, M. "A System for Automatic Recognition of Handwritten Words", AFIPS Conference Proceedings of the 1964 Fall Joint Computer Conference, Spartan Books, Vol 26, pp 333-342, 1964. Cited in Rhyne86 Rhyne86 cites this as early reference to a RAND-type tablet [Mermelstein64b] . Mermelstein, P. and Eden, M. "Experiments on computer recognition of connected handwritten words", Information and Control, Vol 7, 1964, pp 255-270. Sayre73 https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

18/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

[MillerGA51] . Miller, G.A., Heise, G.A. and Lichten, W. "The intelligibility of speech as a function of the context of the test materials", Journal of Experimental Psychology, Vol 41, 1951, pp 329-335. Cited in Long60 [Mikes70] (*a) Mikes, George "The Land of the Rising Yen: Japan", Andre Deutsch, Publisher, Great Britain, 1970, Library of Congress Number 70-118214 Survey article of the quirks of Japanese Syllabic characters and language [MillerGA56] (*p) Miller, G.A. "The Magical Number Seven, Plus or Minus Two: Some Limits on our Capacity for Processing Information", The Psychological Review, Vol 63 No 2, March 1956, pp 81-97. Wonderful early article on human perception: distinctive features, context, limits of absolute judgements, combined features, multiple dimensions of features [MillerGM69] (*p) Miller, G.M. "On-line recognition of hand-generated symbols", in Proceedings of Fall Joint Computer Conference, AFIPS, Vol 32, November 1969, pp 591-601. Freeman code segments for handwriting recognition, 1969 Parsing strokes into segments, multiple-stroke characters: single-stroke characters a one-stroke character can also be a component of a multiple-stroke character Stroke segmentation using enclosing rectangle, overlap User interface for two-dimensional form [Minneman66] (*) Minneman, Milton J. "Handwritten Character Recognition Employing Topology, Cross Correlation, and Decision Theory", IEE Trans. on Systems Science and Cybernetics, Vol SSC-2 No 2, December 1966, pp 86-96 Handprinting recongition off-line, OCR, claims 98.5% recognition accuracy, test data was writing samples of single-stroke digits [MITRE63a] (*) MITRE Corporation "Semi-Automatic Ground Environment (SAGE)", mitre.org, fetched 2010 SAGE system fully deployed in 1963: Early graphical input/output system using light-gun (invented by Bob Everett), precursor to light-pen and to computer mouse. [Moodey40] (*) Moodey, H.C. "Telautograph System", United States Patent 2,269,599, December 27, 1940 resistive-sheet/film digitizer for a Telautograph system [Mori70] (*p) Mori, Ken-Ichi, Genchi, Hiroshi, Watanabe, Sadakazu, and Katsuragi, Sumio "Microprogram Controlled Pattern Processing in a Handwritten Mail Reader-Sorter", Pattern Recognition, Pergamon Press, 1970, Vol 2 pp 175-185 off-line handwriting recognition, digits only for postal/zip codes in Japan [Morton47] (*) Morton, George A. and Flory, Leslie E. "Reading Aid for the Blind", United States Patent 2,420,716, May 20, 1947 Stylus pick-up unit with optical sensor, which translated degree of dark or light on the paper into an audible tone: sensor could have multiple elements [MunsonJH68a] . Munson, J.H. "Experiments in the recognition of hand-printed text: Part I--Character recognition", Proceedings of Fall Joint Computer Conference, Vol 33, Thompson Books, Washington, D.C., December 1968, pp 1125-1138. Samples of Fortran characters on coding sheets, with extra constraints Forms data-entry: Fortran coding sheets [MunsonJH68b] (*p) Munson, John H. "The Recognition of Hand-printed Text", in Pattern Recognition, proceedings of IEEE Workshop on Pattern Recognition, L.N. Kanal, editor, Thompson Press, Washington, D.C., 1968, pp 115-140. Cites handwriting recognition back to 1955. Handwriting recognition in context, FORTRAN coding sheets Features are concavities, contours, connected regions, spurs https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

19/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Says Clemens65 doesn't work [MyersTE60a] (*) Myers, T.E. "Variable Resistance material", United States Patent 2,951,817, September 6, 1960 Conductive rubber: polyvinyl chloride flexible/pliable materia with embedded metal conductive particles, becomes conductive under pressure [Nagy68] (*p) Nagy, G. "State of the Art in Pattern Recognition", Proceedings of IEEE, Vol 56 No 5, May 1968, pp 836-862. (hand-printed) data under actual working conditions likely to be much worse than test data [Nagy68a] (*p) Nagy, G. "Classifcation Algorithms in Pattern Recognition", IEEE Transactions on Audio and Electroacoustics, Vol AU-16, No. 2, June 1968, pp 203-212 Comparison of different statistical algorithms, tested on a training set of OCR characters [Nagy70] (*p) Nagy, G. and Tuong, N. "Normalization Techniques for Handprinted Numerals", CA.C.M., Vol 13 No 8, August 1970, pp 475-481. Correction for optical distortion in OCR character scanning Rotational invariance loses distinction between 6 and 9 (critique of fully generalized pattern recognition?) [NassimbeneEG61a] (*) Nassimbene, E.G. "Utensil for Writing and Simultaneously Recognizing the Written Symbols", United States Patent 3,182,291, August 25, 1961 DCR recognition with a photo/optical/light-sensing stylus on a tablet(!), position determined by amount of light falling on stylus sensor from illumination around the tablet: optical tablet [Neill69] . Neill, J. "Numeric script mail sorter", Proceedings of automatic pattern recognition, pp 49-65, May 1969. Cited in Blatt88: 85%-99.7% character recognition rate [Neisser60] (*p) Neisser, Ulric and Weene, Paul "A Note on Human Recognition of Hand-Printed Characters", Information and Control, Vol 3, pp 191-196, 1960. Human recognition success rate is only 97% Study of human recognition testing using sign-in sheets (unconstrained characters) Gives human results for confusion-pairs in handwriting samples, "S-J" Has example of human difference between writer's intent and reader's perception for definition of correctness Strong recommended for any review of machine performance on handwritten chharacters [NewmanEB52] . Newman, E.B. and Gerstman, L.J. "A new method for analyzing printed English", Journal of Experimental Psychology, Vol 44, 1952, pp 114-125 Suen79 on context statistics [NewmanEB60] . Newman, E.B. and Waugh, N.C. "The redundancy of texts in three languages", Information Control, Vol 3, 1960, pp 141-153. Suen79 on context statistics [NewmanWM68] (*) Newman, W.M. "A Graphical Technique for Numerical Input", Computer Journal, Vol 11 No 1, May 1968, pp 63-71. Cited in FoleyJD82 Stylus/pen user-interface: "Light Handle" user-interface recognizes clockwise/counterclockwise spirals as "shaft turning" spiral/circular gestures to control numeric value. Compare with later pie menus/marking menus? [NewmanWM68a] (*) Newman, W.M. "A system for interactive graphical programming", 1968 Spring Joint Computer Conference, AFIP Conference Proceedings, Vol 32, Montvale, N.J. pp 47-54 touch/drag (and select/tap?) interactions with a lightpen stylus Cited in Wallace76 for "virtual devices" [Nugent66] . Nugent, W.R. and Buckland, L.F. "Improved Text Editing using Hand-Drawn Commands and Data: A Technique for RAND tablet and CRT Display", Inforonics, Inc., First and Second Quarterly Progress Reports, Cambridge, Massachusetts, August-November 1966. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

20/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Bernstein70 on user interface for text editing with handwriting recognition [Nugent67] . Nugent, W.R. and Buckland, L.F. "MOSAIC - The Improved Editing of Scientific Text by Handdrawn Commands and Data: A Technique for RAND Tablet and CRT Display", Third Quarterly Report, Inforonics, Cambridge, Massachusetts, 1967. Coleman69 on gesture / handwriting user interface, text input and editing using gestures (?) in 1967. [O'Callaghan68] . O'Callaghan, J. "Pattern recognition using some principles of the organism environment interaction", Ph.D. Thesis, A.N.U., Canberra, Australia, September 1968. O'Callaghan70: early handwriting recognizer [O'Callaghan70] (*p) O'Callaghan, J.F. "Problems in on-line character recognition", in "Picture Language Machines", S. Kaneff, editor, Academic Press, New York, 1970. Broad review of thinking on handwriting recognition, 1970, discussion from a conference Contains long Q/A on O'Callaghan's handwriting recognition: segmentation, features, performance time, rotation/tilt: feature space (for binary comparison) is a broad hump, not a fine line. Mentions problem of mal-adaptation to bad data in trainable adaptive recognizer [Orr68] . Orr, N.W. and Hopkin, V.D. "The role of the touch display in air traffic control", The Controller, Vol 7, 1968, pp 7-9. Beringer89 on electronic ink, integrated tablet/display [Patton69] . Patton, Robert "Graphic Data Tablets", The Electronic Engineer, November 1969, pp 50-55 Cites Dr. Michael Pilla, Bell Labs Human Factors, on writing on separate tablet and display as not a problem. [PeckerEA63a] (*) Pecker, Edwin A. Zone-based recognizer for handwritten digits using a single "+" arrangement of four conductive lines. [Peters63] (*) Peters, R.D. "Signature Identification Device", United States Patent 3,113,461, December 10, 1963 Signature verification device using electro-mechanical meters to measure writing time, X and Y position (velocity?) via meters, which might be some other kind of display. Writing pad appears to be a resistive sheet digitizer with a tethered stylus. Herbst76 on signature verification using force vs. time [Postman45] . Postman, Leo, and Miller, G.A "Anchoring of Temporal Judgments", American Journal of Psychology, Vol 58, 1945, pp 43-53. Absolute scale and absolute judgment doesn't exist: depends on context of human recognition / perception Cited on Kuklinski's Ph.D. thesis, how an anchor affects perception of graphical context [Poulton65] . Poulton, E.C. "Letter differentiation and rate of comprehension in reading", Journal of Applied Psychology, Vol 49, 1965, pp 358-362. Cited in Suen86 Suen86 cites as study of inherent (to humans) legibility of different writing styles [Pratt42] . Pratt, F. "Secret and Urgent", Blue Ribbon Books, Garden City, New York, 1942. Fisher75: frequency of letters in English text [Priver67] (*) Priver, Arthur S. and Boehm, Barry W. "Curve Fitting and Editing Via Interactive Graphics", RAND Corporation Research Memorandum P-3742, 1967. Present at the ACM Symposium on Interactive Systems for Experimental Applied Mathematics, Washington, August 1967 RAND Tablet stylus to enter a curve, and try various ways of fitting, editing and displaying the curve, with Groner's chracter recognition scheme for alaphanumeric inputs [RAND61] (*) RAND Corporation "50 Years of Looking Forward", RAND Review, Fall 1998. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

21/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Available at http://www.rand.org/publications/randreview/issues/rr.fall.98/50.html In 1961, researchers create the RAND Tablet, the first two-dimensional writing surface that allows humans to commuicate instantly with computer through characters printed on a tablet. (Note: Stylator may actually have been earlier) [Rankin65] . Rankin, B. Kirk III, Sillars, Walter A., and Hsu, Robert W. "On the Pictorial Structure of Chinese Characters", National Bureau of Standards Technical Note 254, January 4, 1965 [Rankin67] . Rankin, B. Kirk III, Siegel, Stephanie, McClelland, Ann, and Tan, James L. "A Grammar for Component Combination in Chinese Characters", National Bureau of Standards Technical Note 286, 1967. [Rankin70] . Rankin, Kirk and Tan, James L. "Component Combination and Frame-Embedding in Chinese Character Grammars", National Bureau of Standards Technical Note 492, February 1970. [Rengger68] . Rengger, R.E. and Parks, J.R. "A Survey of Handprinting", National Physical Laboratory, Ministry of Technology, Autonomics Division, March 1968. Measure of skew angle from vertical of handprinted/handwritten characters Context: written "I" in middle of sentence usually done without serifs, but if alone, seriffed. Handwriting/handprinting: variability caused by incomplete closure, extra curves and crossovers, missaligned limbs Contains handwriting samples/data collection: 55 writers (hands) not enough to get all likely variability [RhoadesKG70] (*) Rhoads, Kevin G. "SYSHAK: or, what a crock OS/360 is", SIPB (Student Information Processing Board), Massachusetts Institute of Technology, 1970 Class notes on exploits of security weaknesses in IBM OS/360 Operating system, mostly to put program into supervisor mode. [RippyDE65a] (*) Rippy, D.E. and Humphries, D.E. "MAGIC: A Machine for Automatic Graphics Interface to a Computer", Proc. FJCC 1965, pp. 819-830 Early graphical display subsystem using special-purpose computer and voice-grade communications lines: light pen used to generate locator (cursor) on display, when locator (cursor) at correct position, separate manual switch to select. Refers to locator "servoing" to the light pen using up/down counters. Interrupt-based subroutines for interactions. [Robbins70] . Robbins, M.F. and Beyer, J.D. "An Interactive Computer System Using Graphical Flowchart Input", Communications of the A.C.M., Vol 13 No 2, February 1970, pp 115-118. User interface for flowchart definition using handwriting: no symbol recognition [Roberts62] (*) Roberts, Lawrence G. "Recent Development in Optical Character Recongition at M.I.T.", in "Optical Character Recognition", Spartan Books, 1962 Mentions early Teager eletromagnetic tablet ("electronic drafting board"), with simple singlecharacter recognition Eden and Halle, only 18 strokes / stroke-types used to construct/write all English characters (??), simulation of persons handwriting by parameter variation: compare with later work on graphonomics Early dictionary-based recognition of handwriting using dictionary of strokes [RobertsLG66a] (*) Roberts, L.G. "The Lincoln Wand", Fall Joint Computer Conference 1966, Spartan Books, Washington D.C., pp 223-228. Ultrasonic/acoustic digitizer, digitizes in three 3-D dimensions, used as pointing device [Rovner69] . Rover, and Henderson "On the implementation of AMBIT/G: a Graphical Programming Language", IJCAI 1969: 9-20 Cited by Buxton, 1969 gesture recognition, using the TX-2 "recognizer" [Ruddies66] (*) Ruddies, Guenther H. "Deine Handschritf / Dein Ruin: Mach mehr aus Deiner Schrift", Verlag und Druckhaus Dr. Jenner, Munich fuer Deine graphologische Beurteilung bei Bewerbung, beruflichem Aufstieg und Partnerwhal Descripts use of graphological evalutation for employment: describes in individual handwriting https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

22/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

characteristics: compare to some aspects of graphonomics by Teulings [Sayre65] . Sayre, Kenneth M. "Recognition: A Study in the Philosophy of Artificial Intelligence", Notre Dame, Indiana, University of Notre Dame Press, 1965 Goodale83 [SchultzJ79a] (*) Schultz, Jan and Davis, Layton "The Technology of PROMIS", Proc of IEEE, Vol 67 No 9, September 1979, pp. 1237-1244. PROMIS: Early Digiscribe SAW touch-screen user interface system for medical records, 1967, user interface mostly point-and-click plus keyboard for text input. [ScriptureEW00a] (*) Scripture, Edward W. "Studies from the Yale Psychological Library", Yale University, New Haven, Conn. 1900 Contains "Researches on movements used in writing" by Cloyd N. McAllister: Has an electronic (electric) writing tablet, regularly generated sparks from a writing stylus left equallytimed dots on the paper while subject was writing. Cites French study that connected writing is *slower* than hand printing -- because of stylish writing? Notes on baseline of writing. [Shannon51] . Shannon, C. "Prediction and entropy of printed English", Bell System Technical Journal, Vol 30, 1951, pp 50-64 Suen79 on dictionary statistics [ShawJC58] . Shaw, J.C., Newell, A., Simon, H.A., and Ellis, T.O. "A Command Structure for Complex Information Processing", RAND Corporation, Santa Monica, California, Report No P1277; PB-164 088 (abstract only). Also cited as [JCC 13] Proceedings of the Western Joint Computer Conference, May, 1958 Mathematical expression parsing user-interface? [Shaw70] . Shaw, A.C. "Parsing of Graph-Representational Pictures", Journal of the A.C.M., Vol 17 No 3, July 1970, pp 453-481. Cited in FoleyJD82 [ShepardDH53] (*) Shepard, D. H. "Apparatus for Reading", United States Patent 2,663,758, December 22, 1953 OCR Optical Character Recognition system using mechanical flying-spot scanner with rotary drum [SheridanTB63a] (*) Sheridan, T.B. and Ferrell, W.R. "Remove Manipulative Control with Transmissiong Delay", IEEE Trans. on Human Factors in Electronics, Sep. 1963, Vol 4 No 1, pp. 25-29 User-interface responsiveness: if less thant 45 milliseconds between event and system response, perceived as no delay. If greater than 300 milliseconds, perceived by user as sluggish, resulting in move-and-wait behavior by user. Partial copy [Simek67] (*p) Simek, J.G. and Tunis, C.J. "Hand-printing input device for computer systems", IEEE Spectrum, Vol 4, 1967, pp 72-81. Claims handwriting is faster than typing (??) Reports over 98% accuracy with a specially-trained subject (the author) [Sitar61] . Sitar, E.J. "Machine recognition of cursive script: the use of context for error detection and correction", Bell Telephone Laboratories, Murray Hill, New Jersey, Memorandum for file, 12 September 1961. Cited in Sayre73 [SmithLB70] (*) Smith, Lyle B. "A Survey of Interactive Graphical Systems for Mathematics", Computer Surveys, Vol 2 No 4, December 1970, pp 261-297. Very early graph-fitting algorithms, etc. Mentions light pen as input device to some mathematical system. References to early tablets: RAND tablet, "graphic tablet display" (tablet and display integrated) from System Development Corporation 1967, "beam pen" input/ouput device. One reference to handwriting recognition of characters (Mermelstein 1964) https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

23/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

Cited in FoleyJD82 [Smithline64] . Smithline "Limited Vocabulary Script Reader", IBM Technical Disclosure Bulletin, Vol 7 No 6, November 1964, pp 473-475 Cited by Crane75 [Spinrad65] . Spinrad, R. "Machine recognition of hand-printing", Information and Control, Vol 8 No 2, 1965, pp 124-142. O'Callaghan70 [StevensME61] (*p) Stevens, M.E. "Automatic Character Recognition - A State-of-the-Art Report", U.S. Department of Commerce, Washington, D.C., NBS Technical Note 112, May 1961. hand-written numerals recognition using vector crossing technique : a standardized singlestroke numeric character style tables of frequency of occurence of upper-case and lower-case characters Very extensive bibliography as of 1961 Groner66a [StevensSS58] (*p) Stevens, S.S. "Adaptation-level vs. the Relativity of Judgment", American Journal of Psychology, Vol LXXI No 4, December 1958. [StoneL54] (*) Stone, Leo "On the Principal Obscene Word of the English Language -- An Inquiry, with Hypothesis, Regarding its Origin and Persistence", International Journal of Psycho-analysis, 1954, Vol 35, pp 30-56 Scottish in origin See also Fairman 2007 [StoneRC89a] (*) Stone, Ross C. "Telegraphic Apparatus", United States Patent 400,141, March 26, 1889 Precursor of electric tablet: conductive wired stylus can be dragged across holes (dashes and dots) in perforated plate at a uniform rate of speed to send Morse code, Morse characters arranged in approproate keyboard or other configuration for easy use. [Stotz63] . Stotz, R. "Man-Machine Console Facilities for Computer-Aided Design", Proceedings of AFIPS 1963 Spring Joint Computer Conference. DavisMR64 on early handwriting user-interface? [Sutherland63] . Sutherland, I.E. "SKETCHPAD: A Man-Machine Graphical Communication System", Spring Joint Computer Conference 1963, Spartan Books, Baltimore, Maryland, pp 326-ff. Cited in FoleyJD82: on stylus user-interface [Sutherland63a] (*) Sutherland, Ivan E. "SKETCHPAD: A Man-Machine Graphical Communication System", Ph. D. thesis, Massachusetts Institute of Technology, January 1963 Shows early light-pen digitizer design; refers to "pseudo-pen location" for editing graphics, locate nearest object. Cited in Arvo00 [Sutherland64b] (*) Sutherland, Ivan E. "Sketchpad Demo (video) 1 of 2/TITLE> Excerpt from early 1960's TV report, shown at SIGGRAPH '83: Fetched 2010 http://youtube.com/watch? v=USyoT_Ha_bA Generally credited as (almost) earliest direct-manipulation interface, often cites on gesture input [Sutherland64c] (*) Sutherland, Ivan E. "Sketchpad Demo (video) 2 of 2/TITLE> Excerpt from early 1960's TV report, shown at SIGGRAPH '83: Fetched 2010 http://youtube.com/watch? v=BKM3CmRqK2o Generally credited as (almost) earliest direct-manipulation interface, often cites on gesture input [Sutherland66a] (*p) Sutherland, I.E. "Computer Inputs and Outputs", Scientific American, September 1966. Overview article of Sutherland's "Sketchpad" system user-interface: describes the "interrupt" https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

24/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

for I/O Describes Rand system, caret edit mark gesture to edit handwritten text, graphical editing Refers to sketch-input for prettying up drawings (user interface) Refers Ellis66/Ellis69 user-interface for flowcharts and handwriting recognition (see "further reading" in issue?) [Sutherland66b] . Sutherland, I.E. "On-line Graphical Specification of Computer Procedures", MIT Lincoln Laboratories Technical Report 405, May 1966. Cited in FoleyJD82 [TauschekG29] (*) Tauschek, G. "Reading Machine", United States Patent 2,026,329, December 31, 1935 OCR Optical Character Recognition device using photo electric cell, and rotating drum with stencilled patterns for characters [Taylor54] (*) Taylor "Indicating Apparatus", United States Patent 2,672,605, March 16, 1954. Cited in Irland64: on a handwriting terminal. Basically an X/Y electromagnetic digitizer with a grid of wires, but the outout runs to ordinary electronics, not a computer. Grid wire encoding is not simple binary, but rather one-bit change in encoding from one wire to the next, to avoid bad signals from intermediate states (Gray coding) [Teitelman63] . Teitelman, Warren "New Methods for Real-Time Recognition of Hand-Drawn Characters", Report 1015, Bolt Beranek and Newman, Cambridge, Massachusetts, June 1963. Purcell77 [Teitelman64] (*) Teitelman, W. "Real-time recognition of hand-drawn characters", AFIPS Proceedings of Fall Joint Computer Conference, Vol 26, Spartan Books, Baltimore, Maryland, pp 559-575, October 1964. Refers to putting constraints on recognition. Machine learning handwriting recognition using hypothesis testing. Criticizes invariants of Stylator system. Mentions recognizing mathematic expressions. [Teixeira68] (*) Teixeira, J.K. and Sallen, R.P. "The Sylvania data tablet: a new approach to graphic data input", Proceedings of Spring Joint Computer Conference, pp 315-323, 1968. Cited in Rhyne86 Reference to early digitizer tablet, like RAND tablet, only transparent [ThayerFW78] (*) Thayer, Frederick W. "Improvement in Masks", United States Patent 200,358, Feburary 12, 1878 Original patent on baseball catcher's mask, showing heavy wire cage, goat-hair padding. [ThomasRB67] . Thomas, R.B. and Kassler, M. "Character recognition in context", Information Control, Vol 10, pp 43-64, 1967. DosterW77 [Tinker28] . Tinker, M.A. "The relative legibility of the letters, the digits, and of certain mathematical signs", Journal of Generative Psychology, Vol 1, 1928, pp 472-494. Cited in Engel73 Engel73 cites this for early work on confusion/substitution errors in human recognition [Tinker63] . Tinker, M.A. "Legibility of print", Iowa, Iowa State University Press, 1963. Cited in IchikawaS84 : human recognition of characters [Tomita67] . Tomita, Shingo, Noguchi, Shoichi, Oizumi, Juro, and Iwamoto, Kangi "Recognition of Handwritten Katakana Characters", Electronics Communications of Japan, Vol 50, 1967, pp 174183. OCR of handwritten recognition, features are line segments, quantized direction (chain) codes, types of joins/intersections, connection matrices [Uhr61] . Uhr, L. and Vossler, C. "A pattern recognition system that generates, evaluates, and adjusts its own operators", Proceedings of World Joint Computer Conference, Vol 19, 1961, pp 555570. https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

25/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

O'Callaghan70, adaptive recognition (neural nets?) [VanderGon62] . Van der Gon, J.J.D., et al "A handwriting simulator", Physics of Medicine and Biology, Vol 6 No 3, January 1962, pp 407-414. Ehrich78 on modelling handwriting motion First author name also in print as van der Gon Denier [VanderGonDenier65] (*p) Van der Gon Denier, J.J. and Thuring, J. Ph. "The guidn of human writing movements", Biological Cybernetics, Volume 2, Number 4, Feb.11965 pp 145-158 First author name also in print as van der Gon Fast handwriting occurs without feedback (and is thus sloppy?), Shape is determined by muscle timing, not force [Vernon62] (*) Vernon, H.C., and Walsh, Robert R. "Character Recognition Method and Apparatus", United States Patent 3,058,093, October 9, 1962 Zone-based character recognition, scanning intersections with zones [Viterbi67] (*) Viterbi, A.J. "Error bounds for convolutional codes and an asymptotically optimal decoding algorithm", IEEE Transactions on Information Theory, Vol IT-13, 1967, pp 260-269. Cited everywhere (up until about 1980) for context correction / context in character recognition [Vossler64] (*p) Vossler, C.M. and Branston, N.M. "The use of context for correcting garbled English text", Proceedings of 19th ACM National Conference, Philadelphia, 1964, pp D2.4-1 to D2.4-13. Abstract only: see also DosterW77 context/dictionary to aid recognition: dictionary of English words containing probabiliy of occurence, and letter digram frequencies based on English text: See also Viterbi algorithm [Waal32] . Wall, J.D.D. "Printscript", Bibliography by T.R. Davis 1932 reference to unistroke writing styles? [WaltonHF17a] (*) Walton, Herman F. "Variable Electric Sign", United States Patent 1,231,821, July 3, 1917 Writing board using array of conductive bumps and a wired conductive stylus, as user writes on tablet, closes relay circuits to turn on lamps in matching array of lamps: can show electronic ink on sign. [West60] (*) West, G.P. "Method and Apparatus for Sensing Handwritten or Printed Characters", United States Patent 2,964,734, December 13, 1960 Zone-based character recognition input, using electromechanical relays / logical sensing circuits [Wever28] (*p) Wever, Ernest Glen and Zener, Karl Edward "The Method of Absolute Judgment in Psychophysics", Psych Rev, Vol 35, 1928, pp 466-493 Differential sensitivity in judgements, rather than absolute: compare to pairwise-comparision method for character recognition of Pencept for handwriting, functional attribute method of Shillman et al [WGBH64a] (*) WGBH (Public Television Station) "Computer Sketchpad (Video)", www.wgbh.org, fetched 2009 Video of Sketchpad from 1964: user interface with gestures and lightpen input. See video archives. [WilliamsTG69] (*) Williams, Thomas G. "On-Line Parsing of Hand-Printed Mathematical Expressions: Final Report for Phase II", NASA Contractor Report CR-1455, Washington, D.C., December 1969, prepared by System Development Corporation Bernstein70, Martin71 on user interface for mathematical 2-D parsing. User writes in two dimensions, compiler translates to linear form (shown at top of display) an evaluates. Characters are translated into recognized characters in two-dimensional form for editing in real time. Uses bounding rectangles in parsing. Gesture recognition described, handwriting recognition is in a separate publication. "Scrub mode" is a scratch-out gesture. Arrow gesture https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

26/27

10.2.2015

(1891..1970) History of Pen and Gesture Computing

indicates move/edit. Horizontal line gesture for "open space/move" editing operation. Double horizontal line for close up. Dot (tap) plus second line to move a character. Two perpendicular stroke gesture for select/move group. See also Phase I and Phase IV reports. [Wilner66] . Wilner "Dynamic alphanumeric Hand Printing Recognition System", IBM Technical Disclosure Bulletin, Vol 8, No 9, Feb 1966, pp 1205-1207 Cited in Donahey76 for a zone recognition system [WisemanNE69a] . Wiseman, N.E. et al "PIXIE: A New Approach to Graphical Man-Machine Communication", Proc. 1969 CAD Conf, IEE, Southampton 1969, pp 463-ff Early reference to pie menus: Cited in Pier 92 for earliest pop-up pie menus, might be a gesture? [WooPW62a] (*) Woo, Paul W. "Ultrasonic Data converter", United States Patent 3,134,099, May 19, 1964 Acoustic digitizer, using an ultrasonic transducer in a stylus and linear arrays of microphones on the edeges of the surface, measures time delay like sonar [WrightG52a] (*) Wright, G.G.N. "The Writing of Arabic Numerals", Scottish Council for Research in Education Series No 33, pp 16-ff, University of London Press, London, 1952. Segmentation and variation on the digit 2, similar to chain codes Shows variability in writing styles for 2 and Z, confusion matrix: very interesting in demonstration handwriting variability on historical scale [YarbroughLD69a] (*) Yarbrough, Lynn D. "Letter to the Editor: on using a graphic tablet", CACM, Vol 11 No 5, May 1968, pp. 294 and 377 Four-corner quadrilater alignment/registration correction for a paper on a digitizing tablet: same calculation later applied for registration of tablet to display on a touchscreen. Example is a single correction for the entire paper, paper may be stretched (or photocopied) or tilted. [Zadeh65] . Zadeh, L.A. "Fuzzy sets", Information and Control, Vol 8, 1965, pp 338-353. Biswas81 cites on fuzzy sets for recognition [Zernike34] . Zernike, Frits "Beugungstheorie des Schneidenverfahrens und Seiner Verbesserten Form, der Phasekontrastmethode", Physica, Vol 1, 1934, pp. 689-704 Cited in Khotanzad90: on rotationally-invariant character recognition using polynomial moments. Zernike polynomials widely cited for optical recognition of certain patterns when viewed through circular apertures e.g. human eye, lens, radar image. [Zobruk67] (*) Zobruk, M.J. and Sze, T.W. "A method of recognition of hand drawn line patterns", Proceedings of 1st Princeton Conference on Information Sciences and Systems, 1967, pp 240-244. handwriting recognition using eight-direction chain codes / direction sequences: other work mentioned for Chinese handwriting recognition.        Main Reference Page       

https://web.archive.org/web/20130501234431/http://rwservices.no-ip.info:81/pens/biblio70.html

27/27

10.2.2015

(1970..1975) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio75.html

Go

14 captures

FEB MAI SEP

2

2012 2013 2014

6 Jan 07 - 23 Okt 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1970 to 1975. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:49 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio75.html http://216.15.114.196:81/pens/biblio75.html http://rwservices.no-ip.info:81/pens/biblio75.html (Generally most up-to-date)

       Main Reference Page        [Abbs71] (*p) Abbs, J.H. and Sussman, H.M. "Neurophysiological Feature Detectors and Speech Perception: A Discussion of Theoretical Implications", Journal of Speech and Hearing Research, Vol 14, 1971, pp 23-36.

Cites that there are specific feature detection cells in human vision, and that there must be something similar for hearing: in any case, a good recognition system will be modelled on these feature extraction mechanisms Cites that vision has specific cells for horizontal and vertical lines

[Ahlgren71] () Ahlgren, R.C., Ryan, H.F. and Swonger, C.W. "A character recognition application of an iterative procedure for feature selection", IEEE Transactions on Computers, Vol C-20, September 1971, pp 1067-1086. Fisher75

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

1/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

[Aho75] () Aho, A.V. and Corasick, M.J. "Efficient String Matching: An Aid to Bibliographic Search", Communications of A.C.M., Vol 18, pp 333-340, 1975. String pattern matching

[Albano74] () Albano, A. "Representation of digitized contours in terms of conic arcs and straight-line segments", Computer Graphics Image Processing, Vol 3, 1974, pp 23-33. Constrained handwriting styles to make them readable by OCR

[Anderson72] (*) Anderson, Robert H. "Programming on a tablet: A proposal for a new notation", Proceedings of the symposium on Two-dimensional man-machine communication, pp 113-123. Los Alamos, New Mexico. Sponsored by SIGPLAN : ACM Special Interest Group on Programming Languages

Mention use of two-dimension tablet GUI for a programming interface for a graphical editor: actual article discusses a block-oriented programming language, somewhat similar to that of Plamondon from about 1990. Cites GRAIL (flowcharting, text); Anderson, Blackwell and Bernstein (mathematical notation); Datastructures (AMBIT)

[ANSI72] (*p) ANSI "Draft standard for ANSI74", Draft for ANSI74 standard handwriting styles, with subset character sets [ANSI74] (*p) ANSI "Character Set for Hand-Printing", American National Standards Institute, Incorporated, Standard X3.45, 1974. [Applicon73] . Applicon Incorporated "Computerized Graphic Processing System: System User's Manual", Applicon Incorporated, September 1973 Sketch recognition / world's first gesture recognition user-interface in a commerical product: describes Ledeen gesture recognizer?

[ARRL73] () ARRL "Learning the International Morse Code", published by the American Radio Relay League, Newington, Connecticut, 1973.

Shows preferred, rapid writing style for block-printed capital letters and digits, with stroke direction: taught by the US Military also, constrained handwriting for human recognition

[BaerJA72a] (*) Baer, James A. and Hill, John W. "Optical-to-Tactile Image Confersion for the Blind", Stanford Research Institute Project Report, Projects 1417 and 8647, 30-June-1972

Optacon touch sensor for the blind: small set of vibrating haptic transducers with hand-held scanner. Output to one or two fingers. Intended for reading of printed material.

[BarkanH73a] (*) Barkan, Harold; Barkan, Edward D.; and Swartz, Jerome "Transparent Touch Controlled Interface With Interactively Related Display", United States Patent 3,757,322, September 4, 1973

Transparent digitizer touchscreen using transparent switches on a display. Mentions need to mount closely to display to minimize visual parallax so that combination appears to user as a single device.

[Batchelor74] (*p) Batchelor, B.G. "Practical Approach to Pattern Classification", Plenum Press, London/New York, 1974.

Contains examples of boundary theory decision surface diagrams, but doesn't discuss it that way. Refers to human "teacher" for trainable recognition: e.g. perceptual/cognitive ambiguity about what is an "A" vs an "H". Decision surfaces in multi-dimensional feature analysis (pair-wise comparison?). Statistics: similarity, distance, and compactness of decision surface/classification. Implies boundary theory vs category theory. Accidentally shows European variants of hand-written "H" character

[BeckF73a] (*) Beck, F. and Stumpe, B. " Two Devices for Operator Interaction in the Central Control of the New CERN Accelerator ", CERN report 73-6, Geneva, 24 May 1973

Transparent capacitive touchscreen over CRT display. Copper on glass is "invisible". Approach of

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

2/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

finger changes capacitance to ground. See also Stumpe.

[BeckerPW72] () Becker, Peter W. and Nielsen, K.A. "Pattern recognition using dynamic pictorial information", IEEE Transactions on Systems, Man, and Cybernetics, July 1972, pp 434-437. Cited in Tappert's bibliography list

[BeckerPW74] () Becker, Peter W. "Recognition of Patterns Using the Frequencies of Occurrence of Binary Words", Springer Verlag, New York and Vienna, 2nd edition, 1974 (abstract only). [Bennet75] () Bennet, J.R. and McDonald, J.S. "On the measurement of curvature in a quantized environment", IEEE Transactions on Computers, Vol C-24, 1975, pp 803-820. [Bernstein71] () Bernstein, Morton I. "Computer Input Output of Two-Dimensional Notations", Proceedings of Second Symposium on Symbolc and Algebraic Manipulation, Los Angeles, California, March 23-25, 1971. Purcell77

[Bernstein75a] () Bernstein, M.I. "Interactive Systems Research: Interim Report for the Period 16 September 1974 to 15 March, 1975", System Development Corporation, Santa Monica, California, Report No SDC-TM-5243/003/00, 15 May, 1975. NTIS citation index Speech understanding system, describes acoustic-phonetic and lexical-mapping processes

[Bernstein75b] () Bernstein, M.I. "Interactive Systems Research: Final Report to the Director, Advanced Research Projects Agency, for the Period 16 September 1974 to 15 September, 1975", System Development Corporation, Santa Monica, California, Report No SDC-TM5243/004/00, 15 November, 1975. NTIS citation index Speech understanding system, describes acoustic-phonetic and lexical-mapping processes

[Berthod74] (*p) Berthod, M. and Maroy, J.P. "Morphological Features and Sequential Information in Real-time", Proceedings of the 2nd International Joint Conference on Pattern Recognition, August 1974, pp 358-363. Refers to Blesser, et al and functional attributes Mentions use of pressure (actually, force) and timing (!) in recognition

[Blesser72] (*p) Blesser, B., and Ozonoff, D. "A Model for the Radiologic Process", Radiology, Vol 103 No 3, pp 515-521, June, 1972. Barry's paper on perception in reading medical X-rays

[Blesser73a] (*p) Blesser, B., Shillman, R., Cox, C., Kuklinski, T., Ventura, J., and Eden, M. "Character Recognition Based on Phenomenological Attributes", Visible Language, Vol 7 No 3, 1983, pp 209-223. Examples of attributes/features: functional closure, perceptual closure, physical closure

[Blesser73] () Blesser, B., Shillman, R., Kuklinski, T., Cox, C., Eden, M. and Ventra, J. "A Theoretical Approach to Character Recognition Based on Phenomenological Attributes", Proceedings of the 1st International Joint Conference on Pattern Recognition, 1973, pp 33-40. Published version of Shillman's Thesis

[Blesser74] () Blesser, B., Shillman, R., Kuklinski, T., Cox, C., Eden, M., and Ventura, J. "A Theoretical Approach for Character Recognition Based on Phenomenological Attributes", International Journal of Man-Machine Studies, Vol 6, pp 701-714. Character recognition based on ambiguously shaped characters or "difficult cases" of low quality Graphical context rules extracted via psychological experimentation Arguments for boundary-theory pair-wise comparison for recognition

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

3/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Contains chart of Shillman's ambiguously shaped characters

[Bouma71] () Bouma, H. "Visual recognition of isolated lower case letters", Vision Research, Vol 11, 1971, pp 459-474. Cited in Bozinvic89 Milloy78 cites this for confusion/substitution errors in human recognition for lower-case characters Bozinovic89 cites for human recognition by outline of word (as shown in WrightG52)

[Bremermann71] (*p) Bremermann, H.J. "What Mathematics Can and Cannot Do for Pattern Recognition", in "Zeichenerkennung durch biologische und technische Systeme", Proceedings of the 4th Congress of the Deutsche Gesellschaft fuer Kybernetik, Berlin, pp 31-44. Published by Springer-Verlag, New York, April 6-9, 1971. Fundamental knowledge of the brain would greatly help on pattern recognition by machine Difficulties in pattern recognition are generally combinatorial Most theoretical papers on pattern recognition are quite worthless Problems like handwritten character recognition are not even well-defined Handwritten "A"s are not mathematically defined: just what people agree on Qualitative and formal-language "theorems" do not help solve pattern recognition problems Pattern recognition theorems (perceptron/neural-net) working without quantitative combinatorial analysis Adaptive systems may not converge on optimum performance: stick on local maxima Most papers give no reasons for choice of recognition features Most recognition systems fail on choice of features Features chosen must separate patterns in recognition Humans do not use mathematical features, like string probabilities Gives fundamental reasons why polynomial mathematical features will not work Cybernetic recognition (measure deformation from paradigm) vs fuzzy sets vs perceptrons, etc. Steepest descent, other gradient methods in statistical pattern recognition fail due to local minima Picture grammars (linguistic scene descriptions) useless if elements cannot be identified Creative imagination of researchers better than statistical recognition Examples of nature best design inspiration in recognition Many papers just an exercise in fashionable recognition techniques "mount Bayes is overpopulated" -- critique of statistical pattern recognition Feature extraction plays a role in visual cortex

[Bridle73] () Bridle, J.S. "An efficient elastic-template method for detecting given words in running speech", British Acoustical Society Spring Meeting, April 1973, Chelsea College, London, Paper 73SHC3. Cited in Kruskal83

[Burckhardt71] (*p) Burckhardt, Christof W., Levrat, Bernard, and Perrin, Marie-Christine "Character Recognition with Incremental Rate Encoding", Kybernetik, Vol 8 No 5, 1971, pp 204-206, Germany. Handwriting recognition using acceleration chain codes as the feature (?)

[Burton74] (*) Burton, Robert P. and Sutherland, Ivan E. "Twinkle-box: a three-dimensional computer input device", AFIPS Joint Computer Conference, May 6-10 1974, Chicago, pp 513520 Cites to Lincoln Wand, Lawrence G. Robert, 1963, three-dimensional acoustic/sonic digitizer: this desicn is an optical digitizer in three dimensions

[Caelli75] (*p) Caelli, Terrence M. and Finlay, David C. "Patter discrimination of Gaussian distributions of orientation and line length parameters", Perception and Psychophysics, 1975, Vol 16 No 3, pp 489-493 https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

4/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

[Caskey72] (*p) Caskey, David L. and Coates, C.L. "Machine Recognition of Handprinted Characters", Electronics Research Center, University of Texas at Austin, Technical Report No 126, May 1, 1972. Broad (1972) review of problems handwriting recognition must deal with: consistent performance (gross features only are used), etc. Has many pages of samples of the handwriting collection they used

[Caskey73] (*p) Caskey, D.L. and Coates, C.L. Jr "Machine recognition of hand-printed characters", Proceedings of the 1st International Joint Conference on Pattern Recognition, November 1973, pp 41-49. Only write the ANSI standard characters: constraints

[Cataldo74] (*p) Cataldo, J.W. "Lettering", Davis Publications, Worcester Massachusetts, 1974.

Many examples of calligraphy, hand-lettering, embellishments on basic hand-written letter forms, including stroke directions, hooks, etc.

[Chandrasekaran71] () Chandrasekaran, B. "Independence of measurements and the mean recognition accuracy", IEEE Transactions on Information Theory, Vol IT-17, 1971, pp 452456. Corrections in Vol IT-19, 1972. Martin,GL90 on analysis of how well neural nets work

[ChangCY73] () Chang, C.Y. "Dynamic programming as applied to feature subset selection in pattern recognition systems", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-3, March 1973, pp 166-171. Cited in Fisher75

[Chow75] () Chow, C. "Effect of Line Width on recognition of V's and Y's", S.B. Thesis, Department of Electrical Engineering and Computer Science, August 1977, Massachusetts Institute of Technology, Cambridge, Massachusetts. Massachusetts Institute of Technology undergrad Thesis on line width and functional attributes

[ClarkRK71] () Clark, R.K. "Identification System", United States Patent 3,621,720, November 23, 1971 Herbst76 on signature verification using tip force/pressure vs. time

[Context73] () Context Corporation "OCR in Word Processing - a guide for the word processing supervisor", 9 Ray Avenue, Burlington, Massachusetts 01803, 1973. [Cooper73] () Cooper, Leon N. "A Possible Organization of Animal Memory and Learning", Collective Properties of Physical Systems, Nobel 24 (1973), pp 252-264. [Corballis75] () Corballis, M.C. and Roldan, C.E. "Detection of symmetry as a function of angular orientation", Journal of Experimental Psychology: Human Perception and Performance, Vol 1, 1975, pp 221-230. Cited in IchikawaS84 Angle (vertical vs horizontal) perception in humans?

[Cormack74] () Cormack, Elizabeth O. and Robert H. "Stimulus configuration and line orientation in the horizontal-vertical illusion", Perception and Psychophysics, Vol 16 No 2, 1984, pp 208-212.

Context of adjacent lines in human perception of vertical and horizontal line length: human feature perception (many other references on this topic)

[Cox74] (*) Cox, C., Blesser, B., Eden, M. "The Application of Type Font Analysis to Automatic Character Recognition", Proceedings of the 2nd International Joint Conference on Pattern Recognition, Lyngby, Denmark, Aug 13-15, 1974. https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

5/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

OCR: Variability is two sources: type font, and scanner/ink effects. Most variability among characters describable in terms of stylistic consistency. Stated aim of pre-processing is to reduce variability recognizer must deal with. Adaptive recognition should analyze for stylistic consistency as a separate variable, and separate variability from recognition. Variability model is NOT same as picture grammar approach.

[Crane75a] (*) Crane, Hewitt David, and Savoie, Robert Ellis "Handwriting System", United States Patent 3,930,229, December 30, 1975, assigned to Stanford Research Institute, Menlo Park, California. SRI/Crane's accelerometer-pen character recognition: Uses ULDR chain codes, similar to BLRT chain codes

[Crane75b] (*) Crane, Hewitt David and Savoie, Robert Ellis "Special Pen and System for Handwriting Recognition", United States Patent 3,906,444, September 16, 1975, assigned to Stanford Research Institute, Menlo Park, California. SRI/Crane's accelerometer-pen for signature verification/recognition e

[DarringerJA75a] (*) Darringer, J.A. et al "Speed Pen", IBM Technical Disclosure Bulletin, Vol 18 No 7, December 1975, pp 2374-2375 Acoustic digitizer: horizontal raised lines across surface, piezo transducers or microphones pick up sound of ballpoint pen's vertical movement over lines while user writing signature. Biometric verification of signature based on Y velocity profile.

[DayAM72] () Day, A.M., Parks, J.R. and Pobgee, P.J. "On-line written input to computers", in "Machine Perception of Pictures and Patterns", The Institute of Physics, London, England, 1972, pp 233-240. Also cited as Proceedings of the Conference on Machine Perception of Patterns: Tedding England.

Claims 2% error rate (but 8.5% reject): feedback to users greatly improves handwriting recognition Handwriting recognition features are coding zones, sequence similar to chain codes, number and length of horizontal/vertical strokes Describes resistive-sheet/film digitizer tablet, one character big: user-interface for handwriting, onecharacter input

[DertouzosML72a] (*) Dertousoz, M.L. "Graphic Data Tablet", United States Patent 3,705,956, assigned to Computek, Incorporated, Cambridge, Massachusetts, December 12, 1972.

Early electromagnetic digitizer tablet patent, using Gray Code grid pattern encoding, using phase of induced voltage

[Donelson75] . Donelson, William C. "Spatial Management of Data", M.S. Thesis, Massachusetts Institute of Technology, September 1977, Department of Architecture See Donelson78

[Duda72] () Duda, R.O and Hart, P.E. "Use of the Hought transform to detect lines and curves in pictures", Graphics and Image Processing, Vol 15, pp 11-15, 1972. Cited in Kahan87 Cited in Kahan87: for a statistical Bayesian classifier using binary features

[Dyche72] (*) Dyche, James W. "Handwriting Authentication Technique", United States Patent 3,699,517, assinged to Sylvania Electric Products Inc., Cotber 17, 1972 Herbst76 on signature verification using force, velocity, pen lifts, correlationsamong them Signature verification using velocity and acceleration, using a graphic tablet

[Ehrich73] () Ehrich, Roger W. "A Contextual Post-Processor for Cursive Script Recognition - Summary", Proc. 1st Int. Joint Conf. Pattern Recognition, Oct. 1973, pp. 169-171. Cited by Marlin Eller, Microsoft Pen Computing group

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

6/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

[Ehrich75] (*) Ehrich, Roger W. and Koehler, K.J. "Experiments in the Contextual Recognition of Cursive Script", IEEE Transactions on Computers, Vol C-24 No 2, February 1975, pp 182-194.

Contextual pre-processor for script using letter length, word context, stroke parsing: best character alternatives given to word-context recognizer (likelihood ratio) Due to scope of problem, one becomes mired in programming 1.3% error when training and test data were identical Word-wise recognition of hand-written script Refers to certain degenerated, trivial, toy recognition problems and their pointlessness Need for low-quality data in training a system Goshtasby88 cites for binary letter pairs (digrams) for spelling context, following by spelling dictionary look-up for what's left

[Eichen73] (*) Eichen, Howard R. and Paulsen, Robert H. "Processing of Coordinate Values of Points Entered in a Graph Board or the like", United States Patent 3,720,948, ,assigned to Co-Data Corportion, Fullerton California, March 13, 1973

Describes dividing a tablet surface into a simulated keyboard area, a sketch area, virtual tablets, etc. Relevant to Schumer patent

[ElectronicsReview71] . Electronics Review "Program Recognizes Handwritten Math", Electronics Review, Vol 44, No 18 (1971) Cited in Sklarew99 patent

[Elographics75] () Hurst, G. and Colwell, W. "Discriminating Contact Sensor", United States Patent 3,911,215, October 7, 1975, assigned to Elographics, Incorporated, Oak Ridge, Tennessee. [Engel73] () Engel, G.R., Dougherty, W.G., and Jones, G.B. "Correlation and Letter Recognition", Canadian Journal of Psychology, 1973, Vol 27 No 3, pp 317-326.

Mentions response bias in measuring human recognition errors Problems of matching recognition results of tests and predictions based on only one variable: human recognition is a correlation function of multiple variables Points out problems of weighting multiple variables/features

[Feng75] () Feng, H.Y. and Pavlidis, T. "Decomposition of polygon into simpler components: Feature generation for syntactic pattern recognition", IEEE Transactions on Computers, Vol C-24, Jun 1975, pp 636-656. Agui79

[Fernald73] () Fernald, Olaf H. "Optical graphic data tablet", United States Patent 3,761,877, September 25, 1973. Cited in Tappert's patent list of 1986 on on-line/dynamic handwriting recognition Cited in Fox88: on annotation drawing/handwriting Optical digitizing tablet: stylus shines a light on a transparent glass plate, with a scanner underneath

[Fisher75] () Fisher, Edward G., Riseman, Edward M., and Hanson, Allen R. "Feature Selection Using Non-redundant Thresholded Measures", preliminary manuscript, University of Massachusetts, Amherst, Massachusetts, 1975.

Pair-wise discrimination: guidelines for when to work harder on hard-to-separate classification pairs

[Fitzgerald75] . Fitzgerald et al "Procedure for rectifying a roughly sketched drawing", IBM Technical Disclosure Bulletin, Vol 18, No 7, December 1975, pages 2339-2342 Cited in Fox92

[Fitzgerald77] (*) Fitzgerald, William Joseph, Shelton Jr., Glenmore Lorraine, and Wolfe, Robert Nolan "System for converting a rough sketch to a finished drawing", United States https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

7/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Patent 4,058,849, assigned to International Business Machines Corp, New York, New York, November 15, 1977

Editing of handwritten sketchs by making the lines more nearly vertical and horizontal, and moving the endpoints of the lines: preserves linkages among strokes Also shows use of an overlay keyboard, presenting a virtual keyboard on the tablet surface Cites Eichen73 patent, and "Instant Draftsman" article from 1972

[FitzhughRJ71a] (*) Fitzhugh, Robert J. and Katsuki, David "The touch-sensitive screen as a flexible response device in CAI and behavioral research", Behavioral Research Methods and Instrumentation, Vol 3 No 3, 1971, pp. 159-164 Translucent (transparent) touchscreen with rear-projection, using X/Y grid of conductors with physical contact of an X and a Y wire. Mentions multiple touches as something to be detected and rejected. Did not find a transparent and flexible conductive material: polacoat is conductive and transparent, but not flexible. Metallic-coated mylar for resistive/conductive film touchscreen.

[FluhrFR65a] (*) Fluhr, F.R. "Light-Pencil Coordinate Positioner", NRL Memorandum Report 1592, March 1965, U.S. Naval Research Laboratory, Washington, D.C.

Light-pen (?) device for use with radar display screens: functions by retrace insertion, generating marker at point of light-pencil on screen.

[Fodor74] () Fodor, J.A., Bever, T.G., and Garrett, M.F. "The Psychology of Language", McGraw-Hill, New York, 1974.

Adjustment of perception of stimulus to be what is "reasonable": We accept hypotheses about the identity of individual letters and words only if they yield a sensible interpretation of longer sequences like phrases and sentences. (Contxt information in recognition)

[FoleyD71] () Foley, D. "The Probability of Error on the Design Set as a Function of the Sample Size and Feature Size", PhD dissertation, Syracuse University, June 1971. Cited in Meisel: 85

[FoleyJD74] () Foley, J.D. and Wallace, V.L. "The Art of Natural Graphic Man-Machine Conversation", Proc. IEEE, Vol 62 No 4, April 1974, pp 462-471. Cited in FoleyJD84 Cited in Wallace76 for "virtual devices" (virtual tablet)

[Forney73] () Forney, G.E. Jr. "The Viterbi algorithm", Proceedings of the IEEE, Vol 61, 1973, pp 268-278. Cited in Sinha88, Hull83a

[Freedman74] () Freedman, M.D. "Optical character recognition", IEEE Spectrum, Vol 11 No 3, March 1974, pp 44-52. Nouh84

[Freeman74] () Freeman, H. "Computer processing of line-drawing images", Computing Surveys, Vol 6, 1974, pp 57-97. Cited in Kerrick88

[Fu74] () Fu, K.S. "Syntactic Methods in Pattern Recognition", New York: Academic Press, 1974. Cited in Baird84

[Fujisaki71] () Fujisaki, H., Nagai, S. and Hidaka, N. "On-line recognition of hand-written numerals", Annual Report of the Engineering Research Institute, Faculty of Engineering, University of Tokyo, Japan, Vol 30, August 1971, pp 103-110. Tappert's bibliography

[Goldstein74] () Goldstein, Ira P. "Understanding Simple Picture Programs", Technical https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

8/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Report 294, Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, Massachusetts, 1974. Purcell77

[Goldstein75] () Goldstein, Ira P. "Summary of MYCROFT: A System for Understanding Simple Picture Programs", Artificial Intelligence, Vol 6 No 3, 1975, pp 249-288. Purcell77

[Goodwin75] () Goodwin, N.C. "Cursor Positioning on an Electronic Display Using Lightpen, Light-gun, or Keyboard for Three Basic Tasks", Human Factors, pp 289-295, Vol 17 No 3, 1975. Study of positioning time with various cursor, pen, keyboard devices

[Granlund72] () Granlund, G.H. "Fourier preprocessing for hand print character recognition", IEEE Transactions on Computers, Vol C-21, pp 195-201, 1972. [Granzotti73] (*) Granzotti, A.N. "Free Hand Drawing Display System Utilizing Light Pen to Write and Erase Information", United States Patent 3,758,717, September 11, 1973, assigned to International Business Machines Corporation, Armonk, New York. User-interface: Hardware patent on digitizer erasing on display with a light pen, makes broad claims on erasure/editing of freehand writing or sketching of electronic ink

[Grether73] () Grether, C.B. and Stroh, R.W. "Subjective Evaluation of Differential PulseCode Modulation Using the Speech 'Goodness' Rating Scale", IEEE Transactions on Audio and Electroacoustics, Vol AU-21 No 3, June 1973, pp 179-184.

"goodness" scale for subjective evaluation of speech quality: relates to cognitive psychology experiments to extract functional attributes Method for subjective evaluation of cognitive/psychophysical perception/recognition, where theory is not adequately developed for quantitative prediction

[Gries71] () Gries, D. "Compiler Construction for Digital Computers", Wiley & Sons, New York, 1971. A standard reference on compiler /programming language design

[HallRE72] () Hall, R.E. and Hulbert, L.N. "Machine Recognition of Symbols", United States Patent 3,676,848, July 11, 1972, assigned to Ferroxcube Corporation, Saugerties, New York. Early patent on zone/region on-line character recognition

[Hanson73] () Hanson, A.R. and Riseman, E.M. "System Design of an Integrated Pattern Recognition System", Proceedings of the 1st International Conference on Pattern Recognition", Washington, D.C, October 30 - November 1, 1973 (abstract only). COINS Technical Report 73C-5, University of Massachusetts, Amherst, Massachusetts, June 1973. Fisher75

[Hanson74] () Hanson, A.R., Riseman, E.M., and Fisher, E. "Context in Word Recognition", COINS Technical Report 74C-6, August 1974. DosterW77

[Harmon72] () Harmon, L.D. "Automatic Recognition of Print and Script", Proceedings of the IEEE, Vol 60, 1972, pp 1165-1176. Cited in Litvin82, Nouh84

[Heinz72] () Heinz, B., Paprottka, H., and Schulte-Derne, M. "Meine liebe Fibel: Schreiblehrgang", Verlag Ferdinand Kamp Bochum, 1972. German/European writing style textbook

[Hemstreet73] (*) Hemstreet, Harold S. "(title)", United States Patent 3,713,100, January 23, 1973 https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

9/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Cited in Bokser88; Cited in Tappert88b: on segmentation combined with character recognition optical/typed character recognition by comparing with a set of individual prototypes for each possible shape, and taking best match score. Comparison may be pixel-wise or slice-wise comparison.

[Henckels71] () Henckels, L.P. "A Parametric Method for Developing and Evaluating Handprinted Character Recognition Algorithms", ScD Thesis, Department of Electrical Engineering, Massachusetts Institute of Technology, June 1971. Massachusetts Institute of Technology Thesis on generating simulated/artificial variability in handwriting Find samples at the boundary of where recognition problems occur Says problems in recognition algorithms should be found systematically Says need 10,000 training samples to get feature space error down to 1% Says Neisser's figure for human recognition too poor for practical device(!) Says testing takes up most of the effort, but is treated too lightly Quotes "dominant factor factor in performance is care in printing"

[Henrichon75] () Henrichon, E.G. and Bloom, H.J. "Method and System for Optical Character Recognition", United States Patent 3,930,231, December 30, 1975, assigned to Xicom Data Entry Corporation, Newton Upper Falls, Massachusetts.

Three methods of character recognition are matrix matching, Feature extraction, and curve tracing

[Herot74] () Herot, Christopher F. "Using Context in Sketch Recognition", Master's Dissertation, Massachusetts Institute of Technology, Cambridge, Massachusetts, 1974. Purcell77

[Herrick74] () Herrick, E.M. "A Taxonomy of Alphabets and Scripts", Visible Language, Vol VIII No 1, Winter 1974, pp 5-32. [HitachiI75] () Hitachi, I. "Direct Input System for Handprinted Programs and Data", Central Research Laboratory of Hitachi, Ltd., Tokyo, Japan, 1975. Purcell77

[Hlady75] (*) Hlady, A.M. "Touch Sensitive Position Encoder using a Layered Sheet", United States Patent 3,916,099, October 28, 1975, assigned to Canadian Patent and Development Limited, Ottowa, Canada. Digitizer using surface acoustic wave

[Hoo75] (*) Hoo, S.K. "Coordinate Locator", IBM Technical Disclosure Bulletin, Volume 18, Number 5, October 1975 pages 1498-1499 Cited in BennettWE91 for optical stylus digitizer tablet somewhat similar to Anoto: visually transparent surface using a coded grid placed over a display: appears to give proximity detection also.

[Holt74] () Holt, Arthur W. "Algorithm for a Low Cost Hand Print Reader", Computer Design, February 1974, pp 85-89.

Simple OCR for handwriting recognition, using a single vertical line as a constraint, measuring closed/open loops and areas as features

[Hong74] () Hong, J.P. "Pattern Recognition: Invariant Stochastic Feature Extraction and Statistical Classification", in JPL Space Programs Summary 37-58, Vol III, 1974.

Features used by IBM OCR page reader Measurements on data (feature extraction) and classification algorithm closely tied to problem at hand

[Howells75] (*) Howells, J.A. "Apparatus for Recognizing Hand Printed Characters", United States Patent 3,909,785, September 30, 1975, assigned to Amperex Electronics Corporation, https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

10/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Hicksville, New York.

Nine-zone/sector/region recognition

[HurstGS72a] (*) Hurst, George S. "Electrical Sensor of Plane Coordinates", United States Patent 3,662,105, May 9, 1972 Resistive sheet digitizer, two resistive sheets with AC voltage gradients in orthogonal directions. Single probe (not stylus) punctures both sheets and picks up both signals.

[HurstGS74a] (*) Hurst, George S. "Electrographic Sensor for Determining Planar Coordinates", United States Patent 3,798,370, March 19, 1974

Resistive sheet digitizer, single sheet, voltage gradient applied alternately in vertical and horizontal direction, using second conductive sheet and intermediate layer of deformable insulation such as a gel, that permits the two sheets to be pressed into effective contact.

[HurstGS75a] (*) Hurst, George S. and Colwell, William C. Jr. "Discriminating Contact Sensor", United States Patent 3,911,215, October 7, 1975

Resistive sheet digitizer, single sheet, voltage gradient applied alternately in vertical and horizontal direction, using second conductive sheet and small spacer bumps to hold two sheets apart: palm discrimination versus narrow stylus tip.

[Hussain72] () Hussain, A.B.S., Toussaint, G.T., and Donaldson, R.W. "Results Obtained Using a Simple Character Recognition Procedure on JHMunson's Handprinted Data", IEEE Transactions on Computers, Vol 21, February 1972, pp 201-205. Cited in Litvin82 Refers to JHMunson's data collection / test sample data base for handwriting.

[Iannou75] () Iannou, J.T. "Digital Position Measurement System with Stylus Tilt Error Compensation", United States Patent 3,873,770, March 25, 1975, assigned to Bendix Corporation, Southfield, Michigan. Tilt correction patent for tablet digitizer Tappert's patent list shows this as 3,875,770.

[IchikawaT74] () Ichikawa, T. and Yoshida, Y. "Online Recognition of Handprinted Characters with Associative Read-Out of Patterns in Memory", Proceedings of 2nd International Joint Conference on Pattern Recognition, August, 1974, pp 206-207. Cited in Litvin82

[Iijima72] () Iijima, Taizo and Mori, Kenichi "Pattern Identification Systems Operating by the Multiple Similarity Method", United States Patent 3,688,267, and Tokyo Shibaura Electric Co., Limited, August 29, 1972. From a old list of Polhemus patents Inner-product comparison (pixel map) OCR character recognition against standard reference template patterns, RMS average of match scores compared to threshhold

[Iijima75] () Iijima, Taizo and Mori, Kenichi "Pattern Identification System", United States Patent 3,906,446, assigned to Taizo Iijima and Tokyo Shibaura Electric Co., Limited, Tokyo, Japan.

Cited in MaedaK87 OCR of characters (handwritten?) using sums of squares of values for similarity: improvement over patent 3,688,267.

[IJCPR74] () IJCPR Program "Second International Joint Conference on Pattern Recognition", Lyngby, Denmark, August 1974. [IrbyCH74a] (*) Irby, Charles H. "Display techniques for interactive text manipulation", Proc. NCC '74, Chicago May 6-10, pp. 247-255 https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

11/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

NLS text editing with mouse for text selection and keyboard: could show two (text) files at once, multiple users edit text from separate terminals.

[Ishizaki74] (*) Ishizaki, Hiroyuki; Toba, Teruo; Umeda, Shozo "System for Reading Out the Coordinates of Information Displayed on a Matrix Type Display Device", United States Patent 3,832,693, August 27, 1974, Assigned to Fujitsu Light pen digitizer, subdividing display into blocks in the X and then in the Y direction.

[Jans75] () Jans, C.L. "An Investigation of U-V Discrimination", S.B. Thesis, Department of Electrical Engineering and Computer Science, May 1975, Massachusetts Institute of Technology, Cambridge, Massachusetts. U-V recognition: functional attributes Blesser's and Shillman's group at Massachusetts Institute of Technology

[JohnsonS75] () Johnson, S.C. "YACC: Yet Another Compiler Compiler", Computing Science Technical Report No 32, 1975, Bell Laboratories, Murray Hill NJ 07974. UNIX documentation on YACC; regular-expression pattern matching

[JohnstonVS74] () Johnston, V.S., and Chesney, G.L. "Electrophysiological Correlates of Meaning", Science, Vol 186, December 1974, pp 944-946. Neuronal activity, evoked potentials in frontal lobe (but not visual cortex), matches human perception/recognition of recognizing ambiguous character shapes

[Julesz75] () Julesz, B. "Experiments in the Visual Perception of Texture", Scientific American, April 1975, pp 34-43.

"It is well known from neuro-physiological studies that the visual systems of cats and monkeys incorporate cluster detectors in several stages of hierarchically increasing complexity, beginning at the retina of the eye and extending to the highest levels of the cerebral cortex." Why adaptive recognition is not human perception/cognition: multiple levels Perception (low-level, immediate) vs cognitive (high-level, takes time) Mentions cognitive/perceptual problem of reading alphabets

[KayA72] (*) Kay, Alan C. "A Personal Computer for Children of All Ages", Xerox Palo Alto Research Center: Proceedings of the ACM National Conference, 1972 Early paper by Alan Kay on Dynabook, does not show handwriting input: early personal computer with ARPANet/Internet

[Knowlton75a] () Knowlton, K.C. "Virtual Pushbuttons as a Means of Person-Machine Interaction", Proceedings of the IEEE Conference on Computer Graphics, Pattern Recognition, and Data Structure, May 1975, pp 350-351. Cited in FoleyJD82

[Knowlton75b] (*) Knowlton, K.C. "Interactive Input-Output Computer Terminal with Automatic Relabeling of Keyboard", United States Patent 3,879,722, assigned to Bell Laboratories, April 22, 1975. Kowlton77

[Kolers75] () Kolers, Paul A. and Perkins, David N. "Spatial and Ordinal Components of Form Perception and Literacy", Cognitive Psychology, Vol 7, 1975, pp 228-267. Graphical context on rotated text perception with human readers: relation to dyslexia.

[Korolev71] () Korolev, E. "On automatic recognition of context", Proceedings of the International Conference on Computer Linguistics, 1971. Suen79

[Krause73] () Krause, P. and Bleichrodt, H. "Experiments on direct input and recognition of handwritten digits and handprinted letters with computers", Post Office Research Department, https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

12/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

London, England, 9-16, March 1973.

Cited in Blatt88: 97.1% character recognition rate

[Kuipers75] () Kuipers, Jack "Object Tracking and Orientation Determination Means, System and Process", United States Patent 3,868,565, February 25, 1975. Polhemus patent on generating rotating fields to digitize position and angular position at same time (3-D tablet plus rotation, theta, phi, rho), six-dimensional electromagnetic digitizer (3,868,564 is a motor patent from the USSR)

[Kuklinski73] (*p) Kuklinski, T. "Goodness-Time Experiments", internal report, Cognitive Information Processing Group, Research Laboratory of Electronics, Massachusetts Institute of Technology, Cambridge, Massachusetts 02139, May 18, 1973. Cognitive experiments showing correlation between human rating of "goodness" of paired character shapes, and recognition time

[Kuklinski74] (*p) Kuklinski, T., draft manuscript "Plasticity Effects in the Perception of Hand-printed Characters", Massachusetts Institute of Technology, Cambridge, Massachusetts, February 20, 1974. Graphical context affects perception of characters, not just semantic context

[Kuklinski75] () Kuklinski, T., S.M. and E.E. Thesis "Plasticity Effects in the Perception of Hand-printed Characters", Massachusetts Institute of Technology, Cambridge, Massachusetts, 1975. Graphical context affects perception of characters, not just semantic context

[Labov72] () Labov, W. "The Boundaries of Words and Their Meanings", Conference on New Ways to Analyzing Variation in English, Washington, D.C., October 28, 1972. Variability/uncertainty a fundamental property of formal description Linguistics/perception/cognition as study of boundaries, not categories Justification of fundamental philosophy for our boundary-cognitive Analysis of functional attributes/features Feature analysis: not single property, but co-occurrence of large number of items

[LeeT75] () Lee, T.K-Y. "The Phenomenon of Line Addition in Character Recognition", S.B. Thesis, Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology, Cambridge, Massachusetts, May, 1975. Y-V discrimination: functional attributes Barry's and Shillman's group at Massachusetts Institute of Technology

[Lemelson75] (*) Lemelson, Jerome H. "Scanning System and Method", United States Patent 3,918,029, November 4, 1975 Opticial hand-held scanner using a single sensing element, straight-edge or other guides for moving the stylus across a page: compare to optical digitizers

[Lesk75] () Lesk, M.E. "Lex - A Lexical Analyzer Generator", Computing Science Technical Report No 39, 1975, Bell Laboratories, Murray Hill NJ 07974. UNIX documentation on LEX: regular-expression pattern matching

[Lesser75] () Lesser, Victor, Fennel, Richard, Erman, Lee and Reddy, Raj "Organization of the Hearsay II Speech Understanding System", IEEE Transactions on Acoustics, Speech and Signal Processing, Vol ASSP-23 No 1, pp 11-24, 1975. Purcell77

[Lin74] (*p) Lin, W.C. and Scully, T.L. "Computer Identification of Constrained Handprinted Characters with a High Recognition Rate", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-4, November 1974. [Locke71] (*) Locke, John L. and Locke, Virginia L. "Deaf Children's Phonetic, Visual, and https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

13/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Dactylic Coding in a Grapheme Recall Task", Journal of Experimental Psychology, 1971, Vol 89 No 1, pp 142-146 Study of human character recognition for handwritten letter pairs, comparing the effects of auditorially similar letters to visually similar letters in deaf children. Refers to phonetic coding in memory.

[MachineDesign72] . Machine Design "The Instant Draftsman", Machine Design magazine, April 6, 1972, pages 68-72 Cited in Fitzgerald76 patent, example of sketch recognition / sketch processing

[Malevard72] (*) Malevard, Lucien C.; Marty, Pierre "Graphic Data Transcription system", United States Patent 3,632,874, January 4, 1972 Resistive sheet/film digitizer, using a single sheet and a conductive stylus and wire. Mentions integration with a display by applying the measured voltage directly to the deflection plates of a CRT.

[Manis71] (*) Manis, Melvin "Context Effects in Communication -- Determinants of Verbal Output and Referential Decoding", in "Adaptation-Level Theory", New York: Academic Press, M.H. Appley, editor, 1971, pp 237-255. Theory for perceptual interpretation, subjective impression for context Kuklinski has margin notes on psycho-physical (perception), judgmental, and linguistic context Refers to other work on semantic (language) context Page 239 - relates to inadvertent bias in testing recognition results, since judgment affected by the rest of the characters the subject looks at (or writes) Page 240 - Kuklinski's margin notes on all the forms of context bias

[MartinWA71] (*) Martin, W.A. "Computer Input/Output of Mathematical Expressions", 2nd Symposium on Symbolic Algebraic Manipulation, A.C.M., March 23-25, 1971, Los Angeles, California, pp 78-ff. Cited in FoleyJD82: for user-interface for mathematical input, two-dimensional. Illustration shows use of character extents, spacing, size, position, for parsing two-dimensional hand-written mathematical formulae

[Meisel72] . Meisel, W.S. "Computer-Oriented Approaches to Pattern Recognition", Academic Press, New York/San Francisco/London, 1972.

Compares "abstract" issues of pattern recognition with heuristic/linguistic approach specific to problem area Feature selection by statistics "gives no insight into dependencies among features" Partial copy of paper on file Inter-set and intra-set feature distances an ill-defined concept "curse of dimensionality": how feature interact and overlap a hard problem Project features onto one dimension and you cannot tell how features inter-relate

[MillerLK72] (*p) Miller, Leon K. "Letter Recognition: Effects of interitem similarity and report requirements", Perception and Psychophysics, Vol 11 No 3, 1972, pp 252-256.

Human recognition/perception: human readers (non-Arabic, non-Hebrew, non-Chinese) perceive characters to the left of the fixation better than to the right

[MillerSW71] () Miller, S.W. "Display Requirements for Future Man-Machine Systems", IEEE Transactions on Electronic Display, Vol ED-18 No 9, September 1971, pp 616-ff. Cited in FoleyJD82

[MitchelRJ74a] (*) Mitchell, R.J. "Pressure Responsive Resistive Material", United States Patent 3,806,471, April 23, 1974 Pressure-sensitive conductive rubber: conductive particles in an elastomeric binder

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

14/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

[Moayer75] () Moayer, B. and Fu, K.S. "A syntactic approach to fingerprint pattern recognition", Pattern Recognition, Vol 7, 1975, pp 1-23. [MoodeyHC42a] (*) Moodey, Hannah C. "Telautograph System", United States Patent 2,269,599, January 13, 1942 Resistive film tablet: telautograph, using AC voltages and sensor stylus.

[Moriwaki75] (*) Moriwaki, Masahiro, Sakaguchi, Mitsuhito, and Mita, Yoshinari "Hologram Graphic Data Tablet Apparatus Using a Vernier", United States Patent 3,906,465, September 16, 1975 Nominally optical digitizing tablet using holograms printed in a glass surface:

[MossD75] (*) Moss, David "Character Recording System", United States Patent 3,903,502, September 2, 1975

Character recognition for simplified character set using endpoints/termini only, which had to touch one of six reference points/zones in a hexagonal pattern

[MuellerRE74a] (*) Mueller, Robert E. "Direct Television Drawing and Image Manipulating System", United States Patent 3,846,826, November 5, 1974 Optical drawing input (analog digitizer) using optical prisms that can respond to any touching object: rubber stamps, fingers, brushes: light affects flying-spot scanner for a "paint-pulse" input. Also shows piano-type keyboard for selecting visual effects.

[Nakata72] (*p) Nakata, K., Nakano, Y., and Uchikura, Y. "Recognition of Chinese Characters", Proc. of Conference on Machine Perception of Patterns and Pictures, pp.45-52 (1972) OCR by projecting in X and in Y direction for histogram

[Narasimhan71] () Narasimhan, R. and Reddy, V.S.N. "A Syntax-Aided Recognition Scheme for Handprinted English Letters", Pattern Recognition 3, pp 345-361, 1971. Goodale83

[Naylor71] () Naylor, W.C. "Some studies in the interactive design of character recognition systems", IEEE Transactions on Computing, Vol 20, September 1971, pp 1075-1086. Cited in Blatt88: 80.4% character recognition rate

[Negroponte73] () Negroponte, N. "Recent Advances in Sketch Recognition", NCC 1973, AFIPS Press, pp 663-675. Cited in FoleyJD82

[Negroponte75] () Negroponte, Nicholas "Sketching: A Computational Paradigm for Personalized Searching", Working Paper, Architecture Machine Group, Department of Architecture, Massachusetts Institute of Technology, Cambridge, Massachusetts, 1975. Purcell77 Indexing by handwritten ink user-interface (?)

[Nemirovsky71] () Nemirovsky, S.M., Sternberg, J., and Lieberman, G. "Signature Identification by Means of Pressure Patterns", United States Patent 3,618,019, November 2, 1971, assigned to Conversational Systems Corporation, New York, New York. [Neuhoff75] () Neuhoff, D.L. "The Viterbi algorithm as an aid in text recognition", IEEE Transactions on Information Theory, Vol IT-21, 1975, pp 222-226. Cited in Sinha88

[NewmanWM73a] (*) Newman, W.M. and Sproull, R.F. "The Ledeen Character Recognizer", in Principles of Interactive Computer Graphics, McGraw-Hill, New York, 1973, pp 575-582, Appendix VIII

The handwriting/gesture symbol recognition system used by Applicon CAD/CAM system: everyone

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

15/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

used to copy it. Trainable. Refers to training to recognize a full alphabetic character set, but with some neography required.

[NewmanWM73b] (*) Newman, W.M. and Sproull, R.F. "Principles of Interactive Computer Graphics, second edition", ISBN 0-07-046338-7, McGraw-Hill, New York, 1973, 1979.

Chapter eleven: cannot use mouse for tracing, compared with digitizing tablet. Mentions RAND tablet (electromagnetic), voltage-gradient (resistive tablet), Sylvania tablet (electrostatic/capacitive), acoustic tablet (SAC: see Science Accessories Corporation)

[Nishida72] (*) Nishida, Nobuo and Sakaguchi, Mitsuhito "Hologram Graphic Data Tablet", United States Patent 3,658,402, April 25, 1972 Digitizing tablet, nominally optical: holograms embedded at different positions on the tablet

[NollAM75a] (*) Noll, A. Michael "Tactile Man-Machine Communication System", United States Patent 3,919,691, November 11, 1975 Electromechanical 3-D rod (3DOF) with force feedback to simulate surfaces haptically.

[OkaM74?] (*p) Oka, Masatomo and Yasuhara, Makoto "Signature Verification Experiment Based on Nonlinear Time Alignment: A Feasibility Study", Research Manuscript, 1974 (date approximate), Nippon Electric Company, Tokyo Japan [Pavlidis74] () Pavlidis, Theo and Horowitz, S.L. "Segmentation of Plane Curves", IEEE Transactions on Computers, Vol C-23 No 8, 1974, pp 860-870. Best piece-wise fit of line segments to a polygon: split and merge segments to drive error below a threshhold Piece-wise line segment fit helps on feature extraction, data compaction, and noise filtering

[Pavlidis75] () Pavlidis, Theo, and Ali, F. "Computer Recognition of Hand-written Numerals by Polygonal Approximations", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-6, pp 610-614, 1975. Chain codes - cite this one so Pavlidis gets his licks in

[PerlmanR74a] (*) Perlman, Radia "TORTIS (Toddler's Own Recursive turtle Interpreter System)", Report LOGO-9, M.I.T. Artificial Intelligence Lab, March 1974.

Cited in Minsky84: Logo graphical turtle, with control interface with physical buttons for toddlers: buttons labeled with command and numbers, with a memory, so see whether toddlers (ages 4-6) would learn to program.

[Pobgee71] () Pobgee, P.J. and Parks, J.R. "Applications of a Low Cost Graphical Input Tablet", IFIP 1971, North-Holland, Amsterdam, pp ??, (TA-4-169) Cited in FoleyJD72

[Pobgee75] () Pobgee "Graphical Input Apparatus for Electrical Apparatus", United States Patent 3,885,097, May 20, 1975 Lukis87 on digitizer tablets 3D electromagnetic digitizer (do not work on metallic objects) 0.032" resolution

[Powers73] () Powers, V.Michael "Pen Direction Sequences in Character Recognition", Pattern Recognition, Vol 5. pp 291-302, March 1973. Describes character recognition based solely on chain codes / stroke direction

[Quarmby71] () Quarmby, David J. and Rastall, John "Experiments on Handwritten Numeral Classification", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-1 No 4, October 1971, pp 331-338. Edge-defining algorithms for OCR of handprinting/handwriting, maximum likelihood statistical classifier

[Ramer72] () Ramer, U. "An iterative procedure for the polygonal approximation of plane https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

16/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

curves", Computer Graphics Image Processing, Vol 1, November, 1972, pp 244-256. Burr81

[RebaneGJ74a] (*) Rebane, George J. and Grossman, Norman R. "Graphic Input Device", United States Patent 3,875,022, December 24, 1974 Rear-projection display on translucent acoustic touchscreen digitizer, receivers for sounds of tap/contact of stylus with the digitizer screen

[Riseman71a] () Riseman, E.M. and Ehrich, Roger W. "Experiments in the contextual recognition of cursive script", IEEE Transactions on Computers, Vol C-24, 1975, pp 182-194. Cited in Goshtasby88 Goshtasby88 cites for binary letter pairs (digrams) for spelling context, following by spelling dictionary look-up for what's left, compare with Viterbi algorithm or with trigrams

[Riseman71b] () Riseman, E.M. and Ehrich, Roger W. "Contextual word recognition using binary digrams", IEEE Transactions on Computers, Vol C-20, April 1971, pp 397-403. DosterW77 on a spelling dictionary: important point of diagram is only zero/non-zero value

[Riseman73a] () Riseman, E.M. and Ehrich, Roger W. "Contextual word recognition using binary digrams", IEEE Transactions on Computers, Vol C-20, April 1971, pp 397-403. Preliminary abstract of Fisher75

[Riseman73b] () Riseman, E.M., Hanson, A.R. and Fisher, E.G. "Feature Selection Using Thresholded Measures", Proceedings of 1973 International Conference on Cybernetics and Society, Boston, Massachusetts, November 5-7, 1973. [Riseman74] (*) Riseman, E.M., and Handson, A.R. "A contextual postprocessing system for error correction using binary N-grams", IEEE Transactions on Computers, Vol C-23, 1974, pp 480-493. DosterW77 on a spelling dictionary. File also contains list of numerous reference *to* Riseman for context information in handwriting and speech recognition.

Abstract only. [RogersJL75a] (*) Rogers, James L. and Tyrrell, Josph L. "Electrical Writing Pen and Sensor", United States Patent 3,886,311, May 27, 1975

Stylus design of capacitive/electrostatic grid digitizer, tablet is the transmitter. Cord on stylus.

[Rosenfeld71] () Rosenfeld, A. and Thurston, M. "Edge and curve detection for digital scene analysis", IEEE Transactions on Computers, Vol C-20, May 1971, pp 562-569. Cited in Teh89

[Rosenfeld72] () Rosenfeld, A., Thurston, M., and Lee, Y.H. "Edge and curve detection: further experiments", IEEE Transactions on Computers, Vol C-21, July 1872, pp 677-715. Cited in Teh89

[Rosenfeld73] () Rosenfeld, A. and Johnston, E. "Angle detection on digital curves", IEEE Transactions on Computers, Vol C-22, September 1973, pp 875-878. Cited in Teh89

[Rosenfeld75] () Rosenfeld, A. and Weszka, J.S. "An improved method of angle detection on digital curves", IEEE Transactions on Computers, Vol C-24, September 1975, pp 940-941. Cited in Teh89

[RosenfieldJM73] () Rosenfield, John M., Cranston, Fumiko E., and Cranston, Edwin A. "Japanese Language Calligraphy", in The Courtly Tradition in Japanese Art and Literature, Fogg Art Museum, Harvard University, 1973, pp 14-24. Background history of Chinese/Japanese Kanji, Katakana, hiragana: educated Japanese cannot recognize Kana scripts

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

17/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

[Sayre73] (*p) Sayre, Kenneth M. "Machine Recognition of Handwritten Words: A Project Report", Pattern Recognition 5, pp 213-228, 1973. 79% handwriting recognition on 84 cursive script words (OCR) Does cursive script recognition as part of handwriting recognition (OCR) Statistical recognition (digrams) can make recognition worse: "fo" more frequent than "fa" in English, so ambiguous "far" would always be recognized wrong as "for" 90% per character gives 81% per pair, 72% per triplet, etc.: fix with context Used handwriting data samples from Bell Telephone Labs (OCR) Cites very early work by Harmon, internal Bell Telephone Labs reports

[Schlang74] (*p) Schlang, Arthur "Electro-Optical Handwritten Character Reader", United States Patent 3,784,982, assigned to Isotec, Incorporated, Woodbury, New York, January 8, 1974.

Cited in Tappert88b: on segmentation combined with character recognition OCR scanner for handwritten characters: hardware to detect inflection points, endpoints, sub-stroke (horizontal and vertical segments) of strokes Describes two-level recognizer with (generic) first-level and detail-level feature analysis

[Shepard72] () Shepard, Roger N. "Psychological Representation of Speech Sounds", in "Human Communication: A Unified View", Edward E. David, Jr. and Peter B. Denes, editors, McGraw-Hill Book Company, 1972, pp 67-ff. Confusion data matrix on phoneme recognition/discrimination in speech recognition: degree of similarity, confusability, association, psychological "proximity": how to find out a distance metric for pattern recognition. proximity analysis, signal-to-noise ratio in pattern space, multi-dimensional scaling

[Shillman74a] () Shillman, R., Kuklinski, T.T., and Blesser, B.A. "Experimental Methodologies for Character Recognition Based on Phenomenological Attributes", Proceedings of the 2nd International Joint Conference on Pattern Recognition, Copenhagen, Denmark, August 13-15, 1974, pp 195-201. [Shillman74b] (*p) Shillman, R., Cox, C., Kuklinski, T., Ventura, J., Eden, M., and Blesser, B. "A Bibliography in Character Recognition: Techniques for Describing Characters", Visible Language, Vol VIII No 2, Spring 1974, pp 151-166. General references on character recognition, especially cognitive psychology aspects Includes references on insight through study of character formation / generative variability Includes references on psychological descriptions of characters

[Shillman74c] () Shillman, R.J. "Seeing is Deceiving: The Perceived Shortening of Thick Lines", unpublished manuscript, Cognitive Information Processing Group, Research Laboratory of Electronics, Massachusetts Institute of Technology, Cambridge, Massachusetts 02139, 1974. [Shillman74] () Shillman, R. "Character Recognition Based on Phenomenological Attributes: Theory and Methods", PhD Thesis, Massachusetts Institute of Technology, Department of Electrical Engineering, 1974. Lists features that are not perceptually significant Shillman's Thesis: also published as Blesser73

[Simon72] () Simon, J.C., Checroun, A. and Roch, C. "A Method of Comparing Two Patterns Independent of Possible Transformations and Small Distortions", Pattern Recognition, Vol 4, 1972, pp 73-81. Cited in Baird84: for template matching in feature space using minimum distance?

[Siy74] (*p) Siy, Pep, and Chen, C.S "Fuzzy Logic for Handwritten Numeral Character https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

18/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Recognition", IEEE Trans. on Systems, Man, and Cybernetics, November 1974, pp 570..575 Trainable system using subsets of curved line segments as the 'branch feature set'

[SmithEE74] (*p) Smith, E.E. and Spoehr, K.T. "The Perception of Printed English: a Theoretical Perspective", in "Human Information Processing", B.H. Kantowitz, editor, Lawrence Hillbaum Associates, Hillsdale NJ 1974, pp 231-275.

Template matching vs feature analysis is a continuum, not disjoint Cites several papers on low-level feature extraction in human perception Argument against dynamic matching: "theoretical and empirical reasons for feature extraction" Cites different recognition mechanism for handwritten and printed characters Cites no real consensus on actual features humans use in recognizing letters (which is why functional attribute tests tell you what features)

[Spanjersberg74] () Spanjersberg, A.A. "Combinations of different systems for the recognition of Handwritten digits", Proceedings of the Second International Joint Conference on Pattern Recognition, August, 1974, pp 208-209. Cited in Blatt88: 97.8% character recognition rate

[StruvenWC73a] (*) Struven, W.C. "Experience with Touch Panel Control at SLAC", SLAC technical report SLAC-PUB-1191 (A), March 1973

512x512 cross-wire (capacitive?) touch panel digitizer on CRT display, menu buttons arranged 10 x 13. Refers to "panel" as term for heirarchy of menus

[Suen75] () Suen, C.Y. "Handwriting Education - A Bibliography of Contemporary Publications", Visible Language, Vol IX No 2, Spring 1975, pp 145-158. Refers to unpublished treatise on handwriting style variations in North America

[Suenaga78] (*x) Suenaga, Yasuhito "Automatic text editting using handwritten mark recognition", Proceedings of the 9th Conference on Image Science and Engineering, No 3-1, pp 63-66, Dec. 1978 (in japanese) Cited in Suenaga83

[Sutherland73] () Sutherland, I.E. "Three-dimensional Data Input by Tablet", Proceedings of the IEEE, Vol 62 No 4, April 1974, pp 453-461. Cited in FoleyJD82

[SutherlandNS73] (*p) Sutherland, N.S. "Object Recognition", Chapter 8 of "Handbook of Perception" Carterette and Firedman, ed., Academic Press, New York and London, 1983 [Szanser72] () Szanser, A.J. "Elastic matching in automatic pattern recognition", in Machine Perception of Patterns and Pictures, Teddington, April 12-14, 1972, pp 328-333. DosterW77 on spelling dictionary

[Terai75] (*p) Terai, Hidekazu and Nakata, Kazuo "Text Editing System using On-Line RealTime Handwriting Character Recognition", Central Research Laboratory of Hitachi Ltd, Sept, 1975, Monograph, originally published as full paper for Journal of Information Procesing Society of Japan, Vol 15 No 6, June 1974 proof-reading symbol recognition, writing directly over the strokes of a character on a tablet character recognition input in a special area of the tablet Cited in Sklarew99 prior art

[Thompson75] () Thompson, K. and Ritchie, D.M. "UNIX Programmer's Manual -- Sixth Edition", Bell Laboratories, Murray Hill, New Jersey, 1975. General UNIX reference

[Tou72] () Tou, Y.T. and Gonzales, G.C. "Recognition of Handwritten Characters by Topological Feature Extraction and Mulilevel Categorization", IEEE Transactions on Computers, Vol 21, pp 776-785, July 1972. https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

19/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Goodale83

[TownsendJT71] () Townsend, J.T. "Theoretical analysis of an alphabetic confusion matrix", Perception and Psychophysics, Vol 9, 1971, pp 40-50. Cited in IchikawaS84

[Turner72] (*) Turner, John A. "Electrical Probe-position Responsive Apparatus and Method", United States Patent 3,699,439, October 17, 1972, assigned to Automatic Radio Manufacturing, Inc. Melrose MA Resistive-film digitizer, ratiometric measurement, mounted on front of CRT display

[Uncapher71] (*) Uncapher, K.W. "The RAND Video Graphic System - An Approach to a General User-Computer Graphic Communication System", RAND Corporation Research Report R-0753-ARPA, April 1971. Presented to AGARD Avionics Panel Technical Symposium on Data Handling Devices, Istanbul, Turkey Jun 1-4, 1970

Copy on file has best image of RAND tablet and display hardware: shows photographic image and electronic text/ink displayed on same surface Multiple users on one graphics system: 32 consoles, each with up to 8 different input devices. Mentions development of all-digital video. Compare with later Schumer patent.

[Ullman74] () Ullman, J.R. "A use of continuity in character recognition", IEEE Transactions on Systems, Man, and Cybernetics, 1974, pp 294-300. Cited in Goshtasby88 Goshtasby88 cites on using edge directions for recognizing hand-printed character if the continuity information between characters is utilized (stroke hooks and continuation marks?)

[VanDam71] (*) Van Dam, Andries and Rice, David E. "On-line Text Editing; A Survey", Computing Surveys, Vol 3 No 3, September 1971, pp 93-ff.

Describes a tablet-based text editor from Canergie-Mellon University (Coleman69), using symbols/gestures on a RAND tablet: decision tree to recognize symbols. Ease of correction makes requirement for perfect recognition be less. Cost of computers made handwriting recognition not cost-effective in 1971.

[Waltz72] () Waltz, D.L. "Generating Semantic Descriptions from Drawings of Scenes with Shadows", Ph.D. Thesis, Massachusetts Institute of Technology, Department of Electrical Engineering, 1972. Analysis of line-drawing images using combinatorial algorithms

[WardJR74a] (*) Ward, Jean Renard "Computer-driven Tutorials on German word-Order Using The TICS Computer Sub-System", SB Thesis, Course VI, M.I.T, May, 1974

Tutorial system for German grammer doing automatic grammatical analysis according to the twoprong word-order grammer of Lohnes and Strothmanm.

[WeaverAC74] (*) Weaver, Alfred C. "On-Line Character Recognition", Department of Computer Science, University of Illinois at Urbana-Champaign, Report No UIUCDCS-R-74660, August, 1974.

Thesis (?) on proposed low-cost handwriting recognition product? Voltage-gradient (resistive sheet) tablet. Lists stroke directions for on-line characters

[WeinbergG71] (*) Wein berg, Gerald M. "The Psychology of Computer Programming", Littleton Educational Publishing, 1971

Essays on the role of personality and real-world-practice versus methodology-theory in software development. Anniversary edition 25 years later compared state of progress with that of 1971 publication.

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

20/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

[WhetstoneA71] (*) Whetsone, Albert; Fine, Samuel; Bank, William; and Trumbull, Stanely Phillips "Spark Pen", United States Patent 3,626,483, December 7, 1971 SAC Science Accessories Corporation acoustic stylus for sonic digitizer: generated shock energy sound wave by spark.

[WhetstoneA75] (*p) Whetsone, A. and Domyan, S. "Recognize hand-printed characters with a simple algorithm", Electronic Design, February 1, 1975. Summagraphics original design of tablet for character recognition, zone based, numerics of singlestrokes and double-strokes

[WhetstoneA75b] (*) Whetsone, Albert L. and Brenner, Alfred E. "Position Determination Devices", United States Patent 3,904,821, September 9, 1975 Summagraphics magnetostrictive tablet, using sheet of magnetostrictive material

[Widrow73] () Widrow, B. "The rubber mask technique, Parts I and II", Pattern Recognition, Volume 5, 1973, pp 175-211. Burr81 cites for elastic matching on handwriting (?) recognition

[Wikipedia64] (*) www.wikipedia.org "PLATO (computer system)", www.wikipedia.org, fetched 3/22/2010

PLATO (Programmed Logic for Automated Teaching Operations), early educational computer system with custom terminal in 1964: bitmapped plasma graphics display and 16x16 low-resolution infrared touchscreen/touchpad input 1964. Project later did not involve custom hardware.

[WilliamsTG71] (*) Williams, Thomas G. "An On-Line System for Hand-Printed Input: Final Report for Phase IV", NASA Contractor Report CR-126036, Washington, D.C., August 1971, prepared by System Development Corporation User writes in two dimensions, compiler translates to linear form (shown at top of display) an evaluates. Characters are translated into recognized characters in two-dimensional form for editing in real time. Uses bounding rectangles in parsing. Gesture recognition described, handwriting recognition is in a separate publication. "Scrub mode" is a scratch-out gesture. Arrow gesture indicates move/edit. Horizontal line gesture for "open space/move" editing operation. Double horizontal line for close up. Dot (tap) plus second line to move a character. Two perpendicular stroke gesture for select/move group.

[WilliamsTG72a] (*) Williams, Thomas G. "An On-Line two-dimensional computation system", Proc AFIPS '72, proc. of FJCC, pp. 499-506

The Assistant Mathematician (TAM), two-dimensional hand-printed mathematical input for computer programming: visual programming language VPL. Transparent/translucent digitizer tablet with rear-projected CRT display. Mathematic expression is displayed as recognized by system for confirmation by user in semantic context: semantic ambiguity of mathematical language (e.g. "i" as SQRT(-1), variable, or number). Scrubbing (rubout) gesture, editing of electronic ink.

[Winston72] () Winston, P.H. "The Massachusetts Institute of Technology Robot", in "Machine Intelligence 7", edited by B. Meltzer and D. Michie, pp 431-463, Edinburgh University Press, Edinburgh, Scotland, 1982. [Woods73] (*p) Woods, Donald R. and Lyon, James M. "The INTERCAL Programming Language Reference Manual", privately published technical report, 1973 The world's most bizarre, yet clearly defined, programming language (Geek humor)

[Xebec74] () Xebec Systems, Incorporated "Pattern recognition allows use of handwritten characters in data-entry system", IEEE Spectrum, new product section, Alphabec-70 handwriting recognizer, 566 Xavier Avenue, Sunnyvale, California 94086, October 1974, p 98. https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

21/22

10.2.2015

(1970..1975) History of Pen and Gesture Computing

Product announcement on SRI/Xebec handwriting character recognition using accelerometer pen stylus

[YamamotoS74] (*p) Yamamoto, Shinji and Nakata, Kazuo "Pattern Recognizing System", United States Patent 3,829,831, August 13, 1974, assigned to Hitachi Limited. Cited in Wang,PSP85 32x32 and 8x8 pixel bit-map character recognizer for OCR of Chinese

[Yasuhara75] () Yasuhara, M. "Experimental Studies of Handwriting Process", Report of the Research Laboratory of Communication Science, University of Electro-Communications, Japan, Vol 25-2, (Science and Technology section), pp 233-254, March 1975. Mathematical model for pen dynamics in script, but not print or stroke connection

[Yhap75] () Yhap, E.F. "Keyboard Method for Composing Chinese Characters", IBM Journal of Research and Development, Vol 19 No 1, May 1975, pp 60-70. [Zadeh73] () Zadeh, L.A. "Outline of a new approach to analysis of complex systems and decision processes", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-3, pp 24-44, 1973. Biswas81 cites on fuzzy sets for recognition

[Zadeh75a] () Zadeh, L.A., Fu, K.S., Tanaka, K., and Shimura, M. "Fuzzy Sets and Their Application to Cognitive and Decision Process", London: Academic Press, 1975. Biswas81 cites on fuzzy sets for recognition

[Zadeh75b] () Zadeh, L.A. "The concept of a linguistic variable and its application to approximate reasoning -- I", Information Science, Vol 8 pp 199-249, 1975. Tanaka82 on fuzzy sets

[Zahn74] () Zahn, C. "An Algorithm for Noisy Template Matching", Proceedings of IFIP 74, 1974, pp 727-732. Cited in Baird84

[ZimmermanR72] (*) Zimmermann, R. "Dynamic description of character drawing and its use for on-line recognition of handwritten characters", (Dynamische Beschreibung von Zeichenschreibweise und ihre Ausnutzung zur Erkennung von Handschrifzeichen) (in German), Nachrichtentechnische Zeitschrift, Vol 20 No 12, December 1972, pp 542-544 zone and chain-code recognition based on Doctoral thesis, T.U. Aachen 1972 describes use of direction information in recognition, light pen on display

       Main Reference Page       

https://web.archive.org/web/20130502035916/http://rwservices.no-ip.info:81/pens/biblio75.html

22/22

10.2.2015

(1976..1980) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio80.html

Go

13 captures

FEB MAI SEP

3

2012 2013 2014

7 Jan 07 - 29 Sep 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1976 to 1980. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Thu May 2 12:52:09 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio80.html http://216.15.114.196:81/pens/biblio80.html http://rwservices.no-ip.info:81/pens/biblio80.html (Generally most up-to-date)

       Main Reference Page        [Agui79a] (*p) Agui, Takeshi and Nagahashi, Hiroshi "A Description Method of Handprinted Chinese Characters", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-1 No 1, January 1979 Chinese handwriting recognition: features are concatenate, crossing, near, relative location among partial patterns.

[Agui79b] (*p) Agui, Takeshi and Nagahashi, Hiroshi "A Coding Method of Chinese Characters", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-1 No 4, October, 1979

Chain codes, production rules, block codes, to encode Chinese characters as chain-code strings for comparison

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

1/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

[Aho77] . Aho, A.V. and Ullman, J.D. "Principles of Compiler Design", Addison-Wesley, Reading, Massachusetts 1977 Compiler/programming language design

[Aldefeld80] (*A) Aldefeld, B., Levinson, S.E., and Szymanski "A minimum-distance search technique and its application to automatic directory assistance", Bell Systems Technical Journal, Vol 59 No 8, pp 1343-1356, October 1980 Cited in Kahan87: : best method of organizing spelling dictionary for context in character recognition (actual paper uses spoken spelled speech recognition of letters) Context raises 80% on letters to 98.6% on names, 71% to 97.2% on 18000 name entries

[Ali77] . Ali, F. and Pavlidis, T. "Syntactic recognition of handwritten numerals", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-7, 1977, pp 537-541 [Anderson76] (*A) Anderson, Robert H. "Intelligent Terminals: A Potential Solution to Complexity in User-Network Interfaces", Proceedings of ASIS Annual Meeting, San Francisco, California, October 4-9, 1976 NTIS citation index

[Apsey78] (*p) Apsey, R. "Human Factors of Constrained Hand-print for OCR", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-8 No 4, pp 292-296, April 1978 Constraints on handwriting using various "pre-printing" guides: dots, boxes, shapes, lines

[Arakawa78] (*p) Arakawa, K., Odata, K., and Masuda, T. "On-line recognition of handwritten characters -- Alphanumeric, hiragana, katakana, kanji", Proc. 4th IJCPR, Kyoto, Japan, November 7-10, 1978, pp 810-812. Published later as (Arakawa82) [Arazi78] (*p) Arazi, B. "Handwriting Identification by Means of Run-Length Measurements", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-7 No 12, pp 878-ff, December 1977 off-line signature verification, study of vertical-line vs. horizontal-line run-length to do signature verification

[Armstrong79] (*p) Armstrong, William W. and Gecsei, Jan "Adaptation Algorithms for Binary Tree Networks", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-9 No 5, May 1979, pp 276-ff adaptive tree networks, heuristic responsibility, with specialized sub-trees

[Azure77] (*) Azure, Leo L. "Electronic Notebook for Use In Data Gathering, Formatting, and Transmitting System", United States Patent 4,016,542, assigned to Azurdata, Inc., Richland, WA, April 5, 1977 Portable hand-held data-entry device, with radio link to a central computer. Uses a simple keyboard, does not refer to hand-written input

[Babcock77] (*p) Babcock, R.T. "Simulation Method of Feature Selection for Unconstrained Hand-printed Characters", M.S. Thesis, Department of Electrical Engineering and Computer Science, June 1977, Massachusetts Institute of Technology, Cambridge, Massachusetts 2-Z recognition: Blesser's and Shillman's group at Massachusetts Institute of Technology

[Badler79] (*) Badler, Norman I. and Smoliar, Stephen, W. "Digital Representations of Human Movement", Computing Surveys, Vol 11 No 1, March 1979

Translation of Labanotation dance notation to computer graphics of human movement: dance gestures

[BakerJ80] (*p) Baker, Janet MacIver, Dialog Systems Inc. "Brief Status Summary for Automatic Speech Recognition at the start of the 80's", SAE Technical Paper Series 800195, Soc. of Automotive Engineers, 400 Commonwealth Drive, Warrendale, Pennsylvania 15096 https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

2/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

[Baecker76] (*) Baecker, Ronald "A conversational extensible system for the animation of shaded images", Proc. of 3rd Annual Conference on Computer Graphics and Interactive Techniques, Philadepha, PA, pp 32-39.

Pen/lightpen system for interactive animation. Images, and their motion, sketched by user free-hand. Citation to Alan Kay presentation at 1972 ACM conference

[Baecker79a] (*p) Baecker, Ronald, Buxton, William, and Reeves, William "Towards Facilitating Graphical Interaction: Some Examples from Computer-Aided Musical Composition", Proc. of 6th Man-computer Communications Conference, Ottawa CA, May 2930, 1979 Musical notation recognition on digitizer

[Baecker79b] (*p) Baecker, Ronald "Digital Video Display System and Dynamic Graphics", Computer Graphics, Vol 13 No 2, August 1979 [Baecker80a] (*) Baecker, R. "Towards an Effective Characterization of Graphical Interaction", in Methodology of Interaction, Guedj et al, editors, North-Holland Publishing Company, 1980, pp 127-ff

User-interface: best user interface is device dependent, not device independent. Broad list of abstract qualities (type of feedback, etc.) of good user interfaces. Gesture-recognition for musical scores input.

[Baecker80b] (*p) Baecker, Ronald "Human-computer interactive systems: A State-of-the-art review", in Processing of Visible Language 2, Kolers, Paul A., Wrolstad, Merald E., and Bouma, Herman, editors, Plenum Press, New York and London, 1980, pp 423-443 User-interface review: trainable handwriting character recognizers: recognizer must be accurate and rapid Gesture-recognition for musical scores input

[Barnard76] (*p) Barnard, P. and Wright, P. "The Effects of Spaced Character Formats on the Production and Legibility of Handwritten Names", Ergonomics, Vol 19 No 1, Jan 1976, pp 81-92 (re box-less) wider character spacing makes stuff less readable Boxed input should match normal writing size (handwriting constraints)

[Barrow77] . Barrow, H.G., Tenenbaum, J.M., Bolles, R.C., and Wolf, H.C. "Parametric correspondence and chamfer matching: Two new techniques for image processing", Proceedings of 5th International Joint Conference on Artificial Intelligence, August 1977, pp 659-663 Burr81

[Bartram78] . Bartram, D.J. "Post-iconic visual storage: Chunking in the reproduction of briefly displayed visual patterns", Cognitive Psychology, Vol 10, 1978, pp 324-355 Cited in IchikawaS84 Is this where Buxton got his "chunking" ideas?

[BeckerP77] (*A) Becker, Peter W. "Recognition of Patterns Using the Frequiencies of Occurrence of Binary Words", Springer Verlag, Wien and New York, second revised edition first edition 1968, previously doctoral thesis

[Bernstein76] . Bernstein, M.I. "Interactive Systems Research: Interim Report to the Director, Advanced Research Projects Agency, for the Period 16 September 1975 to 15 March", 1976, System Development Corporation, Santa Monica, California, Report No SDC-TM5243/005/00, 15 April 1976 NTIS citation index

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

3/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Speech understanding/recognition system

[Berson77] . Berson, Tom "Dynamic Handwriting Recognition by Computer", Ph.D. Thesis, University of London, 1977 [Berthod79] (*p) Berthod, M. and Maroy, J.P. "Learning in Syntactic Recognition of Symbols Drawn on a Graphic Tablet", Computer Graphics and Image Processing, Vol 9, 1979, pp 166182 The main problem in handwriting recognition is wide range of variability Big practical problem of on-line character recognition (vs OCR) is large deformations in handwriting Statistical approaches: complex classifying scheme and meaningless features Problem of statistical recognition is features do not correspond to any visual entity Says on-line recognition should allow added new symbols (writable icons for commands) (?) Character recognition needs techniques adapted to characters, not perception of drawings in general Character recognition should use human-meaningful concepts "chain codes" of straight line, plus/minus curve, pen-lift, cusp Two-level chain code, decision tree like our BLRTs, nodes (but adaptive?) Gives a grammar of permissible sequences for a sort of chain code

[Berthod80] . Berthod, M. and Ahyan, S. "On line cursive script recognition: A structural approach with learning", Proceedings of the 5th International Conference on Pattern Recognition, Miami Beach, Florida, December, 1980, pp 723-725

Cited in Bozonivic89 Bozinovic89 cites this as doing adaptive/training handwriting recognition, but with syntax of letter formation and writing dynamics for strokes

[Bezdek77] . Bezdek, J.C. and Castelaz, P. "Prototype classification and feature selection with fuzzy sets", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-7 No 2, 1977, pp 87-92 Biswas81

[Bjorklund77] . Bjorklund, C.M. "Syntactic analysis and description of stroke-based shapes", Proceedings of IEEE Pattern Recognition and Image Processing Conference, Troy, New York, June 6-8, 1977, pp 198-202 [Blesser76] (*p) Blesser, B., Kuklinski, T.T., and Shillman, R.J. "Empirical Tests for Feature Selection Based on a Psychological Theory of Character Recognition", Pattern Recognition, Vol 8, pp 77-85, 1976 How we pick functional attributes

[Boldridge77] . Boldridge, A.G. and Freund, R.W. "Personal Identification Apparatus", United States Patent 4,035,768, assigned to Veripen Incorporated, New York, New York, July 12, 1977 Signature verification using pressure (actually, tip force)

[Bolt80] (*) Bolt, R.A. "'Put-That-There': Voice and Gesture at the Graphics Interface", SIGGRAPH '80 Proceedings, published as Computer Graphics, Vol 14 No 3, July 1980, pp 262-270 User interface combining pointing, hand gestures, and voice recognition

[Borning79] (*) Borning, Alan "ThingLab -- A Constraint-Oriented Simulation Laboratory", Ph.D. thesis, CS Dept., Stanford University, published as SSL-79-3 July 1979 editing of graphical drawings/electronic ink, no gesture recognition

[Bouchard80] . Bouchard, D.C. and Toussaint, G.T. "Heuristic search methods for efficient use of dictionary information in text recognition", School of Computer Science, McGill https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

4/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

University, Technical Report SOCS 80.5, May, 1980 Hull,JJ83

[Brayton79] (*) Brayton, Robert K. "Character Recognition System and Method Multi-Bit Curve Vector Processing", United States Patent 4,177,448, assigned to IBM Corp, Armonk, New York, December 4, 1979 Setting up character recognition based on large character training set Shapes are canonicalized to standardized/normalized pieces of curves/segments

[Bresenham77] (*p) Bresenham, J.E. "A Linear Algorithm for Incremental Digital Display of Circular Arcs", Communications of the A.C.M., Vol 20 No 2, February 1977, pp 100-106 Circle-drawing algorithm on bit-mapped displays: cites algorithms for other curves

[Bridle79] . Bridle, J.S. and Brown, M.D. "Connected word recognition using whole word templates", Proceedings of the Institute for Acoustics, 1979, pp 25-28 Cited in Kruskal83

[Briem79] (*p) Briem, G.S.E. "Wanted: Handwriting That Fits Modern Pens", Visible Language, Vol XIII No 1, 1979, pp 50-62 Background on handwriting variability effects from stylus design

[BrownMK80a] . Brown, M.K and Rabiner, Lawrence R. "An Adaptive, ordered, graph search technique for dynamic time warping for isolated word recognition", IEEE Transactions on Acoustics, Speech and Signal Processing, Vol 30, 1982, pp 535-544 Cited in Schomaker86

[BrownMK80] (*p) Brown, M.K. and Ganapathy, S. "Cursive Script Recognition", 5th International Conference on Character Recognition, 1980, pp 47-51 Has a data-base intentionally with lots of variability

[Burke76] (*p) Burke, Barbara "Reading Writing", M.I.T. Reports on Research, Vol 4 No 3, November 1976 Report on work of Shillman, Blesser, and Kuklinski

[Burr79] . Burr, D.J. "A technique for comparing curves", Proceedings of the IEEE Conference on Pattern Recognition and Image Processing, Chicago, 1979, IEEE New York, pp 271-277 Cited in Kruskal83

[Buxton79] (*) Buxton, William; Sniderman, Richard; Reeves, William; Patel, S.; and Baecker, Ronald "The evolution of the SSP score editing tools", Computer Music Journal, Vol 3, 1979, pp 14-25 Reprinted in "Foundations of Computer Music", MIT Press, Cambridge MA 1985, pp 376-402 music-editing notation, single/uni-stroke handwriting character recognition Shows other GUIs for music input and editing other than recognition Cited in Wolf87a

[Canada78] . CSA "Numeric Character Set for Hand-printing", Canadian Standards Association, Standard Z243.34.1-M1978, February 1978 Canadian equivalent of ANSI74 hand-print standard to constrain handwriting for OCR

[Calvert80] (*) Calvert, T.W., Chapman, J., and Patla, A "The Integration of Subjective and Objective Data in the Animation of Human Movement", Conference Proceedings: ACM 089791-021-4/80/0700-0198 Labanotation: dance gestures

[Carau78] (*) Carau, F.P. "Easy-to-use, High-Resolution Digitizer Increases Operator Efficiency", Hewlett-Packard Journal, December 1978, pp 2-13 https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

5/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Electrostatic Digitizer measuring X and Y sequentially in time causes line to bow due to velocityrelated errors. Gives first-order correction. Numerous descriptions of other digitizer position errors, such as non-orthogonal axes, and how to correct for them.

[Carvey76] . Carvey, P.C. "Electrographic System", United States Patent 3,975,592, assigned to Applicon, Incorporated, Burlington, Massachusetts, August 17, 1976 Digitizer using coarse, then fine scanning

[Cederberg78] . Cederberg, R.L.T. "An iterative algorithm for angle detection on digital curves", Proceedings of 4th International Joint Conference on Pattern Recognition, Kyoto, Japan, Movember 7-10, 1978, pp 576-578 [ChangP76] (*p) Chang, P. "Efficient Keyboard Layouts for Inputting Chinese Characters", B.S. Thesis, Department of Electrical Engineering, Massachusetts Institute of Technology, Cambridge, Massachusetts May 1976

Cited in Crane77b 117 confusions/ambiguous character in 10000 defined Chinese/Kanji even if every basic stroke has a unique keyboard stroke

[ChangS77] (*p) Chang, S. and Nagy, G. "Deposit-Slip-First Check Reading", IEEE Transactions on Systems, Man, and Cybernetics, January 1977, pp 64-68 Operations in OCR: bank can control deposit slip format, but not checks

[Chao77] (*p) Chao, Yao-ming "Recognition of handwriting Chinese Characters", 6.362 Student Paper, M.I.T., Fall 1977 direction codes / chain-codes, Chinese characters

[Chen77] (*p) Chen, C.H. "Statistical Pattern Recognition - Review and Outlook", Systems, Man, and Cybernetics Review, Vol 6 No 4, August, 1977, pp 7-8

Feature extraction remains key problem in pattern recognition: features must be based on problem at hand Context aids statistical pattern recognition

[Chinnuswamy80] . Chinnuswamy, P. "Recognition of handprinted Tamil characters", Pattern Recognition, Vol 12, 1980, pp 141-152 Loy82 on Indian handwriting script (Tamil)

[Coffin78] . Coffin, S. "Spatial frequency analysis of block letters does not predict experimental confusions", Perception and Psychophysics, Vol 23 No 1, 1978, pp 69-74 Human recognition of letters uses features, not mathematics: Fourier spatial frequency Refers to edge and line detection/recognition in human vision, then Position as something different from low-level features Criticizes studies of human recognition that had visual distraction

[Computerwoche77] (*) Computerwoche "Online-DE mit dem Bleistift: Datenerfassung als Nebensache", Computerwoche 21/1977, May 20, 1977

Quest Automation Datapad "Datapad puts your pencil Online to a computer". Dorset U.K. Handwriting recognition input on a paper form, 32-character LED display, uses Nova 16-bit minicomputer as controller. Statement is that data entry is done just on the side automatically while person is filling out regular paper form.

[Computerwoche80] (*) Computerwoche "Quest Automation Ltd.: Handschriftleser fuer Direkterfassung", Computerwoche 16/1980, April 18, 1980

Quest Automation Datapad/Micropad, newer version of Datapad: 40-character display. Says less than one hour training required. Reference to booth at CeBIT exposition.

[Cooper76] (*) Cooper, Leon N., and Elbaum, Charles "Information Processing System", United States Patent 3,950,733, assigned to Nestor Associates, New York, New York, April https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

6/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

13, 1976

Nestor patent: neural net, adaptive memory

[Cooper77] . Cooper, Leon N., and Elbaum, Charles "Information Processing System", United States Patent 4,044,243, August 23, 1977, assigned to Nestor Associates, Stonington, Connecticut Nestor Graphics patent

[Cox76] . Cox, C.H. III and Coueignoux, P. "Concise Letter/Type Font Description: Theory and Computer Implementation", Internal report, Massachusetts Institute of Technology Industrial Liaison Program, Department of Electrical Engineering and Computer Science, November 20, 1976 OCR variability based on thinned "skeletons", generatively similar to chain-codes Rules for line thinning, seraphs for typed characters

[Cox78] . Cox, C., Blesser, B. and Eden, M. "Graphical Context of Printed Characters", Visible Language, Vol XII No 4, Autumn 1978, pp 428-447 Generative variability: points out existence of "rules" for how to write, even if not conscious

[Crane77a] . Crane, H.D., and Savoie, R.E. "An On-Line Data Entry System for HandPrinted Characters", IEEE Computer, pp 43-50, March 1977 Uses ULDR chain codes, similar to BLRT chain codes: accelerometer pen?

[Crane77b] . Crane, H.D., Ostrem, J.S., Wolf, D.E., and Wang, T.N.C. "A Technique for the Input of Handprinted Chinese Characters Based on Sequential Stroke Recognition", Proceedings of International Computer Symposium 1977, Taipei, Republic of China, Vol 1, pp 246-261 Describe drag force, not acceleration, of SRI pen Kanji Chinese has Gaussian distribution of number of strokes, with 11 average 881 characters in basic Kanji defined by Japanese ministry of education Problem focuses on confusions, since did not have a large enough data base to get valid statistical results on recognition accuracy

[Crane77c] . Crane, H.D, Wolf, D.E., and Ostrem, J.S. "The SRI pen system for automatic signature verification", Symposium Proceedings NBS Trends and Applications 1977, Gaithersburg, May 1977, pp 32-39 Liu,CN79 Obscured tip on SRI pen SRI dynamic pen design: see Crane75.

[Crane79a] . Crane, H.D. and Wolf, D.E. "Dynamic Re-creation of Signatures", United States Patent 4,156,911, assigned to Stanford Research Institute, Menlo Park, California, May 29, 1979 Signature verification by human eyeball: patent on compressing signature to minimum data without losing detail Use of local extrema/chain codes to store written signatures with minimum memory

[Crane79b] . Crane, H.D. and Wolf, D.E. "Handwritten signature verification system", United States Patent 4,086,567, April 25, 1978, assigned to Stanford Research Institute, Menlo Park, California Signature verification by looking for landmarks (pen lifts) Hew Crane: compressed-data method of storing signatures for human reading

[Crane80] . Crane, H.D. and Wolf, D.E. "Signal Train Verification System Using Landmarks", United States Patent 4,190,820, February 26, 1980, assigned to Stanford Research Institute, Menlo Park, California https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

7/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Elastic/rubbery matching of signature to segment into sections to be streatched or contracted for template matching Landmarks in signatures which are invariant features

[Crawshaw77] . Crawshaw, Martin, and Ottaway, Mary "A Contact-Pencil for Research on Writing", Quarterly Journal of Experimental Psychology, Vol 29, 1977 pp 345-346 Stylus using graphite/pencil lead to sense pen down/up.

[Dasarathy78] . Dasarathy, B.V. and Kumar, K.P.B "Chitra: cognitive handprinted inputtrained recursively analyzing system for recognition of alphanumeric characters", International Journal of Computing and Information Science, Vol 7, 1978, pp 253-282 Li89

[DavisLS76] . Davis, Larry S. and Rosenfeld, A. "Applications of relaxation labeling: Springloaded template matching", Proceedings of 3rd International Joint Conference on Pattern Recognition, 1976, pp 591-597 Davis,LS77

[DavisLS77] . Davis, Larry S. "Understanding shape: Angles and sizes", IEEE Transactions on Computers, Vol C-26, March 1977, pp 236-242 Cited in Teh89

[DavisLS79] . Davis, Larry S. "Shape Matching using Relaxation Techniques", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-1 No 1, January 1979, pp 60-72

Relaxation process for matching shapes (coastlines) by figures of merits on pairs of angles (segment matching) Cited in Baird84: on template matching in feature space using minimum distance

[DavisRL77a] (*) Davis, Robert L and Howells, Joseph A. "Position Determining Apparatus and Transducer Therefore", United States Patent 4,012,588, March 15, 1977 Acoustic digitizer using multiple pick-up "sonar" microphones from sound transducer on stylus: SAC Science Accessories Corporation

[DIN77] . Deutsches Institut fuer Normung e.V. "Schrift B fuer die maschinelle optische Zeichenerkennung", DIN 66 009, September, 1977 German standard for OCR readable handwritten characters, similar to ANSI standard, but lists several as "not intended for OCR" (too hard to recognize?)

[Donahey76] (*) Donahey, Alvin V. "Character Recognition System and Method", United States Patent 3,996,557, December 7, 1976, assigned to MI-squared Corporation, Columbus, Ohio On-line character recognition using vertical conductive bar zones/region Says does script, but only for separate/discrete characters

[Donelson78] (*) Donelson, William C. "Spatial Management of Information", ACM Siggraph Conference, 1978, pp 203-209.

Gesture (hand-gesture?) user interface for viewing data. Summagraphics magnetostrictive digitizer tablet with stylus for writing annotation (electronic ink?), Joypad touchscreen (resistive tablet) for user input? See also Donelson Master's thesis

[DosterW77] . Doster, W. "Contextual postprocessing system for cooperation with a multiplechoice character recognition system", IEEE Transactions on Computers, Vol C-26, 1977, pp 1090-1101 Spelling dictionary look-up for context correction: in separate character OCR (handwriting) Multiple-Choice Single Character Recognition System and Contextual Postprocessing System

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

8/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

[DosterW80] . Doster, W. and Schuermann, J. "An application of the modified Viterbialgorithm used in text recognition", Proceedings of 5th International Conference on Pattern Recognition, 1980, pp 853-855 In Tappert's bibliography

[Driscoll77] . Driscoll, R.J. et al "Real-Time Reading of Handwritten Symbols and Applications", Proceedings of the Conferenc eon Digital Processing of Signals in Communications, September 9, 1977, Institute of Electronic and Radio Engineers, pp 293-302 Cited in Sklarew patents

[Druse78] . Druse, B. and Rao, C.V.K. "A matched filtering technique for corner detection", Proceedings of the 4th International Joint Conference on Pattern Recognition, Kyoto, Japan, November 7-10, 1978, pp 642-644 [Du80] . Du, H.C. and Lee, R.C.T. "Symbolic Gray Code as a Multikey Hashing Function", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-2 No 1, pp 8390, January 1980 Very fast searching using keys (brute-force engineering)

[DunnRankin78] . Dunn-Rankin, Peter "The Visual Characteristics of Words", Scientific American, Januaray 1978, pp 122-130

Word recognition in humans (graphical word context) Other papers describe inter-letter confusion in human perception of English alphabet: compare with Functional Attributes of Shillman

[Duerr80] . Duerr, B., Haettich, W., Troph, H., and Winkler, G. "A combination of statistical and syntactical pattern recognition applied to classification of unconstrained handwritten numerals", Pattern Recognition, Vol 12, 1980, pp 189-199 Cited in Kerrick88

[Dumas77] . Dumas, G. "A Dual Microprocessor Applications: The Alphabec-75 Data Capture System", in "Microcomputer Design and Applications", Academic Press, New York/San Francisco/London, 1977, pp 301-329

Mentions user learning/adaptation/training times and success rate: some learned fast, some never did (!) Xebec/SRI/Crane original character recognition pen product

[Duvernoy79] . Duvernoy, J. and Charraut, D. "Stability and stationarity of cursive handwriting", Pattern Recognition, Vol 11, 1979, pp 145-154 In Tappert's bibliography Handwriting variability in cursive script

[EachusJJ77a] (*) Eachus, Joseph J. and Graff, Theodore S. "Touch Sensitive Device", United States Patent 4,055,735, October 25, 1977

Touch-button (?) panel/tablet with grid of pressure sensitive material on two sides of a printed circuit board substrate. Cross-wire construction: compare with Kaplow?

[EerNisse77] . EerNisse, E.P., et al "Piezoelectric Sensor Pen for Dynamic Signature Verification", Conference 1988 Int. Electron Devices Meeting, Washington, D.C., December 1977, pp 473-476 Cited in Chainer85a

[EerNisse78] . EerNisse, E.P., Land, C.E., and Snelling, J.B. "Input Apparatus for Dynamic Signature Verification Systems", United States Patent 4,078,226, assigned to the United States of America, March 7, 1978 Signature verification stylus pen using piezoelectric force/pressure sensors to sense X and Y

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

9/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

forces/acceleration

[Ehrich76] . Ehrich, Roger W. "A Readily Computable Decision Rule with Variable Dimensionality", IEEE Transactions on Computers, May, 1976, pp 539-542 Bayes and Meyman-Pearson statistical classifiers to select likelihood ratios Features statistically best are generally "specialists" in distinguishing that class

[Ehrich78] . Ehrich, Roger W. "Handwriting Recognition", Encyclopedia of Computer Science, Vol 9, 1978, Belzer, Holzman and Kent, editors, Dekker, 1978, pp 180-198 [Elographics80] . Gibson, W., Talmage, J. "Nonplanar Transparent Electrographic Sensor", United States Patent 4,220,815, September 2, 1980, assigned to Elographics, Incorporated, Oak Ridge, Tennessee Resistive-sheet/film digitizer using small spacing dots between a conductive and a resistive layer: Elographics

[Engdahl77] (*) Engdahl, Jean "Data Entry and Decoding System for Scripted Data", United States Patent 4,005,400, January 25, 1977, assigned to Societe Suisse pour l'Industrie Horologere Management Services S.A., Bienne, Switzerland

Four-segment panel for character recognition, zone-based recognition for handwriting, using a stylus

[Engelbrecht76] . Engelbrecht, R.S. "Handwriting Identification Technique", United States Patent 3,962,679, June 8, 1976, assigned to RCA Corporation, New York, New York Signature verification using writing speed/velocity

[Farag79] (*) Farag, R.F.H. "Word-Level Recognition of Cursive Script", IEEE Transactions on Computers, Vol C-28 No 2, February 1979, pp 172-175 Sketch recognition of whole script words vs a table/word dictionary for context Testing involved only a very small sample (ten words)

[FeldmanSI79] (*) Feldman, S.I. "Make -- a Program for Maintaining Computer Programs", Software Practice and Experience, Vol 9 No 4, pp. 255-265, 1979 Overview of Unix MAKE build tool with dependencies

[FenclGA80a] . Fencl, George A. "Low Noise System and Method for Sequentially Sensing Induced Signals in digitizer Grid Conductors", United States Patent 4,185,165, January 22, 1980 Electromagnetic tablet digitizer: states that conductive marks (?) on form can affect performance

[Feucht77] . Feucht, Dennis "Pattern Recognition: Basic Concepts and Implementations", Computer Design, December 1977, pp 57-68

Overview of pattern recognition: decision functions, multicategory classifiers (type I: simple, type II: pair-wise, type III: extended to all classes), hyperplanes and weight vectors in feature space, minimum-distance classifiers Clustering techniques: maximin-distance, K-Means algorithms, general cluster-seeking algorithm. Learning-adaptive recognition: perceptron, absolute increment, multicategory perceptron.

[Fisher76] . Fisher, E. "The use of context in character recognition", COINS Technical Report 76-12 (Ph.D. thesis, Computer and Information Sciences Department, University of Massachusetts, Amherst), 1976 DosterW77 on spelling correction dictionary? Morse code recognition

[Foster80] . Foster, D.H. and Mason, R.J. "Irrelevance of local position information in visual adaptation to random arrays of small geometric elements", Perception, Vol 9, 1980, pp 217221 (BLRT chain codes) relative position not as significant as local features in human recognition

[FranklinRC78a] (*) Franklin, Robert C. and Fuller, Rank I. "Electronic Wall Stud Sensor", United States Patent 4,099,118, July 4, 1978 https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

10/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Interesting example of electrostatic/capacitive sensing: compare with electrostatic touchscreens and digitizers. Detects change in dielectric constant in proximity, rather than higher or lower dielectric constant

[Fraser80] . Fraser, A. "Comments on 'A Study of Man-Machine Interaction Problems in Character Recognition'", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-10 No 9, September 1980, page 589 Says Suen is full of it Says variability in writing styles is caused by deep, fundamental human individuality Points out "obvious" testing bias in Suen's paper A graphologist speaks out on graphonomics handwriting research Significant comment on dynamic character recognition by a graphologist "neat", constrained handwriting is not realistic

[Freeman77] . Freeman, H., and Davis, L.S. "A Corner-Finding Algorithm for Chain-Coded Curves", IEEE Transactions on Computers, Vol C-26, pp 297-303, March 1977 Adds "corner" detection to chain codes Source of Barry's original "hi-curve" algorithm for corners?

[Freeman78a] . Freeman, H. "Application of the generalized coding scheme to map data processing", Proceedings of IEEE Pattern Recognition and Image Processing Conference, Chicago, Illinois, May 31-June 2, 1978, pp 220-226 [Freeman78b] . Freeman, H. and Saghri, A. "Generalized chain codes for planar curves", Proceedings of the 4th International Joint Conference on Pattern Recognition, Kyoto, Japan, November 7-10, 1978, pp 701-703 [Frey77] . Frey, P.W. "Chess Skill in Man and Machine", Springer Verlag, New York, 1977 Survey of artificial intelligence ideas in computer chess

[Fu77] . Fu, K.S. "A Brief Review of Pattern Recognition", Systems, Man, and Cybernetics Review, Vol 6 No 4, August, 1977, pp 3-5 Equivalence of decision-theoretic/statistical and syntactic pattern recognition

[Fu80] . Fu, K.S. "Recent development in pattern recognition", IEEE Transactions on Computers, Vol C-29, October, 1980 Fu86/Fu83

[Fujimoto76] . Fujimoto, Y., Kadota, S., Hayashi, S., Yamamoto, M., Yajima, S. and Yasuda, M. "Recognition of Hand-printed Characters by Nonlinear elastic Matching", Proceedings of the 3rd International Joint Conference on Pattern Recognition, November 1976, pp 113-118 Quotes Blesser, but says they never built an actual system Uses eight-direction vector/length chain codes for elastic matching Compare to Tappert's paper on elastic matching Goshtasby88 cites that this system used continuity (continuation marks and hooks between characters) to get 99.7% recognition accuracy

[Fujita76] . Fujita, T., Nakanishi, M., and Miyata, K. "The recognition of Chinese characters (kanji) using time variation of peripheral belt patterns", Proceedings of 3rd International Joint Conference on Pattern Recognition, Coronado, California, November 1976, pp 119-121 [Gaertner80] . Gaertner, K.P. and Holzhausen, K.P. "Controlling air traffic with a touch sensitive screen", Applied Ergonomics, Vol 11 No 1, 1980, p 17-22 Beringer89: user-interface on electronic ink, integrated tablet/display. A clamp-on mechanical digitizer

[Geographics80] . GeoGraphics "GeoGraphics Drafting Board Digitizer", GEOGRAPHICS Incorporated, 1318 Alms Drive, Champaign Ill. 61820, 1986 https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

11/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Drafting board digitizer: usable for whiteboard?

[Genesereth79] . Genesereth, M.R. "The Use of Semantics in a Tablet-Based Program for Selecting Parts of Mathematical Expressions", MACSYMA User's Conference, 1979. V.E. Lewis, Ed.

Citation by Soiffer Kajler on citeseer.nj.nec.com/context/906109/0 mentions use of GUI for circling parts of mathematical expressions, using semantic information

[Gilmore79] . Gilmore, G.C., Hersh, H., Caramazza, A. and Griffin, J. "Multidimensional letter similarity derived from recognition errors", Perception and Psychophysics, Vol 25, 1979, pp 425-431 Cited in IchikawaS84

[Gould78] . Gould, J.D. "How experts dictate", Journal of Experimental Psychology: Human Perception and Performance, Vol 4, 1978, pp 648-661 Cited in Martin89

[Greenaway78] (*) Greenaway, David Leslie "Apparatus and Method for Producing an Electrical Signal Responsive to Handwriting Characteristics", United States Patent 4,122,433, assigned to LGZ Landis and GYR Zug Ag, Zug, Switzerland, October 24, 1978 Pen stylus moves across a ridged/quadrangled surface while writing: resulting vibrations give and indication of pressure force and writing velocity

[Greenberg77] . Greenberg, M.E. "An investigation of handwritten numeral character recognition", M.S. Thesis, Department of Electrical Engineering and Computer Science, August 1977, Massachusetts Institute of Technology, Cambridge, Massachusetts Throws out data from IEEE handwriting variability Database 1.2.4 as "poorly written"

[Groan78] . Groan, F.C.A. and Verbeek, P.W. "Freeman-code probabilities of object boundary quantized contours", Computer Vision, Graphics, and Image Processing, Vol 7, 1978, pp 391-402 Cited in Teh89

[Grossman78] . Grossman, Robert "Hybrid pressure/force transducers give robots a sense of touch", EDN, August 5, 1978, pp 29-31 [GroverDJ79] . Grover, D.J. "Graphics Tablets - A Review", Displays, July 1979, pp 83-93, IPC Business Press, Great Britain Attempt at complete classification of methods of graphical/tablet interaction. Broad overview of digitizer tablet technologies.

[GrummerWL80a] . Grummer, William L. and Hendriks, Hendrik B. "Capacitive Touch Switch Array", United States Patent 4,233,522, November 11, 1980 Capactitive touchscreen using grid/array of capacitive sensors.

[Guberman76a] . Guberman, S. and Litvin, Y. "Implementation of an Algorithm for Recognition of Handwritten Letters", Institute of Applied Mathematics, Academy of Sciences, USSR, TR-22, Moscow USSR (in Russian), 1976 Goodale83

[Guberman76b] . Guberman, S. and Rozentsveig, V. "An Algorithm for Reading Handwritten Letters", (Automation and Remote Control), Vol 37, pp 751 ff Goodale83

[Haberman76] . Haberman, W. and Fejfar, A. "Automatic Identification of Personnel through Speaker and Signature Verification -- System Description and Testing", Proceedings of Carnahan Conference on Crime Countermeasures, May 1976, pp 23-30 [HallPAV80a] . Hall, P.A.V. and Dowling, G.R. "Approximate string matching", Computing https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

12/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Surveys, Vol 12 no 4, December 1980, pp 381-402 Cited in Srihari83: on context/spelling correction

[Hanaki76] . Hanaki, Shin-Ichi, Temma, Tsutomu and Yoshida, Hiroshi "An On-line Character Recognition Aimed at a Substitution for a Billing Machine Keyboard", Pattern Recognition, Vol 8, pp 63-71, January 1976

User-interface: early (1976) Nippon Electric prototype Katakana/Hiragana/Romanji product for data-entry: features chosen by "human intuition" Describes what appears to be oversampling, resampling, noise filter on digitizing tablet (Telemail product) Resampling of handwritten tablet points to be minimum number of feature points for reconstruction/recognition: also used for data reduction/compression of line drawings Character segmentation by stroke time-out, writing in boxes, recognition result Shows shading pattern for boxes to write in 98% recognition rate, using decision tree node Refers to handwriting character segmentation based on recognition result/plausibility

[Hanson76] . Hanson, A.R., Riseman, E.M., and Fisher, E. "Context in Word Recognition", Pattern Recognition, Vol 8, 1976, pp 35-45

Low character error rates can give high word error rates. Use context on words to correct errors on single characters. "many theoretical systems are impractical in application". Cites use of "clear text" in context: but many applications are not (data entry) Tri-gram statistical Markovian context probabilities, not linguistic grammar context Cites problems of small training sets (98 characters per class) High (context) correction rates introduce many substitution errors The number of substitution errors is about the same as reject recognition Context after the recognition is done, not before

[HardenJC77a] (*) Harden, John Charles and Mastrangelo, Sebastian V.R. "Pressuresensitive elastic resistor compositions", United States Patent 4,028,276, June 7, 1977

Pressure-sensitive elastomeric conductive rubber, one application is keyboard switches. Metallicconductive particles in elastomer.

[Hattich78] . Hattich, W., Tropf, H., and Winkler, G. "Combination of statistical and syntactical pattern recognition -- Applied to classification of unconstrained handwritten numerals", Proceedings of Fourth International Conference on Pattern Recognition, Kyoto, Japan, November 7-10, 1978, pp 786-788 Cited in Kahan87

[Herbst76] . Herbst, Noel M., and Morrissey, John H. "Verifier for Handwritten Signatures", United States Patent 3,983,535, assigned to IBM Corporation, September 28, 1976 Cited in Chainer85b: for acceleration on signature verification Signature verification using acceleration.

[Herbst77a] (*) Herbst, Noel Martin and Morrissey, John Henry "Segmentation Mechanism for Cursive Script Character Recognition Systems", United States Patent 4,024,500, May 17, 1977, assigned to IBM Corporation, Armonk, New York Cursive character segmentation using sharp inflection points (zero velocity) Also makes use of baseline and midline (top of lower-case characters) for character segmentation Criticizes "retrospective" character segmentation in script, such as Harmon

[Herbst77b] . Herbst, N.M., et al "Signature Verification Based on Complete Accelerometry", IBM Technical Disclosure Bulletin, Vol 19 No 12, May 1977, pp 4827-4828 Stylus for digitizer, no tablet: uses acceleration (chain codes? compare to SRI pen)

[Herbst78] . Herbst, N.M. and Liu, C.H. "Signature Verification Method and Apparatus https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

13/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Utilizing both Acceleration and Pressure Characteristics", United States Patent 4,128,829, December 5, 1978, assigned to IBM Corporation Armonk, New York Signature verification: force/pressure and acceleration. (BLRT chain codes): position features subject to most variability. Separate X and Y acceleration for signature verification.

[Herbst79a] . Herbst, N.M., Liu, C.N., and Panissidi, H.A. "Pressure sensing device and transducer arrangement", United States Patent 4,142,175, February 27, 1979, assigned to IBM Corporation Cited in Chainer85b: for acceleration on signature verification

[Herbst79b] . Herbst, Noel M., Liu, Chao N., and Panissidi, Hugo A. "Pressure Sensing Device and Transducer Arrangement", United States Patent 4,142,175, assigned to International Business Machines Corporation, Armonk, New York, February 27, 1979

Signature verification: pressure/force sensing stylus, not sensitive to lateral force angle: combined with acceleration for signature verification

[Herot76] (*) Herot, Christopher F. "Graphical Input through Machine Recognition of Sketches", Computer Graphics, Vol 10 No 2, Summer 1976, pp 97-102, Proc. SIGGRAPH '76 Sketch recognition: segmentation of tablet input into lines and splines based on speed an pressure. Success of sketch recognition / drafting in part because system is interactive (graphical user interface) for which user may manipulate and modify recognition. Inking stylus.

[HerotCF78a] (*) Herot, Christopher F. and Weinzapfel, Guy "One-Point Touch Input of Vector Information for Computer Displays", Proc. SIGGRAPH '78; SIGGRAPH Newsletter Vol 12 No 3, Aug 1978, pp. 210-216

Pressure-senstive digitizer (also direction and torque-sensitive) using roughened glass surface and finger as stylus. Friction with finger not undesirable, can be used for multidimentional input. Can detect rotation of a single finger. Finger can be used to give initial push to graphical object, then steer without moving finger from position. Mentions two-finger twist/rotate gesture. Mentions multiple finger / multi-touch touchscreen under development with Elographics. Mentions kinesthetic (haptic) input devices.

[HilbrinkJO78a] (*) Hilbrink, Johan O. "System for Optically Entering, Displaying and Decoding Handwritten Symbols", United States Patent 4,122,415, September 5, 1978 Lightpen and television monitor display, when used for handwriting input and replacing the handwriting input with a generated character

[Himmel78] . Himmel, David P. "Some Real-World Experiences with Handprinted Optical Character Recognition", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-8 No 4, April 1978, pp 288-292 How much effort it takes to train people to handwriting constraints (OCR). Shows samples of constrained writing people were actually trained to.

[HoffmanHS80a] (*) Hoffman, H.S. "Exact Position Detection with Finger Point and Feedback", IBM Technical Disclosure Bulletin 22, 1536 (September 1979)

capacitive/electrostatic touchscreen grid that can be integrated with a display: interpolation between grid lines to get fine position accuracy writing

[Hollerbach78] . Hollerbach, J.M. "A Study of Motor Control Through Analysis and Synthesis of Handwriting", PhD Thesis, Massachusetts Institute of Technology Department of Electrical Engineering and Computer Science, August, 1978. Also described in Visible Language, Vol XIII No 3, 1979, pp 252-264 Study of stroke directions based on anatomy of muscles. Points out elimination of clock-wise movement in fast writing.

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

14/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

[Hong82] . Hong, T.H., Shneier, M., Hartley, R. and Rosenfeld, A "Using pyramids to detect good continuation", University of Maryland, Computer Science TR 1185, 1982 Cited in Lipscomb91

[Hosaka77] . Hosaka, M. and Kimura, F. "An Interactive Geometrical Design System with Handwriting", Proceedings of the 6th IFIPS Congress, Roronto, August 1977, pp 167-171

User-interface: handwritten sketches, sketch recognition, gesture input to do drawings Refers to measuring problems of tablet (and of "human behavior") (human factors / variability). Uses second-level fix-up on recognition if first pass is inconclusive. Uses chain codes of inflection points, rotations, straight segments, etc.

[Hoshino77] . Hoshino, Y. "Word recognition apparatus", United States Patent 4,010,445, March 1977 Suen79

[Hubel79] . Hubel, D.H. and Wiesel, T.N. "Brain Mechanisms of Vision", Scientific American, No 241, 1979, pp 150-162 Martin,GL90b

[IBM79] (*) IBM "Object Identification and Local Highlighting on Displays", IBM Technical Disclosure Bulletin, Jan 1979, p 3284. Compare with object highlighting via proximity tablet data of "GUI-handles" in a GUI: mentions getting local highlighting of an object on a display as the stylus goes over it, and returning a ID/handle to the application instead of X/Y coordinates. Mentions equivalent functions from lightpen, tablet, joystick, or other positioning (position input) device.

[IchikawaT77] . Ichikawa, Tadao, Sakamura, Ken, and Aiso, Hideo "ARES - A memory, capable of associating stored information through relevancy estimation", Proceedings of 1977 National Computer Conference, pp 947-954 Seven-direction chain codes/ segment lengths, with an additional approximate string matching function "Lee Distance" from error-correcting codes (in hardware)

[IkedoT78] (*) Ikedo, Tsuneo "Automatic Coordinate Determining Device", United States Patent 4,088,842, May 19, 1978

Electromagnetic digitizer tablet that can handle multiple styli (multi-touch), and a cordless/wireless probe or stylus: Can use multiple probes/styli on one device.

[Impedovo76] . Impedovo, S., Marangelli, B., and Plantamura, V.L. "Real-Time Recognition of Handwritten Numerals", IEEE Transactions on Systems, Man, and Cybernetics, Vol 6 No 2, February 1976, pp 145-148 65% to 90% recognition, numerals only (!) Gives examples of handwriting variations: stroke directions

[Ito78] . Ito, M.R. and Chui, T.L. "On-line Computer Recognition of Proposed Standard ANSI (USASI) Handprinted Characters", Pattern Recognition, Vol 10, 1978, pp 341-349

Claims 98.3% accuracy on A non-training system (non-adaptive). It's not just tablet digitizer noise: unsteadiness in user's pen motion. Eight-type chain code classifications. Straight-line vs curvilinear stroke classes. Testing for performance used "intentional variability" in characters by authors: testing bias? Cites mis-recognition due to missing stroke segments (K-R, J-T). Digitizer error? Delay in recognition same as time for user to look at screen: not a user-interface/human-factors problem. Variability: Shows bizarre four-stroke "Z" shape form. Shows proposed ANSI hand-print standard for static OCR recognition including stroke directions, constrained writing styles.

[Jarvis76] . Jarvis, J.F. "Regular expressions as a feature selection language for pattern https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

15/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

recognition", Proceedings of the 3rd International Joint Conference on Pattern Recognition, Coronado, California, November 1976, pp 189-192 [JarvisJF76b] (*) Jarvis, John F. "The line drawing editor, an Expermient in Computer Vision", Proc. SigGraph '76, July 14-16, 1976, Philadelpha, pp. 288-292

Drawing editor / sketch recognition, mark-up commands (edit commands / gestures) written on paper, optically scanned to change drawings (no tablet!). Gesture shapes include digits, X, connector points, carets, arrow tabs.

[Jarvis77] . Jarvis, J.F. "The line drawing editor: Schematic diagram editing using pattern recognition techniques", Computer Graphics Image Processing, Vol 6, 1977, p. 452-484 Drawing editor / sketch recognition

[Kanal77] . Kanal, Laveen N. "Current Status, Problems and Prospects of Pattern Recognition", Systems, Man, and Cybernetics Review, Vol 6 No 4, August, 1977, pp 9-14

Overview of pattern recognition: many theories, few products: term covers too many divergent problem areas. Pattern recognition overview: well-constrained problems, sustained efforts lead to successful performance. Realistic performance: "Identifying animals in a zoo is much different from hunting them in the forest." Overview: spatial/temporal/external context, feature extraction (most publicly undocumented: not published), experiment/training design, clustering, no standard data bases

[Kaplow76a] (*) Kaplow, Roy and Molnar, Michael "A computer-terminal, hardware/software system with enhanced user input capabilities; the enhanced-input terminal system (EITS)", ACM SIGGRAPH, Vol 10 No 2, Summer 1976, pp 116-124

Dynamically variable keyboard, using digitizer/touch-screen and simulated function keys/buttons: simulated devices, compare with simulated devices and multiple-finger gestures for Schumer, Fingerworks, Buxton. Refers to multiple touches as "chord" mode for simulated keyboard on touchscreen. User-interface where icons/keyboard labels on touch-screen force/pressure-sensitive digitizer/touch-screen change dynamically. Gesture input as chorded/multi-button/multi-touch input. Application Generator? Soft buttons?

[Kaplow80] (*) Kaplow, R. and Molnar, M.K. "Dynamically variable keyboard system", United States Patent 4,202,041, May 6, 1980 assigned to Massachusetts Institute of Technology, Cambridge, Massachusetts, 1980

Dynamically variable keyboard, using digitizer/touch-screen and simulated function keys/buttons: simulated devices, compare with simulated devices for Schumer, Fingerworks, Buxton. Userinterface where icons/keyboard labels on touch-screen force/pressure-sensitive digitizer/touch-screen change dynamically. (In chord mode at least) Keys are not selected until release, permitting user to adjust keys (positon) before selecting. Gesture input as chorded/multi-button/multi-touch input? Application Generator? Soft buttons?

[Kato80] . Kato, O, Fujita, T., Niwa, M., Morishita, T., Fujii, N., Tanahashi, J. "Handwriting Input System for Japanese", Proceedings of IFIP 80, Tokyo, Japan, October 6-9, 1980, NorthHolland publishers, pp 689-694

Science Citation Index. Features are stroke-relative position, then candidate selection, then personal training. Claims 98% recognition rate performance on Japanese Kanji/kana/numerics, after training.

[Kay77a] . Kay, A.C. "Microelectronics and the Personal Computer", Scientific American, September 1977, page 231 The original user-interface paper: Dynabook (does NOT mention electronic ink or character recognition)

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

16/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

[Kay77] (*) Kay, A.C. and Goldberg, A. "Personal Dynamic Media", IEEE Computer, Vol 10 No 3, March 1977 pp 31-41 Dynabook did NOT have stylus or handwriting input: mouse only .. popularly assumed to be the original "electronic ink" handwriting paper: Dynabook, but not so.

[Kegel78] . Kegel, A.G., Giles, J.K., and Ruder, A.H. "Observations on Selected Application of Optical Character Readers for Constrained Numeric Handprint", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-8 No 4, April 1978, pp 282-285 Most handwriting recognition OCR problems are over-printing, 0-vs-6 ambiguity How well human writers match constraints for various commercial OCR handwriting recognition products

[Kickert76] . Kickert, Walter J.M. and Koppelaar, Henk "Application of Fuzzy Set Theory to Syntactic Pattern Recognition of Handwritten Capitals", IEEE Transactions on Systems, Man, and Cybernetics, Vol 6 No 2, February 1976, pp 148-ff [Kley78] . Kley "Graphical data entry pad", United States Patent 4,079,194, March 14, 1978 Lukis87 on digitizer tablets

[Knowlton77] (*) Knowlton, K.C. "Computer Display Optically Superimposed on Input Devices", Bell System Technical Journal, Vol 56 No 3, March 1977, pp 367-384

User-interface: project image on keyboard to change keys: refers to tablet input possibility; compare with Kaplow for soft buttons. Mentions using X-Y tablet (digitizer) with display.

[Knowlton80] . Knowlton, K. "Progressive Transmission of Grey-Scale and Binary Picture by Simple, Efficient, and Lossless Encoding Schemes", Proceedings of the IEEE, Vol 68 No 7, July 1980, pp 885-896 Compression of images

[Kuipers76] . Kuipers, Jack "Tracking and Determining Orientation of Object Using Coordinate Transformation Means, System and Process", United States Patent 3,983,474, assigned to Polhemus Navigation Sciences, Incorporated, Burlington, Vermont, September 28, 1976 From a old list of Polhemus patents Patent on correction tables on stylus angle, orientation, position in a 3-D tablet digitizer

[Kuipers77] (*) Kuipers, Jack "(no title)", United States Patent 4,017,858, assigned to Pohemus Nagivation Sciences, April 12, 1977

Cited in MaedaK87 three-dimensional / six dimensional electromagnetic digitizer, using X/Y/Z coils. Determines both position and orientation of stylus, thus able to report not only the position on a (three-dimensional) surface, but also the plane of the surface at that point.

[Kuklinski77] . Kuklinski, T. "Implementing a Functional Attribute Based Theory of Character Recognition", unpublished manuscript, Pencept, Incorporated, March 21, 1977 Kuklinski voting algorithm for an imperfect decision tree based on pair-wise voting

[Kuklinski79] . Kuklinski, T., PhD Thesis: "Graphical Context as an Aid to Character Recognition", Massachusetts Institute of Technology, Cambridge, Massachusetts, 1979 [Kurzweil80a] (*) Kurzweil Computer Products "Kurzweil Data Entry Machine", Kurzweil Computer Products, 1980 Kurzweil OCR product: Omni-Font Character Recognition, describes multiple algorithms for recognition, apparently to speed up processing. Includes print-to-braille, special modules for scanning telephone books to detect fields.

[Kwan79] . Kwan, C.C., Pang, L., and Suen, C.Y. "A Comparative Study of some https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

17/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Recognition Algorithms in Character Recognition", Proceedings of International Conference on Cybernetics and Society, pp 530-535, October 1979, IEEE order number CH14241/79/0000-0530 Boundless variability of hand-print handwriting

[Lambden78] (*) Lambden, Martin Roy "Electrographic Apparatus and HandRest for Use Therewith", United States Patent 4,129,746 assigned to Quest Automation Limited, Stapehill, Wimborne, England, December 12, 1978. Hand rest for pressure-sensitive / resistive-film tablet, so that hand does not press on tablet surface

[Lambden78b] (*) Lambden, Martin Roy "Electrographic Apparatus and Method Of Producing and Electrode Surface Therefor", United States Patent 4,070,544 assigned to Quest Automation Limited, Stapehill, Wimborne, England, January 24, 1978. Description of the resistive-film, plastic pressure sheet digitizer tablet used for the Quest handwriting product

[Larsen77] . Larsen "Quadrant Check for Signature Verification", IBM Technical Disclosure Bulletin, Vol 20 No 4, September 1977, pp 1538-1539 Accelerometer pen/stylus design (like SRI pen), produces chain codes

[Lew79] (*p) Lew, J.S. "Optimal Designs of Instrumented Pens for Signature Verification", IBM Technical Disclosure Bulletin, Vol 21 No 8, p. 3415, January 1979 Variation on SRI (non-digitizer) pen: accelerometer pen stylus design

[Liljenwall79] (*) Liljenwall, James and Moss, David "Information Entry System", United States Patent 4,139,837, assigned to Creative Ventures, Incorporated, Dayton, Ohio, 1979 On-line character recognition on the face of a wristwatch or calculator: unistroke/single-stroke characters, written with a fingertip Simple on-line character recognition using zones/regions recognition

[Lin78] (*p) Lin, W.C. and Pun, J.H. "Machine Recognition and Plotting of Hand-Sketched Line Figures", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-8 No 1, January 1978, pp 52-57

Symbol recognition and graphical editing: "prettyizing" a sketch : shows recognition of single-stroke circuit-diagram symbols "recognition -- seems to be a problem at times since the user cannot have complete control over the input data when sketching on the tablet"

[Lin79] . Lin, C.N., Herbst, N.M., and Anthony, N.J. "Automatic signature verification: System description and field test results", IEEE Transactions on Systems, Man, and Cybernetics, Vol 9, 1979, pp 35-38 Cited in Teulings86a

[LiuCN79] (*) Liu, C.N., Herbst, N.M., and Anthony, N.J. "Automatic Signature Verification: System Description and Field Test Results", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-9 No 1, January 1979, pp 35-38 Signature verification system from IBM using force/pressure and accelerometry Signatures: reference signature modified before storage to deal with variability Signature verification: 1.7% Type I (false rejection) and 0.4% Type II (false acceptance) for deliberate (expert) forgers, false acceptance rate of 0.02% for random (amateur) forgers Signature verification: 1% of users had too much variability for the system to work well: solution is administrative Signature hardware problems: baseline drift in force/pressure sensor, noise in force/pressure sensor, lack of reset, non-uniformity of ink cartridges

[MatsushitaT78] (*x) Matsushita, T. et al "Personal Computer-Aided Composition and https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

18/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Editing System", 3rd USA-Japan Computer Conference, 1978, 10/10-12/78 cited for text-editing of handwritten marks, graphical editing

[MattesHG76a] (*) Mattes, Hans George and Torok, Gabor Peter "Graphic Input Terminal", United States Patent 3,959,585, May 25, 1976

Resistive sheet touch panel using two sheets with voltages applied in X and Y directions on the two sheets, with an unenergized third sensor sheet between.

[Maugh78] . Maugh, Thomas H. II "Holographic Filing: An Industry on the Verge of Birth", Science, Vol 201, August 4, 1978, pp 431-432 Cited in Sziklai84: on storing optical images, with signatures

[McDermott80] . McDermott, J. "R1: An Expert in the Computer Systems Domain", Proceedings of the First Annual National Conference on Artificial Intelligence, 1980, pp 269271 Expert A.I. system to configure orders for DEC VA computers

[Mihelic77] . Mihelic, F.; Pavesic, Nokola and Gyergyek, Ludvik "Recognition of Writer of Handwritten Texts", Proceedings of the International Conference on Crime Countermeasures, Kentucky University, Lexington, 1977, pp. 237..240 Cited by Marlin Eller, Microsoft Pen Computing group

[Milloy78] (*p) Milloy, D.G. "Comment on recognition and confusion of the lower-case alphabet", Perception and Psychophysics, 1978, Vol 24 No 2, pp 190-191

Substitution errors in human recognition of lower-case characters Criticizes defects in everybody's studies of lower-case character confusion matrices for human recognition

[Moayer76] . Moayer, B. and Fu, K.S. "A tree system approach for fingerprint pattern recognition", IEEE Transactions on Computers, Vol C-25, 1976, pp 262-274 [MoriS80] . Mori, S. and Suen, C.Y. "A Study of the Zero and Letter Oh Problem", Proceedings of 5th International Conference on Pattern Recognition", December 1980, pp 842-847 Cited in Litvin82

[Morrissey76] (*) Morrissey, J.H. "Electronic Calculator Based on Character Recognition of Input from Stylus Acceleration Dynamics", IBM Technical Disclosure Bulletin, Vol 19 No 7, December 1976, pp 2816-2817 Disclosure of US patent 3,983,535 for signature verification, but says extension to input for handwriting recognition is obvious. On user-interface of writing on an electronic calculator (using chain-codes/acceleration dynamics)

[MullerAM77a] (*) Muller, Alex Marcel and Tyrrell, Joseph Leslie "Electrical Sensing Writing Pen", United States Patent 4,034,155, July 5, 1977 Pen for electrostatic/capacitive grid tablet

[Muth77] . Muth, F.E. and Tharp, A.L. "Correcting human error in alphanumeric terminal input", Information Processing Management, Vol 13, 1977, pp 329-337 Cited in Srihari83: on context/spelling correction

[MyAppleSpace79a] (*) MyAppleSpace.com "Apple Graphics Tablet 1979 Summagraphics Magnetostrictive", MyAppleSpace.com, fetched 2012

Summagraphics magnetostrictive tablet for Apple computers, 1979. Filed under MyAppleSpace11a.

[Myers80] . Myers, C.S., Rabiner, Lawrence R., and Rosenberg, A.E. "Performance tradeoffs in dynamic time warping algorithms for isolated word recognition", IEEE Transactions on Acoustics, Speech and Signal Processing, Vol ASSP-28, 1980, pp 622-635 https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

19/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Kruskal83

[Narasimhan80] (*p) Narasimhan, M.A., Devarajan, Venkat, and Rao, K.R. "Simulation of Alphanumeric Machine Print Recognition", IEEE Trans. on Systems, Man, and Cybernetics, Vol SMC-10 No 5, May 1980, pp 270-275 Shows performance results in a confusion matrix for alphabet from OCR data, compare with Shillman, who uses a confusion matrix to show which features are distinguishing

[Naus76] (*p) Naus, M.J., and Shillman, R.J. "Why a Y Is Not a V: A New Look at the Distinctive Features of Letters", Journal of Experimental Psychology: Human Perception and Performance, Vol 2 No 3, 1986, pp 394-400 Shillman article on functional attributes

[Niemann77] (*p) Niemann, Heinrich "Classification of Characters by Man and Machine", Pattern Recognition, Pergamon Press 1977, Vol 9, pp. 173-179 Human performance on OCR recognition of handwritten characters compared with machine performance, under various noise conditions: machine works better on typed fonts, human on handwritten characters

[OBrien79] . O'Brien, M.T. "A Network Graphical Conferencing System", Rand Corporation, Stanta Monica, California, August 1979 (N-1250-DARPA) Real-time freestyle user interface for electronic ink: a central blackboard/whiteboard conferencing / drawing communally, separate windows for each user for typing (words).

[Odaka79] (*p) Okada, Jazumi, and Masua, Isao "Some Results on Stroke Order Free On-line Character Recognition", PRL Vol 79 No 29, pp 77-84 (in Japanese) stroke-order independence by grouping strokes which are close together (?)

[Odaka80] (*p) Okada, Jazumi, and Masua, Isao "Online Recognition of Handwritten Characters by Approximating Each Stroke with Several Points", Trans. IECE, 1980, Vol 63-D, No 2, pp 153-160 (in Japanese) See same-title paper in IEEE SMC, Nov/Dec 1982

[OkaM78] . Oka, Masatomo and Yasuhara, Makoto "Signature Verification Experiment based on Nonlinear Time Alignment: A Feasibility Study", IEEE Trans on Systems, Man and Cybernetics, Vol SMC-7, No 3, pp 212-216. From Kuklinski's old files Dynamic time-warping / non-linear time alignment via dynamic programming for signature verification

[Okuda76] . Okuda, T., Tanaka, E. and Kasai, T. "A method for the correction of garbled words based on the Levenshtein metric", IEEE Transactions on Computers, Vol C-25, February, 1976, pp 172-178 DosterW77 on spelling dictionary?

[Pallishusky76] (*) Pallishusky, Silvia Minka "Method and Means for Teaching Alphabet Recognition and Learning Handwriting", United States Patent 3,950,863, April 20, 1976 Overlaying transparencies to teach children the order of strokes for learning handwrigin Refers to nine basic shapes, or segments, from which all 26 letters (52 with lower case) are constructed

[Pavlidis77a] . Pavlidis, Theo "Structural Pattern Recognition", Springer-Verlag, New York, 1977 Defines pattern recognition as "identification of the ideal which a given object is made after" Definition: classification theory vs boundary theory

[Pavlidis77b] . Pavlidis, Theo "Comments on Current Perspectives in Pattern Recognition", https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

20/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Systems, Man, and Cybernetics Review, Vol 6 No 4, August, 1977, pp 8-9

Just because humans have good pattern recognition performance, and poor arithmetic, does not mean pattern recognition is easier than computer arithmetic

[Pavlidis77c] . Pavlidis, Theo "Polygonal approximations by Newton's method", IEEE Transactions on Computers, Vol C-26, 1977, pp 800-807 [Pavlidis80] . Pavlidis, Theo "Algorithms for shape analysis and waveforms", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PARM-2, July 1980, pp 301312 Chain codes, corner detection, curvature, Fourier shape, shape analysis for OCR image recognition (segmented pictures)

[PepperW78] (*) Pepper, William Jr. "Human-Machine Interface Apparatus", United States Patent 4,071,691, January 31, 1978, assigned to Peptek, Incorporated, Bethesda, Maryland

Phase-detection digitizer, resistive film touchscreen responds to finger touch: compare to Scriptel?

[PepperW78a] (*) Pepper, William Jr. "Human-Machine Interface Apparatus", United States Patent 4,129,747, December 12, 1978

Cited by Sklarew88b on user interfaces on touchscreens. touch-screen digitizer using phase delay of a signal in a resistive film with capacitive coupling

[PepperW80] . Pepper, William Jr. "System for producing electric field with predetermined characteristics and edge terminations for resistance planes therefor", United States Patent 4,198,539, April 15, 1980

Resistive-film digitizer using non-linear and three-dimensional electric fields, two voltage sources. Fields can be curved as desired, or corrected for pin-cushion distortion. Improvement to 4,071,691.

[Persoon77] . Persoon, E. and Fu, K.S. "Shape discrimination using Fourier descriptors", IEEE Transactions on Systems, Man and Cybernetics, Vol 7, 1977, pp 171-179 Taxt90: Pavlidis80 says 95% on IEEE handwriting recognition database

[Peterson80] . Peterson, J.L. "Computer Programs for Detecting and Correcting Spelling Errors", Communications of the A.C.M., Vol 23 no 12, December 1980, pp 676-687 Cited in Sinha88: on spelling context correction Has many reference on spelling correction, detection, best-match to strings, limits of lack of syntactic and/or semantic context

[Price79] . Price, K. and Reddy, R. "Matching segments of images", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-1, January, 1979, pp 110-116 Burr81

[Prugh80] . Prugh, R.W. and Fadden, B.J. "Graphic Digitizer", United States Patent 4,206,314, June 3, 1980, assigned to GTCO Corporation, Rockville, Maryland Digitizer with grid as transmitter, loop as the receiver

[Purcell77] (partial) Purcell, Stephen C. "Understanding hand-printed Algebra for computer tutoring", Massachusetts Institute of Technology, Artificial Intelligence Laboratory Memo No 445, February 1977 (also available as S.M. Thesis)

Context in parsing and recognizing mathematical expressions with on-line handwriting recognition "chalkboard languages" - two-dimensional doodles, writing, pictures Points out that overlap is inadequate as the only criterion for parsing/segmentation in handwriting (two-dimensional) Uses a lattice representation of possible stroke groupings/segmentations of characters, showing ambiguities of parsing (vs. of recognition) Features: local geometry (curvature, etc.) not enough: need global geometry (closure of endpoints on "U" vs. "O", etc.)

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

21/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Variability: greater when humanswr itein context, vs one character at a time Recognizer mentioned by Alan Kay in email posting on www.squeakfoundation.org, November 2000

[Rabiner78] . Rabiner, Lawrence R., Rosenberg, A.E., and Levinson, S.E. "Considerations in dynamic time warping for discrete word recognition", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol ASSP-26, 1978, pp 575-582 Kruskal83

[Rabiner79] . Rabiner, Lawrence R., and Wilpon, Jay G. "Speaker-Independent Isolated Word Recognition for a Moderate Size (54 Word) Vocabulary", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol ASSP-27 No 6, pp 583-587

Discrete word speech recognizer using statistical clustering templates: a carefully-trained speakerindependent limited recognizer can work as well as casually-trained speaker-dependent Speech recognition on a professionally trained actor with very human-clear diction was worse Clustering procedure for voice templates much better than casual enrollment Describes many enrollment/training methods for speaker-independent/dependent recognition system Training/enrollment data was "cleaned up" to remove breathing sounds, clicks, etc.

[Rabiner80] . Rabiner, Lawrence R. and Schmidt, C.E. "Application of dynamic time warping to connected digit recognition", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol ASSP-28, 1980, pp 337-388 Kruskal83

[Radice80] . Radice, P.F. "Personal Verification Device", United States Patent 4,234,868, November 18, 1980, assigned to Penwalt Corporation, Philadelphia, Pennsylvania

Signature verification using force/pressure biometric only. "force/pressure only" digitizing tablet using piezoelectric or pyro-electric sheet or film

[RahuelJC80] (*) Rahul, Jean-Claude and Dagnelie, Jean-Paul "United States Patent ", United States Patent 4,225,750, September 30, 1980 X/Y electromagnetic grid tablet digitizer operating at 10 Megahertz, modulated at 100 Kilohertz. Cites application as a telewriting (telautograph?) device. Cites to 1973 references for electronic whiteboard/blackboard systems.

[Reenskaug79] (*) Reenskaug, Trygve "A note on Dynabook requirements", Xerox PARC memo, 22 March 1979: partial copy available on the Internet

Automatic layout / structuring of graphical objects with connections: note that it does not mention handwriting recognition or character recognition? Refers to Prokon Anticipates market for Dynabook-like products about 1982-1986, programming in a higher-level language (e.g. APL, Pascal)

[Rosenfeld78] . Rosenfeld, Azriel "Survey: Picture Processing: 1977", (source not known) 1978

Not sure of source: Check Kuklinski's thesis? Large bibliography on picture processing, filtering, edge detection, image compression, character recognition and other kinds of pattern recognition (fingerprint, face, etc.), machine vision

[Rosenfeld80] . Rosenfeld, A. "Picture processing: 1980", Computer Graphics and Image Processing, Vol 16, May, 1981 Fu86/Fu83

[Rubincam79] (*) Rubincam, David P. "Electronic Book", United States Patent 4,159,417, June 26, 1979

Cited in Sklarew88b: on a portable electronic book, with user interface (no computer applications):

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

22/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

book text contained on memory card, shown in display. Hinged notebook-like design. Compare with Dynabook by Alan Kay?

[Saich77a] (*) Saich, William George "Data Terminals having Interactive Keyboards and Displays and Data Processing Apparatus Incorporation such Terminals", United States Patent 4,028,695, June 7, 1977 Soft button keyboard: touch of key causes change in appearance to indicate that it is selected, press (release?) of key causes function to be performed. Two gestures, one of which has a highlight? Or One gesture, with two kinds of feedback?

[Sakoe76] . Sakoe, Hiroaki "Automatic Character Recognition Device Employing Dynamic Programming", United States Patent 3,979,722, September 7, 1976, assigned to Nippon Electric Co. Limited, Tokyo Japan

Refers to "standard patterns" for template matching (which it is not). Eight-direction chain codes. Uses dynamic matching of vector maxima/minima for DCR handwriting recognition (BLRT chain codes). Chain-code BLRT points are absolute, vary distances between for degree of match.

[Sakoe78] (*p) Sakoe, Hiroaki and Chiba, S. "Dynamic programming algorithm optimization for spoken word recognition", IEEE Transactions on Acoustics, Speech and Signal Processing, Vol ASSP-26, 1978, pp 43-49 Kruskal83

[Sakoe79] (*p) Sakoe, Hiroaki "Two-Level DP-Matching -- A Dynamic Programming-Based Pattern Matching Algorithm for Connected Word Recognition", IEEE Transactions on Acoustics, Speech and Signal Processing, Vol ASSP-27, NO 6, 1979, pp 588-ff [Seelbach80] . Seelbach, H.E. "Input Device for Input of Alphanumeric Characters into a Computer", United States Patent 4,184,147, January 15, 1980 Simple four-grid "character recognition" device: sequence of crossings

[Sethi77] . Sethi, I.K. and Chatterjee, B. "Machine recognition of constrained handprinted Devanagari", Pattern Recognition, Vol 9, pp 69-75, 1977 Biswas81

[Seuffert77] . Seuffert, P. "An Application of Line and Character Recognition in Cartography", Proceedings of IEEE Conference on Pattern Recognition and Image Processing, pp 337-342, June 1977 Goodale83

[Shillman76a] . Shillman, R. "Automatic Recognition of Thick Stroke Characters", Quarterly Progress Report No 118, Appendix IX, Massachusetts Institute of Technology Research Laboratory of Electronics, July 1976 How "legs" appear shorter as they get thicker

[Shillman76b] . Shillman, R. and Naus, G. "The Distinctive Features of the Letters O and D", Quarterly Progress Report No 118, Appendix X, Massachusetts Institute of Technology Research Laboratory of Electronics, July 1976 [Shillman76] . Shillman, R., Kuklinski, T. and Blesser, B. "Psychophysical Techniques for Investigating the Distinctive Features of Letters", International Journal of Man-Machine Studies, Vol 8, pp 195-205, 1976 Classical letter shapes do not occur frequently in hand-printing Shillman article on functional attributes

[Shillman77] . Shillman, R.J. and Babcock, R.T. "Preliminary Steps in the Design of Optical Character Recognition Algorithms", unpublished manuscript, Cognitive Information Processing Group, Research Laboratory of Electronics, Massachusetts Institute of Technology, https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

23/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Cambridge, Massachusetts 02139, 1977

Physical to functional rules (functional attributes) for 2 and Z at Massachusetts Institute of Technology (see Babcock) Example of 2-Z space, one space invading the other Good introductory example of physical to functional rules, how to pick the dominant feature for a character recognizer

[Shinghal79a] . Shinghal, R. and Toussaint, G.T. "A bottom-up and top-down approach to using context in text recognition", International Journal of Man-Machine Studies, Vol 11, 1979, pp 201-212 Cited in Sinha88: on spelling/dictionary context correction

[Shinghal79] . Shinghal, R. and Toussaint, G.T. "Experiments in text recognition with modified Viterbi algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-1, 1978, pp 184-192 Cited in Sinha88: on spelling/dictionary context correction

[Shortliffe76] . Shortliffe, E.H. "Computer-Based Medical Consultation: MYCIN", American Elsevier, New York, 1976 Expert A.I. system to diagnose infectious blood diseases Cited in FoleyJD84

[SIGGRAPH79] . SigGraph "General Methodology and the Proposed Core System", report of the Graphics Standards Planning Committee, in Computer Graphics (Proc. of SIGGRAPH 79), Vol 13 No 3, August 1979 [Simmons80] (*) Simmons, Robert M. "An On-line Character Recognizer", Interface Age, March 1980, pp 110-114 Very simple on-line handwriting character recognition program running on a 1980 Z-80 CP/M system effectively trims ends of stroke by looking for matching chaincode sequence within longer chaincode sequences Zone-based recognizer, using chain of codes for the zones visited: single-stroke characters?

[SMC78] . (various authors) "Special section on hand-print OCR", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-8 No 4, pp 279 ff, April 1978

Special section on real-world application experience with hand-print OCR, vs laboratory results

[Snyder77] . Snyder, Edward J. and Domyan, Stephen L. "Position coordinate determination device", United States Patent 4,018,989, assigned to Summagraphics Corporation, April 19, 1977 Lukis87 on digitizer tablets

[Spanjersberg78] (*) Spanjersberg, A.A. "Experiments with Automatic Input of Handwritten Numerical Data into a Large Administrative System", IEEE Trans. on Systems, Man, and Cybernetics, Vol SMC-8, No 4, April 1978, pp 286-288 Shows various contraint methods on handwriting styles (boxes, zones, write around the dots, marked-sense card) to make handwriting more recognizable by machine, gives some performance results

[Spohrer80] (*p) Spohrer, James C., Brown, Peter F, Hochschild, Peter H., and Baker, James K. "Partial Traceback in Continuous Speech Recognition", IEEE publication 03600913/80/000/0036 Verbex Corporation, formerly Dialog Systems Inc, Two Oak Park, Bedford MA 01730 use of context in continuous speech recognition

[Srihari76] . Srihari, S. and Zack, G. "Document Image Analysis", Proceedings of 8th https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

24/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

International Conference on Pattern Recognition, Paris, France, October 1986, pp 434-436 Cited in Baird86a: on document skew alignment angle for OCR

[Stallings76] . Stallings, W. "Approaches to Chinese Character Recognition", Pattern Recognition, Vol 8, 1976, pp 87-98 [Stockholm79] . Stockholm, E. "Recognition of a writer as a function of his method of writing", Perception and Motor Skills, Vol 49, 1979, pp 483-488

Cited in Teulings86a Teulings86a cites for invariant spatial features in handwriting, regardless of writing conditions for subject (blackboard, paper, etc.)

[StumpeB77a] (*) Stumpe, Bent "A New Principle for an X-Y Touchscreen", CERN technical report, March 16 1977 Capacitive/electrostatic touchscreen digitizer using X and Y planes of conductive traces: earlier work goes back to 1973. Additional papers in file regarding conductive polymers for a transparent touchscreen. Senses on multiple traces and determines "gravity point" of touch location. Compare with Scriptel.

[StumpeB78b] (*) Stumpe, Bent "Experiments to find a manufacturing process for an x-y touch screen: Report on a visit to Polymer-Physik GmbH.pdf", CERN technical report, 6 February 1978

Manufacturing process for x-y touch screen based on StumpeB77a. Clear and insulating conductive lacquers to make conductive/resistive films, also with antireflective properties. Mentions putting lacquer between wires for better optical properties.

[Suen77a] . Suen, C.Y. "Alphanumeric Hand-prints with Stroke Directions and Sequences", internal report for Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1977 Original collection of writing samples for PenVerter Partners (Pencept)

[Suen77b] . Suen, C.Y. and Shillman, R.J. "Low Error Rate Optical Character Recognition of Unconstrained Hand-printed Letters Based on a Model of Human Perception", IEEE Transactions on Systems, Man, and Cybernetics, Vol 7 No 6, June, 1977, pp 491-495 Suen support (with Shillman) use of psychologically base features Suen claims the computer did better recognition than human on U-V

[Suen79a] . Suen, C.Y. "A Study on Man-Machine Interaction Problems in Character Recognition", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-9 No 11, pp 732-737, November 1979 Refers to "users do not follow models, but revert to usual writing" on training/constrained handwriting recognition Ergonomics / user-interface problems in handwriting recognition

[Suen79b] . Suen, C.Y. "n-Gram statistics for natural language understanding and text processing", IEEE Transactions on Pattern Analysis and Machine Intelligence", Vol PAMI-1, 1979, pp 164-172

Cited in Sinha88: for statistics on language (one million word samples) to use for context correction Contains several lists of English-language word frequency dictionaries

[Suen80a] . Suen, C. "Computer Analysis of Handprinted Characters", Proceedings of the 5th International Conference on Pattern Recognition, Miami Beach, Florida, December, 1980, pp 398-401

Human recognition success rate is 7.6% substitution error. Examples of handwriting variability from 1500 student enrollment cards, with distribution frequency Constraints: examples of how humans give cursive, lower-case, etc. even when asked specifically to

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

25/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

print styles Handwriting recognition by machine with better performance than humans requires understanding of how humans recognize characters Taxonomy of different approaches to handwriting recognition: template matching, correlation; distribution of points, moments, crossings, distances; transformations and series expansions; geometrical and topological features, syntactic and structural analysis Describes Suen's research on distinctive features (functional attributes) Lists of constraints typically tried to reduce handwriting variability

[Suen80b] (*) Suen, C., Berthold, M. and Mori, S. "Automatic Recognition of Hand-printed Characters - The State of the Art", Proceedings of the IEEE, pp 469-487, Vol 68 No 4, April 1980 Survey of handwriting recognition, both static (OCR) and dynamic (on-line). Used as citation in several patents. Follow-up by Tappert and Suen in 1990, by Plamondon in 2000. Specifically mentions decision trees at several points.

[Suenaga80] (*p) Suenega, Y. and Nagura, M. "A facsimile based manuscript layout and editing system by auxiliary mark recognition", Proceedings of 5th Int Conf on Pattern Recognition, Dec 1-4, 1980, pp 856-858 Cited in Kankaanpaa87, Goodale83 See also Nagura83, same paper

[Talmage78] (*) Talmage, John E. and Bates, L. Dexter "Nonplanar Transparent Electrographic Sensor", United States Patent 4,071,689, January 31, 1978 Resistive-sheet digitizer using small spacing dots

[Tappert78a] . Tappert, C.C. and Das, Subratta K. "Memory and Time Improvements in a Dynamic Programming Algorithm for Matching Speech Patterns", IEEE Trans. Acoustics, Speech, and Signal Proc., Vol. ASSP-26, pp 583-586, 1978 Cited by Marlin Eller, Microsoft Pen Computing group

[Tappert78b] . Tappert, C.C., and Kurtzberg, J.M. "Elastic Matching for Handwritten Symbol Recognition", Proc. IBM Int. Conf. Image Processing Pattern Recognition, 1978. Also, IBM Res. Rep. RC9988, May 1983. Cited by Marlin Eller, Microsoft Pen Computing group

[Tersoff78] (*) Tersoff, Abraham I. "Man-Machine Considerations in Automatic Handprint Recognition", IEEE Trans. on Systems, Man, and Cybernetics, Vol SMC-8 No 4, April 1978, p 279 short review: reliable OCR for hand-print is nowhere in sight

[Teulings79] . Teulings, H.H.M., and Thomassen, A.J.W.M. "Computer-Aided Analysis of Handwriting Movements", Visible Language, Vol XIII No 3, 1979, pp 218-231 Describes digitizer set up to study handwriting: was tablet performance any good?

[ThackerDP79a] (*) Thacker, C.P.; McCreight, E.M.; Lampson, B.W.; Sproull, R.F.; and Boggs, D.R. "Alto: A Peronal Computer", Xerox Corporation, 1979. Appeared in "Computer Structures: Principles and Examples", 2nd Edition, pp. 549-572, Siewiorek, Bell and Newall, eds.

Original Alto personal computer with mouse and graphical user interface. Included BCPL language. Also mentions XY input tablet as input device, better than mouse for drawing, but tablet "interfered with keyboard" (no particulars given).

[Thornburg79] (*) Thornburg, David D. "Capacitive Transducer", United States Patent 4,177,421 Capacitive / electrostatic digitizer

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

26/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

[Thornburg80] (*) Thornburg, David D. "A Low-Cost Alternative to Data Entry Keyboards", Recreational Computing, January 1980, pp 16-18 PrestoDigitizer product: seven-zone handwriting feature recognition

[Thornburg80a] (*) Thornburg, David D. "A Low-Cost Alternative for the Real-Time OnLine Entry of Handprinted Characters", Proceedings of 3rd ACM SIGSMALL Symposium and the first SIGPC symposium on Small Systems PrestoDigitizer product: seven-zone handwriting feature recognition

[Thornburg80b] (*) Thornburg, David D. "A Low-Cost Device for the Real-Time On-Line Entry of Handprinted Characters", Proceeding of 3rd ACM SIGSMALL Symposium and the first SIGPC symposium on Small Systems, pp 179-183

PrestoDigitizer product: seven-zone handwriting feature recognition. stroke sequence and direction information, simple dictionary to identify/recognize the handwritten character. Refers to learning algorithms (training of system?)

[Thornton79] . Thornton, R.W. "The Number Wheel: A Tablet Based Valuator for Threedimensional Positioning", Proceedings of SIGGRAPH '79, published as Computer Graphics, Vol 13 No 2, August 1979, pp 102-107 Cited in FoleyJD84

[Toussaint77] . Toussaint, G.T. "The Use of Context in Pattern Recognition", Proceedings of IEEE Computer Society Conference on Pattern Recognition and Image Processing, Renselear Polytechnic Institute, Troy, New York, June 6-8, 1977, pp 1-10 Context lies not just in the data, but in the perceiver Syntactical vs statistical use of context Statistical context: huge number crunching to reduce unmanageable probability distribution Types of word-feature context: graphological, phonological, statistical, syntactic, semantic, pragmatic Markov statistical methods for very large context dictionaries Modified Viterbi algorithm (statistical context) not so hot Goshtasby88 cites for using spelling dictionary look-up for context correction

[Toussaint78a] . Toussaint, G.T. "The use of context in pattern recognition", Pattern Recognition, Vol 10, 1978, pp 189-204 Hull,JJ83

[Toussaint78b] . Toussaint, G.T. and Shinghal, R. "Cluster analysis of English Text", Proceedings of IEEE Conference on Pattern Recognition and Image Processing, Chicalo, IL, 1978, pp 164-172 Hull,JJ83 on context dictionary

[Tversky77] . Tversky, A. "Features of similarity", Psychological Review, Vol 84, 1977, pp 327-352 Cited in IchikawaS84: on human recognition

[Ullman77] . Ullman, J.R. "A binary n-gram technique for automatic correction of substitution, deletion, insertion and reversal error in words", Computer Journal, Vol 20, 1977, pp 141-147 Cited in Hull83a: on spelling correction

[Viviani80] . Viviani, P. and Terzuolo, V. "Space-time invariance in learned motor skills", in "Tutorials in motor behavior", Stelmach, G.E and Requin, J., editors, New York, North Holland, publishers, pp 525-533

Cited in Schomaker86 Schomaker86 cites that overlearned/over-trained writing strokes (signatures?) show great invariance

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

27/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

in relative stroke timing

[Wakamatsu79] (*) Wakamatsu, Shuichi "Character Writing System", United States Patent 4,144,405, March 13, 1979

Method for generating Kanji characters making use of the sequential order of writing parts of the characters with an input unit Shows tablet input of handwritten Kanji characters, but does not refer to character recognition per se

[Wallace76] (*) Wallace, Victor L. "The Semantics of Graphic Input Devices", "Proceedings of SIGGRAPH/SIGPLAN Conference on Graphics Languages, published as Computer Graphics, Vol 10 No 1, April 1976, pp 61-65 Mentions virtual devices: relevant to Schumer patent claims, though not cited in that case Virtual devices (for semantic purposes) are Pick, Button, Keyboard, Locator, Valuator: specifically refers to character recognition for keyboard input

[Waltz78] (*) Waltz, David L. "On the Interdependence of Language and Perception", U. Penn Technical Report T78-1020 Partly an essay on the ambiguity of perception as a function of context

[Ward76] (*) Ward, J.R., Nelson, G.E., Desch, S.H., and Kaplow, R. "Two New Strategies for Computer-Assisted Language Instruction (CALI)", Foreign Language Annals, Vol 9 No 1, February 76, pp 28-37 CAI Computer-aided instruction, grammatical/syntax analysis of German sentences: Gordon Eugene Nelson, Jean Renard Ward, Robert Kaplow (see Kaplow patent for UI item)

[WhetstoneAL76a] (*) Whetstone, Albert L. and Phillips, Stanley C. "Digitizing_graphic_system_using_magnetostrictive_transducers", United States Patent 3,956,588, May 11, 1976

Summagraphics magnetostrictive tablet technology on drafting table, two magnetostrictive wires one each along each arm of mechanical X/Y drawing holder

[WhiteGM78] . White, G.M. "Dynamic programming for the Viterbi algorithm, and low cost speech recognition", Proceedings of the 1978 IEEE International Conference on Acoustics, Speech, and Signal Processing, pp 413-417 Kruskal83

[Wing78] . Wing, A.M. "Response time in handwriting", in "Information processing in motor control and learning", New York: Academic Press, G.E. Stelmach, editor, 1978, pp 153-172 Cited in Teulings86 Teulings86 cites this that up/down stroke pairs may be basic grapheme unit of writing

[Wing79] (*p) Wing, A.M. "Variability in Handwritten Characters", Visible Language, Vol XIII No 3, 1979, pp 283-298 Confusable forms of script b-f, i-r Printing slower than script, but gets faster with practice People have same writing style on blackboard and on paper

[WrightS78] . Wright, Jr., S.J., Anderson, P.T., and Grimes, R.S. "Multi-Modal Data Input/Output Apparatus and Method Compatible with Bio-Engineering Requirements", United States Patent 4,070,649, January 24, 1978 Character recognition using a four segment panel, diagonally Reference similar to BLRT chain codes

[Xerox76a] (*) Xerox Corporation "Alto Users Hantbook 15a", Xerox Corporation, 1976

User manual for Xerox Alto personal computer: three-button mouse, refers to operatins when "hold it down" on a mouse button, prior to moving

[Xerox80a] (*) Xerox Corporation "Xerox 5700 Electronic Printing System Reference https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

28/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Manual", Xerox Corporation, 1980

Touch-panel / touch-screen interface for commercial printing system Xerox 5700. Virtual buttons: function of button depends on sequence of user input e.g. tapping on "help" button first changes function of next button user presses. Buttons displayed change depending on function.

[Yacyk78] (*) Yacyk, J. "Man-Machine Considerations in Automatic Handprint Recognition", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-8 No 4, pp 279-282, April 1978 Constraints do not work well on handpriting in practice: Users tend to omit serifs from O and S in ANSI74 standard of constrained writing styles. Review of OCR for ANSI-standard handprints, shows Universal Subset standard neographic shapes for hand-printed characters and symbols. Tersoff paper is on same page

[YamamotoK78] (*p) Yamamoto, K. and Mori, S. "Recognition of hand-printed characters by outermost point method", Proceedings of Fourth International Joint Conference on Pattern Recognition, Kyoto, Japan, November 7-10, 1978, pp 794-796 Cited in Kahan87

[YamamotoK80] . Yamamoto, K. and Mori, S. "Recognition of Hand-printed Characters by an Outermost Point Method", Pattern Recognition, Vol 12., pp 229-236, March 1980 Similar to BLRTs chain codes, but uses 16 directions, not 4 Refers to dis-ambiguation of Katakana and Roman characters

[Yasuhara76] (*p) Yasuhara, M. "On Distinctive Features in Character Recognition -- Some Evidence from Reaction-time Measurements", Working Paper 102, Cognitive Information Processing Group, Research Laboratory of Electronics, Massachusetts Institute of Technology, Cambridge, Massachusetts 02139, August 15, 1976 Mentions lack of consensus on what features to use in any given pattern recognition problem

[Yasuhara77] (*p) Yasuhara, M. and Oka, M. "Signature Verification Experiment Based on Nonlinear Time Alignment: A Feasibility Study", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-7 No 3, pp 212-216, March 1977 [Yasuhara77a] (*p) Yasuhara, M. and Yasumoto, Yasuhiko "Measurement of Handwriting Pressure - Pressure-Sensitive Pen", Annual Report of RLCS Avoid feature extraction in signature verification by time-template matching

[Yasuhara78] (*p) Yasuhara, M. and Kuklinski, T. "Category boundary effect for grapheme perception", Perception and Psychophysics, Vol 23 No 2, 1978, pp 97-104

Discrimination function peaks at the category boundary, just as speech does Boundary classification for character recognition Ted Kuklinski and Yasuhara: says say "physical attribute" and "functional attribute", since "feature" is used sloppily Shows ambiguity of feature "leg" along character trajectory, instead of character along feature trajectory Cultural bias: l vs r in speech by Japanese, and by Americans (extension to characters: European 7 vs F (?))

[Yoshida78] (*) Yoshida, Masumi; Iwata, Kiyoshi; Yamamoto, Eiichiro; Masui, Takeshi; and Kabuyama, Yukikazu "Pattern Recognition Processing System", United States Patent 4,105,998, assigned to Fujitsu Limited, Kawasaki, Japan, August 18 1978 Recognizing handwritten characters by their intersections within a rectangle with horizontal and vertical reference lines; used the distances and positions of the intersection points, such as to get at the internal "open" space within a character

[Yoshida80] . Yoshida, M. et al "Recognition System for Design Chart Drawn on Section https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

29/30

10.2.2015

(1976..1980) History of Pen and Gesture Computing

Paper", Proceedings of 5th International Joint Conference on Pattern Recognition, 1980, pp 127-130 Cited in Kato80: user-interface for prettying up drawings

[YouKC79] . You, K.C. and Fu, K.S. "A syntactic approach to shape recognition using attributed grammars", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-9, 1979 [Zadeh80] (*) Zadeh, L.A. "Fuzzy sets", Citation Classics, Number 47, November 24, 1980 Retrospective note on the origin of fuzzy set theory in 1963 by Zadeh L.A. and Desoer, C.A.

       Main Reference Page       

https://web.archive.org/web/20130503161045/http://rwservices.no-ip.info:81/pens/biblio80.html

30/30

10.2.2015

(1981..1983) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio83.html

Go

55 captures

DEZ MAI OKT

2

2012 2013 2014

7 Sep 08 - 23 Okt 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1981 to 1983. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:49 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio83.html http://216.15.114.196:81/pens/biblio83.html http://rwservices.no-ip.info:81/pens/biblio83.html (Generally most up-to-date)

       Main Reference Page        [ActaPsychologica83] (*a) Acta Psychologica "Special issue on motor aspects of handwriting", Vol 54, 1983. [Agui81] () Agui, T., Matsubara, K., and Nakajima, M. "Sequential Computer Processing of a Collection of Closed Curves and Its Application to Pattern Recognition", Transactions of the IECE of Japan, Vol E64, No 10, October 1981, pp 661-666 (abstract only). Chain-code transformation, for matching similar curves

[Amin82] (*a) Amin, Adnan, and Masini, Gerald "Machine recognition of cursive Arabic words", SPIE Vol 359, Applications of Digital Image Processing IV, 1982, pp 286-292. Dictionary lookup for word-by-word handwriting recognition of Arabic Segmentation: some Arabic letters are discontinuous, so Arabic words are 1 to 7 strokes (not counting dots?)

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

1/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Handwriting spelling dictionary look up by number of strokes, number of dots, number of intersections in Arabic Cited in FoleyJD82 Input model: precursor to PHIGS and CGI, postcursor to SIGGRAPH CORE?

[ANSI81] () ANSI "ANSI X3H31 Status Report on the H31 Strawman Proposal on Input Functionality", Document X3H31/31-11R1, April 20, 1981. [Anson82] (*) Anson, E. "The Device Model of Interaction", Computer Graphics, Vol 16 No 3, July 1982, pp 107-114.

Critique of CORE graphics standard, need for composite devices. Compare with proposal by Pencept for handwriting recognition input to PHIGS standard. Model supports multiple (simulated) devices, two-handed input, contrasted with ping-pong input of one device at a time. Refers to user-interface of simulating a virtual soft keyboard /function buttons on a tablet

[Apple83a] (*) Apple Computer "Apple Modem 300/1200 User's Manual", Apple, Inc. 1983 Modem command set for Hayes-compatible Apple modem

[Applicon83] . Applicon "IAGL User's Guide", Applicon Incorporated, Burlington, Massachusetts, June 1983 cited in RubinSM84: Ledeen recognizer?

[Arakawa83] (*p) Arakawa, K. "On-line recognition of hand-written characters -Alphanumeric, hiragana, katakana, kanji", Recognition, Vol 16 No 1, pp 9-16, 1983. Published earlier as (Arakawa78)

Fourier coefficients of strokes as feature points For Roman alphabet, 29 single-stroke and 7 two-stroke character shapes For Hiragana alphabet, 10 single-stroke and 18 two-stroke character shapes, 13 3-stroke, 5 4-stroke

[Badie82] (*p) Badie, K. and Shimura, M. "Machine Recognition of Roman Cursive Scripts", Proceedings of the 6th International Conference on Pattern Recognition, pp 28-30, 1982. Refers to similarity/variability of loop and arc in script handwriting Script recognition using clock-wise vs counter-clockwise loops and arcs Refers to corner(cusp)/loop transition in script writing

[Bahl81] (*p) Bahl, L.R. and Cocke, J. "Font-Independent Character Recognition by Cryptanalysis", IBM Technical Disclosure Bulletin, Vol 24 No 3, August 1981, pp. 15881589.

Cites Baum-Petree algorithm for decoding Font- and language-independent recognition by doing cryptanalysis on whatever categories and arbitrary recognition comes up with?

[Bahl83] (*p) Bahl, L.R., Jelinek, F., and Mercer, R.L. "A Maximum Likelihood Approach to Continuous Speech Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-5 No 2, March 1983, pp 179-190. Realistic testing: artificial tasks vs natural tasks (for a priori grammar for speech) Speech: acoustic/phonetic encoding vs communication theory model

[BarachDR81] (*) Barach, David R, Taenzer, David H, Wells, Robert E. "Design of the PEN Video Editor Display Module", ACM conference proceedings: ACM 0-89791 050 -8/81/0600/0130 Video text editor to emulate different computer keyboard terminals, with separation of data and display modules: does not involve pointing/pen or character recognition input (Copy provided by Gary Odom)

[BarkerPG82] () Barker, P.G. "Data base interaction using a hand print terminal", International Journal of Man-Machine Studies, Vol 17, 1982, pp 435-458. https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

2/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

DCR Dynamic Character Recognition devices allow several novel kinds of user interactions / interfaces. Says needs much higher resolution digitizer touch-pad than is available.

[BartelsRH83a] (*) Bartels, Richard H.; Beatty, John C.; Booth, Kellogg S; and Field, Daniel E. "Computer Graphics Laboratory Fall 1983 Review, Univ. of Waterloo", University of Waterloo, Computer Science Department, Report CS-83-33, December 1983 GTCO Digi Pad 5 Pressure Pen Tablet; comments on lack of smarts used in microprocessors for functionality of pointing devices: example is buffering of data in pointing devie to avoid data overrun from host buffering-- does not comment on latency. Labanotation input for dance transcription (Bensh editor)

[BewleyWL83a] (*) Bewley, William L.; Roberts, Teresa L.; Schroit, David; and Verplank, William L. "Human Factors Testing in the Design of Xerox's 8010 "start" Office Workstation", Proc. CHI '83, December 1983, pp. 72-77

User interface usability testing of Xerox Star GUI, primarily on use of mouse buttons, 1/2/3-button mouse: separate button for drag/copy/select, multiple clicks (double click, etc.)

[Biswas81] (*p) Biswas, Prasenjit and Majumdar, Arun K. "A Multistage Fuzzy Classifier for Recognition of Handprinted Characters", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-11 No 12, December, 1981, pp 834-838. Test results on 12 of the 35 Devanagari alphabet handwritten characters (all work done by hand: did not have a real computer?) Fuzzy set classifier for Devanagari (Indian) handwriting recognition Data collection: tested on the 70% "satisfactory" sample writing sheets: bias in sample? points out subjectiveness of training? (pairwise comparison?) syntactic method only applied to handwritten characters which were confusable

[Blesser83] (*) Blesser, B. "Multistage Digital Filtering Utilizing Several Criteria", United States Patent 4,375,081, February 22, 1983 Low-pass digital filter for a tablet to pre-process handwritten character to eliminate wobble/digitization noise before recognition

[Bozinovic82] (*) Bozinovic, Radmilo and Srihari, Sargur N. "A string correction algorithm for cursive script recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 4, November 1982, pp 655-663. Handwriting cursive script recognition using channel model of dictionary: allows for splitting, merging, and substitution (segment parsing errors) Cited in Bozinovic89: for context: probabilistic spelling corrector based on a distance metric for strings

[Brody83] (*p) Brody, Herb "Machines that Read Move Up a Grad", Hight Technology, Feb 1983, pp 35-ff. Review of commercial OCR products and applications (document sorting), including Kurzweil,

[BrownF83] (*) Brown, Frances "The acquisition of handwriting in the UK", Oral presentation at the Criminalistic Institute in Prague, 1983. Written form available at http://www.bham.ac.uk/english/bibliography/handwritng/new_web_pages/acquisition.htm

Report on handwriting styles taught and learned in the U.K. Points out that there is no single style of handwriting taught in copybooks in the U.K., unlike some other countries. Advisor, Tom Davis, comments on the diversity of writing styles in signature verification and the detection of forgeries

[BrownMK83] () Brown, M.K. and Ganapathy, S. "Preprocessing Techniques for Cursive https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

3/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Script Word Recognition", Pattern Recognition, Vol 16 No 5, pp 447-458, 1983.

adaptive/trainable recognition, suggests "closed loop" verification (feedback to user) is helpful Much DCR/CSR handwriting/gesture recognition research is commercial/proprietary, therefore not published. DCR (gesture/handwriting input) picking up as result of human factors in Man/Machine interface. Writer (author) independent recognition would be more desirable than present trained recognition. In development, necessary to hand-correct for real-world errors in input data collection.

[BrownRM83] () Brown, Robert M., and Cheng, C.F. "Optical Character Recognition for Automated Cartography: The Advanced Development Handprinted Symbol Recognition System", Naval Ocean Research and Development Activity, NSTL Station, Mississippi, Report No NORDA-TN-187, March 1983. NTIS citation index

[Buckle81] (*) Buckle, Derek and Strand, Timothy D. "Processing of Information", United States Patent 4,262,281, assigned to Quest Automation Limited, Dorset, England, April 14, 1981. Quest Automation / Datapad product patent on handwriting recognition: Claims on alignment/registration of paper on digitizer tablet by marking on pre-printed alignment targets. Pressure-sensitive tablet with floating hand rest to keep hand from pressing on tablet. See also Micropad

[Burr81] (*p) Burr, D.J. "Elastic matching of line drawings", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-3, March, 1981, pp 708-713.

Handwritten sketch/character input recognition: refers to IEEE handwriting data base collection 1.2.4: (24x36 binary OCR) Like Greenberg77, throws out handwriting samples from IEEE Database 1.2.4 as "poorly written"

[Burr83] (*) Burr, D.J. "Designing a Hand-writing Reader", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-5 No 5, pp 554-559, September 1983. Context by matching grouped letters into words using Unix "spell" separate "training dictionary" for each user: single-stroke characters, discrete characters

[Buxton82] (*p) Buxton, William "An Informal Study of Selection Positioning Tasks", Graphics Interface '82, pp 323-ff.

trainable, short-hand single-stroke symbols for graphical shapes, graphics editing: Unistroke, terminated by pen lift at the end. Gestures are checkmark, downward stroke, and upwards stroke.

[Buxton83] (*) Buxton, William, Fiune, Eugene, Hill, Ralph, Lee, Alison, and Woo, Carson "Continuous hand-gesture driven input", Proceedings of Graphics Interface 83, page 191-195, 1983. Gesture input: tap/circle gesture. Says velocity-sensitive gestures difficult Cited in Rhyne86: Digitizer stylus must be held vertical to get good results -- reference to stylus tilt problem, often miss-called parallax.

[Buxton83a] (*) Buxton, William "Lexical and Pragmatic Considerations of Input Structures", Computer Graphics, January 1983, pp 31-ff. Lexical (chunking and phrasing) aspects of compound gestures

[Buxton83b] (*p) Buxton, William "Towards a Comprehensive User Interface Management System", Computer Graphics, Vol 17, No 3, July 1983 [CalComp83] () CalComp "CalComp 2000 Series Digitizer Operator's Manual", 50218-1, page 15, CalComp Incorporated, January 1983. [Carau81] (*) Carau, F., Hetzel, H. and Tremblay, M. "Travelling Wave Digitizer", United States Patent 4,255,617, assigned to Hewlett-Packard Co, Palo Alto, California. Digitizer measuring X and Y sequentially in time. Mentions velocity correction for bowing of

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

4/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

diagonal lines, corrections for non-orthogonality, course and fine measurements in two stages. X/Y Grid, puck with magnifying glass shown.

[Carey83] () Carey, Tom "User Differences in Interface Design", IEEE Computer, November 1982, pp 14-ff [Carroll82] () Carroll, John M. "The Adventure of Getting to Know a Computer", IEEE Computer, November 1982 [Casey82] () Casey, R.G. and Nagy, G. "Recursive Segmentation and Classification of Composite Character Patterns", Proceedings of the 6th International Conference on Pattern Recognition, Munich, Germany, October 1982, pp 1023-1026. Combine character segmentation with classification in adaptive decision tree Optical resolution good enough for recognition may be too low to segment characters (like cursive/connected vs discrete characters segmentation): some touching characters in OCR can only be segmented by recognizing component characters

[Casey83] (*p) Casey, R.G. and Nagy, G. "Decision Tree Design Using a Probabilistic Model", IEEE Trans. on Information Theory, Vol IT-30, No 1, January 1984, pp 93..99 [Casio83] (*) Casio "Module NO. 648 Wrist-watch Controller", Casio

User manual for Casio wristwatch: may be the model with touchscreen input and handwriting, but manual only describes small keyboard input

[Chalkboard83a] (*) Devlin, Joe "The legend of the pad of power", Creative Computing, Vol 9 No 10, October 1983, page 52 Chalkboard Power Pad: touch-sensitive membrane graphics tablet responding to more than one touch at a time, can image contact of entire hand. Resolution 120x120. Sold as educational toy.

[Cognex83a] (*) Cognex Corporation "Cognex Corporation presents DataMan", Cognex Corporation, 1983 Date approximate: OCR product for reading serial numbers and other identifying numbers in manufacturing and shipping, such as product IDs on boxes.

[ComputerGW82] () Computer Graphics World "Digitizer Survey", Computer Graphics World, July 1982, pp 66-69. Vendor survey in 1982 for digitizing tablets, video scanner digitizers.

[Computerworld81a] (*) Computerworld "Micropad: Data Entry Unit Accepts Writing", Computerworld, July 6, 1981, p. 52

Announcement of Buffered Micropad handwriting recognition input terminal, 512 characters, builtin one-line LED display.

[ConklinD83] (*) Conklin, Dick "PC Graphics (excerpt)", Wiley IBM PC serices, ISBM 0471-89207-6 Early reference to digitizing tablets with IBM PC: rotational transformation, digitizer resolution much higher than display: typical resolution of tablet 2048 points (sic)

[Cooper81] () Cooper, Leon N., and Elbaum, Charles "Information Processing System using Threshhold Passive Modification", United States Patent 4,254,474, March 3, 1981, assigned to Nestor Associates, Stonington, Connecticut. Nestor Graphics patent

[Cooper82a] () Cooper, Leon N. and Elbaum, Charles "Curve Follower", United States Patent 4,319,331, March 9, 1982, assigned to Nestor Graphics, Providence, Rhode Island. Nestor Graphics patent Curve follower to turn OCR data into DCR character data

[Cooper82] (*p) Cooper, Leon N., Elbaum, Charles, and Reilly, Douglas L. "Self Organizing https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

5/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

General Pattern Class Separator and Identifier", United States Patent 4,326,259, April 20, 1982, assigned to Nestor Graphics, Providence, Rhode Island., also European Patent Application 81300559.2 Nestor Graphics patent

[Cordella83] () Cordella, L.P. and Sanniti di Baja, G. "Structural description of silhouettes", Proceedings of the 3rd Scandinavian Conference on Image Analysis, Copenhagen, Denmark, 1983, pp 73-78. Cited in Arcelli85: about line-thinning and reconstruction

[Cox82] () Cox, C.H. III, Coueignoux, P., Blesser, B., and Eden, M. "Skeletons: A Link Between Theoretical and Physical Letter Descriptions", Pattern Recognition, Vol 15 No 1, PP 11-22, 1982. Barry's group: functional attribute (cognitive) vs synthetic (generative) Deal with embellishments separates from base pattern (in OCR)

[Crane82] () Crane, H.D. and Wolf, D.E. "Dynamic Creation of Signatures", United States Patent 4,344,135, August 10, 1982, assigned to Stanford Research Institute, Menlo Park, California. Hew Crane: amendment to Crane79: patent 4,156,911 (?) Human-reading for signature verification

[Crane83] () Crane, H.D. and Ostrem, J.S. "Automatic Signature Verification Using a ThreeAxis Force-Sensitive Pen", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC13 No 3, May 1983, pp 329-337. Writing pen with obstructed view: accelerometer (no touch screen)

[CTS81] () CTS Recognition "Telepad product information", 13-14 Golden Square, London W1R 3AG, England, 1981. Early Micropad-like British handwriting recognition product.

[DahlJP81a] (*) Dahl, Jerome P.; Epley, Phillip R.; and Fox, Jon E. "Program Controlled Capacitive Keyboard Variable Threshold Sensing System", United States Patent 4,305,135, December 8, 1981 Capacitive key matrix keyboard, references touch-sensing circuit in IBM journal

[Dooijes83] () Dooijes, E.H. "Analysis of Handwriting Movements", Acta Psychologica, Vol 54, 1983, pp 99-114. [DosterW83a] () Doster, W. and Oed, R. "Zur Bildanalyse bei der Handschriftlichen Direkteingabe", Proceedings of Mustererkennung 1983, October 11-13, 1983, Karlsruhe, West Germany. Best description of AEG's segmentation/parsing algorithm for handwritten characters Blithely claims that rasterization of dynamic on-line character data would reduce this with OCR to the same problem (but the OCR segmentation problem is harder!)

[DosterW83b] () Doster, W. and Schuermann, J. "A Step Towards Intelligent Document Input to Computers", Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 19-23, 1983, Washington, D.C., pp 515-516. Scan in documents with OCR, use on-line handwriting recognition user-interface to edit them

[Dunn81a] () Dunn, K. "Choose Digitizer Technology and Features to Suit Applications", Computer Technology Review, Fall/Winter 1981, pp 171-175.

Many limiting characteristics of digitizers (width of pencil line, etc.). List of what can be spec'ed for a digitizer performance (but not the trade-offs).

[Dunn81b] () Dunn, K. "Understanding digitizer resolution and accuracy", Mini-Micro https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

6/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Systems, December 1981.

Differential linearity error is a digitizer's worst enemy; Clumping and streatching of digitizer coordinates for X-vs-X non-linearity; Digitizer accuracy vs digitizer stability; General review of digitizer characteristics and proper specifications

[Elliot82] () Elliott, B.J. "Apparatus for Determining Pen Acceleration", United States Patent 4,345,239, August 17, 1982, assigned to International Business Machines, Armonk, New York. Capacitive sensor for measuring pen/stylus acceleration for signature verification

[Embley81] (*) Embley, D.W. and Nagy, G. "Behavioral Aspects of Text Editors", A.C.M. Computing Surveys, Vol 13 No 1, March 1981, pp 33-70. Cites gaps in human factors/engineering and cognitive psychology literature re text editing userinterface; human factors of using digitizing tablets for text editing Cites "taste for federal funding" as reason some human factors studies have skipped various interests: research selection bias Users frequently will not use mouse in text editing: (we say "3-handed monkey" effect): threehanded monkey Tablet: pointing with light pen fatigueing, and not accurate enough

[EvansKB81] (*) Evan, Kenneth B; Tanner, Peter P; and Wein, Marceli "Tablet-based Valuators that Provide One, Two, or Three Degrees of Freedom", Computer Graphics, Volum 15 Number 3, August 1981, pp. 91..97 Digitizer tablet simulation of virtual input devices: turntable, multiple number wheels, three-axis trackball

[Fairhurst82a] () Fairhurst, M.C. "Image Characteristics as Assessment Criteria for an Electronic Writing Aid", Proceedings of International Conference on Man-Machine Systems, July 1982, pp 191-195. Claims better test results for machine recognition than for human reader (!)

[Fairhurst82b] () Fairhurst, M.C, and Maia, M.M. "An Approach to Machine Reading of Text with a Memory-based Character Recognition System", Colloquium Proceedings "Coding of Documentary Information", University of Kent, Canterbury, England, May 1-2, 1982. Discusses pairwise discriminators to reduce memory requirements for OCR of typed text: Similar to Pencept?

[FieldsC83] (*) Fields, Craig I. "Virtual Space Teleconference System", United States Patent 4,400,724, August 23, 1983 Not a whiteboard system: video conferencing arrangement with each user facing one monitor and one video camera per other user.

[Filipski81] () Filipski, Alan J. "Critical-point Representation of Hand-printed Numerals", Proceedings of International Conference on Cybernetics and Society, IEEE 0360/8913/81/0000-0198, 26-28 October, 1981, Atlanta, Georgia, pp 198-202.

96% correct on handprinted OCR recognition: skeletonizing, "critical point" strokes with initial and final slope features for 18 types of stroke segments. Admits to and spells out several weaknesses: 4 vs 9, patching OCR skeletonization breaks Handwritten OCR recognition: simple template matching works well if feature extraction is good Critical points for features and segmentation in OCR handwriting: points of high curvature, then Freeman chain codes Refers to Knoll Database of hand-printed numerals, 21x25 binary grid, IEEE Pattern recognition data base 1.2.2)

[FoleyJD81] () Foley, J.D., Wallace, V. and Chan, P. "The Human Factors of Interaction https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

7/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Techniques", George Washington University, Institute for Information Science and Technology Technical Report GWU-IIST-81-03, Washington, D.C., 1981. Precursor to FoleyJD84

[FoleyJD82] () Foley, J.D. and VanDam, A. "Fundamentals of Interactive Computer Graphics", Addison-Wesly, Reading, Massachusetts, 1982.

Three-point calibration, general graphics reference Comparison of tablet and mouse "locator" devices, absolute position versus relative motion.

[Freyd83] () Freyd, J.J. "Representing the dynamics of a static form", Memory and Cognition, Vol 11, 1983, pp 342-346. Tappert's bibliography

[Fu81] () Fu, K.S. "A survey on image segmentation", Pattern Recognition, Vol 13, 1981, pp 3-16. Fu86/Fu83

[Fukushima83] () Fukushima, K., Miyake, S., and Ito, T. "Numeral Character Recognition by the Algorithm of the Neocognitron", Transactions of the Institute of Electronic and Communications Engineers of Japan, Vol J66D No 2, February 1983, pp 206-213. NTIS index: neural network for handwritten numerals recognition, using a scanner: learning-with-ateacher better than learning-without-a-teacher (training set makes a difference, but what?)

[Furuta82] (*) Furuta, Richard, Scofield, Jeffery and Shaw, Alan "Document Formatting Systems: Survey, Concepts, and Issues", Computing Surveys, Vol 14, No 3, September 1982, pp 417-ff.

Very little treatment of UI issues or pointing devices: primarily deals with keyboard commands and display of monofont text

[Gander83] (partial) Gander, Stephen Joseph "A proposed method of handwriting recognition", S.B.E.E. Thesis, M.I.T., 1983. Not from Blesser group

[Gehani82] () Gehahi, N. "The Potential of Forms in Office Automation", IEEE Transactions on Communication, Vol 30 No 1, January 1982. Gives many reasons for using forms as fundamental office automation model. (taken from Hekmatpour86). Use of forms eases transition from manual to office automation.

[Geyer81] () Geyer, L.H., and Gupta, S.M. "Recognition/confusion of dot matrix vs conventional font capital letters", Perception and Psychophysics, Vol 29, 1981, pp 280-282. Cited in Suen86 Suen86 cites this on what matrix resolution needed for OCR on hand-print

[Glickman82] () Glickman, David, Greanias, Evon C., Repass, James T., and Rosenbaum Walter S. "Stem Processing for Data Reduction in a Dictionary Storage File", United States Patent 4,342,085, assigned to International Business Machines Corporation, Armonk, New York, July 27, 1982. Stem processing for data reduction in dictionary storage file storing word list file with prefix and suffix truncated so that only unique root element remains

[Goodale83] () Goodale, T.S., Goyal, S., and Litvin, Y. "Designing a Text Editor with Graphic and Handwritten Input", Report TR 83-401.1, GTE Laboratories Incorporated, 40 Sylvan Road, Waltham, Massachusetts 02254, November 1983 (partial copy).

Cited in Litvin89 Gesture recognition for a text editor? Handwritten text input? Gesture-based user interface with handwriting recognition for editing text with electronic ink: first reference for prior art?

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

8/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Early reference to visual parallax on electronic ink with integrated tablet/display.

[Gould83] () Gould, J., Conti, J., Tovanyecz, T. "Composing Letters with a Simulated Listening Typewriter", Communications of the A.C.M., pp 295-308, Vol 26 No 4, April 1983. Simulation of "perfect" speech recognition, showing that there is indeed a user-interface problem in addition to recognition problems.

[Greanias82] (*) Greanias, Evon C. and Yhap, Ernesto F. "Chinese/Kanji On-line Recognition System", United States Patent 4,365,235, December 21, 1982, assigned to International Business Machines Corporation, Armonk, New York.

Chinese recognition by recognizing component strokes/radicals Refers to "spelling" of Chinese/Kanji: order strokes/radicals are written in States that strokes are classified into 42 categories for segmentation, and that Chinese/Kanji characters are made up of only 72 basic symbol elements/alphabet Cites problem with sonic/acoustic digitizers: sensing point offset from writing point If Kanji/Chinese character is not recognized, user can add it to the prototype set for recognition on the fly

[Greer83] () Greer, K.L., and Green, D.W. "Context and Motor Control in Handwriting", Acta Psychologica, Vol 54, 1983, pp 205-215. Digitizer specifies +-.015" on 0.001 resolution, but also +-.01 accuracy

[GTCO82] () GTCO "Digi-Pad 5 Family Data Sheet", DP5-L104-0782, GTCO Corporation, Rockville, Maryland, 1982.

GTCO Electronic grid digitizer, serial interface: pressure-sensitive pen/stylus, 16-button puck/cursor

[Gu83] () Gu, Y.X., Wang., Q.R., and Suen, C.Y. "Application of a Multilayer Decision Tree in Computer Recognition of Chinese Characters", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-5 No 1, January 1983, pp 83-89. Features for Chinese character recognition are Walsh coefficients, projected onto X and Y axes: character alignment (normalization), 99.5% accuracy on 3000 characters OCR on Chinese/Kanji characters Using a binary decision tree for pattern recognition of a large number of classes (Chinese characters OCR) Performance: noisy characters only: clean characters do not occur in real life

[Haber81] () Haber, R.N. and Haber, L.R. "Visual components of the reading process", Visible Language, Vol XV No 2, 1981, pp 147-181. Cited in Bozinvic89 Bozinovic cites for human recognition by outline of word (as shown in WrightG52)

[Hagita83] () Hagita, N., Naito, S. and Masuda, I. "Handprinted Chinese Characters Recognition by Peripheral Direction Contributivity Feature", Transactions of IECE of Japan, Vol J66D No 10, October, 1973, pp 1185-1192 (in Japanese: abstract only) OCR for Chinese using features of stroke structure, complexity, direction, connective relation, and relative location for 95.4% of block-style handprinted data

[Hanaki81a] () Hanaki, S. and Yamazaki, T. "On-line recognition of handprinted Kanji characters", Pattern Recognition, Vol 12, 1980, pp 421-429. Tappert's bibliography -- Chinese recognition

[Hanaki81b] () Hanaki, S., Temma, T., Yoshida, H., Arakawa, T., Suziki, M., Seki, T., and Kikuchi, Y. "Online Realtime Character Recognition System", Transactions of IECE of Japan, Vol E64 No 5, p 374, May 1981 (Abstract only). Science Citation Index Handprinted recognition: feature is break into piecewise segments, compare with decision tree: 32

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

9/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

handwriting terminals on one computer (cluster)

[Hemenway82] () Hemenway, K. "Psychological Issues in the Use of Icons in Command Menus", Proc. Human Factors in Computer Systems Conference, Washington, D.C., A.C.M., March 1982, pp 20-24. Cited in FoleyJD84

[Hollerbach81] () Hollerbach, J.M. "An Oscillation Theory of Handwriting", Biological Cybernetics, Springer-Verlag, Vol 39, 1981, pp 139-156. (see also Hollerbach78) Unclear fancier curve fitting to handwriting models gives any more insight Maximum writing speed/velocity is 25 mm/sec Acceleration peaks in handwriting not just a tablet/pen artifact Variation in slant in handwriting (vertical) is about 10 degrees Cusp/loop: substitution of clockwise vs counter-clockwise motion in handwriting Variability of corner shapes for single writer Says reduction in concentration on handwriting needed to think and write at same time

[Hopfield83] () Hopfield, et al "Unlearning Has a Stabilizing Effect in Collective Memories", Nature, Vol 304 pp 158-159, 1983. Cited in Faggin89

[Hosaka81] () Hosaka, M. and Kimura, F. "Use of handwriting action in construction of models", in Scientific Information Systems in Japan, H. Inose, editor, 1981, pp 83-90. Tappert's bibliography

[Hosaka82] () Hosaka, M. and Kimura, F. "Using Handwriting Action to Construct Models of Engineering Objects", Computer, Vol 15 No 11, November 1872, pp 35-47. User interface (fill in charts) for handwriting recognition input of engineering drawings (mechanical drafting, maps, NC control drawings) Features are passage through 3x3 template grid, then chord lengths and directions (cusp, stroke, rotation, straight): cusps turn into small loops, vice versa is a source of error

[Howbrook83] () Howbrook, E. "Apparatus and Methods for Recognizing Handwritten Signs", United States Patent 4,369,431, January 18, 1983, assigned to National Research Development Corporation, London, England.

Signature recognition/verification using first twelve initial segments, segmenting by zero velocity in Y Notes that a frequency cut-off of 20Hz is o.k. for signature signal

[HP83a] (*) Hewlett-Packard "HP-150 touchscreen Personal Office Computer product",

File contains reference for HP-150 touchscreen computer: MS/DOS personal computer (8088) with infra-red touchscreen on 9-inch video display. Also known as Touschscreen MAX. No OS support, applications had to be written specifically for touchscreen input.

[Hsu82] () Hsu, W.S., Takahashi, K., Ozawa, S., and Fujita, H. "Ordered stroke extraction method for printed Chinese character recognition", Transactions of IECE of Japan, Vol E65 No 2, February 1982, p. 140. NTIS abstract: fix skeletonization/line-thinning breakdown at intersections by simulating writing motion in OCR

[Huber83] (*) Humber, William A. "Interactive Map Information Exchange System", United States Patent, 4,420,682, December 13, 1983

Optical scanner which read digital co-ordinates from a map, using co-ordinates in magnetic ink, but also describes optical scanning

[Huh82] () Huh, Y.K. and Beus, H.L. "On-line recognition of hand-printed Korean https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

10/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

characters", Pattern Recognition, Vol 15, 1982, pp 445-453. Tappert's bibliography

[Hull82a] () Hull, Jonathan J. and Srihari, S.N. "Experiments in text recognition with binary n-gram and viterbi algorithms", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-4, 1982, pp 520-530. Viterbi and binary n-gram for context in optical character recognition: most efficient implementation: Viterbi algorithm is based on probabilities of confusion of pairs of characters

[Hull82b] () Hull, Jonathan J. and Srihari, S.N. "Comparison of two contextual postprocessing algorithms for text recognition", Proceedings of 1982 IEEE Computer Society Conference on Pattern Recognition and Image Processing, 1982, pp 146-151 (abstract only). NTIS abstract: looks very similar to Hull82a

[Hull83a] () Hull, Jonathan J. and Srihari, S.N. "A computational approach to word shape recognition: Hypothesis generation and testing", Proceedings of IEEE-CS Conference on Computer Vision Pattern Recognition, June 1983, pp 156-161. Cited in Bozinovic89

[Hull83b] () Hull, Jonathan J., Srihari, S.N., and Choudhari, R. "An integrated algorithm for text recognition: comparison with a cascaded algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-5, 1983, pp 384-395.

Letter substitution errors on text recognition corrected by various means of context: combining bottom-up and top-down (syntactic and semantic) context works better than separately Context for spelling correction: goodness measure extended to probability that it is a corrupted form of another letter Context for spelling correction: letter probabilities: digrams/pairs and trigrams (bottom/up context) (may involve a false assumption about input language) Context for spelling correction: dictionary lookup (lexicon for top/down context) Many sources for spelling errors: typographical in original text, keying/writing errors, character recognition error

[Hulls83] () Hulls, L. Robin "On-Board Intelligence Increases Accuracy of Plotters and Digitizers", Computer Technology Review, Summer 1983, pp 129-133.

Numonics article on digitizers and stepper-motor plotters Digitizers: no point being more accurate than the application needs. accuracy may be affected by pen angle/tilt. two-phase coarse/fine position determination using two characteristics (interpolation?)

[IBM81a] (*) IBM Technical Disclosure Bulletin "Improved Parameter Set for Adaptive Symbol Recognition", IBM Technical Disclosure Bulletin, June 1981, pp 769-771.

Copy on file does not give name of author: since it mentions "elastic matching", most likely it is C.A. Tappert Use offset of character from its center of gravity as a substitute for the writing baseline Add horizontal positions of strokes to each other as an additional factor in recognition: compater with Functional Attributes of Shillman/Blesser (example is "A" and three-stroke "asterisk") Also filed under Tappert and under Karnaugh

[IBM81b] () IBM "Liquid Crystal Display and Touch Panel Keyboard Input", IBM Technical Disclosure Bulletin, September 1981, pp 1888-1890 Cited in More93

[IEEE83a] (*) IEEE CG&A "

Product brief on AutoCAD: light-pen, or Sun-Flex touch pen (touchscreen digitizer)

[Ikeda81] () Ikeda, K. et al "On-line Recognition of Hand-Written Characters Utilizing Positional and Stroke Vector Sequences", Pattern Recognition, Vol 13 No 3, pp 191-206, https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

11/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

1981.

Discrimination of similar characters: boundary recognition. Uses different methods for characters of different number of strokes

[ImageData82] () Image Data Products "Image Data Tablet System product information", Bristol, England, 1982. Digitizer tablet

[Inforite82] () Cadre Systems Limited "Inforite Hand Character Recognition Terminal product information", Cadre Systems Limited, 1 Wilkinson Road, Cirencester, Glos., GL7 1YT, England.

Early British handwriting recognition product: single line display, paper forms (shop invoices) fit into device, shown at Comdex 1982 Note: Inforite used as product name by other companies

[Ishii83] () Ishii, K. "Generation of Distorted Characters and Its Applications", Denshi Tsushin Gakkai Ronbunshi, Vol 66-D No 11, November 1983, pp 1270-1277 (in Japanese), translated in Systems, Computers and Controls, Vol 14 No 6, 1983, pp 19-27. Cites problem of needing very large training samples to get all variations Claims "only samples of low quality can improve dictionary" (training) (vs. ambiguous?) Claims "recognition rate tells you nothing about how performance goes down with quality of characters" Shows artificial forms used in Japanese JIS hand-print standard Not enough to read good characters, but how well does it do on bad ones? Claims 98.5% recognition rate Use artificial variability instead of real handwritten data (!)

[Jain82] () Jain, R. and Haynes, S. "Imprecision in Computer Vision", Computer, Vol 15 No 8, August 1982, pp 39-48. Goodale83

[JohnsonEO81] () Johnson, E.O. and Tosima, S. "Visual-Perception-Related Effects in Chinese-Japanese Written Characters", RCA Review, Vol 40, March 1981, pp 60-ff.

Partial copy only Human recognition features: visual groups of strokes in Chinese/Japanese characters consist of subgroups of strokes, usually about four: visual group count corresponds to letter count in Western languages

[Kaleyeh83] () Kaleyeh, J.M. and Landgrebe, D.A. "Predicting the Required Number of Training Samples", IEEE Transactions on Pat. Anal. and Mach. International, November 1983, pp 664-667. Cited in Meisel85

[Kamran83] () Kamram, A. and Feldman, M.B. "Graphics Programming Independent of Interaction Techniques and Styles", Computer Graphics, Vol 17 No 1, January 1983, pp 5866.

Describes GMU's Information Display Systems project (see Foley). Critique of CORE (and GKS) input device model, lack of extensibility

[Karnaugh81] (*) Karnaugh, M., Kurtzberg, J.M., and Tappert, C.C. "Improved Parameter Set for Adaptive Symbol Recognition", IBM Technical Disclosure Bulletin, Vol. 24, No. 1B, pp. 769-771, 1981

Cited by Marlin Eller, Microsoft Pen Computing group. 2006 available at www.prioartdatabase.com / ip.com

[Kato82] () Kato, O., Iwase, H., Yoshida, M., and Tanahashi, J. "Interactive Handdrawn https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

12/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Diagram Input System", Proceedings of IEEE Computer Society Conference on Pattern Recognition and Image Processing, 14-17 June, 1982, Las Vegas, Nevada, pp544-549.

Interactive user-interface for handwriting recognition, sketching and sketching, using angle variation and stroke type (straight line, angled line, ellipse, circle, arc) for features Contains user interface for text entry to pretty up character spacing and alignment, fixing sketches (without recognition)

[KimJ83] () Kim, J. "Baseline Drift Correction of Handwritten Text", IBM Technical Disclosure Bulletin, Vol 25 No 10, March 1983, pp 5111-5114. See also Tappert papers Correct cursive script for baseline drift

[KimS81] () Kim, S. "Inversions - a catalog of calligraphic cartwheels", BYTE Books, Peterborough, New Hampshire, 1981.

Very large catalog of reversible and ambiguous text to show variability of human recognition and perception. Has informal but very interesting bibliography on variability of human recognition

[Kirsch82] (*) Kirsch, Steven T. "Electro-Optical Mouse", United States Patent 4,364,035 Optical mouse of surface having passive, position-related marks in a pattern of two colors / Sekendur? (Shading optical tablet)

[Kirsch83] (*) Kirsch, Steven T. "Electronic Mouse", United States Patent 4,390,873, June 28, 1983 Optical mouse using checkerboard square pattern on the mouse-pad / tablet: Sekendur?

[Knox82] () Knox, Keith T. "Image Processing Method and Apparatus Having a Digitial Airbrush for Touch Up", United States Patent 4,345,313, assigned to assigned to Xerox Corporation, Stamford, Connecticut, August 17, 1982. For brush-type user-interface in graphics drawing

[Krouse83] () Krouse, John K. "Selecting a Graphic-Input Device for Cad/Cam", Machine Design, October 6, 1983, pp 74-80. Voice/speech/tablet/mouse/joystick input overview, 1983

[Krumme82] () Krumme, D.W., and Ackley, D.H. "A Practical Method for Code Generation Based on Exhaustive Search", Proceedings of SIGPLAN '82 Symposium on Compiler Construction, A.C.M. SIGPLAN Notices, Vol 17 No 6, June 1982. Fortran compilers beat the heck out of "C" compilers for code efficiency

[Kruskal83] () Kruskal, Joseph B. "An Overview of Sequence Comparison: Time Warps, String Edits, and Macromolecules", SIAM Review, Society for Industrial and Applied Mathematics, Vol 25 No 2, April 1983, pp 201-237.

Distance metric for differences in linear strings: Levenshtein distance: mutations in chromosones, UNIX "diff" files, string matching, minimal mutation distance etc. Clustering /boundary definition using relative difference (dyadic), not absolute position (monadic) Levenshtein distance easier to use than probabilistic/statistical estimate of how much change would be required Common sense: if your pattern recognition algorithm works better, it is better Describes boundary comparison using monadic variables/features (absolute value) vs dyadic (relative comparison only) Different approaches for dyadic comparison: common sense, adapt monadic variables, and Levenshtein relative distance

[Kuklinski82] (*p) Kuklinski, T. and G. Babb "Pattern Algorithm Permits Freehand PrintedData Entry", Computer Technology Review, Winter 1982. [Kurtzberg82] (*p) Kurtzberg, J.M. and Tappert, C.C. "Segmentation Procedure for https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

13/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Handwritten Symbols and Words", IBM Technical Disclosure Bulletin, Vol 25 No 7B, December 1982, pp 3848-3852. Mentions reduction of "dots" as a stroke type Makes disparaging remarks about "boxed" input for discrete recognition Discusses delayed strokes, "t"-crossings for discrete recognition

[Kuzunuki83] (*) Kuzunuki, Sochiro "Online Handwritten Input Graphic Editing Device (translation)", Japanese patent application JP60-75980, March 1983 (translation) Japanese patent showing segmentation, handwriting, sketch input, drawing extents Cited in Sklarew patents

[Lai81] () Lai, M.T.Y. and Suen, C.Y. "Automatic recognition of characters by Fourier descriptors and boundary line encodings", Pattern Recognition, Vol 14, 1981, pp 383-393. Cited in Kerrick88, Li89

[Lambden81] (*) Lambden, Martin R. "Electrographic Apparatus", United States Patent 4,289,925, September 15, 1982

Quest Automation MicroPad: pressure-sensitive tablet using flexible membrance under tension, resistive film

[Landauer83] () Landauer, T.K., Galotti, K.M. and Hartwell, S. "Natural Command Names and Initial Learning: A Study of Text-Editing Terms", Communications of A.C.M., Vol 26, July 1983, pp 495-503.

Cited in Rhyne86 Rhyne86 cites this that for verbal command names, very poor agreement on informal name subjects give for text editing commands (mnemonicity for gestures?) "naturalness" in user-interface not helpful: for example, better if different names for options with similar semantics, but different syntax Human factors / user-interface: different methods of eliciting preferred command names get different results for same subject -- in particular, naive users make poor choices for command names

[LeeA83] () Lee, A. and Lochovsky, F.H. "Enhancing the Usability of an Office Information System Through Direct Manipulation", Proceedings of the CHI 1983 Conference on Human Factors in Computing Systems, Boston, 1983, pp 130-134. Cited in Kankaanpaa87: for gesture/handwriting user interface

[LeeB81] () Lee, Bum C., Kim, Jung G. and Yi, Seung, K. "Improvement on Korean Character Recognition by Resolving Ambiguity Problem", Proceedings of International Conference on Cybernetics and Society, IEEE 0360/8913/81/0000-0193, 26-28 October, 1981, Atlanta, Georgia, pp 193-197. Korean recognition: six types of Korean characters (first consonants, second consonants, vertical vowels, horizontal vowels) using syntactic recognition and 8-direction chain codes

[Lemone82] (*p) Lemone, Karen A. "Similarity Measures Between Strings Extended to Sets of Strings", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol PAMI-4, No 3, May 1982, pp 345-347 substrings of chain-codes

[Leroux81] (*p) Leroux, J., Miclet, L., Bonnet, A., Delarue, X. and Tormos, S. "Segments Detection in Binary Pictures for the Representation and the Syntactic Recognition of Hand Written Characters", Proceedings of the 6th International Conference on Pattern Recognition, IEEE CH1801-0/82/0000/0692 1981, pp 692-695. Chain code string comparison in OCR for handwriting recognition?

[Litvin82a] () Litvin, Y. "Segmentation of Handwritten Text by the Analysis of Two-Element Connectors", unpublished manuscript, G.T.E. Research Laboratory, Waltham Massachusetts, https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

14/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

1981.

Cited in Litvin82b

[Litvin82b] (*p) Litvin, Y. "Principles of evaluation for hand-printed and cursive text recognition methods", G.T.E. Technical Note 401.1, April 1982. Mentions retrace removal (page 7) User interface: points out difference between errors understandable to user, and errors not ("qualitative errors")

[Litvin82c] () Litvin, Y. "Two Implementations of Data Reduction in Graphics Input", unpublished manuscript, December 1982. Goodale83

[LoomisJ83] (*) Loomis, Jeffrey; Poizner, Howard; Bellugi, Ursula; Blakemore, Alynn; and Hollerbach, John "Computer Graphic Modeling of American Sign Language", Computer Graphics, Vol 17 No 3, pp. 105-ff. Uses LED lights and digital cameras as three-dimensional 3D digitizer sensor to recognize hand gestures of ASL American Sign Language

[Loy82] (*) Loy, W.W. and Landau, I.D. "An On-Line Procedure for Recognition of Handprinted Alphanumeric Characters", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-4 No 4, July 1982, pp 422-427.

Reduce handwritten characters to a polygon / Freeman chain codes, then compare syntactic feature vector, then statistics on segment lengths Serif/hook removal, preprocessing/smoothing, retrace collapsing on on-line character recognition Handwritten samples "only" constrained to one of 69 writing styles/shapes: 99% and 97%: 20Kbytes memory, 500 Ms on 8086 Asserts for on-line recognition that learning new shapes is more important than accuracy / recognition rate

[Matsuda83] (*p) Matsuda, Ryouchi "Present Status and Future Trends of Japanese Language Information Processing Systems", Proc. of 1983 International Conference on Text Processing with a Large Character Set, Tokyo, Japan, October 17-19, 1983, pp 436-446 Survey of problems and technologies for processing Japanese Characters: standardized keyboards, speech recognition, handwriting recognition

[Mantas83] (*p) Mantas, J. and Heaton, A.G. "Handwritten character recognition by parallel labelling and shape analysis", Pattern Recognition Letters, Vol 1, July 1983, pp 465-468. Refers to problem of encountering a shape system not trained to for adaptive recognition OCR of handwriting recognition using polygonal approximation (chain codes), fuzzy labelling: thinning, tail-removal, fuzzy sets.

[Marr82] () Marr, D. "Vision: A computational investigation into the human representation and processing of visual information", San Franciso, Freeman Press, 1982. Cited in IchikawaS84. Human recognition of figures by "wire-frame" model.

[Matsukawa83] (*p) Matsukawa, Junko "Naming and recognition of random shapes", Japanese Journal of Psychology, Vol 54 No 1, 1983, pp 62-66 (In Japanese)

Humans recognize (recall? identify?) shapes better if the are recognizable as a familiar object

[Maurer82] (*p) Maurer, H.A., Rozenberg, G., and Welzl, E. "Using String Languages to Describe Picture Languages", Information and Control, Vol 54, 1982, pp 155-185. Chain codes: something similar to BLRTs for describing images Partial copy of paper on file

[McDermott83] () McDermott, Drew "Contexts and Data Dependencies: A Synthesis", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol 5, No 3, May 1983, pp 237-246. https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

15/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

General paper on information dependencies and context

[McDonaldWW82a] (*) McDonald, Wylie W. "System and method for providing an audible sound and a tactile feedback in an electronic data processing system", United States patent 4,334,280, June 8, 1982 Give a beep periodically (one second intervals) while a device is operating, or give an audible and tactile feedback each time a key is pressed / device is operated. For calculators, beeps on the keys?

[Meads83] (*p) Meads, Jon A. "Defining the Ergonomic Buzzwords", Proceedings of the 1983 Annual conference of the A.C.M. What is user-friendly? friendly to a beginner may be bad for expert

[Meguro82] (*a) Meguro, S. and Umeda, M. "Recognition of multi-font Chinese Characters", Trans. Inst. Electronic and Communications Engineers, Japanese Section, Vol E65, No 8, p 513, August 1982 Multi-font OCR off-line recognition

[MehtaN82a] . Mehta, Nimish "A Flexible Machine Interface", M.A.Sc. Thesis, Dept. of E.E., U. Toroto, 1982

Early multi-touch input device, optical detection of fingers on frosted glass, but no rear-projection (separate display). Cited by Buxton as historical note.

[Meyrowitz82] (*) Meyrowitz, Normand and van Dam, Andries "Interactive Editing Systems: Part I", Computing Surveys, Vol 14 No 3, September 1982 Text editing: primarily keyboard-based editing systems, long treatment of Xerox STAR with mouse pop-up menus, but no use of gesture (other than drag?), digitizer, stylus, or handwriting editing.

[Micropad82] (*) (no author) "Micropad Product Information", Quest International, American Sales Office for Micropad Inc., LaGrange Illinois handwriting-terminal using a digitizer with two conductive sheets, sheets covered by a hand-rest; single-character discret character recognition also showed a GUI application picking from a diagram of replacements parts, plus character recognition Press release included, data-entry use in New Scotland Yard: "gets write to the point"; Joe Crivello, National Sales Manager, Illinois

[Moran81] () Moran, T. "The Command Language Grammar: A Representation for the User Interface of Interactive Computer Systems", International Journal of Man-Machine Studies, Vol 15, 1971, pp 3-50. Cited in FoleyJD82

[Morasso83] (*p) Morasso, P., Mussa Ivaldi, F.A., and Ruggiero, C. "How a Discontinuous Mechanism can Produce Continuous Patterns in Trajectory Formation and Handwriting", Acta Psychologica, Vol 54, 1983, pp 83-98. Generative variability in handwriting

[Mullin81] (*p) Mullin, James K. "Reliable Indexing Using Unreliable Recognition Devices", IEEE Trans on Pattern Analysis and Machine Intelligence, Vol PAMI-3, No 3, May 1981, pp 347-350

Indexing document automatically with OCR recognition by subsituting likely-confused characters to same pseudo-character , similar to the Soundex system by Davidson for similar-sounding English names. Electronic ink / sketch indexing?

[Murase83] (*p) Murase, H., Wakahara, T., and Umeda, M. "Online Recognition Algorithm for Hand-Sketched Flowchart by Candidate Lattice Method", Denshi Tsushin Gakkai Ronbunshi, Vol 65-D No 6, June 1983, pp 675-682 (in Japanese), translated in Systems, https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

16/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Computers and Controls, Vol 14 No 3, 1983, pp 37-46.

Claims 97.9% recognition rate on 120 samples (small sample size) Refers to segmentation errors in recognizing two-dimensional flowchart symbols Sketch recognition - flowcharts

[MurrayJM82a] (*) Murray, John M. and Klingenstein, Kenneth J. "The Architecture of an Electronic Book", IEEE Transactions on Industrial Electronics, Vol. IE-29 No 1, February 1982, pp. 82-91

Estimate of hardware requirements (memory, processor, display) for an electronic book including graphics, with search and indexing functions. Reference works (PDR, etc.), educational textbooks, coupled with speech synthesizers for the blind. Exemplary UI would be keyboard/buttons.

[Myers81] () Myers, C.S. and Rabiner, Lawrence R. "Connected digit recognition using a level building DTW algorithm", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol ASSP-29, 1981, pp 351-363. Kruskal83 Dynamic time warping

[Nagura83] (*p) Nagura, Masakazu and Suenaga, Yasuhito "A Facsimile-Based Graphics Editing System by Auxiliary Mark Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-5 No 4, July 1983, pp 433-441.

See also Suenaga80, same paper Handwriting mark recognition, OFF-LINE scanned OCR user interface for graphics editing Mark-up OFF-LINE scanned handwriting recognition user interface for on-line changes to scanned line drawings Has many Japanese citations for OCR of handwritten drawing and character recognition

[Nagy82] (*p) Nagy, G. "Optical Character Recognition - Theory and Practice", in "Handbook of Statistics", Vol 2, Krishnaiah, P.R. and Kanal, L.N., editors, North-Holland, 1974, pp 621649. Testing: substitution error rates for OCR in practice two to three orders of magnitude lower than reported in academic literature Optical digitizer resolution of 0.004" sufficient for typed text Human adaptation reasons for some handwriting recognition systems' success Cursive writing not as useful as speech, or discrete writing Most optical scanners for OCR barely have resolution adequate for recognizing ideal characters, much less real ones Optical scanning digitizer characteristics: geometric, photo-metric, control Optical scanning digitizer characteristics: cite for tablet digitizer as comparison Testing: cites work by Chow on statistical relation of substitution vs reject error rate Kahan87 cites this as saying Duda72 binary Bayesian statistical classifier is widely used in OCR Optical digitizer characteristics: no vendor willing to be pinned down on performance

[Nagy83a] (*p) Nagy, G. "Optical Scanning Digitizers", IEEE Computer, May 1983, pp 1324. Optical scanning digitizer characteristics: geometric linearity Optical scanning digitizer characteristics: stability/repeatibility Optical scanning digitizer characteristics: cite for tablet digitizer as comparison

[Nagy83] (*p) Nagy, G. "Candide's Practical Principles of Experimental Pattern Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-5 No 2, March 1983, pp 199-200. Tongue-in-check list of how researchers fudge pattern recognition statistics/results to bias them in their favor

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

17/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

[Nakajima81] () Nakajima, K., Kida, H., and Arakawa, H. "Handprinted Character Recognition Techniques on Commercial-Based Facsimile Input", Electrical Communications Laboratories Technical Journal, Vol 30 No 9, 1981, pp 2361-2372 (in Japanese) (abstract only). Handwritten numerals and katakana recognition, coping with facsimile distortions and variability

[Nakamura83] (*p) Nakamura, Y. "Character Reading Apparatus", United States Patent 4,389,634, June 21, 1983, assigned to Tokyo Shibaura Denki Kabushiki Kaisha, Kawasaki, Japan, and Tokyo Electric Company, Limited, Tokyo, Japan. Hand-held scanner for character recognition

[NakataniLH83a] (*) Nakatani, Lloyd H. and Rohrlich, John A. "Soft machines: A philosophy of user-computer interface design", Proc. CHI '83, pp 19-23

Simulate real machines / controls for devices using real-time computer graphics display and a touch screen digitizer: refers to switches and controls appearing on display in response to input from other switches or controls, such as a calculator changing modes and keys. Compre with Kaplow?

[NEC82] (*p) NEC: "Terminal that accepts handwriting lets the uninitiated use computer", Electronics Magazine, June 30, 1982, p 76. NEC handwriting terminal product for personal PCs, low-cost

[NEC83] (*p) NEC "NEC 2100", Electronics Magazine, June 16, 1983, page 32. NEC 2100 kanji and hiragana symbols ... product NEC handwriting terminal product, high-end version of personal PC product

[Newbower81] (*) Newbower, R.S.; Cooper, J.B.; Edmondson, J.E.; and Maier, W. Reynolds "Graphics-tablet for Data Entry in Computer-assisted Anesthesia Record-keeping", ?? Conference Proceedings, IEEE 0195-4210/81/0000/0139, 1981, pp 139-142.

User-interface application: special symbols and markings with handwriting recognition for application involving anesthesia record keeping User-interface: shows forms with combinations of writing, handwriting recognition, drawing, checkoff menu areas, etc.

[Nihei83] (*a) Nihei, Y. "Developmental Change in Covert Principles for the Organization of Strokes in Drawing and Handwriting", Acta Psychologica, Vol 54, 1983, pp 221-232. Change in writing styles as kids grow up

[NTT81] (*p) NTT "NTT 1900: System reads kanji characters into word processors", Electronics Magazine, June 16, 1981, page 64.

NTT 1900 kanji and hiragana symbols product "Aesop" on-line handwriting recognition, Nippon Telephone and Telegraph See also list in CIC folder on NTT

[NTT82] () NTT: "System edits handwritten copy, finishes sketches", Electronics Magazine, June 30, 1982, pp 73-74. (Date may be wrong) sketch/scribble/gesture input and editing system. Mechanical digitizer(!).

[Numonics82] () Numonics "DigiBit Product Description", Numonics Incorporated, 418 Pierce Street, Lansdale PA 19446, 1982. Vendor of electromagnetic digitizer tablets: small vendor, mostly custom products.

[OCR81a] (*) (various) "OCR/scanner products circa 1981", (various)

Folder of OCR products circa 1981: Burroughs 1200 and Burroughts 1205 Series, AEG Formularleser PFL6160 POLYFONT, ECRM Concept 1 Pagereader; Burroughs PS100; DEST Corporation WorkLess Station; Datapro Research " All About Optical Readers 1978; Datacopy CIR Software Character Image Recognition; Kurzweil KDEM 1200 Intelligent Character Recognition;

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

18/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Compuscan Alphaword Series 80

[Odaka81] (*) Odaka, K. "On-line Pattern Recognition System for Hand-written Characters", United States Patent 4,284,975, August 18, 1981, assigned to Nippon Telegraph and Telephone Public Corporation, Tokyo, Japan. NTT character recognition patent: Use of "feature points" in character recognition vs octants, etc.

[Odaka81a] (*p) Odaka, Kazumi, Wakahara, Toru, and Hashimoto, Shin'ichiro "Online Handwritten Character Recognizer - An Application to Japanese Word Processor", EC Vol 81 No 20, pp 33-44 (in Japanese) [Odaka82a] (*p) Odaka, K. and Masuda, I. "Pattern Recognition System for Hand-written Characters Operating on an On-Line Real-Time Basis", United States Patent 4,317,109, February 23, 1982, assigned to Nippon Telegraph and Telephone Public Corporation, Tokyo, Japan. NTT character recognition patent Patent on stroke-order independent recognition for Kanji/Chinese Feature points for Kanji/Kana are lengths of segments

[Odaka82b] (*p) Odaka, Kzaumi, Arakawa, Hiroki and Masuda, Isao "On-line Recognition of Handwritten Characters by Approximating Each Stroke with Several Points", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-12 No 6, November 1982, pp 898903. See 1980 paper of same title in Japanese Better than 99.8% correct recognition on Chinese/Kanji, hiragana, katakana, and alphanumerics/Romanji. Three to six feature points on each stroke for on-line handwriting recognition: points just resampled to a minimum distance? end-points of (Chinese) straight strokes only?

[Odaka83] () Odaka, K., Wakahara, T., Masuda, I., and Hashimoto, S. "Stroke Order Free Online Character Recognition Algorithm and Its Application", Electronic Communications Laboratory Technical Journal, Vol 32 No 10, 1983, pp 2145-2158 (in Japanese).

Japanese handwriting recognition: features are inter-stroke distance pairs: claims 99.5% accuracy on 2057 Kanji Refers to AESOP user-interface for handwriting text/script editing

[Ogawa81] () Ogawa, H. and Taniguchi, K. "Stroke resolution and segmentation of character string based on relaxation techniques", Transactions of IECE Japan, Vol PRL80-5, 1981. Cited in Leung87

[OkaR83] () Oka, R. "Studies on Recognition of Handwritten Chinese-Japanese Characters by Using Cellular Features", Research of the Electrotechnical Laboratories, Report No 834 1-109, September 1973 (in Japanese) Cellular automoton for character recognition (?)

[Okamoto83] () Okamoto, N., Nakamura, O., and Minami, T. "Character Segmentation for Mixed-Mode Communication", Proceedings of IFIP 9th World Computer Congress, 19-23 September, 1983, Paris France, pp 681-685. Character and word segmentation in OCR documents using overlapping rectangles

[Okamura83] () Okamura, K., Morita, K., Kanaoka, T., Okada, T., and Tomita, S. "Syntactic Pattern Recognition for Handwritten Katakana Characters by a Bottom-up Parser", Transactions of the Institute of Electronics and Communications Engineers of Japan, Vol J66D No 2, February 1983, pp 222-223. NTIS abstract only: Katakana Japanese handwriting recognition

[Pavlidis82a] () Pavlidis, Theo "An asynchronous thinning algorithm", Computer Graphics https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

19/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Image Processing, Vol 20, 1982, pp 133-157.

Cited in Arcelli85 Arcelli85 cites as general reference on line thinning, and its applications

[Pavlidis82] () Pavlidis, Theo "Algorithms for Graphics and Image Processing", Berlin, West Germany: Springer-Verlag, 1982. Cited in Arcelli85 Arcelli85 cites chapter 9 as general reference on line thinning, and its applications

[Pavlidis83] () Pavlidis, Theo "Effects of Distortions on the Recognition Rate of a Structural OCR System", Proceedings of Computer Vision and Pattern Recognition '83, Washington, D.C., June 1983, pp 303-309. Cited in Lam86 3-point calibration on digitizer tablets (not four points)

[Pencept83] () Pencept "Pencept Penpad (TM) Manual", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1983 Handwriting terminal with digitizing tablet and handwriting recognition

[Pencept83a] (*p) Pencept "Pencept Penpad (TM) 200 Product Literature", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1983 handwriting-input terminal product

[Pencept83b] (*p) Pencept "PENPAD Reference Manual", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1983. [PepperW81a] (*) Pepper, William Jr. "Touch panel system and method", United States Patent 4,293,734, October 6, 1981 Resistive-film touchpanel, finger may either be source or sink of signal. Signal flowing through user's body to ground, or signals generated by ambient noise (e.g. 60-Hz hum). Pressure-sensitive touch panel, transparent touch panel using ITO or transparent polyester film. Triangular resistive sheet touchpanel with three sides.

[PepperW81b] () Pepper, William Jr. "Video game apparatus and method", United States Patent 4,302,011, November 24, 1981 Touch-screen digitizer that senses intensity of touch force or pressure

[PepperW82] () Pepper, William Jr. "Touch panel system and method", United States Patent 4,353,552, October 12, 1982 Resistive-film touchpanel, finger may either be source or sink of signal. Signal flowing through user's body to ground, or signals generated by ambient noise (e.g. 60-Hz hum). Pressure-sensitive touch panel, transparent touch panel using ITO or transparent polyester film. Triangular resistive sheet touchpanel with three sides.

[PepperW83] () Pepper, William Jr. "Edge terminations for impedance planes", United States Patent 4,371,746, February 1, 1983 Edge connectors to linearized distortions at edges of resistive film digitizer / touch-screen

[Pick83] () Pick, H.L., and Teulings, H.L. "Geometric Transformations of Handwriting", Acta Psychologica, Vol 54, 1983, pp 327-340. [Plamondon83] (*p) Plamondon, R. and Brault, J-J. "A System for Signature Analysis and Verification Based on an Accelerometer Pen", Proceedings of International Carnahan Conference on Security Technology, Zurich, Switzerland October 4-6, 1983, pp 157-163. Uses tilt angle in signature verification

[PopularScience81a] (*) Popular Science "Electronic prnter tansmits mail, makes copies, too", Popular Science, February 1981 https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

20/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Xerox 5700 printer with touch-screen interface showing simulated buttons and switches, touch-tobegin

[Quest82] (*) Quest Automation Limited "Micropad User's Guide", Quest House, Princes Road, Ferndown, Dorset BH22 9HQ, United Kingdom. Micropad dynamic on-line character recognition product: Resistive film digitizer?

[Quest83] () Quest Automation Limited "Q-Sign Terminal product literature", 10 Whittle Road, Wimborne, Dorset BH21 7SD, United Kingdom. Tel: 0202 891518, 1983. Quest Automation: Micropad signature verification product

[Rabb82] (*p) Rabb, Gerald R. and Kuklinski, Theodore T. "Pattern Algorithm Permits Freehand Printed-Data Entry", Computer Technology Review, Winter 1982

Shows basic features of first Pencept product: single-stroke and multi-stroke forms, boxed input

[Ray81] () Ray, A.K. and Chatterjee, B. "An Algorithm for the Recognition of Constrained Handwritten English Numerical Characters", Journal of the Institute of Electronics and Telecommunications Engineers of India, Vol 27 No 9, September 1981, pp 297-299.

NTIS abstract: OCR on handwriting recognition of numerals: features are true endpoints, true group points, and true cross points

[Rediffusion82] (*p) Rediffusion Computers Limited "WRITAWAY product literature", Kelvin Way, Crawley, Sussex RH10 2LY, England, 1982.

Micropad-like handwriting recognition product from England, using two resistive sheets and an air separator on the tablet.

[Rocheleau81] () Rocheleau, R.T. "Coarse Position Digitizer", United States Patent 4,242,843, January 6, 1981, assigned to Summagraphics Corporation, Fairfield, Connecticut. Digitizer with loop as the transmitter, grid as the receiver

[RecycledGoods83a] (*) Recycled Goods, Inc. "Pencept M200 Penpad Tablet Computer Vintage Collectible", www.labx.com/v2/spiderdealer, fetched Dec 2007 Pencept Penpad M200 handwriting terminal, circa 1983, showing system box, digitizer, etc.

[Reilly81] (*) Reilly, Douglas L., Cooper, Leon N., and Elbau, Charles "A Neural Model for Category Learning", Center for Neural Science and Department of Physics, Brown University, Rhode Island date approximate Neural (net) model for supervised learning, later applied to handwriting recognition

[Romein81] (*) Romein, J.J. "Acoustic Writing Combination, Comprising a Stylus with an Associated Writing Tablet", United States Patent 4,246,439, January 20, 1981, assigned to US Philips Corporation, New York, New York. Acoustic digitizer design: two ultrasonic sound sorces on the stylus, permitting tilt / parallax correction Accuracy: pencil lines are 0.005", Ink is 0.01" wide, visual acuity is 0.0005" max

[SAC82] () SAC "Digitizer Terminology and Comparability", Science Accessories Corporation, 1982, Southport, Connecticut. [Saghri81] (*p) Saghri, J.A. and Freeman, H. "Analysis of the precision of generalized chain codes for the representation of planar curves", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-3, September 1981, pp 533-539. Line-segment approximation shows average quantization error a function of grid size, not angle resolution: gives formula for grid size vs matching accuracy

[Sakoe82] (*p) Sakoe, Hiroaki "A Generalized Two-Level DP-Matching Algorithm for Continuous Speech Recognition", Transactions of the I.E.C.E. of Japan, Vol E65 No 11, https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

21/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

November, 1982, pp 649-656.

Dynamic programming, time-skipping, dynamic time warping, for speech (author has also published on handwriting character recognition)

[Salkeld82] (*) Salkeld, Robert J. and Sklarew, Ralph C. "Closed Space Structures", United States Patent 4,318,517, March 9, 1982 Same Ralph Sklarew of Grid computer: structures in space the form of a ring around a planet or other orbiting body: cites Larry Niven "Ringworld" as prior art

[Samet81] (*p) Samet, Hanan "An Algorithm for Converting Rasters to Quadtrees", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol PAMI-3, No 1, January 1981, pp 93-ff [Salter83] (*p) Salter, L. "Variability of Japanese Characters", internal report, Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, September 1983. [SasakiL81a] (*) Sasaki, L.; Fedorkow, G.; Buxton, W.; Retterath, C.; and Smith, K.C. "A Touch-Sensitive Input Device", Intl. Computer Music Conferenc Proceedings, 1981, pp. 293297 Single-touch pressure sensitive (contact area) capacitive touchscreen/tablet for musical instrument input. Adjust two values at once using X/Y input of tablet, into SSSP digital synthesizer music program. Multi-touch input would be better.

[SatoT82] (*p) Sato, T. and Toja, A. "Recognition and Understanding of Hand-drawn diagrams", Proceedings of the 6th International Conference on Pattern Recognition, pp 674677, 1982.

Cleaning up graphical drawings using low-level symbol recognition: (see sketch editing, prettifying)

[SatoY82] (*a) Sato, Yuichi and Nakamura, Taichi "Predictive Encoding Method for Handwriting Signals", Transactions of the IECE of Japan, Vol E 65 No 2, February 1982, p. 133 (abstract only).

30 Hz sampling of handwriting on a tablet, DPCM/PCM coders to send handwriting at 200-300 bits/second, 100-500 bit buffer: tablet performance/handwriting signal extraction/frequency response

[Schaeken82] () Schaeken, B. and Verschueren, W. "A Recognition System for Handwritten Numerals", Proceedings of the 6th International Conference on Pattern Recognition, Munich, Germany, October 19-22, 1982. NTIS: Supervised learning on statistical recognizer

[SchmandtC81a] (*) Schmandt, Christopher and Hulteen, Eric A. "The Intelligent VoiceInteractive Interface", Proc. CHI'82, pp 363-366. Put-That-There project: hand-pointing gestures and voice command input

[Shillman81] () Shillman, R.J. "Dynamic Character Recognition: An Emerging Technology", invited paper, Proceedings of COMPCON 81, 22nd IEEE Computer Society International Conference, IEEE Catalog No 81-CH1626-1, February 23-26, 1981. Handwriting input overview paper by Bob Shillman Gives more recent address for Micropad Limited, Image Data Products Limited, handwriting commercial vendors

[Shinghal82] () Shinghal, R. and Suen, C.Y. "A Method for Selecting Constrained HandPrinted Character Shapes for Machine Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-4 No 1, pp 74-78. Shows lots of collected base forms (with Suen)

[Shinghal83] () Shinghal, R. "A hybrid algorithm for contextual text recognition", Pattern Recognition, Vol 16, 1983, pp 261-267. https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

22/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Context via Markov method, plus a dictionary, better than predictor-corrector method Cited in Sinha88: on spelling/dictionary context correction

[Shneiderman83] (*) Shneiderman, B. "Direct Manipulation: A Step Beyond Programming Languages", IEEE Computer, Vol 16 No 8, pp 57-69, August 1983.

Refers to IBM direct-manipulation office desktop user interface "Pictureworld" (like Microsoft's "Bob"?), with file cabinets, mailboxes, notebooks, phone messages Direct manipulation: gesture/command symbols user interface. States that direct manipulation UIs are more like actual objects people already comprehend, therefore easier to use (e.g. Visicalc spreadsheet and a paper spreadsheet). Defines direct maniuplation as manipulating digital objects on a screen without the use of command-line commands.

[Shoukry83] () Shoukry, Amin and Amin, Adnan "Topological and statistical analysis of line drawings", Pattern Recognition Letters, Vol 1, July 1983, pp 365-374. On-line handwriting recognition using two-dimensional graph (chain codes) using slope/angle of lines, intersections, labyrinthology, for features

[Siddiqui83] () Siddiqui, K.J. and Shinghal, R. "Using Contextual Postprocessing to Improve Machine Recognition of Text", IEEE International Symposium on Information Theoory, 2630 September, 1983, St. Jovite, Quebec. Recognition performance 71% on Munsun's OCR handwriting data set, improved to 86% with Viterbi context algorithm

[SinghB83] (*) Singh, Baldev, Beatty, John C., Booth, Kellogg S., Ryman, Rhonda "A Graphics Editor for Bensh Movement Notation", Computer Graphics, Vol 17 No 3, pp 51-ff. Digitizer tablet with four-button puck, experiment in GUI design with floating (pop-up?) and dynamic menus

[SmithAR81] () Smith, A. Richard and Erman, Lee D. "Noah -- A Bottom-Up Word Hypothesizer for Large-Vocabulary Speech Understanding Systems", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-3 No 1, January 1981, pp 41-51.

Context: using low-level speech context, hypothesizes word for higher-level context analysis. Context to resolve co-articulation on continuous speech recognition. Cites experiments to determine human use of context in speech. On speech recognition, discusses possible biases and justifications for them in training and test data collection.

[SmithDC82a] (*) Smith, David Canfield; Irby, Charles; Kimball, Ralpha; Verplank, Bill "Designing the Star User Interface", Byte, 1982 No 4, pp 242-282.

Design of Xerox Star GUI with mouse and keyboard: mouse uses trackball rather than SRI wheels. Development philosophy: throw away first implementation, it was always a prototype. Properties and application sheets for graphical objects. Move is by click-source/click-MOVE-button/clicktarget, not drag/move gesture. Keyboard windows / on-screen keyboard / virtuelle tastatur, similar to soft input panel SIP?

[SmithDC82b] (*) Smith, David Canfield; Irby, Charles; Kimball, Ralpha; Harslem, Eric "The Star User Interface: an overview", NCC Proc. AFIPS '82, June 7-10, 1982, pp. 515-528 Desktop user interface patterned after physical office: forms/records have no physical counterpart. Data icons and function icons, e.g. icons for printers, file cabinets, folders, property sheets. Keyboard windows / on-screen keyboard display, similar to soft input panel SIP? press-and-hold? Earlier references back to 1977

[Snowberry83] () Snowberry, K. et al "Computer Display Menus", Ergonomics, Vol 26 No 7, 1983, pp 699-712. [Srihari82] (*p) Srihari, Sargur N. and Bozinovic, Radmilo "A String Correction Algorithm https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

23/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

for Cursive Script Recognition", Proceedings of the 6th International Conference on Pattern Recognition, IEEE CH1801-0/82/0000/0232 1981, pp 232-234. Not sure about conference name Spelling dictionary string correction, using a posteriori computation after recognition is done

[Srihari83a] (*p) Srihari, S.N., Hull, J.J., and Choudhari, R. "Integrating diverse knowledge sources in text recognition", A.C.M. Transactions on Office Information Systems, Vol 1 no 1, 1983, pp 68-87. Context from bottom-up (probability from previous letter sequence), channel (probability of "A" corrupting to "B"), and top-down (lexicon). Spelling correction for substitution errors: same as Hull83a

[Srihari83b] () Srihari, Sargur N. and Bozinovic, Radmilo "Use of Knowledge in the Visual Interpretation of Cursive Script", International Conference On Systems, Man and Cybernetics, pages 187 - 191. IEEE Computer Society Press, 1983 Cited by Marlin Eller, Microsoft Pen Computing group

[Stentiford83] (*p) Stentiford, Frederick W.M. and Mortimer, R.G. "Some New Heuristics for Thinning Binary Handprinted Characters for OCR", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-13 No 1, January/February 1983, pp 81-84. Line-thinning for handwritten data Skeletonization/thinning: side effects are spurious projection, necking, tail generation, noise holes, with heuristics to fix them.

[StewartTJ81] (*p) Stewart, Theodor J. "An Interactive Approach to Multiple Criteria Decisionmaking Based on Statistical Inference", IEEE Trans. on Systems, Man, and Cybernetics, Vol SMC-11, No 11, November 1981, pp 733-ff. feature selection critical in pattern recognition (see other references on choice of features)

[Stonham82] () Stonham "Networks of Memory Elements -- A Processor for Industrial Automation", Digital Systems for Industrial Automation, Issue No 1 pp 2-3, 1982. Cited in Faggin89: for pattern recognition on human faces Cited in Faggin89: in connection with Wizard/Wisard adaptive image classifier

[Suen82] () Suen, C.Y. and Shinghal, R. "A Method for Selecting Constrained Hand-Printed Character Shapes for Machine Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol Pami-4 No 1, January 1982, pp 74-78. Describes Suen's data base of 174 types of sample characters

[Suen83] () Suen, C.Y. "Handwriting Generation, Perception, and Recognition", Acta Psychologica, Vol 54, 1983, pp 295-312.

Describes printing, script, and manuscript styles and their legibility to humans. Says writing speed for printing increases with practice. Digitizer spec is for 3/8" proximity sensing range.

[Summagraphics81a] (*) Summagraphics "Bit Pad One User's Manual", Summagraphics Corporation, August 1981 User's manual for Summagraphics Bit Pad One magnetostrictive tablet digitizer. Describes (accurately?) magnetostrictive technology. Has Schematics of control electronics.

[Summagraphics82] () Summagraphics "Summagrid User's Guide", page A-3, Summagraphics Corporation, 1982, Fairfield, Connecticut, 1982. [TanakaHa82] () Tanaka, Hatsukazu, Hirakawa, Yutaka, and Kaneku, Seiko "Recognition of Distorted Patterns Using the Viterbi Algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-4 No 1, January 1982, pp 18-25. Viterbi algorithm plus a trellis of partial patterns, to do recognition of whole from context of parts

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

24/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

[TanakaHi82] () Tanaka, Hideo, Uejima, Satoru, and Asai, Kiyoji "Linear Regression Analysis with Fuzzy Model", IEEE Transactions on Systems, Man, and Cybernetics, Vol SMC-12 No 6, November 1982, pp 903-907. [Tanner83] (*p) Tanner, Peter, P. and Buxton, William A.S. "Some Issues in Future User Interface Management System (UIMS) Development", Technical Report, University of Ontario, also in "User Center System Design: New Perspectives on Human-Computer Interaction", Norman, Donald A. and Draper, Stephen W (Ed.), 1986, Lawrence Erlbaum Associates, New Jersey / London Joystick, track-ball, digitizer tablet, with two-handed input

[Tappert82] (*) Tappert, C.C. "Cursive Script Recognition by Elastic Matching", IBM Journal of Research and Development, Vol 26 No 6, November 1982, pp 765-771. Handwriting cursive recognition by point-by-point distance measurements against "ideal" cursive writing. Does not do well with loops vs cusps, which are forms that transition into each other in handwriting motion and variability. Refers to hook effects due to weak tablets as a big problem: compare with Ward patent and article on digitizer tables. Combines letters in connected script to match whole words (context/dictionary.)

[Taylor83] () Taylor, I. and Taylor, M.M. "The Psychology of Reading", New York: Academic Press, 1983, pp 183-193. Cited in Bozinvic89 Bozinovic89 cites for human recognition by outline of word (as shown in WrightG52)

[Telesis81a] (*) Telesis Systems Corporation "Telesis Systems Corporation, Business plan", Telesis System Corporation, Concord MA, January 1981 Business plan for CAD/CAM company. Product used two displays, one for displaying menus and using lightpen/touchscreen input, the other for the CAD display.

[ThomasJJ83] () Thomas, James J. and Hamlin, Griffith "Workshop summary: Graphical Input Interaction Technique", printed in Computer Graphics, Vol 5, January 1983, pp 279-304. Workshop report on graphical input interaction user interfaces: including handwriting recognition GUI

[Thornburg82] (*) Thornburg, Dvid D; Flegal, Robert M.; and Lam, Tat C. "Graphic Pen for Soft Displays", United States Patent 4,318,096, March 2, 1982 Tablet pen with pressure transducer in the tip, to measure side-force on the stylus, for graphic arts rendering

[Todd81] () Todd, Robert "Apparatus and Method for Recognized a Pattern", United States Patent 4,259,661, assigned to Burroughs Corporation, March 31, 1981. Cited in Bokser88 OCR hardware: recognition via template comparison

[Torok82] (*) Torok, G.P. and White, A.B. "Remote Chalk-board automatic Cursor", United States Patent 4,317,956, March 2, 1982

Remote chalkboard / whiteboard / telautograph, display remote cursor showing where the stylus/marker is in proximity (?) so that things can be "pointed to" remotely without marking. Digitizer tablet patent on automatic cursor, mark erasure (recognition strokes removed in electronic ink user-interface), GUI display of eraser in remote whiteboard system. Uses "telautograph" systemas term for whiteboard system, but unidirectional whiteboard, only communicating one way. Use of a display/proximity cursor on whiteboard to help other user notice where things are being written, and to "point to" images.

[Tsichritzis82] () Tsichritzis, D. "Form Management", Communications of A.C.M., Vol 25 https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

25/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

No 7, July 1982, pp 453-478.

Quoted in Hakmatpour86 (missing from this list?) Deals with forms in office management, says flow of forms is important Mentions non-paper "forms" for voice Refers to operations on forms: automatic calculation, etc.

[Tsuruoka83] () Tsuruoka, S., Kimura, F., Yoshimura, M., Yokoi, S., and Miyake, Y. "Thinning Algorithms for Digital Pictures and Their Application to Handprinted Characters Recognition", Transactions of IECE of Japan, Vol J66D No 5, May 1973, pp 525-532 (in Japanese: abstract only) Skeletonization / line-thining

[Turba81] () Turba, T.N. "Checking for spelling and typographical errors in computer-based text", in Proceedings of A.C.M. SIGPLAN SIOGA Symposium on Text Manipulation", Portland, Oregon, June 1981, pp 51-60. Cited in Hull83a: on spelling/context correction

[Voiers83] () Voiers, W.D. "Evaluating Processed Speech using the Diagnostic Rhyme Test", Speech Technology, January/February 1983, pp 30-39. Speech: how contextual factors are controlled in test protocols affects recognition results. Speech recognition failures completely explained by a limited set of underlying phonemic (human recognition) features

[WalkerJ83] (*) Walker, John "The Autodesk File: Crisis Letter", www.fourmilab.ch/autofile

From collection of internal documents on the history of AutoCAD: June 21, 1983. cites special concern on marketing deal with Sun-Flex (touch-pen touchscreen digitizers), Touch-pen considering alternative vendor P-CAD.

[Wakahara83] () Wakahara, T. and Umeda, M. "Stroke-number and Stroke-order Free Online Character Recognition by Selective Stroke Linkage Method", Proceedings of ICTP '83, Tokyo, October 17-19, 1983, pp 157-162.

Combinatorial solution to stroke connection and stroke order variations. Break strokes into equallength pieces, then match them as a feature

[Wang83] () Wang, C. Sun, H., Yada, S., and Rosenfeld, A. "Some experiments in relaxation image matching using corner features", Pattern Recognition, Vol 16, 1983, pp 167-182. Cited in Yu90: on context for line thinning using chain codes

[Watanabe83] (*p) Watanabe, Y., Gyoba, J., and Maruyama, K. "Reaction time and eye movements in the recognition task of hand-written Katakana-letters", Japanese Journal of Psychology, Vol 54 No 1, pp 58-61, 1983 (in Japanese). Uses eye fixation to determine what features are cognitively important Repeats and continues Blesser et al's early work from Massachusetts Institute of Technology

[Watari83] (*p) Watari, Masao, Sakoe, Hiroaki, Chiba, Seibi, Ishizuka, Hisao, Kawakami, Yuichi, and Iwate, Toshiki "A DP-Matching LSI for Speech Recognition", NEC Research and Development, No 70, pp 71-78, July 1983 [Welty81] . Welty, C. et al "Human Factor Comparison of a Procedural and a Non-procedural Query Language", ACM Trans Database Sys 6(4):626-649 (Dec 1981). TABLET - Query language.

[WhiteJM83] (*a) White, J.M., and Rohrer, G.D. "Image Thresholding for Optical Character Recognition and Other Applications Requiring Character Image Extraction", IBM Journal of Research and Development, Vol 27 No 4, pp 400-411, July 1983.

Handwriting recognition using nonlinear adaptive procedure: threshholding of scanned OCR images

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

26/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

Pre-processing to clean up OCR scanner images of carbon copy forms, bank checks, smudges, scenic backgrounds, etc.

[Whitfield83] (*) Whitfield, D., Ball, R.G. and Bird, J.M. "Some comparisons of on-display and off-display touch input devices for interaction with computer generated displays", Ergonomics, Vol 26, 1983, pp 1033-1053.

Beringer89, electronic ink hardware? Includes definition of touchscreen and touchpad which may be separate from display, review of touch-screen digitizer technologies. Mentions position accuracy errors at light touch or at end of a stroke as finger is lifted. Touchpad uses mylar sheets held apart by air pressure: micropad?

[Willis83] (*p) Willis, Richard "Big Blue goes Japanese", BYTE Magazine, November 1983, pp 144-ff. Has pictures of the complexity of keyboards for Japanese and Chinese characters

[Wing83] (*p) Wing, A.M., Nimmo-Smith, M.I., and Eldridge, M.A. "The Consistency of Cursive Letter Formation as a Function of Position in the Word", Acta Psychologica, Vol 54, 1983, pp 197-204. Allograph (variant) selection based on preceeding context character

[Witkin83] (*) Witkin, A. P. "Scale-space filtering", Proceedings of the International Joint Conference on Artificial Intelligence, 1983, pp 1019-1022. Cited in Lipscomb91

[WolfeldJA81a] (*) Wolfeld, Jeffrey A. "Real time control of a robot tacticle sensor", Technical report MS-CIS-81-04 and Master's Thesis, Dept. of Computer and Information Science, U. Penn., August 1981

Early multi-touch sensor (cited in Lindemann): Pad sensor, 8x8 grid of pressure (force) sensitive sites, connected to strain gauges for parallel force. References for artificial force-sensing/touchsensing robotic skin.

[Wu82] () Wu, Li-De "On the Chain Code of a Line", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-4, No 3, May 1982. Chain codes of optically scanned / static character recognition OCR

[Yedwab81] (*) Yadweb, Laura; Herot, Christopher F.; Rosenberg, Ronni L.; and Gross, Carol "The Automated Desk", Sigsmall Newsletter, Vol 7 No 2, October 1981, pp 102-108. Shneiderman83 cites for direct-manipulation desktop user interface. Desktop UI displayed on character-mode terminal. No stylus/digitizer input shown, uses joystick, arrow keys, keyboard.

[YamamotoE81] (*p) Yamamoto, E., Fujii, N., Fujita, T., Ito, C., and Tanahashi, J. "Handwritten Kanji Character Recognition Using the Features Extracted from Multiple Standpoints", ?? Conference Proceedings, IEEE CH-1595-8/81/0000/0131, 1981. [YamamotoK83] (*a) Yamamoto, K. "Studies on the Recognition of Handprinted Characters by Structural Analysis Methods", Research Electrotechnical Laboratory, Report No 831 1-114, February 1973 (in Japanese). Outermost point recognition method for Romanji, numeral, Katakana

[Yamasaki82] (*a) Yamasake, T., Inokuchi, S., and Sakurai, Y. "Training System for Handwritten Chinese Characters Using On-Line Character Recognition Techniques", Transactions of IECE of Japan, Vol E65 No 10, p 602, October 1982 (Abstract only). Science Citation Index Well-writing: teaching users how to write Chinese, not recognize Chinese handwriting

[Yhap81] (*p) Yhap, E.F. and Greanias, E.C. "An On-Line Chinese Character Recognition System", IBM Journal of Research and Development, Vol 25 No 3, May 1981, pp 187-195. https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

27/28

10.2.2015

(1981..1983) History of Pen and Gesture Computing

National differences/variability in writing styles (Japanese, Chinese, Korean) Claimed 97.8% accuracy by excluding 5% of data as "poorly written" Stroke order, stroke connection variations in Chinese The 214 standard Chinese radicals "too many": some are rare Recognition diagram: signal filter, segment and direction, stroke Classification, alphabet/element recognition, composite ideograph output Contrast: features of primitive "stroke element" recognition vs chain code segments

[Yoshida82] (*) Yoshida, K., and Sakoe, H. "Online Handwritten Character Recognition for a Personal Computer System", IEEE Transactions on Consumer Electronics, Vol CE-28 No 3, pp 202-209, August 1982. System connects strokes of "normal" to make "running" forms (variability?), feature is angle sequence (chain codes?) Claims 99.5% accuracy on handwriting recognition

[Yoshida83] (*) Yoshida, K., and Sakoe, H. "Online Character Recognition by Stack DP Matching Method", PRL83-29, Sep. 27, 1983 (in Japanese, abstract in English)

Character represented as branches in a reference pattern feature sequence. Detail "discrimination logics" for character which the regular method cannot handle. Kanji and Hiragana handwriting

       Main Reference Page       

https://web.archive.org/web/20130502021047/http://rwservices.no-ip.info:81/pens/biblio83.html

28/28

10.2.2015

(1984..1985) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio85.html

Go

53 captures

MRZ MAI OKT

2

2012 2013 2014

7 Sep 08 - 23 Okt 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1984 to 1985. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:50 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio85.html http://216.15.114.196:81/pens/biblio85.html http://rwservices.no-ip.info:81/pens/biblio85.html (Generally most up-to-date)

       Main Reference Page        [Ahmed84] () Ahmed, P. and Suen, C.Y. "Edge classification and extraction of shape features", Proceedings of the 7th International Conference on Pattern Recognition, 1984, pp 593-596. Li89

[Aleksander84] (*p) Aleksander, I., Stohnam, T.J., and Wilkie, B.A. "Recognition Apparatus", United States Patent 4,490,847, December 25, 1984, assigned to National Research Development Corporation, London, England. Video image recognition, based on learning (neural) networks

[ANSI84] () ANSI "Draft Proposed American National Standard Graphical Kernal System", American National Standards Institute, Incorporated, X3.123-198x, 1984. https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

1/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Apple84] (*) Johnson, Lynnea "Macintosh MacWrite", Apple Computer Inc, 1984, Product Number #M1502 User manual and introduction to MacWrite word processing application

[Arcelli85] (*p) Arcelli, C. and Sanniti di Baja, G. "A Width-Independent Fast Thinning Algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence", Vol PAMI-7 No 4, July 1985, pp 463-474. Skeletonization/line-thinning with a method to "recover" the original outline by building the skeleton back up Line thinning by topology-preserving removal operations

[Artwick84] (*p) Artwick, Bruce "Applied Concepts in Microcomputer Graphics", PrenticeHall, 1984, ISBN 0-13-580226-1 Describes viewports and Windows as projected coordinate calibration on a digitizing tablet. Early CAD menus printed statically on the digitizer surface as a template.

[Asija85] (*) Asija, Satya P. "Automated Image Input, Storage and Output System", United States Patent 4,523,331, June 11, 1985 Automated image input, including handwriting recognition, and output, including generation Shows characters normalized to a 5x7 grid, and stored based on bit string of traversal of squares Recognition trained to each user: matches are by binary-value distance between two bitstrings Note: Compare with input technology of Casio PF-8000 calculator: Casio84_PF8000a

[Autodesk84] () Autodesk "AutoCAD 2 (tm) Drafting Package User Guide", #106-006, Autodesk Incorporated, 2320 Marinship Way, Sausalito CA 94965, 1984. [Baird84] (*p) Baird, H.S. "Model-based Image Matching Using Location", PhD Thesis, Department of Electrical Engineering and Computer Science, Princeton University, October 1984.

Pattern matching by a template in feature-space, looking for minimum distances of feature points in a multi-dimensional vector. Mathematical pattern-matching thesis, without any examples of any specific patterns it was tried on!

[BarkerPG84] () Barker, P.G., Najah, M. and Roper, J.S. "User Experiences with a MICROPAD", Journal of Microcomputer Applications, Vol 7, 1984, pp 19-39. BarkerPG85

[BarkerPG85a] () Barker, P.G. and Janah, M. "Implementing pictorial interfaces using a high-resolution digitizer", International Journal of Man-Machine Studies, Vol 23, 1985, pp 153-173. User interface picking menus from parts of pictures (graphical menus) -- happened to use a Micropad digitizer, not really handwriting recognition

[BarkerPG85b] () Barker, P.G. and Janah, M. "Pictorial interfaces to data bases", International Journal of Man-Machine Studies, Vol 23, 1985, pp 423-442.

User -interface using menus on picture parts, not lists, pick-boxes from a Micropad terminal

[BeckerJ84] (*p) Becker, Joseph D. "Multilingual Word Processing", Scientific American, Vol 251 No 1, July 1984, pp 96-107. Character/word order, user-interface design for multiple language word processing (Arabic/Hebrew/English/Roman/Chinese) Korean is written in syllable clusters, Hebrew right-to-left, Arabic right-to-left with words diagonally, Mongolian vertically

[BeckerJ85] (*p) Becker, Joseph D. "Typing Chinese, Japanese, and Korean", IEEE Computer, January 1985 Keyboard input for Chinese Kanji

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

2/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Belaid84] (*p) Belaid, Abdelwaheb and Haton, Jean-Paul "A Syntactic Approach for Handwritten Mathematical Formula Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-6 No 1, January 1984, pp 105-111. Refers to ambiguity of nominally straight vs curved lines Mentions P/D, T/+ ambiguity Investigate high-level context and ambiguity in mathematical formulas Refers to min/max extents, centroid of characters Says some irresolvable "confusion" ambiguity solved by user interaction User interface for 2-D mathematical symbol input: handwritten sketch input

[Berkin84] (*p) Berkin, G.M., and Negin, Michael "Pattern Recognition System", United States Patent 4,441,205, April 3, 1984, assigned to Kulicke and Soffa Industries, Incorporated, Horsham, Pennsylvania. Alignment pattern recognition for video scanning of integrated circuits, small parts

[BinaryFusion85a] (*) Binary Fusion Software Archive "Borland Sidekick", www.tripod.com, Fetched October 2010 Downloadable install files (zip archive) for Borland Sidekick: files dated 1985.

[Blesser84] () Blesser, Barry "Comments on Variability due to Pen-Artifacts", internal report, Pencept, Incorporated September, 1984. Apparent variabiity of handwriting in on-line recognition caused in part by defects/performance of tablet digitizers: retrace, hooks, etc.

[Blesser85] (*) Blesser, Barry "Tablet Error Analysis", internal report, Pencept, Incorporated September, 1985.

Mathematical measurements of tablet performance, focusing on defects and quirks of different types of digitizing tablets: describes effects of search algorithms used to locate stylus, local streatch, external voltages, electronic defects, etc.

[BoieRA85a] (*) Boie, Robert A.; Ruedisueli, Laurence W.; and Wagner, Eric R. "Computer mouse or keyboard input device utilizing capacitive sensors", United States Patent 5,463,388, October 31, 1995

Capacitive matrix grid digitizer: objects near intersections of wires affect capactiance between wires. Gets area measurement of adjacent intersection points, computes centroid/peak. Used for mouse and for touch keypad in one device. Compressibility of fingertip to infer pressure (force). See also Radio Drum

[Boies85a] (*p) Boies, Stephen J., Gould, John D., Levy, Stephen, Richards, John T., Schoonard, Jim "The 1984 Olympic Message System -- a Case Study in System Design", IBM Research Division Report RC 11138 (#50065), 5/2/85, 53 pages [Boivie84a] (*p) Boivie, Richard H. "Directory look-up method and apparatus", United States Patent 4,453,217, assigned to AT&T Bell Laboratories, Murray Hill, New Jersey, June 5, 1984. Spelling correction by recursive division of the dictionary: skip one character at a time: interesting Dictionary searching method

[Boivie84b] () Boivie, R.H. United States Patent 4,000,000, June 5, 1984, assigned to AT&T Bell Laboratories, Murray Hill, New Jersey. Cited in Boivie85: on pattern matching of chain-code strings Thinning handwritten characters and comparing with dictionary for recognition.

[Boivie85] (*p) Boivie, R.H. "Character Recognition Arrangement", United States Patent 4,525,860, June 25, 1985, assigned to AT&T Bell Laboratories, Murray Hill, New Jersey. Described curve tracer/follower for OCR of handwritten characters

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

3/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

OCR using line thinning, then simulated chain codes generated by a curve tracer/follower: claims to be font-independent / handwriting recognition "standard spelling": coded sequence of chain codes Refers to two approaches for character recognition: theoretic (or discriminant) versus syntactic (or structural) pattern recognition approach: dislikes both Sub-patterns (features) of a handwritten character can only be recognized in the (graphical) context of the entire character pattern

[Bono85a] (*p) Bono, Peter R. "A Survey of Graphics Standards and Their Role in Information Interchange", IEEE Computer, Vol 18 No 10, October 1985, pp 63-75. User-interface management system (UIMS) and graphics standards

[Bono85b] (*p) Bono, Peter R. "Software Standards: Which Ones Are Here to Stay?", S. Klein Computer Graphics Review, Inaugural Issue, 1985. [Bozinovic84] (*p) Bozinovic, R. and Srihari, S.N. "Knowledge-based Cursive Script Interpretation", Proceedings of the 7th International Conference on Pattern Recognition, Montreal, 1984, pp 774-776.

Cites own poor performance if did not exclude "hill and dale" sloppy writing, crowded writing Assumes a premise that people use script, not printing, in normal writing

[Brault84] (*p) Brault, J.J. and Plamondon, R. "Histogram Classifier for Characterization of Handwritten Signature Dynamic", Proceedings of the 7th International Conference on Pattern Recognition, Montreal, 1984, pp 619-622. Signature verification: small sample size: 243 signatures of 50 people Signature verification: test protocol had no forgery attempts (!)

[BrocklehurstE85] () Brocklehurst, E. "Computer methods of signature verification", Journal of Forensic Science, Vol 30, 1985, pp 445-457. Cited in Yoshimura91

[Brogardh84] (*p) Brogardh, Torgny "Device for Simultaneous Creation and Detection of Markings", United States Patent 4,475,240, October 2, 1984, assigned to ASEA Aktiebolag, Vasteras, Sweden. Digitizer tablet using a light-sensitive optical sensor to detect markings as they are written/drawn

[Brogardh85] (*) Brogardh, Torgny "Optical Digitizer/Position Measuring Device", United States Patent 4,531,230, July 23, 1985, assigned to ASEA Aktiebolag, Vasteras, Sweden. Fiber-optic optical digitizer tablet using a grid of an optically-sensible pattern

[Brooks85] (*p) Brooks, C.P. and Newell, A.F. "Computer Transcription of Handwritten Shorthand as an Aid for the Deaf -- a Feasibility Study", International Journal of ManMachine Studies, Vol 23, 1985, pp 45-60. Character recognition for shorthand DCR for shorthand much more complex than was thought 1/4 to 1/2 of words in spoken conversation unintelligible out of context Hooks, loops, circles are "real" features in shorthand Refers to endpoint trimming on digitizer strokes "invariant" base form, and numerous real written forms for one writer Hard to write vertical curved strokes reliably

[BrownE85] (*) Brown, E., Buxton, W., and Murtagh, K. "Windows on Tablets as a Means of Achieving Virtual Input Devices", in D. Diaper et al (Editors), "Human-Computer Interaction - INTERACT '90", Elsevier Science Publishers, pp. 675-681 See also http://www.billbuxton.com/windows.html Refers to dynamic windows, virtual devices on tablets, tools for defining regions flexibly. Use touch

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

4/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

tablet to simulate keypads, mouse, other devices. Compare with Schumer?

[BrownG85] (*p) Brown, G.P., et al "Program Visualization: Graphical Support for Software Development", IEEE Computer, Vol 18 No 8, August 1985, pp 27-35. Interactive graphical input and display interface languages for programming Digitizer using separately mounted Lexan sheet (with shift in position?)

[BrownRM85] (*) Brown, Robert M. "Handprinted symbol recognition system", United States Patent 4,491,960, January 1, 1985, assigned to the United States of America as represented by the Secretary of the Navy. Cited in Sklarew88b: on OCR of handwriting? uses logic tree of robust features first, then lesser disciminants, then a quality-assuance module filtering/noise-removal: (1) pre-recognition ("trash" filter), (2) potential symbol identification, and (3) final quality assurance; for on-line handwriting recognition

[BuxtonW85] (*p) Buxton, William "Notes on Chord Keyboards", Computer Systems Research Institute, Univ. of Toronto, Toronto Ontario CA M5S 1A4 mentions WriteHander chord keyboard from NewO Corporation

[BuxtonW85a] (*) Buxton, William, Hill, Ralph, and Rowley, Peter "Issues and Techniques in Touch-Sensitive Tablet Input", SIGGRAPH 85, San Francisco Jly 22-26, Vold 19 No 3, 1985, ACM 0-89791-166-0/85/007/0215, also Computer Graphics Vol 19 No 3. Also on billbuxton.com: fetched 2000 Also available at http://www.billbuxton.com/touch.html Describes virtual tablets, multiple virtual devices on a tablet. Use of pressure/force and multipletouch input devices. Refers to inaccuracy ("jitter") of touch tablets / touchscreens at light pressure, such as at end of stroke/touch-lift, but does not mention inaccuracy of lifting motion. Virtual switch device, compare with Apple slide/swipe-to-unlock gesture. Advantages of multiple virtual devices on a display, for which multi-touch input would be especially advantageous. Two levels of pressure/force (haptic?). Painting with pressure-sensitive tablet. Color mixing with multiple touch sliders. Strong advantages to using multi-touch input. Also: Electronic video file of demonstration. Cited in Wanderley00, but with wrong authors?

[BuxtonW85b] (*) Buxton, W., Sniderman, R., Reeves, W., Patel, S. and Baecker, R. "The evolution of the SSSP score-editing tools", In Foundations of Computer Music, C. Roads and J. Strawn, Eds, MIT Press, Cambridge, Mass 1985, ch 22, pp 387-22; Originally published in Computer Music Journal, Vol 3 No 4 Issue 12, December 1979; pp 14 ff.

Gestures/marks for editing musical scores, handwriting music recognition. Recognition based on changes in angles only, not lengths of segments. Semantically uses multiple segments to indicate note duration, but does not treat as compound recognition. Shapes later copied by PLI group at IBM for music editing demo. Also available at http://www.billbuxton.com

[CalComp85] () CalComp "CalComp 2500 Series Digitizer Operator's Manual User's Guide", CalComp Incorporated 50293-1, 1985. [CardelliL85a] (*) Cardelli, Luca and Pike, Rob "Squeak: a Language for Communicating with Mice", Proc. SIGGraph '85, San Francisco, pp. 199-204 Tutorial on Squeak, programming language for UI implementation using multiple input streams e.g. keyboard input stream and mouse event input stream. "Menu" event on press-and-hold, when mouse button depressed for a significant time (presumably without being moved)

[Carnes84] () Carnes, W.R. "Signature Verification System", United States Patent 4,443,436, February 21, 1984 From patent list

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

5/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Carpenter85] (*p) Carpenter, G.A. and Grossberg, S. "Neural Dynamics of Category Learning and Recognition: Attention, Memory Consolidation, and Amnesia", in "Brain Structure, Learning, and Memory", Davis, J., Newburgh, R., and Wegmen, E. editors, AAAS Symposium Series, 1985. Adaptive recognition: refers to "as recognition categories stabilize" in learning

[CarrTH84] () Carr, T.H., Brown, T.L., Brown, J.S., and McDonald, J.L. "Handwriting of connected discourse: Speed-accuracy tradeoffs in a skilled performance", Proceedings of Psychonomic Society, November, 1984. Cited in Rhyne86: : was in Tappert's group 1986 Rhyne86 cites this that mental set affects legibility of handwriting (variability)

[Casey84] () Casey, R.G. and Nagy, G. "Decision Tree Design Using a Probabilistic Model", IEEE Transactions on Information Theory, Vol IT-30 No 1, January 1984, pp 93-99.

Applications: single-font OCR system had to replace five keypunch operators at prices of 1975 Parallelism vs serial: decision tree is best technique for speed/cost tradeoffs in character recognition Paradigm: iterative optimization of decision tree by designer vs automatic construction of decision tree (designer specifies features to use) Decision trees in OCR: for small trees, need very uniform styles and pixel data (is not that obvious?) Estimated versus actual performance: adding more OCR pixels does not help much since they are not significant features (size of character/resolution) Testing: reports real results on trading reject for substitution errors

[Casio84_PF8000Eng] (*) Casio "Casio PF-8000 Calculator (in English and Spanish)", Casio 123B M publication, date believed to be 1984 1984 Calculator with touchscreen input, and also zone-based handwriting recognition on a touchfilm keyboard/keypad, separate from the display Shows a "gesture" character for editing (e.g. backspace/delete), demonstrated in a name/addressbook application included in the unit. Functional unit in personal collection of Jean Renard Ward, this is the user documentation. Unistroke / single-stroke characters. Case includes a reference sheet for writing single-stroke characters, similar to the "Graffiti" unit by U.S. Robotics in the 1990s

[Casio84_PF8000a] (*) Casio "Casio PF-8000 Calculator (in Japanese)", Collection from gmark.org, http://www.g-mark.org/library/supercollection/g40/1984/index-20.html, 2002 1984 Calculator with touchscreen input, and also zone-based handwriting recognition on a touchfilm keyboard/keypad Not sure about relationship of PF8000 and IF8000 products unistroke / single-stroke characters (?) Dr. Theodore Kuklinski had one in his collection in 1990 Additional reference on Casio/Cacio Data Bank PF-8000: http://www.geocities.co.jp/Technopolis/6766/PF-8000.htm, full-frame picture Additional reference on Casio Data Bank PF-8000: http://www.steamtrain.de/floh/bilder_2/casio_data_bank.jpg, showing writing styles

[Casio84_PF8000b] (*) Casio "Casio PF-8000 Calculator user manual (in Japanese)", In personal collection of Jean Renard Ward -- cover missing, approximately 34 pages

1984 Calculator with touchscreen input, and also zone-based handwriting recognition on a touchfilm keyboard/keypad

[Casio84_TC500a] . Casio "Casio TC-500 touch screen calculator watch", Casio

1984 wristwatch with touchscreen input, handwriting recognition for digits and arithmetic operators. See also TC-550, TC-600. File contains user guide.

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

6/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Castleberry85] (*) Casteleberry, Donald E. and Becker, Charles A "Electroscopic information display and entry system with writing stylus", United States Patent 4,520,357 May 28, 1985, assigned to General Electric Company Sklarew cites as electroscopic/electrostatic tablet/display integrated device Capacitive-coupling digitizer (with a magnetic stylus) integrated with a matrix display

[Chainer85a] (*p) Chainer, T.J., and Worthington, T.K. "Segmentation Algorithm for Signature Verification", United States Patent 4,553,258, November 12, 1985, assigned to International Business Machines, Armonk, New York. Finds pen lift/down stroke start/end via A.C. coupling to a force/pressure gauge

[Chainer85b] (*p) Chainer, T.J., Gundersen, S.C., and Worthington, T.K. "Semi-Independent Shifting Technique for Signature Verification", United States Patent 4,553,259, November 12, 1985, assigned to International Business Machines, Armonk, New York. Force/pressure and acceleration information on signature verification correlating data by shifting it

[Chainer85c] (*p) Chainer, T.J., Scranton, R.A. and Worthington, T.K. "Data Input Pen for Signature Verification", United States Patent 4,513,437, April 23, 1985, assigned to International Business Machines, Armonk, New York.

Digitizer stylus pen with force/pressure and acceleration sensitivity for signature verification: Better force/pressure-sensitive (piezo-electric sensor) pen stylus than Herbst 4,142,175

[Chainer85d] (*p) Chainer, T.J. and Worthington, T.K. "Shifting Technique for Signature Verification", United States Patent 4,562,592, December 31, 1985, assigned to International Business Machines, Armonk, New York. Shifting (to reduce correlation computation) of segments of signatures for acceleration and force/pressure data for signature verification

[Chalkboard83a] (*) Chalkboard "PowerPad Chalkboard graphics tablet", Chalkboard Inc, 1983: at Personal Computer Museum, Brantford Ontario, Canada (2011) Pressure-switch touch graphics tablet, 14,400 sensor points for 10x10 resolution on 12x12 inch surface. "Has no problem resolving simultaneous multiple inputs" (multi-touch), "software stretching" to interpolate (?) to higher resolution.

[Chalkboard84a] (*) Chalkboard "Electronic Chalkboards: Powerpad Product Information", Chalkboard Inc, 1984

Educational software using low-resolution digitizer tablet for VIC-20, Commodore 64, IBM-PC (DOS), Apple-II and Atari computers. User interface is mylar overlays with pre-printed simplified keys for child use. Educational software include Mico Maestro for music, 'Lectric Paintbrush, Music Math. Additional material in paper file

[Cheung85] () Cheung, Y.S. and Leung, C.H. "Chain-code transform for Chinese character recognition", Proceedings of IEEE International Conference on Systems, Man, and Cybernetics", Tucson, Arizona, 1985, pp 42-45. Japanese/Kanji/Katakana product from Hew Crane and James Dao at CIC: Cited in Leung87

[ChunK85a] (*) Chun, Kukjin and Wise, Kensall D. "A High-Performance Silicon Tactile Imager Based on a Capacitive Cell", IEEE Trans. on Electron Devices, Vol ED-32 No 7, July 1985, pp. 1196-1201 Tactil sensor for robotic touch: force/pressur capacitor of deformable pad/outer skin over silicon capactive sensors in 8x8 array, may be combined to give 16x16 aray.

[CIC84] () CIC "Handwriter (TM) Product Literature", CIC Japan Incorporated, Suite 918, Shuwa Kioicho TBR Building, 5-7 Kojimachi, Chiyoda-Ku, Tokyo 102, Japan, 1984. Forms data entry from CIC Handwriter product

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

7/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[CIC85a] () CIC "Handwriter (R) focus:ABC (TM) Accounting Package", Communication Intelligence Corporation, 800 El Camino Real, Menlo Park, CA 94025, 1985. Spreadsheet from CIC Handwriter product

[CIC85b] () CIC "Handwriter (R) Lotus 1-2-3 interface Kit", Communication Intelligence Corporation, 800 El Camino Real, Menlo Park, CA 94025, 1985. Word-processing from CIC Handwriter product

[CIC85c] () CIC "Handwriter (R) WordStar (R) interface Kit", Communication Intelligence Corporation, 800 El Camino Real, Menlo Park, CA 94025, 1985. The ASCII writing product Hew Crane said does not exist

[CIC85] (*) CIC "Handwriter (R) GrafText (TM) System Model GT-5000", Communication Intelligence Corporation, 800 El Camino Real, Menlo Park, CA 94025, June 1985. Similar product to Pencept PenPad. Describes recognition modes and templates for forms: graphic, text, remot-function, local-function areas. Calibration of tablet to paper form. Handwriting recognition returned multiple matches (up to 5).

[CItoh85] () CItoh Corp "CI-Handwriter Fit-In-1 product information", 1985. (OEM version of CIC Handwriter product). Japanese handwriting character recognition product

[Cobblestone85] (*) Cobblestone Design "Pencept: Software Control at the Stroke of your Pen / Write into your computer", www.cobblestonesdesign.com/Pages/frames/Pencept.html Photograph of trade-show booth from Comdex for Pencept, handwriting recognition.

[Comerford84] () Comerford, Richard "Pointing-device innovations enhance user/machine interface", Electronics Design News, July 26, 1984, pp 54-66. Review of digitizer/tablet/joystick/mouse/touchscreen/trackball vendors, 1984

[Commodore84a] (*) Beekman, George "The Commodore 64 Home Companion", DataMost, 1984, illustrations by Martin Cannon Instruction and software catalog for Commodore 64 home computer, and various third-party software and devices. Describes KoalaPad touch digitizer, and also ChalkBoard Power Pad: Power Pad uses different construction and can sens and report more than one touch at a time.

[Computerwoche84] (*) Computerwoche "Das Penpad-Terminal, zur handschriftlichen Dateneingabe. ", Computerwoche, May 4, 1984, www.computerwoche.de

Press announcement of PenPad 200 handwriting recognition computer terminal, using pre-defined forms on a digitizer tablet. "Auf das Tablett werden Formulare gelegt, deren Einteilung der Benutzer vorher nach seinen Beduerfnissen festgelegt hat."

[Convis85] () Convis, D.B., Grim, P.J., and Reed, M.A. "Retro-stroke Compression and Image Generation of Script and Graphic Data Employing an Information Processing System", United States Patent 4,550,438, October 29, 1985, assigned to IBM Corporation, Armonk, New York. Uses local-maxima chain codes for image compression of script

[Cook84] (*) Cook, Mike "Light Pen", The Micro User, Volume 2, Number 1, March 1984

Light pen - software techniques (via rubber-banding) to get single-pixel resolution from a light pen that only has resolution to character cells in a character CRT display

[Crane85a] (*) Crane, H.D., Ostrem, J.S., and Edberg, P.K. "Method for Distinguishing between Complex Character Sets", United States Patent 4,531,231, July 23, 1985, assigned to Communication Intelligence Corporation, Menlo Park, California. Attempt to patent Pencept's "area" definition on Penpad 320: Kanji (Chinese) in one area, Kana/Roman in another (Katakana/Hiragana Japanese)

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

8/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Kanji/Kana by top half / full height of character box (similar to upper/lower case)

[Crane85b] (*) Crane, H.D., and Ostrem, J.S. "Complex Pattern Recognition Method and System", United States Patent 4,561,105, December 24, 1985, assigned to Communication Intelligence Corporation, Menlo Park, California. Chines/Kanji character recognition using stroke shape and curvature Distance metrics between strokes for handwriting recognition of Chinese/Kanji characters Allows for shift in position, rotation of strokes to allow for better recognition mathces

[Davies85] () Davies, K. "Continuous Speech Recognition", Probe Research Seminar: The Coming of Age of Voice Recognition, San Francisco California, 1985. Cited in Mangione86: : member of IBM Yorktown Hts. staff (with Tappert) Adaptive recognition dies trying to get complete set of samples

[DosterW84a] () Doster, W. and Oed, R. "Textbearbeitung auf Personal-Computern mit handschriftlicher Direkteingabe", presentation at Arbeitstagung der Fachgruppe Interaktive Systems der Gesellschaft fuer Informatik, March 1984, in Zurich, Switzerland. Reprinted in PC-Praxis. Author's address: AEG Aktiengesellschaft, Research Center Ulm, Sedanstrasse 10, D-7900 Ulm, West Germany. Points out their variability model cannot be statistically verified. Describes AEG's general DCR work-station, including driver design for tablet digitizer

[DosterW84b] (*) Doster, W. and Oed, R. "Word Processing with On-line Script Recognition", IEEE Micro, October 1984, pp 36-43.

AEG's word-processing user interface for handwriting recognition input. Describes word processing (for handwriting user interface) as two phased: text creation, and text editing. Some use of gestures or recognition macros, separate gesture, pointing (virtual tablet) and text input areas on separate digitizer from display. Compare with PenCept PenPAD and recognition macros, virtual tablet definitions.

[DosterW84c] () Doster, W. "Das papierlose Buero: Lesemaschine fuer Handschriften", Funkschau (West Germany), Vol 25, 1984, pp 61-63.

General article on AEG's handwriting recognition system for forms data entry and word processing in an electronic automated office

[DosterW85a] () Doster, W. "Pattern Recognition Techniques as a Stimulus for Advanced Text Processing", PROTEXT II: Proceedings of the 2nd International Conference on Text Processing Systems, October 23-35, Dublin, Ireland, pp 155-161.

Says putting in multiple variants a deficiency of non-adaptive Says "user-definable" special gesture symbols (for WordStar word processor) better for command, but his examples are of modified standard characters Points out that non-adaptive systems are user-adaptive, and results are the same "perfect" mutual enrollment

[DosterW85b] () Doster, W. and Schuermann, J. "Bildanalyse von Textdokumenten und Handschriftliche Direkteingabe - Zwei Verfahren Auch fuer BTX-Anwendungen", Informatik Fachberichte 92, Springer-Verlag, New York, 1985, pp 247-265. Two research projects at AEG on the automated electronic office: automatic document analysis for O.C.R. images of text and pictures, and on-line handwriting recognition

[Downton83] () Downton, A.C., Baker, R.G., Lewis, S.M., and Cooper, P.J. "Readability measurements of Palantype transcription for the Deaf", International Journal of Man-Machine Studies, Vol. 19, pp 575-594, 1983 [Downton84] () Downton, A.C. and Brooks, C.P. "Automated machine shorthand transcription in commercial applications", Proceedings of INTERACT '84, IFIP Working https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

9/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Group 6.3, London, United Kingdom, September 4-7, 1984, pp 151-156.

Need whole conference proceedings: user interface with handwriting editing.

[Dye84] () Dye, R., Newell, A.F., and Arnott, J.L. "An adaptive editor for shorthand transcription systems", Proceedings of INTERACT '84, IFIP Working Group 6.3, London, United Kingdom, September 4-7, 1984, pp 157-162. Need whole conference proceedings: user interface with handwriting editing.

[Ejiri85] (*) Ejiri, Koichi "Method of Assigning Direction Code to Boundary Pictur eElement in Character Recognition System", United States Patent 4.524,454 Line-thinking, extraction of plausible writing direction from edges of scanned OCR images of characters, then to encode as direction codes / chain codes (There is another paper on this sort of thing in here someplace ...)

[Epson84a] (*) (unknown) "Epson RC-20 wristwatch", homepage.mac.com, fetched 2010, posted 1998 (in Japanese, machine translation in file) Touchscreen wristwatch, compared to Casio VDB-1000 databank wristwatch with touchscreen.

[Ewing85] () Ewing, J., Mehrabanzad, S., Sheck, S., Ostroff, D. and Shneiderman, B. "An Experimental Comparison of a Mouse and Arrow-Jump Keys for an Interactive Encyclopedia", to appear in International Journal of Man-Machine Studies, September, 1985. Author's address: Department of Computer Science, University of Maryland, College Park, Maryland 20742. Pre-publication version only User-interface on pointing methods: applies to mouse emulation on a tablet?

[Flurry85] () Flurry, G.A. "Electronic Handwriting Facility", IBM Technical Disclosure Bulletin, Vol 27 No 9, February 1985, pp 5364-5366. Description of IBM's handwriting work-station?

[FoleyJD84] () Foley, J.D., Wallace, V.L., and Chan, P. "The Human Factors of Computer Graphics Interaction Techniques", IEEE Computer Graphics and Applications, Vol 4 No 11, November 1984. The granddaddy of all user-interface papers for interactive graphics

[FormsAutomation85] () Forms magazine "One-step data entry system links forms with computers", forms automation product review, April, 1985, pp 34-41. Published by National Business Forms Association, 443 East Monroe Avenue, Alexandria VA 22301.

Description of DataPad/ AnnoGraphics / Portable Computer handwriting recognition product: was marketed under several different name.

[Fox84] () Fox, A.S., Kim, J. and Tappert, C.C. "Segmenter for Known Number of Characters", IBM Technical Disclosure Bulletin, Vol 27 No 7A, December 1984, pp 36913693. Segmentation when writing prototypes, because number of shapes is known

[FushimotoH85a] (*) Fushimoto, Hideo; Toyomura, Shigeru; Nishimuro, Yshiaki; Asakura, Osamu; and Rachi, Masahiro "Foldable Electronic Apparatus", United States patent 4,517,660, May 14, 1985 Foldable calculator/PDA, side-by-side configuration, or close and use calculator keys on outside. Keyboard/keypad input, but full display.

[Gaines84] () Gaines, B.R., McKellar, I.D., Dinger, W.P., and Fast, S.R. "Some Experience in the Real-time Processing of Handwriting", Proceedings of the 7th International Pattern Recognition Conference, Montreal, 1984, pp 630-632. Says natural user-interface is speech and handwriting together

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

10/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Says tablet digitizers with 1000x1000 resolution and 1% linearity good enough for handwriting (!) Say peak handwriting speed/velocity is 50 inches/second (?), normal is 2.5"/sec Says "skilled" user gets 97%-100%, "unskilled" only 70% recognition success

[Genter85] () Genter, R.E. "Guidelines for C Program Development", Internal report, Intermetrics, Incorporated, Cambridge, Massachusetts, September 1985. Programming/coding style

[Gharachorloo85] (*) Gharachorloo, N. "On-line Character Recognition Using Closed-Loop Detector", United States Patent 4,495,646, January 22, 1985. Tablet-free stylus using mechanical design to detect rough stylus direction of motion Claims handwriting recognition using mechanical sensing of chain codes

[Glenn84] () Glenn, W.E. "Apparatus for Determining Position and Writing Pressure", United States Patent 4,488,000, December 11, 1984, assigned to New York Institute of Technology, Old Westbury, New York. Force/pressure-sensitive digitizer tablet using acoustic sound waves in a sheet

[GoldbergA84] (*) Goldberg, Adele "Smalltalk-80: The Interactive Programming Environment", Addison-Wesley, Reading MA, 1984 Introduction to Smalltalk language and environment. (Electronic file.)

[Goldwasser85] (*) Goldwasser, Eric, and Goldwasser, Dorothy "Method of Creating Text Using a Computer", United States Patent 4,559,598, December 17 1985

Pen/stylus or other pointing means, select words from dynamic menus to input text. Intended as aid to the blind: compare with Qwikwriting and other means for one-handed input of handwritten text with contrained recognition.

[Gould84] () Gould, J.D. and Alfaro, L. "Revising Documents with Text Editors, Handwriting-Recognition Systems, and Speech-Recognition Systems", Human Factors, Vol 26 No 4, August 1984, pp 391-406.

Applications: text editing much faster with handwriting than with keyboard, even though same number of characters input User-interface: differences in external feedback greatly affect operational speed User-interface: time spent inputting a command much less than think time (and typing adds to effective think time) User-interface: electronic ink would eliminate spatial displacement within written copy and screen copy Speech simulation of handwriting editing, but no standard proof-editing marks Speech: no visual feedback a minus on speech recognition test Speech: USERs make more errors in speech than with writing or typing Martin89 cites as saying most of time in producing a letter is think time, so user-interface of speech recognition or typing not that great a difference

[Graham84] () Graham, Martin "Signature Verification Sensor", United States Patent 4,475,235, October 2, 1984, assigned to Rolm Corporation, Santa Clara, California. Capacitive sheet/plate digitizer tablet

[GreenM85a] (*) Green, Mark "The University of Alberta User Interface Management System / UIMS", Proc. SIGGRAPH '85, Vol 19, No 3, 1985, San Francisco July 22-26, 1985, pp. 205-213 UIMS based on Seeheim model: Presentation layer, Dialog Control (Interaction) layer, Application Interface Layer, with user interface / user input events and event handlers.

[GSS84] () GSS "GSS-Drivers User's Guide", Second Edition, Graphic Software Systems, Incorporated, March 1984. https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

11/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Hayamizu84] () Hayamizu, S. and Oka, R. "Experimental Studies on the Connected-Words Recognition using Continuous dynamic Programming", Denshi Tsushin Gakkai Ronbunshi, Vol 67-D No 6, June 1984, pp 677-684 (in Japanese), translated in Systems, Computers and Controls, Vol 15 No 4, 1984, pp 80-88. Speech recognition: performance goes down with vocabulary size (everybody should show performance with increasing vocabulary size) Recognition errors are confusion (substitution), missing, and "ghost word"

[Higgins84] () Higgins, C.A. and Whitrow, R. "On-line Cursive Script Recognition", Proceedings of Interact '84, 1st IFIPS Conference on Human-Computer Interaction, September 1984, pp 140-144. Unlikely that "unconstrained" can be done, since humans find stuff illegible Segmentation at turning points, not Y-maxima/minima Features must have enough variety to be effective, but not be too sensitive Extra feature tests ("optional") for specific characters Context - "higher shape templates" for combined shapes Refers to including new shapes on the fly for mis-recognition Training is "manual: results in inaccurate feature values for templates" (?) From incorrect weighting, best word match does not always come out on top

[Hitachi84] () Hitachi, Limited: "Humanication product literature", (in Japanese), 1984. Hitachi Kanji/Chinese handwriting recognition product

[HondaK85a] (*) Honda, Kazuhiro and Kuramochi, Hiroshi "Pressure-senstive and conductive rubber", United States Patent 4,533,604, August 6, 1985

Conductive rubber, pressure-sensitive: force on rubber causes carbon, metallic, or other particles to be pushed together, reduces resistance. Type of rubber (elastomeric silicone, etc.) with different density or specific gravity, particles tend to sediment

[HouseVD84a] (*) House, V. Dean "Touch controlled membrane for multi-axis voltage selection", United States Patent 4,444,998

Lukis87 on digitizer tablets two-sheet resistive film digitizer tablet, measure DC voltage. Also two resistive films on both sides of a conductive sheet.

[Huang85] () Huang, J.K. "The input and output of Chinese and Japanese characters", IEEE Computer, Vol 18, January 1985, pp 18-24. 50,000 total Chinese characters: three-corner code method TCCM for encoding and indexing for keyboard input

[Hulls85] (*) Hulls, L.R. "Absolute Position Coordinate Determining Device employing a Single Phase Difference Measurement to Determine Cursor Position", United States Patent 4,552,991, assigned to Numonics Corporation, Lansdale Pennsylvania, November 12, 1985. Phase-shifting tablet digitizer (electromagnetic?), using not a simple grid, but in each ordinate a mixed set of loops at physically different phase.

[IBM85] () Anonymous "Multi-Segment System for Recognizing Cursive Writing", IBM Technical Disclosure Bulletin, Vol 17 No 11, April 1985, pp 6735-6739. Segmentation algorithm for script (Tappert?) for run-on and script handwriting

[IchikawaS84] () Ichikawa, S. and Gyoba, J. "Methodological Problems on Pattern Psychophysics", (Japanese journal), Vol 27 No 2, 1984, pp 132-157.

Not sure of English name of Japanese journal Similar to functional attributes, describes general problem of figuring out human recognition mechanisms for multiple features

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

12/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[IkedaE84a] (*) Ikeda, Eiichi; Ikuo, Kayama; and Izaki, Masahiro "Pressure-sensitive conductive elastic sheet", United States Patent 4,448,837, May 15, 1984

Conductive rubber or elastomeric sheet used in touch digitizer: partices are ferromagnetic, coarse particles aligned by magnetic field perpendicular to sheet during fabrication, fine particles near surface. Gives better palm rejection (large area, light pressure does not cause conduction?) by making dispersal of particles more uniform (fewer shorts?)

[Ikeuchi84] () Ikeuchi, K. "A Model of Character Recognition by Humans", Proceedings of the 7th International Pattern Recognition Conference, Montreal, 1974, pp 521-524. Three stages of human recognition: feature extractor, naming, decision Human features: straight line, turned line, end point, curved line Compare with Shillman

[Jansen84] . Jansen H. et al "Interpretation of freehand drawings for mechanical design processes", Computers and Graphics, Vol 8 No 4, pages 351-369, 1984: Pergamon Press Ltd, USA [Jelinek85] () Jelinek, F. "The Development of an Experimental Discrete Dictation Recognizer", Proceedings of IEEE, Vol 73 No 11, November 1985, pp 1616-1624.

Speech: gives results of (huge) number of samples needed to get statistically useful vocabulary coverage Speech: interface problem for word processing is not a trivial one Speech: editing (pointing) with pencilfundamentally better user interface than voice/speech recognition Speech: for editing, best interface will include digitizer and handwritten character recognition for editing marks (mode separation? ref. Buxton "tension") Speech: an adaptive system that does worse with non-native speakers of English (!) (Features are biased? Not really a general adaptive system?) Adaptive speech: cites user who did worse when analyzing own pronunciation (ref: problems of user understanding enrollment problems)

[JohnstoneE85a] (*) Johnstone, Eric "The Rolky: A Poly-touch Controller for Electronic Music", Proc. ICMC '85, pp. 291-295

Multi-touch digitizer using total internal reflection on glass: half-silvered mirror to CRT display to that hand does not obscure image.

[KADesign85] () KA Design group "business plan", March 1, 1985.

Puck/pointer: proposed mouse-like tablet product using a small joystick. Contains patent references to Victor B. Kley, 4,435,616, Graphical Data Entry Apparatus, resistive sheet tablet digitizer.

[Kahan85] () Kahan, S. "Problems in recognizing hand-printed characters", M.S. Thesis, Department of Electrical Engineering and Computer Science, University of California at Berkeley, February 1985. Cited in Kahan87

[Kai-tungHuang85] () Kai-tung Huang, J. "The Input and Output of Chinese and Japanese Characters", IEEE Computer, Vol 18 No 1, January, 1985, pp 18 - 24. Chinese and Japanese Kanji input via keyboard

[Karat84] () Karat, J., McDonald, J., and Anderson, M. "A comparison of selection techniques: touch panel, mouse, and keyboard", Tecnical report No TR-51.0166, IBM Corporation, Entry Systems Division, Austin, Texas, 1984. Mack89, user-interface on integrated tablet/display

[Kasanuki85] . Kasanuki et al "Sophisticated Man-Machine Systems (2)", 30th Conference of the Data Processing Society of Japan, pp 1831-1832, Japan https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

13/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Cited in Sklarew patents

[KasdayLR84a] (*) Kasday, Leonard, R. "Touch Position Sensitive Surface", United States Patent 4,484,179, November 20, 1984

Membrane-based touchscreen digitizer, top film presses on lower glass causing total internal reflection (compare with FTIR?) detected optically. Can sense multi-touch multiple touches, and sense force/pressure (not clear how). Light detectors are at edges of screen, can be transparent. One use is re--labelable keys (compare with Ken Knowlton) Describes two-finger gestures for rotation. States that device can detect more than one touch at a time by using timing information, and measure force by greater contact area causing stronger signal.

[Kataoka84] (*) Kataoka, Hiroyuki and Arai, Yoshio "Character Shaping Device", United States Patent 4,440,513 assigned to Fuji Xero Co., Ltd. Tokyo Japan, April 3, 1984

Handwriting text editing: Normalizes size, scale, position, shape of handwritten characters prior to printing to be neatly spaced and lined up better, but does not talk about recognition per se

[KimJ84] () Kim, J. and Tappert, C.C. "Handwriting Recognition Accuracy versus Tablet Resolution and Sampling Rate", IEEE 7th International Conference on Pattern Recognition, 1984, Montreal Canada, pp 917-918. A "nothing" paper: recognition goes down with worse tablet resolution

[KodoskyJL94a] (*) Kodosky, Jeffrey L, Truchard, James J.; and MacCrisken, John E. "Graphical Method for Programming a Virtual Instrument", United States Patent 5,301,336, April 5, 1994 Feature in LabView visual programming language for virtual laboratory instruments

[Konneker84] () Konneker, L.K. "A Graphic Interaction Technique Which Uses Gestures", IEEE Proceedings of First International Conference on Office Automation, page 51-55, 1984. Cited in Rhyne86, Buxton87 Rhyne86 cites this as an interesting handwriting input system: Also Goodisman91 Comments that "'C' code is not necessarily portable"

[KrasnerG84] (*) Krasner, Glenn, editor "Smalltalk-80: Bits of History, Words of Advice", Addison-Wesley, Reading MA, 1984 Background of Smalltalk language and environment. (Electronic file.)

[Krieger85] () Krieger, Mark "Writing Portable UNIX Software", talk given at the 1985 UNIFORUM conference in Dallas, Texas by Mark Krieger, January, 1985. Speaker's address: UniPress Software Incorporated, Suite 312, 2025 Lincoln Highway, Edison NJ 08817. [Kuklinski84] (*p) Kuklinski, T. "Components of Hand-Print Style Variability", Proceedings of the IEEE 7th International Conference on Pattern Recognition, pp 924-926, 1984. [Kuklinski85] (*p) Kuklinski, T. "A Case for Digitizer Tablets", Computer Graphics World, May, 1985, pp 45-52. [Kuklinski85b] (*) Kuklinski, Theodore) "Internal speaking notes, Development of Pencept Digitizing Tablet", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1985. History of digitizer performance and technology problems that lead to development of Pencept electromagnetic digitizing tablet with two-coil sensing stylus to correct for stylus tilt. Credits to Dr. Barry Blesser. Contains discussion of performance problems of digitizing tablets in general.

[Kurta85a] (*) Kurta Corporation "Equipment/Device: Kurta IS/PenMouse digitizing tablet, ca. 1985", Kurta Corporation

Physical device in collection: PenMouse is a digitizing tablet with a mouse-emulation mode. (Stylus missing).

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

14/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Kushnir85] () Kushnir, M., Abe, K., and Matsumoto, K. "Recognition of Handprinted Hebrew Characters using Features Selected in the Hough Transform Space", Pattern Recognition, Vol 18 No 2, 1985, pp 103-114.

Features are stroke direction, concavities, endpoints, intersections, etc. Says high dimensionality of feature space means template matching takes up lots of memory and compute time Handwriting recognition requires new strategies beyond printed recognition Accuracy test uses larger training set than test set Statistics fail by grouping similar characters, which must be solved by heuristics (!) Issues of test samples versus training samples Source of errors is similar characters: boundary?

[Kuzunki85] . Kuzunki, S. et al "Handwritten Characters and Graphics Recognition Technology for Workstations", Hitachi Hyoron, Vol 67 No 3, pp 243-246, 1985 Cited in Sklarew patents

[Lamarche84] () Lamarche, F. and Plamondon, R. "Segmentation and Feature Extraction of Handwritten Signature Patterns", Proceedings of the 7th International Conference on Pattern Recognition, 1984, pp 756-759. Refers to time-axis distortion (variability) in signatures

[Lamb84] () Lamb, M.R. and Buckley, V. "New techniques for gesture-based dialogue", Proceedings of INTERACT '84, IFIP Working Group 6.3, London, United Kingdom, September 4-7, 1984, pp 135-138. Need whole conference proceedings: user interface with handwriting editing.

[LamportL84a] (*) Lamport, Leslie "Recursive Compiling and Programming Environments: Summary", Self-published manuscript July 1984 https://research.microsoft.com/en-us/um/people/lamport/pubs/pubs.html#recursive-compiling Self-modifying compile construct added to Pascal: can compile and then execute source code, a la Lisp: build environments Mentions that the original version of EMACS was written in TECO, not in Lisp -- original Teco editor from Digital Equipment Corporation?

[LeeSK84a] (*) Lee, Seonkyoo "A Fast Multiple-Touch-sensitive Input Device", Master's Thesis, Dept. of EE, U. of Toronto, October 1984: 115 pages

(Partial Copy) Capacitive digitizer touchscreen: multi-touch sensor resolution is 64 by 32, increased by interpolation.

[LeeSK85] (*) Lee, S.K., Buxton, W. and Smith, K.C. "A Multi-Touch Three Dimensional Touch-sensitive Tablet", CHI'85 Proceedings, pp 21-ff, ACM 0-89791-149-0/85/004/0021

Capacitive digitizer technology, used for sensing multiple touch points of user's finger on surface: uses recursive division to determine position: used to emulate a virtual piano keyboard. Points to problems of delay between gesture and response to gesture. Also: Electronic video file of demonstration at CHI '85..

[Leedham84] () Leedham, C.G., Downton, A.C., Brooks, C.P. and Newell, A.F. "On-line acquisition of Pitman's handwritten shorthand as a means of rapid data entry", Proceedings of INTERACT '84, IFIP Working Group 6.3, London, United Kingdom, September 4-7, 1984, pp 145-150. Need whole conference proceedings: user interface with handwriting editing.

[Lerner8?] (*p) Lerner "Understanding speech proves tough task for machines", (reference not known, date uncertain: 80s?) Magazine article

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

15/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[LewisPH85] (*) Lerner "Periphrals: Astronomy Software", New York Times, May 21, 1985 Mentions PenPpad 320 handwriting terminal with handwriting recognition: uses Motorola 68000 microchip

[Linus84] (*p) Linus Technologies "Business Plan for TechBook Limited Partnership", 5265 Port Royal Road, PO Box 1322, Springfield, Virginia, 22151, February 1984. Original business plan for Linus portable handwriting product: also describes gesture-based user interface

[Loken-Dim85] (*) Loken-Kim, K.H. "Artificial Intelligence Techniques and their Application to the Correction of Automatic Speech Recognition Input", Proceedings of Voice I/O Systems Applications Conference, September 10-12, 1985, San Francisco, pp 425-441. Speech: context correction requires use of linguistic and extra-linguistic knowledge Speech: high recognition rate is not enough: user interface is important Speech: substitution (modal) recognition errors more severe than rejection in performance perception Speech: sequential restrictions in language are called syntax

[Lukis85] (*p) Lukis, L.J. and Duhig, G.P. "Character Recognition Device", United States Patent 4,493,104, January 8, 1985, assigned to Moore Business Forms, Incorporated, Grand Island, New York. Pressure-sensitive resistive-sheet digitizer Moore Business Forms DCR patent

[Lyon85] (*p) Lyon, Richard F. "Cursor Control Device", United States Patent 4,521,772 June 4, 1985, assigned to Xerox Corporation, Stamford, Connectituc Optical mouse: optical digitizer using passive printed pattern: but recognizes relative motion only, not absolute position. (See other papers in file for additional paper and Web references)

[Lyon85a] (*p) Lyon, Richard F. "Imaging Array", United States Patent 4,521,773 June 4, 1985, assigned to Xerox Corporation, Stamford, Connecticut Optical mouse sensor, with auto-correlation in analog (?) circuitry (See other papers in file for additional paper and Web references)

[Mandler85] (*) Mandler, Egerhard, Oed, Richard, and Doster, Wolfgang "Experiments in On-Line Script Recognition", Proceedings of 4th Scandinavian Conference on Image Analysis, Norwegian Institute of Technology, Trondheim, Norway, June 17-20, 1985.

Gives many European writing variation styles for "A": features are pathlength and arc; segmentation into single characters without context, not limited to alphanumeric characters,

[McCombG85a] (*) McComb, Gordon "Move over keyboard: now it's pens, pads, mice ... and more", Popular Science, May 1985, pp. 92-ff. mentions touchscreens (HP-150 computer terminal using infrared light sensors for finger: low resolution; MicroTouch, but does not work with finger), voice recognition, handwriting recogition/pen-computer from Pencept, 1985. Chalkboard Powerpad -- multitouch?

[Meads85a] () Meads, Jon A. "Report on the SIGCHI Workshop on Planning for User Interface Standards", Jon Meads and Associates, 2516 NE 19, Portland, OR 87212, 1985. [Meads85b] () Meads, Jon A. "Friendly or Frivolous?", Datamation, April 1, 1985, pp 96-100. User-interface user-friendly: users do NOT plan ahead: Fitt's Law says a mouse may be userfriendly, but not a mouse and a keyboard

[Meisel85] (*p) Meisel, W.S. "Empirical Artificial Intelligence in Speech Recognition", Proceedings of the 1st Annual Artificial Intelligence and Advanced Computer Technology Conference, Long Beach, California, April 30 - May 2, 1985, pp 182-187. https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

16/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Empirical artificial intelligence: cross between statistical and knowledge-based expert systems analysis Qualitative vs quantitative data/information AI research community has ignored empirical knowledge in expert systems AI: extracting intelligence from empirical evidence vs from human experts AI expert systems: possible flawed assumption is that humans can accurately tell you what they know Curse of dimensionality: your data may just not happen to show a particular feature or interaction among features Sample size vs number of features can be treated formally EAI: using expert knowledge to uncover structures, and using data to verify structures (is not this just normal scientific method?) Reducing "intrinsic dimensionality" of data and features Need off-line (expert?) development of recognition code/tables/features, because too complex to be done in real-time or on-line Human opinion/context has a large role in recognizing/labeling a speech sound Collect speech data for testing from real-world business correspondence and memos linguistic context rules applied to speech recognition

[MinskyMR84a] (*) Minsky, Margaret R. "Manipulating Simulated Objects with Real-world Gestures using a Force and Position Sensitive Screen", Computer Graphics Vol 18 No 3, July 1984, pp 195-203. Touch/pressure-sensitive digitizer tablet: uses four strain gauges / load cells at corners supporting a tablet to sense both position, and strength and direction of force (lateral force), and potential for vision (eye gaze?) gestures. Gestures include tapping, not just shape recognition: note that Penpad also had a "click" gesture of sorts for mouse/character-recognition mode. Includes flicking gesture, using side-force as well as motion. Refers to screen/stylus (finger) parallax problem. Cites to PutThat-There project. Objects can be pushed through virtual "rooms" via doorways at sides of displayed image, display changes to new room. Filter wild data points from touchscreen. Mentions multiple finger touch / multi-touch touchscreen version of hardware.

[Mizzi85] (*) Mizzi, Pierre M.A. "Hand-Held Computer", United States Patent 4,545,023, assigned to Engineering Project Development Limited, London, England, October 1, 1985 Hand-held "slate" style computer with no keyboard, provision of phoneme and/or handwriting recognition, and for TV/Radio reception via plug-in cards

[MoriS84] (*p) Mori, S., Yamamoto, K., and Yasuda, M. "Research on Machine Recognition of Hand-printed Characters", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-6 No 4, July 1984, pp 386-405. It's important to know how well DCR system works on low-quality data Recognition of hiragana (small character set) about as difficult as Kanji (large character set) General review of Kanji character recognition Gives figures for total Kanji characters in use in Japan, and in China Mentions earliest commercial Kanji recognition products, ten current Cites a very large data-base collection, which "scope is not sufficient" Cites Blesser Mentions fundamental differences of human vs machine recognition (p 403) Variations unlimited: must be limited for practicality and academic work

[MoriS85] (*) Mori, Shunji; Yamada, Hiromitsu; Takeuchi, Kunihiko,; and Do, Michihisa "Feature Extraction System for Digitized Character Information", United States Patent 4,468,808, August 28, 1984 https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

17/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Feature extraction for optical character recognition: compare to chain codes, sub-segments with concavity or convexity, loops: states that convexity/concavity noise is eliminated automatically by processing

[Morita85] (*p) Morita, M. "Japanese Text Input System", IEEE Computer, Vol 18 No 5, 1985, pp 29-35. Cited in Kankaanpaa87: special designs for keyboard input for Kanji/Chinese

[Murase85] (*p) Murase, H., Wakahara, T., and Umeda, M. "Online Writing-Box Free Character String Recognition by Candidate Character Lattice Method", Transactions of the Institute of Electronics Communications Engineers of Japan, Vol J68-D, pp 765-772, April 1985. (in Japanese). Segmenting strokes into characters using varying spacing: box-less input

[MurphyAS84] () Murphy, A.S. and Wiseman, J.A. "Optical Digitizing Stylus", IBM Technical Disclosure Bulletin, Volume 27, Number 5 October 1984, Pages 2806-2807

Cited in BennettWE91 Optical syslus digitizer using table with X and Y lines in different colors: appears to work like relative-position optical mouse, not absolute position

[Murtagh84] (*a) Murtagh, F. and Raftery, A.E. "Fitting Straight Lines to Point Patterns", Pattern Recognition, Vol 17 NO 5, May 1984, pp 479-483. Feature: finding straight lines in OCR patterns (skeletons?)

[Nagayama85] (*p) Nagayama, T., Shibuya, J., and Kawakita, T. "Pen-Touch-Type ElectroMagnetic Transparent Touch Panel", Society for Information Display 1985 Digest of Technical Papers, May 1985,pp 32-35. Transparent digitizer table over LCD with DCR

[Nagy84] (*p) Nagy, G. and Seth, S. "Hierarchical Image Representation with Application to Optically Scanned Documents", Proceedings of the 7th International Conference on Pattern Recognition, Montreal, 1984. Tiling/windows applied for format of written/printed documents

[Nagy85] (*p) Nagy, G. "Image Database", Image and Vision Computing, Vol 3 No 3, August 1985, pp 111-117. User-interface aspects of image data bases not given much attention

[Naito84] (*a) Naito, S. and Masuda, T. "Chinese Character Recognition Based on Personal Handwriting Characteristics", Transactions of IECE of Japan, Vol J67D No 4, April 1984, pp 480-487 (Abstract only).

Science Citation Index Difference in handwriting variations/variability between writers 50% greater than for one writer (?) Claims 96.9% successful recognition when trained to writer, 67.7% for general use without training, for 3256 Kanji categories.

[Nandhakumar85] (*p) Nandhakumar, N. and Aggarwal, J.K. "The Artificial Intelligence Approach to Pattern Recognition -- A Perspective and an Overview", Pattern Recognition, Vol 18 No 6, pp 383-389, 1985. Overview of DCR in the context of artificial intelligence

[NationalOA84] (*p) National OA: "Panaword RL-W450 / FW-500 product literature", (in Japanese), 1984. National OA 1984 Kanji/Chinese product

[NEC84] () NEC: "CR-100 product literature", (in Japanese), 1984.

Nippon Electric Company 1984 Japanese/Kanji/Chinese on-line handwriting product

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

18/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Nouh84] (*p) Nouh, Adnan, Sultan, Abobakr, and Tolba, Roshdi "On Feature Extraction and Selection for Arabic Character Recognition", Arab Gulf Journal of Scientific Research, Vol 2 No 1, 1984, pp 329-347. Density features for Arabic handwriting recognition: position-by-position matching between characters: Freeman codes as divergence criteria Tilt: 0.01" to 20 degrees, 0.08" between 20 and 40 degrees

[Numonics85] () Numonics "Numonics #2200 Pad with Low Profile and High Resolution", Numonics Incorporated, 418 Pierce Street, Lansdale PA 19446, 1985. [OedR84] (*p) Oed, R. and Doster, W. "The Intelligent Graphics Tablet - More Than a Mouse", Proceedings of Advances in Microprocessor Peripherals, Journees d'Electronique et de Microtechnique, Lausanne, Switzerland, October 8-11, 1984, pp 183-190.

Shows handwriting user-interface with control/editing area much like Penpad or C.I.C. Handwriter Shows diagram for stroke/character segmentation/parsing using overlapping rectangular extents User interface for handwriting into existing applications using keyboard buffer

[OedR85] (*) Oed, R. and Doster, W. "On-line Script Recognition - A User-friendly ManMachine Interface", Proceedings of the COMPINT 85 Conference on Computer-Aided Technologies, IEEE Catalog No 85CH2136-0, pp 741-743.

Shows diagram for stroke/character segmentation/parsing using surrounding rectangles. Separate writing areas on digitizer tablet for text input, gestures, virtual tablet/mouse input: compare with virtual tablets and recognition macros in Pencept PenPad. Makes statement that user-definable trainable/adaptable gesture-symbol recognition simplifies user interface, but this is questionable: semantics of symbol must still be defined, and mnemonicity and non-ambiguity (to recognizer) of a gesture is an open question.

[OKI84] (*p) OKI Corporation "SR 220 / SR 230 Online product information", OKI Corporation, 1984. Japanese handwriting character recognition product

[OlsenDR84] (*p) Olsen, Dan. R. Jr., Buxton, William, Ehrich, Roger, Kasik, David J., Rhyne, James R., and Siberg, John "A Context for User Interface Management", IEEE Computer Graphics and Applications, December 1984, pp 33..41 [Omron84] (*p) Omron Corporation "Handwriting product information", Omron Corporation, 1984. Japanese handwriting character recognition product

[Panati84] (*) Panati, Charles "Panati's Browser's Book Of Beginnings", Houghton Mifflin, Publishers, 1984. ISBN 0-395-56238-4 Chapter 6: "Scribble to Shorthand". Invention of Pens and Papyrus, historical reference to Stylus. Tieronian unistroke alphabet in the history of shorthand, 63 B.C., pages 81..82. Pitman Shorthand 1937, Taylor shorthand, Gregg Shorthand. Braille.

[Parks85] (*) "Apparatus for Signature Verification", Parks, John R; Carr, David R; Fox, Peter F. United States Patent 4,495,644, January 22, 1985, assigned to Quest Automation Public Limited Company, Great Britain.

Quest Automation Handwriting product: Micropad/Datapad using resistive film, pressure-sensitive digitizer tablet with hand rest Signature verification considering multiple scores of deviations, signature rejected either by a high combined score, or a very high score on one parameter

[Parnell84] () Parnell "(title)", United States Patent 4,473,717 Lukis87 on digitizer tablets

[Pavlidis85] () Pavlidis, J., and Van Wyk, C.J. "An Automatic Beautifier for Drawings and https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

19/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Illustrations", A.C.M. Computer Graphics, Vol 19 No 3, July 1985, pp 225-234. Gesture/graphics input heuristics: cite for Pavlidis. Relevance to sketch recognition?

[Pencept84a] () Pencept "Penpack (TM) Multiplan (TM) User's Guide", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1984. Another word processor for the Penpad from Pencept

[Pencept84b] () Pencept "Penpack (TM) IBM (R) Personal Editor User's Guide", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1984. Forms data entry for the Penpad from Pencept

[Pencept84c] (*) Pencept "Penware (TM) Penform (TM) User's Guide", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1984.

Pencept character set: forms data entry software for handwriting recognition using digitizer.

[Pencept84d] () Pencept "User Manual for Penpad 320", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1984. [Pencept84e] (*) Pencept "Software Tool Kit for the Penpad 320", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1984.

Handwriting recognition product of MS-DOS computers: includes gestures ("recognition macros"), definable virtual tablets in digitizer firmware.

[Pencept84f] () Pencept "Penpad (R) 320 Technical Data", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1984. Pencad, gesture / recognition macros for AutoCAD and other MS-DOS CAD applications.

[Pencept84g] (*) Pencept "IBM PC peripheral accepts hand-printed or drawn input", IEEE CG&A, May 1984, "New Products", page 94.

Product announcement for Pencept PenPad 320, hand-writing-recognition terminal for IBM-PCs. Essentially a keyboard replacement with handwriting recognition, combined with a general purpose digitizing tablet. "Application Packs" for recognition macros / gestures using simulated keyboard/mouse input for unmodified Multiplan, Visical, Word Start, Lotus 1-2-3 spreadsheet. Included a simulated "mouse" mode, using either mouse input through the driver, or sending keyboard arrow-key input.

[Pencept85] (*) Pencept "Pencept Marketing Materials", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1985.

Marketing and technical materials from PenCept, Inc. showing handwriting recognition and gesture recognition

[Pencept85a] () Pencept "Pencad (TM) Penpad (R) Interface for Freelance (R)", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1985. Pencept gesture recognition additions / Recognition macros for Freelance graphical drawing program

[Pencept85b] () Pencept "Pencad Penpad Interface for CAD and Graphics, Version 3.4 (R)", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1985.

pen-computing CAD interface using recognition macros / gestures, virtual tablets, stylus instead of a puck

[Pencept85c] . PenCept, Incorporated "Software Control at the Stroke of a Pen", SIGGRAPH Video Review, ACM Press: CHI '86. Videotape of live demonstration during CHI '85 conference showing gesture recognition / recognition macros, handwriting recognition, interfaces to AutoCAD CAD and other applications.

[Pencept85f] . PenCept, Incorporated "Software Control at the Stroke of a Pen", SIGGRAPH Video Review, ACM Press: CHI '86. Available (2009) at http://www.openhttps://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

20/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

video.org/details.php?videoid=8023

Videotape of live demonstration during CHI '85 conference showing gesture recognition / recognition macros, handwriting recognition, interfaces to AutoCAD CAD and other applications.

[PepperW84] () Pepper, William Jr. "Hand-held musical instrument and systems including a man-machine interface apparatus", United States Patent 4,430,917, February 14, 1984 One-dimensional touch panel element: one dimensional variation on touch pad or digitizer for a musical instrument

[Penycook85] (*) Pennycook, Bruce. W. "Computer-Music Interfaces: a Survey", Computing Surveys, Vol 17, No 2, June 1985, pp 267-ff Mentions Groove and NRC music systems using light-pen, three-D wand digitizer musical score-editing systems mentions in bibliography: some use pen/tablet input

[PetreP85a] (*) Petre, Peter "Speak, Master: Typewriters That Take Dictation", Fortune magaine, January 7, 1985, pp. 74-78

Review of Speech-to-text speech recognition product and research systems (talkwriters) to replace keyboard terminals: IBM Frederick Jelinek large statistical database, Raymond Kurzweil, mentions dictionary compilation and dictionary size for template-based systems, NEC Yasuo Kato, short words hard to differentiate by sound alone, Victor Zue trained himself to read spectrum diagrams of spoken words for feature-based recognition

[Photron85] () Photron Limited "OSCON Digitizer technical information: SQ-3100 and SQ4000MKII", Photron Limited, 1985. [Plamondon85] (*p) Plamondon, R. and Lamarche, F. "Modelization of Handwriting: A System Approach", in "Graphonomics: Contemporary Research in Handwriting", Proceedings of the 1986 Graphonomics Conference, Hong Kong, July 8-12, 1985, Henry S.R. Kao, Gerard P. van Galen and Rumjahn Hoosain, editors, North-Holland, publishers, 1986. Analog filter on digitizer output gives "improved accuracy" (!!??!!) Tablet digitizer jitter noise is +- 0.002 inch (?)

[Polhemus84] () Polhemus "3-Space Digitizer Technical Bulletin", 1984, Polhemus Navigation Sciences Division of McDonnel-Douglass Electronics Co., Colchester, Vermont. [Poole84] () Poole, L. "A Tour of the Mac Desktop", MacWorld, Vol 1 No 1, 1984, pp 16-21. Cited in JohnsonJ89

[PortableComputer85] () Portable Computer Products Company "Data Pad product announcement", April 1985. 10801 West Main Street, Suite 600, Fairfax VA 22030, 703-3528116 (see also Annographics). Mark Spikell, founder. [Prentice85a] () Prentice, Thomas C. "Methods for testing digitizer performance", Internal Report, Pencept, Incorporated, 1985. Tablet digitizer performance

[Prentice85b] (*) Prentice, Thomas C. "Understanding Digitizer Specifications", Internal Report, Pencept, Incorporated, 1985. Tablet digitizer performance

[QuayleSF85a] (*) Quayle, Stanley F. and Schlosser, Philip A. "Electrographic System", United States Patent 4,523,654, June 18, 1985

Electrostatic tablet digitizer using ratiometric measurements of induced AC voltage in a resistive sheet, active stylus/puck. Transparent conductor/semi-conductor of indium tin oxide (ITO) or other metal oxide. In one figure: Sheet is shown between two glass layers. Assigned to Scriptel.

[Raeder85] () Raeder, G. "A Survey of Current Graphical Programming Techniques", IEEE Computer, August 1985, pp 11-25. https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

21/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Richards85] (*p) Richards, Joh, T, Boies, Stephen J., Gould, John D. "Rapid Prototyping and System Development: Examination of an Interface Toolkit for Voice and Telephony Applications", IBM Research Division Report RC 11433 (#51395), 10/8/85, 9 pages [RoadsC85] (*) Roads, Curtis "Research in Music and Artificial Intelligence", Computing Surveys, Vol 17, No 2, June 1985, pp 163-ff Editor of book including Buxton music-editing work

[RobinsonD84A] (*) Robinson, Dan "SIDEKICK: Whoever wrote this gem understands Murphy's law", InfoWord, 26. Nov 1984, p 61.

Sidekick TSR utility for DOS, with Screen dialer from screen of PC: select telephone number in text on screen, it dails

[Rosson84] (*p) Rosson, M.B. "Characterizing Freeform Editing Behavior", IBM Research Report RC 10550 (Log #47200) 5/23/84, IBM T.J. Watson Research Center, PO Box 218, Yorktown Heights, NY 10598. Touch/gesture interfaces and direct manipulation: Boies said 75% of interactive user time is commands, not input: Rosson says 25%. Common mistake in keyboard-based editing mis-typing command names.

[Rouse85] (*p) Rouse, Nancy E. "Manual Digitizers for CAD", Machine Design, June 20, 1985

lists all major digitizer tablet companies of the day, and their technologies (sonic, magetic, magnetostrictive, etc.) 2-D: Altek, CalComp, Elographics, CTCO, Hitachi, Houston Instrument, Kurta, Numonics, Science Accessories Corp (SAC), Scriptel, Summagraphhics; 3-D: Micro Control Systems, Polhemus Navigation Sciences, Science Accessories Corp

[Rubin85] (*p) Rubin, R.V., Golin, E.J., and Reiss, S.P. "ThinkPad: a Graphical System for Programming by Demonstration", IEEE Software, Vol 2 No 2, pp 73-79. Interactive graphical interface language for programming Acoustic 3-D tablet

[SAC84] () SAC "GP-8-3D Grafbar Technical Bulletin", Science Accessories Corporation, 1984, Southport, Connecticut. Acoustic 2-D digitizer tablet, large active area, refers to "standard digitizer output formats"

[SAC88] (*p) SAC "GP-10 Two-dimensional Sonic Digitizer", Science Accessories Corporation, 1985(?), Southport, Connecticut.

Acoustic 2-D digitizer tablet, large active area, refers to "standard digitizer output formats": Emulation of vendors Kura, Numonics, Summagraphics, Wacom, Hitachi, Houston Instruments, GTCO, Calcomp and SAC GP-7, GP-8, CP-9, GP-9XL. Formats and behavior customizable via the controller, built-in menu in controller

[Sakai84] (*p) Sakai, T., Odaka, K., and Toida, T. "Several Approaches to Development of On-line Handwritten Character Input Equipment", Proceedings of the 7th International Conference on Pattern Recognition, 1984, pp 1052-1054. Boxed input: command-mode characters straddle boxes New text-editing method for keyboard emulation: uses multiple lines "category 1" characters: complete ambiguous due to sampling resolution

[Sakoe84] (*p) Sakoe, Hiroaki "Pattern Matching Device Operable with Signals of a Compressed Dynamic Range", United States Patent 4,479,236, October 23, 1984, assigned to Nippon Electric Company, Tokyo, Japan. Iterative approximation to distance function between two patterns

[Satoh85] (*p) Satoh, K., Ooka, A., and Wada, Y. "Character Recognition Apparatus", United https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

22/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

States Patent 4,542,526, September 17, 1985, assigned to Sumitomo Electric Industries, Osaka, Japan.

Handwriting character recognition using length and slope of line segments, classification to standard strokes Uses 8-direction chain codes for directions of entire stroke segments. Uses distance between strokes to segment strokes into characters

[Schaeken84] () Schaeken, B., Verschueren, W., Rene de Cotret, Y. and Hermanne, A. "A Hierarchical System for Handwritten Numeral Recognition", Proceedings of the 7th International Conference on Pattern Recognition, 1984, Montreal Canada, pp 1004-1007. Says recognition success % available, but does not give it (!) Handwriting recognition product

[Schiermann84] (*) Schuermann, Juergen and Doster, Wolfgang "Umschreibende Rechtecke separieren Zeichen", Computerwoche Nr 46, 9 Nov 1984

Article on the various technologies used to move to a "paperless" office: optical scanning to convert paper documents to electronic form, handwriting/digitizers to capture character writing and sketsches without paper

[SchulzeLHJ83a] (*) Schulze, Lawrence J.J. and Snyder, Harry L. "A Comparative Evaluation Of Five Touch Entry Devices", Virginia Polytechnice Institute report AD-A240 114, October 1, 1983

Comparision of touchscreen digitizer / touch entry devices (TED) technologies: touch wire, cross wire, capactivie, conductive film (resistive), acoustic ranging, infrared (optical beam) and pressure sensitive. Cites to E.A. Johnson 1960's for invention of touch entry device.

[Scriptel84] (*) Scriptel "New Products: CAD Graphics Tablet", IEEE Communications Magazine, Vol 22 No 4, April 1984, pp 50..51

Scriptel electrostatic tablet product advertisement: photograph shows transparent front-surface digitizer, suitable for digitizing drawing under the tablet, or frosted surface for rear-projection. Not subject to magnetic biasing (apparent reference to Summagraphics)

[Scriptel85a] (*) Scriptel "Transparent Glass digitizer", Scriptel Corporation, product litature Scriptel SPD-Series electrostatic tablet: transparent glass digitizer -- shown with puck, not with stylus, resistive decoding technology

[ScriptWriter85] (*p) Data Entry Systems "ScriptWriter Technical Information", Data Entry Systems, 6767 Madison Pike, Suite 195, Huntsville, Alabama 35806, 1985. [ShackelfordRL85a] (*) Shackelford, Russel L. "Gesture-based Communication with Computers: Feasibility Study", National Science Foundation Report NSF/IST-85002, July 1985. 54 pages.

multipoint (multi-touch) gesture recognition system using Chalkboard Inc. Hand/palm recognition. Gestures based on touches of fingertips: both up/down (contact) and in/out (from palm) for onehanded multitouch typing. "Power Pad" touchpad/tablet resolution of 100 points / square inch (10 points/inch). Contains analysis of performance and engineering problems with pressure-sensitive Power Pad.

[Shakunaga84] () Shakunaga, T, Kaneko, H., and Yodogawa, E. "Automatic Writer Recognition by Line-based Spectral Resolution of 2nd Order Statistics", Transactions of IECE of Japan, Vol J67D No 7, July 1984, pp 776-783 (in Japanese: English abstract only). Science Citation Index Like signature verification, but regular text handwriting: identification vs. verification, with 5.2% reject, 0.0034% false acceptance

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

23/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Sharp84] (*p) Sharp Corporation "Handwriting product information", Sharp Corporation, 1984. Japanese handwriting character recognition product

[Shneiderman85] () Shneiderman, B. "Human-Computer Interaction Research at the University of Maryland", unpublished manuscript, October, 1985. Author's address: Department of Computer Science, Human-Computer Interaction Laboratory, University of Maryland, College Park, Maryland 20742. Later published in SIGCHI Bulletin, January 1986, Vol 17 no 3, pp. 27-32. User-interface studies on menu structure: globally visible menu helps User-interface: arrow keys for pointing vs mouse User-interface: manuals are better than on-line help (why?) User-interface: user preference for touch-screen pointing tablet/display

[Shridhar84a] () Shridhar, M. and Badreldin, A. "A tree classification algorithm for handwritten character recognition", Proceedings of the 7th International Joint Conference on Pattern Recognition, 1984, pp 615-618. Cited in Kerrick88 Kerrick88 cites as reference on sequential, heirarchical, and tree-based methods for character recognition

[Shridhar84b] () Shridhar, M. and Badreldin, A. "High accuracy character recognition algorithm using Fourier and topological descriptors", Pattern Recognition, Vol 17, 1984, pp 515-524.

98% accuracy on handwriting recognition of numerics: Fourier on outlines confuses 2 and 5, 6 and 9, sometimes 4 and 7 due to rotational invariance, so topological analysis must follow.

[Sklarew85] (*) Sklarew, Ralph "Linus Technologies Inc. Historical notes", Historical notes at www.blinkenlights.com

Write-Top introduced by Linus Technologies in 1987, mentions earlier work (ca 1984) with Robert Nadeau at George Mason University

[SlikowskiJ84a] (*) Slikowski, Joseph "Interactive Computer-Aded Design System", United States Patent 4,451,895, May 29, 1984

User interface for a CAD/CAM design system using two screens: one an unobstructed graphics display screen, the other a light-pen or touch-screen menu screen with dynamic menus. Because of targeting problems, operation is on lift of the stylus or lightpen, not on touch-down.

[Swan85] (*) Swan, K. "Pragmatics of Programming Voice Recognition Technologies", Proceedings of Voice I/O Systems Conference, San Francisco California, 1985.

Cited in Mangione86 Adaptive recognition: "trying to retraining an already overtrained behavior, such as speech, is not recommended" Training/adaptive: users are unlikely to become expert users if they become discouraged naive users Speech: human factors gap: most system designers and users weak in human factors/user interface issues Speech: system must be readily interfaceable to external host applications Speech: user do not want any "control knobs" on their user interface Speech: features for good interface design never all on one product Speech: user interface system designer cannot differentiate between user and machine error Speech: products ignore transducer (microphone) problems, even though critical Speech: writing custom software for applications kills the product Speech: software must be transportable between programmers, not computers Speech: buffering problems cause system to lose second word even though product works fine

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

24/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Speech: speech equivalent of "graphical doodling"

[SweetRE85a] (*) Sweet, Richard E. "The Mesa Programming Environment", ACM SIGPLAN Notices, Vol 20 No 7, July 1985, pp. 216-229

Evolution of Mesa/BCPL/Alto debugger and IDE environment into multiple window environment. Three-button mouse, multi-click gestures to select more, right mouse button adjusts selection (middle button is pop-up context menu). Also mentions lasso gesture (drawing a box around to select) and underlining gesture to select.

[Sziklai84] () Sziklai, G.C. "Methods and Apparatus for the Automatic Classification of Patterns", United States Patent 4,454,610, Jue 12, 1984, assigned to Transaction Sciences Corporation, New Orleans, Louisiana. How to find the signature and courtesy amount on a check using a grey-scale image Signature verification via OCR scanning

[Tappert84a] () Tappert, C.C. "Dehooking Procedure for Handwriting on a Tablet", IBM Technical Disclosure Bulletin, Vol 27 No 5, October 1984, pp 2995-2998. Hook removal: hooks are a problem of the tablet

[Tappert84b] () Tappert, C.C. "Delayed Stroke Processor for Handwriting Recognition", IBM Technical Disclosure Bulletin, Vol 26 No 12, May 1984, pp 6616-6619. Delayed strokes: aligns dots only with cusps, crosses on down side of cusp Refers to character cut points in cursive character segmentation

[Tappert84] (*) Tappert, C.C. "Adaptive On-line Handwriting Recognition", Proceedings of the 7th International Conference on Pattern Recognition, 1984, Montreal Canada, pp 10041007. Refers to context by "alphabet selection" Mentions U/V ambiguity for single writer (see also Jans75) Mentions A/H, h/n, a/u ambiguity as problem of dynamic matching algorithm (!) Ambiguity of 1,l,I, and upper/lower C,K,O,P,S,V,W,X,Y,Z Mentions "new variations" even for single user (!) Mentions sloppy and ambiguous writing as separate cases Mentions "alphabet selection" like our shift boxes Discrete vs continuous writing, but testing was different (biased) Mentions problems with his hook removal algorithm Claims 94% recognition success, 98% if restricted subset, with three familiar writers Says dictionary lookup would give 100% recognition (!) Mentions segmentation for case where text is known (but when is that real?) Testing found several omitted variants from a "good" system

[Tappert85a] () Tappert, C.C. "An Adaptive System for Handwriting Recognition", IBM Research Report RC 11175 (Log #50249) 5/21/85, 1985, IBM T.J. Watson Research Center, PO Box 218, Yorktown Heights, NY 10598 (to appear in Acta Psychologica). Implies need for big data base: "vast variation, need larger quantities" Refers to intra-writer variability Claims at most four strokes in an English (Latin) letter Mentions characters (C,c, 1,I,J, etc.) only distinguishable by context Mentions need to accommodate new variations: "small sample of data" Baseline drift, more writing time means more prototypes

[Tappert85b] () Tappert, C.C. et al "Handwriting Recognition on Transparent Tablet over Flat Display", IBM Research Report RC 11856 (Log #52695) 3/3/86, 1986, IBM T.J. Watson Research Center, PO Box 218, Yorktown Heights, NY 10598. (To appear in 1986 Society for Information Display International Symposium Digest of Technical Papers). https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

25/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Essential to success of character recognition is a natural human interface Character recognition has biggest performance demands on digitizer tablets Refers to commercially available handwriting recognizers, but not by name Mentions some performance problems of commercially available tablets Refers to minimum tablet tick resolution for character recognition Mentions many tablet performance problems, "natural" writing speed

[Tarnopolsky84] () Tarnopolsky "(title)", United States Patent 3,793,469 Lukis87 on digitizer tablets

[ThomasJC85] () Thomas, John C. "Human Factors in IBM", IBM Thomas J. Watson Research Center, Report RC 11267 (#50753), July 15, 1985. [Toida83] . Toida, T. et al "A Method for Correcting Characters in On-Line Handwritten Input", Showa 58-nendo Denshi Tsushin Sogo Zenkoku Taikai, April 1983 Cited in Sklarew99 patent

[Tyler84a] (*) Tyler, Mark "Touch Screens: Big Deal or No Deal?", Datamation, Jan 1984, pp 146-154 (Partial copy) Review of Easel system at Chemical Bank: mentions limitations of touchscreens: gorilla-arm/arm-fatigue, low resolution. Shows highlighting of buttons in screen, simulated virtual keyboard (alphabetical) for stock trading. Cited in touch-screen references such as C. Marlin Brown.

[VanDamm84] () Van Damm, A. "Scientific American", Introduction to special issue on computer technology, September 1984. Apple MACINTOSH user-interface is really neat

[VanRaamsdonk84] (*) Van Raamsdonk, Cornelis "Apparatus for Text Editing and Processing", United States Patent 4,475,239, October 2, 1984, assigned to Olympia Werke AG, Wilhelmshaven, West Germany.

User-interface for doing word processing with handwriting recognition, handwriting annotation input: prior art to just about every ink-editing system you can imagine. Editing of electronic ink.

[Verschueren84] () Verschueren, W., Schaeken, B., Rene de Cotret, Y., and Hermanne, A. "Structure Recognition of Handwritten Numerals", Proceedings of IEEE 7th International Conference on Pattern Recognition, Montreal, Canada, July 30-August 2, 1984, pp 760-762. Cites 6-0 ambiguity for single writer Says 79% accuracy, "then improved", but does not say how much Kerrick88 cites as example system using both locally and globally computed features

[VideoPlace85a] (*) University of Connecticut "Videoplace 1985", Youtube.com, fetched 2012 One of several videos of Myron Krueger work on Videoplace, showing multi-hand/multi-touch gestures such as pinch and streatch: e.g. at running time 2:28 and 4:17.

[Wacom85a] (*) WACOM Corporation "Equipment/Device: Wacom CU-510 Power Supply for Wacom digitizer tablet, ca. 1985", WACOM Corporation Physical device in collection.

[Wakahara84a] () Wakahara, T. and Umeda, M. "On-line Cursive Script Recognition using Stroke Linkage Rules", Proceedings of IEEE 7th International Conference on Pattern Recognition, Montreal, Canada, July 30-August 2, 1984, pp 1065-1068. [Wakahara84b] () Wakahara, T., Odaka, K., and Umeda, M. "Electro-Luminescent Display Superposed by Transparent Electromagnetic Coupling Tablet and Its Application to Script Input Japanese Word Processor", (in Japanese), 1984. Integrated DCR tablet and display, electronic ink Display parallax corrected by user-selectable offset in electronic ink

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

26/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

[Waltz85] () Waltz, D.L. and Pollack, J.B. "Massively parallel parsing", Cognitive Science, Vol 9, 1985, pp 51-74. Feldman88

[WangPSP85] (*) Wang, P.S.P. "Dual Level Pattern Recognition System", United States Patent 4,521,909, June 4, 1985, assigned to Wang Laboratories, Inc., Lowell, Massachusetts. Two-level character recognition: a first cut may or may not work, but a second pass sorts out characters left ambiguous by the first pass Template matching with learning for new patterns Two-level template matching using a coarse digitizing grid, then a fine grid for what's left: only advantage is shorter comparison time

[Ward85] (*) Ward, J. and Blesser, B. "Interactive Recognition of Hand-printed Characters for Computer Input", IEEE Computer Graphics and Applications, September 1985, pp 24-37.

Survey/review article on problems and techniques associated with Gesture/Handwriting recognition. Mentions digitizer performance and accuracy, ambiguity of training-based recognition (train-theuser / train the recognizer), boxed input, parsing of strokes to characters in text. PenPad handwriting recognition / gesture product from Pencept circa 1985: has a press-and-hold/long-hold operation, using the barrel button. Long-hold button gesture used to change modes.

[Ward85a] . Ward, Jean Renard "Software Control at the Stroke of a Pen", SIGGRAPH Video Review, ACM Press: CHI '86.

Videotape of live demonstration during CHI '85 conference showing gesture recognition / recognition macros, handwriting recognition, interfaces to AutoCAD CAD and other applications.

[Ward85b] (*p) Ward, J. and Blesser, B. "Implications of Using Interactive Hand-print Character Recognition for Computer Input", Proceedings of the 1985 COMPINT Trends and Applications in Computer Graphics Conference, May 1985, IEEE Catalog No 85CH2148-5. Pre-cursor to Ward85 IEEE article: only cite Ward85, not this one

[Ward85c] () Ward, J. "UNIX as a development tool for a non-UNIX microprocessor", CommUNIXations, August/September 1985, Vol V No 5, pp 26-30. [Ward85d] () Ward, J. "Method and Apparatus for Removing Noise at the Ends of a Stroke", United States Patent 4,534,060, August 6, 1985, assigned to Pencept, Incorporated, Waltham, Massachusetts. Eliminate wobbles at ends of strokes for pre-processing handwritten characters

[Ward85e] (*) Ward, J. and Nilssen, A. "Apparatus and Method for Emulating Computer Keyboard Input with a Hand-print Terminal", United States Patent 4,562,304, assigned to Pencept, Incorporated, Waltham, Massachusetts, December 31, 1985.

Keyboard emulation patent intended to blockanybody from doing on-line character recognition with standard keyboard input

[Ward85f] (*p) Ward, Jean Renard "Pencept's Challenge", /usr/group CommUNIXactions, August/September 1985 engineering article on hardware/firmware development effort for the PenPad 300 product

[Watanabe85] (*p) Watanabe, Y., Gyoba, J., Hirata, T., and Maruyama, K. "A Psychological Approach to the Human Recognition of Ambiguous Characters", Journal of the Institute of TV Engineers of Japan, Vol 39 No 6, pp 509-515, 1985 (in Japanese). Mentions different "correct" labels for readers and writers of characters Doing same stuff as early Shillman/Blesser work, but for Japanese Refers to "confoundable Katakana" characters "Hayashi's Quantification, model II"

[Weibel84] (*) Weibel, Peter "Zur Geschichte und Aesthetik der digitalen Kunst", Supplement https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

27/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

to catalog of Ars Electronica 84, Linz Austria, September 1984

History of computer graphics as artistic medium (mostly animation), first section a discussion of the technical implementation. States that for graphical artistic input, a data rate of 24 points/second on a digitizing tablet with a stylus is usually enough.

[Werth85a] (*p) Werth, L.J. and Paulson, L.G. "Pattern Processing System", United States Patent 4,541,115, September 10, 1985, assigned to Pattern Processing Technologies, Minneapolis, Minnesota. Visual image inspection pattern matching using address loop correlation between images: recognition part of a trainable system Visual pattern image recognition: responds to time-varying images (patterns over time: claims application to speech recognition as well)

[Werth85] (*p) Werth, L.J. and Paulson, L.G. "Training Controller for Pattern Processing System", United States Patent 4,504,970, March 12, 1985, assigned to Pattern Processing Technologies, Minneapolis, Minnesota.

Visual image inspection pattern matching using address loop correlation between images: trainable system

[Weyer85] () Weyer, S.A. and Borning, A.H. "A prototype electronic encyclopedia", ACM Transactions on Office Information Systems", Vol 3 No 1, 1985, pp 63-88. BarkerPG89: See also ThingLab

[WhetstoneAL84a] (*) Whetstone, Albert L. "Position Determination Device", United States Patent 4,482,784, November 13, 1984 Magnetostrictive digitizer tablet using L/C delay line tuned to match propogation speed of magnetostrictive pulses.

[Whetton85] () Whetton, Cris, quoted in "A.C.M. Software Engineering Notes", Vol 5 No 10, pp 9-10, regarding an incident where published curves for a control system were transcribed from photocopies, October, 1985. Xerox-copy error, for tablets, optical scanners

[Wong85] (*p) Wong, K.H. and Fallsize, F. "Dynamic Programming in the Recognition of Connected Handwritten Script", Proceedings of IEEE Conference on Artificial Intelligence Applications, 1985, pp 666-670. Tests limited to only one writer Script recognition: complains about segmentation mismatches Context: says storing templates for all possible words not practical

[WuWT84] () Wu, W.T. "Heuristic Approach to Chinese-Character Search", Kybernetics (Great Britain), Vol 13 No 1, 1984, pp 39-42 (abstract only). [Yankelovich85] () Yankelovich, H., Meyrowitz, N., and van Dam, A. "Reading and writing the electronic book", IEEE Computer, Vol 18 No 10, pp 15-30, 1985. Barker,PG89

[Ye84] (*p) Ye, P.J., Hugli, H., and Pellandini, F. "Techniques for On-line Chinese Character Recognition with Reduced Writing Constraints", Proceedings of the 7th International Conference on Pattern Recognition, Montreal, 1984, pp 1043-1045. On Chinese, 99% accuracy if use stroke order/sequence, 92% if do not Test protocol: says extrapolation from 500 to 2500 Chinese characters straightforward

[YouZ84] () You, Z. and Jain, A.K. "Performance evaluation of shape matching via chord length distribution", Computer Vision and Graphical Information Processing, Vol 29, 1984, pp 185-198. https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

28/29

10.2.2015

(1984..1985) History of Pen and Gesture Computing

Taxt90

[Zhang84] (*p) Zhang, T.Y and Suen, C.Y. "A Fast Parallel Algorithm for Thinning Digital Patterns", Communications of the A.C.M., Vol 27 No 3, March 1984, pp 236-239. Skeletonization/thinning based on opposing corners and boundaries along diagonals, preserving endpoints and pixel connectivity

[Zue85] (*p) Zue, V.W. "The Use of Speech Knowledge in Automatic Speech Recognition", Proceedings of IEEE, Vol 73 No 11, November 1985, pp 1602-1614.

General-purpose pattern recognition not extensible to read world of multiple speakers, large vocabulary, continuous speech Phonetically-based approaches abandoned for adaptive recognition because no one could deal with phoneme detection well General-purpose pattern recognition appeals because it is simple, but it does not scale up to real problems Variability in speech due to co-articulation of phonemes Human reading of spectrograms: speech segmentationbetter  on nonsense words than on regular text (!) Knowledge of allophonic variationshelpful for phonetic decoding Use known properties of human auditory system to reduce irrelevant acoustic variabilities Much recognition to be learned from studying human decoding of speech signal Synthesis (artificial generative variability) methods no help on analysis/recognition Stressed syllables are "islands of reliability" in speech segmentation Recognition dichotomy of template matching vs feature extraction not absolute Template matching works well on small, distinct set, but not extensible to real world Speech signal is a special kind of signal Ignorance: correctly defining what you do not know is critical: tells you what to work on to make the best progress Ignorance: admit what you do not know, then do something about it

       Main Reference Page       

https://web.archive.org/web/20130502035923/http://rwservices.no-ip.info:81/pens/biblio85.html

29/29

10.2.2015

(1986..1986) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio86.html

Go

19 captures

JUL MAI NOV

2

2012 2013 2014

7 Sep 08 - 5 Nov 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1986 to 1986. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:50 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio86.html http://216.15.114.196:81/pens/biblio86.html http://rwservices.no-ip.info:81/pens/biblio86.html (Generally most up-to-date)

       Main Reference Page        [Abe86] () Abe, K., Azumatani, Y., Mukouda, M., and Suzuki, S. "Discrimination of Symbols, Lines, and Characters in Flowchart Recognition", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 1071-1074.

Fundamental problem is separating/segmentation (flowchart) symbols drawn small size from characters Problem of broken lines and curves messes up flowchart/character recognition Sketch recognition

[Ahmed86] () Ahmed, P. "Computer recognition of totally unconstrained handwritten ZIP codes", Ph.D. Thesis, Department of Computer Science, Concordia University, Montreal, Canada, 1986. [AEGTelefunken86] (*p) Richard Oed, Eberhard Mandler, Wolfgang Doster and Juergen https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

1/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Schuerman "Personal correspondence", September 1986.

Independent group working on prototype on-line recognition product

[Amin86] () Amin, A. and Masini, G. "Machine Recognition of Multi-font Printed Arabic Texts", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 392-395.

Arabic recognition: 95% segmentation, 85% recognition on 100 Arabic words. Commercial product by Doctor Mark Spikell.

[AnnoGraphics86] () AnnoGraphics "Datapad (TM) Portable Hand-print Character Recognition Data Entry System", AnnoGraphics, Incorporated, 10720 Kelley Driver, Fairfax, VA 22030, 1986, Mark Spikell, founder. [AnnoGraphics86a] (*p) Spikell, Mark "Personal correspondence", AnnoGraphics / DataPad, 1986 [Aoki86] () Aoki, K. and Yamaya, Y. "Recognizer with Learning Mechanism for Handwritten Script English Words", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 690-692. Recognition rate stated as 85.4% with three writers (but says "real" performance would be much better).

[Applicon86] . Applicon "Bravo3 User's Guide", Applicon Incorporated, Ann Arbor, Michigan 1986 cited in RubinSM84: Ledeen recognizer?

[Averbuch86] (*p) Averbuch, A., Bahl, L., Bakis, R., Brown, P., Cole, A., Dagget, G., Das, S., Davies, K., DeGennaro, S., de Sourza, P., Epstein, E., Fraleigh, D., Jelinek, F., Katz, S., Lewis, B., Mercer, R., Nada, A., Nahamoo, D., Picheny, M., Shichman, G., and Spinelli, P. "An IBM-PC Based Large-Vocabulary Isolated-Utterance Speech Recognizer", IBM Research Report RC 11663 (Log #53271) 1/28/86, IBM T.J. Watson Research Center, PO Box 218, Yorktown Heights, NY 10598. Trainable Speech recognition: a gigantic natural data-base of 27 million words in correspondence was still not enough for coverage of actual vocabulary to get adequate performance from use of a trained dictionary. Enrollment: in 27 million words of correspondence, several days of week and months of year missing from 5000 most frequent and had to be added by hand.

[Babaguchi86] () Babaguchi, N., Tsukamoto, M., and Aibara, T. "Knowledge Aided Character Segmentation from Handwritten Document Image", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 573-575.

Complete character segmentation (in OCR) not possible only with general knowledge. Specific knowledge of characters will help segmentation (i.e. segmentation not general-purposemethod solvable as humans do it?)

[Bahl86] (*p) Bahl, L.R. "Speech Recognition - An IBM Research Project", unpublished manuscript, December 1986. Author's address: Continuous Speech Recognition Group, IBM T.J. Watson Research Center, Yorktown Heights, NY 10598. Speech: enrollment of 1000 sentences, testing on only 50 sentences

[Baird86a] (*p) Baird, H.S. "Accurate Skew Estimation and the Top-Down Analysis of Document Images", unpublished manuscript, December 12, 1986, submitted to 1987 IEEE/CS 1st International Conference on Computer Vision, London. Author's address: AT&T Bell Laboratories, 2C-557, 600 Mountain Avenue, Murray Hill, NJ 07974. Published version?

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

2/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Automatic rotation/scaling/skew-angle correction using "minimum energy" in OCR pre-processing.

[Baird86] () Baird, H.S., Kahan, S., and Pavlidis, Theo "Components of an Omnifont Page Reader", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 344-348.

Segmentation: Accidental merging/splitting of characters known to be a severe problem in optical character recognition. Claims that production of multi-font OCR recognition an engineering technology problem, not science

[Bao-chang86] () Bao-chang, P. "Floating Mask Method for Extracting Hand-printed Character Features", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 324-326. Chinese OCR: 99.93% accuracy, 200,000 samples of 51 characters by 90 persons Testing: uses very small subset of Chinese, thereby avoiding the problem of large character set.

[BarkerPG86] (*p) Barker, P.G., Najah, M., and Manji, K.A. "Pictorial communication with Computers", manuscript in preparation, October, 1986. Interactive Systems Research Group, Department of Computer Science, Teesside Polytechnic, County Cleveland, United Kingdom. [BierEA86a] (*) Bier, Eric Allen and Stone, Maureen C. "Snap-Dragging", Proc. SIGGRAPH '86, Dallas, Texas, Aug 1986, SIGGRAPH Vol 20 No 4, 1986, pp. 233-240 Snap to grid vs. heuristic constraints similar to compass and ruler for pointing and positioning, e.g. in Gargoyle technical illustraction system. Gesture of touching two points of a polygon established consraint of horizontal or verical.

[Bin86] () Bin, L. and Shuxiang, Z. "A New Approach to Recognition of Both Handwritten and Multi-font Printed Chinese Characters", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 641-643. Model for recognition taken from Chinese education from psychologists (cognitive?), educators, linguists. The better a method fits a (cognitive) model, the better the recognition algorithm is

[Blesser86a] (*p) Blesser, B. "Digitizing Tablet System Having Stylus Tilt Correction", United States Patent 4,577,057, assigned to Pencept, Incorporated, Waltham, Massachusetts, March 18, 1986. Two-coil digitizer tablet stylus/pen for tilt measurement and/or error correction

[Blesser86b] (*p) Blesser, B. "Digitizing Tablet System Including a Tablet Having a Grid Structure Made of Two Orthogonal Sets of Parallel Uniformly Sized and Spaced U Shaped Loops of Conductive Material", United States Patent 4,582,955, assigned to Pencept, Incorporated, Waltham, Massachusetts, April 15, 1986. Digitizer tablet geometry to minimize stray signal pick-up

[Blesser86] () Blesser, B., and Ward, J. "Human Factors Affecting the Problem of Machine Recognition of Hand-printed Text", Vol III Proceedings of the 7th Annual Computer Graphics Conference, National Computer Graphics Association, May 11-15 1986, pp 498-514. Paper shows all the variations of "G"s: actual presentation did "A"s. Gives many examples of combinatorial explosion of handwritten character variability from base forms.

[Brault86] (*p) Brault, J.J. and Plamondon, R. "Coupling Visual and Dynamic Features to Study Handwritten Signatures", Proceedings of Graphics Interface/Vision Interface 86, Vancouver, B.C. 26-30 May 1986. Shows defective tablet line, but thinks it's just digitizer noise

[Bono86] (*p) Bono, Peter R. "Support for Character Recognition Devices by the Graphics https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

3/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Standards", presentation to PHIGS graphics-standards committee, May 23, 1986

Presentation on behalf of several on-line pen computing companies to the ANSI graphics standards committees

[Borning86] (*) Borning, Alan "Graphically Defining New Building Blocks in ThingLab", Human-Computer Interaction, 1986, Vol 2 No 4 pp 269-295 (abstract only) Animation editor in ThingLab, with object constraints

[Burr86] () Burr, D.J. "A Neural Network Digit Recognizer", Proceedings of the 1986 International conference on Systems, Man, and Cybernetics, Atlanta, Georgia, 1986, pp 16211625. Martin,GL90

[Buxton86] (*) Buxton, W. "Chunking and Phrasing and the Design of Human-Computer Dialogues", Proceedings of IFIP World Computer Congress, Dublin Ireland, September 1-5, 1986. Gesture input / sketch recognition in graphical user interfaces

[Buxton86a] (*) Buxton, William, and Myers, Brad A. "A Study in Two-Handed Input", to appear in 1986 Conference on Computers and Human Interaction, CHI'86, Boston April 1217, 1986 digitizer tablet plus other controls, for selection of text

[Buxton86b] (*p) Buxton, William "There's More to Interaction than Meets the Eye", in User Centered System Design: New Perspectives on Human-Computer Interaction, Norman, Donald A. and Draper, Stephen W, Eds, Lawrence Erlbaum Associates, Hillsdale NJ and London, 1986 [Carpenter86] (*p) Carpenter, G.A. and Grossberg, S. "A Massively Parallel Architecture for a Self-organizing Neural Pattern Recognition Machine", manuscript in preparation, Authors' address: Center for Adaptive Systems, Department of Mathematics, Boston University, Boston, Massachusetts 02215. Adaptive recognition for static OCR recognition: gives example of "simple" 5x5 characters, but patterns. Comments: Does not match human recognition of patterns (random 5x5 bits as input).

[Casey86] () Casey, R.G. "Text OCR by Solving a Cryptogram", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 349-351.

Adaptive recognition for static OCR using clear-text and "unknown" type-font text for a cryptogram: but is clear-text always known?

[Casio86_IF8000] (*) Casio "Casio IF-8000 Calculator", Collection from Pocket Computing Museum, http://cdecas.free.fr/computers/pocket/if8000.htm, 2002

1984 Calculator (this reference says 1986) with touchscreen input, and also zone-based handwriting recognition on a touch-film keyboard/keypad Same reference includes Apple Newton Message Pad 110

[Chunbiao86] () Chunbiao, G. and Guorong, X. "Automatic Recognition of Printed Chinese Characters by Four Corner Codes", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 1013-1015. 6763 Kanji/Chinese characters in minimal Chinese standard (3000 common): much more than Japanese standard (1493) Chain codes/segments: Chinese/Kanji characters in only nine kinds of primitive segments

[CohenM86] () Cohen, M. and Grossberg, S. "Neural dynamics of speech and language coding: developmental programs, perceptual grouping, and competition for short-term memory", Human Neurobiology, 1986, Vol 5, pp 1-22. https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

4/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

According to Daniel Bullock's letter from BU in 1986, Cohen did handwriting recognition in 1970. Theoretical adaptive work: "random growth" of human brain

[Cooper86] () Cooper, Leon N., Elbaum, Charles, Reilly, Douglas L., and Scofield, Christopher L. "Pattern class separation and identification system", United States Patent 4,216,524, assigned to Nestor, Incorporated, Providence, Rhode Island, 1986. [Cordella86] () Cordella, L.P. and Marcelli, A. "Normalization and Decomposition of Thin Lines Representing Handprinted Characters", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 723-725. Decomposing characters into segments (curves, arcs) that are invariant with respect to handwriting variability (compare to chain-code segments) Structural analysis beats the pants off of statistical / adaptive methods Cites Suen/Shillman paper on U-V discrimination Recognition by grammar/syntax of (chain-code) segments

[Crane86] (*) Crane, H.D., and Ostrem, J.S. "Confusion Grouping of Strokes in Pattern Recognition Method and System", United States Patent 4,573,196, February 25, 1986, assigned to Communication Intelligence Corporation, Menlo Park, California.

Confusion matrix for Chinese/Kanji character recognition, using distance and curvature metrics

[Currit86] () Currit, P.A., Dyer, M., and Mills, H.D. "Certifying the Reliability of Software", IEEE Transactions on Software Engineering, Vol SE-12 No 1, January 1986, pp 3-14.

The accepted approach to software development is to specify and design a product -- and then to test selectively with cases perceived to be typical of those requirements. Frequently the result is a product which works well against inputs to be tested but which is unreliable in unexpected circumstances Testability of software: software-engineering regressions tests Statistical testing of software can predict reliability: however, it cannot tell you about the existence, severity, or number of remaining errors Sonic tablet digitizer: 0.1mm accuracy over 1.0 meter square active area (but then says +-2.0mm after all calibration!) Sonic tablet digitizer: local drafts throw off same as 1 degree C temperature Sonic tablet digitizer: calibrate to correct for air speed vs temperature

[deBruyne86] (*) de Bruyne, P. "Compact Large-Area Graphic Digitizer for Personal Computers", IEEE Computer Graphics and Applications, Vol 6 No 12, December, 1986, pp 49-53.

Sonic digitizer tablet: ultrasonic shock wave: wireless/cordless cursor/stylus, using spark gap sonic pen, accuracy/error is 0.1% of distance measured

[Derouault86] () Derouault, A. and Merialdo, B. "Natural Language Modeling for Phonemeto-Text Transcription", IEEE Transactions on Pattern Analysis and Machine Intelligence", Vol 8 No 6, November 1986, pp 742-749. Statistical modelling and grammatical rules combined for context in French natural language

[DosterW86a] () Doster, W. "Designing a Document Analysis System", tutorial at 8th International Conference on Pattern Recognition, Paris, France, 27-31 October, 1986. Cited in Baird86a

[DosterW86] () Doster, W. "private letter of May, 1986", AEG Aktiengesellschaft, Forschungsinstitut Ulm, Sedanstrasse 10, D-7900 Ulm, West Germany. Doster also has a DCR (instead of OCR) character data base collection.

[Firdman86] () Firdman, H.E. "Components of AI Systems", AI Expert, Vol 1 No 1, 1986, pp 81-85. https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

5/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

General comments on what an AI system "is" DCR as Artificial intelligence: "domain specific: rules of thumb extracted from experts"

[Flurry86a] (*) Flurry, Gregory A. "Real-time rub-out erase for an electronic handwriting facility", United States Patent 4,633,436 assigned to International Business Machines Corp, Armonk, New York, December 30, 1986.

Stylus patent for tablet digitizer: Looks very similar to erase function of Wang Freestyle: real-time rubout erase on back end of stylus.

[FoleyJD86] () Foley, J. et al "Managing the Design of User-Computer Interfaces", Report available from Computer Graphics Consultants, Incorporated, 616 G Street SW, Washington DC 20024, 1986. Jim Foley's consulting report on user interface subsystems

[Forethought86a] (*) Forethought Inc. "FileMaker Plus Guide to FileMaker Plus Templates", Forethought Inc, 1986 Database development system for MacIntosh by Nashoba Systems.

[Fu86] () Fu, K.S. "A Step Towards Unification of Syntactic and Statistical Pattern Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 8 No 3, May 1986, pp 398-404. Previously published in Vol 5 No 2, March, 1983.

Could also be listed as Fu83: was re-printed in same journal Attributed grammar, control diagram, semantics, statistical pattern recognition, syntactic pattern recognition, syntax-semantics tradeoff Sub-patterns, substructure (primitives) of pattern as features There is yet no systematic method to select appropriate syntactic and semantic complexities (features) for a specific pattern recognition problem Gives examples of distorted hand-written "E"s, and a possible tree/heirarchical representation of the structure for recognition

[GarrettLN86a] (*) Garrett, L. Nancy, Smith, Karen E. and Meyrowitz, Norman "Intermedia: Issues, Strategies, and Tactics in the Design of a Hypermedia Document System", Proc. of 1986 ACM Conf. on Computer-supported cooperative Work, pp. 163-174 Hyperlinks in documents

[GillEN86] (*) Gill, E.N. "An Evaluation of the Documented Requirements of the SSP UIL and a Review of Commercial Software Packages for the Development and Testing of UIL Prototypes", NASA/ASEE Report N87-16761, Contract NST 01-002-099, August 8, 1986

Summary report of 4GL / UIL User Interface Languages for the proposed Manned Space Station: cites Pencept PenPad for touch/stylus based user interface using a digitizer tablet, including Word and PenCAD gesture-based ("Recognition Macro") interfaces

[GrooverMP86a] . Groover, Mikell P.; Weiss, Mitchell; Nagel, Roger N.; and Odrey, Nicholas G. "Industrial Robotics: Technology, Programming and Applications", McGrawHill, 1986

Cited in Lindemann10 for multitouch / tactile sensor: page 152, figure 6-5, Lord Corporation LTS 300 Series with 80x80 resolution, each point reports force magnitude.

[Guanxiong86] () Guanxiong, Z. and Hongyuan, W. "Angle Coding and it's Application in Pattern Recognition", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 1001-1003. Chain-codes: eight-direction angle codes (Freeman codes)

[Hase86] () Hase, M., Suzuki, G., and Hisayasu, I. "A Method for Extracting Marked Regions from Document Images", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 780-782. https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

6/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Separating graphics and text characters from an image

[Hekmatpour86] () Hekmatpour, S. and Ince, D.C. "Forms as a Language Facility", A.C.M. SIGPLAN Notices, Vol 21 No 9, September 1986, pp 43-48. Quotes Gehani82 Proposes forms as so important to deserve own data type in a language

[Hidai86a] () Hidai, Y., Ooi, K., and Nakamura, Y. "Stroke Re-ordering Algorithm for Online Hand-written Character Recognition", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 934-936. BLRT/chain-code: segments at eight discrete slants

[Hidai86b] () Hidai, Y., Ooi, K., Nakamura, Y., and Kurosawa, Y., "Hand-written characters segmenting system", European Patent 177319, April 9, 1986, assigned to Toshiba. Hand-written characters segmentation system has tablet determining boundary between characters according to stroke duration (inter-stroke timeout) and coordinates data (proximity height from tablet).

[HillRD86a] (*) Hill, Ralph D. "Supporting Concurrency, Communication, and Synchronization in Human-Computer Interaction: The Sassafras UIMS", ACM Trans. on Graphics Vol 5 No 3, July 1986, pp 178-210

UIMS User Interface management system supporting concurrent (multi-stream) input from multiple devices: e.g. mouse/digitizer and keyboard. Example of two-handed (multi-touch) paint program. Multiple concurrent virtual devices on a touch tablet (see Buxton).

[Holbaek-Hanssen86] () Holbaek-Hanseen, Erik, Braten, Knut, and Taxt, Torfinn "A General Software System for Supervised Statistical Classification of Symbols", Proceedings of ICPR International Conference on Pattern Recognition, Paris, October 27-31, 1986, pp 144-149. Handwriting character recognition using grid lengths of chain code skeletons, boundary tracing, "auxiliary features"

[Hongo86] () Hongo, Yasuo and Nitta, Yoshio "Pattern Recognition Apparatus", United States Patent 4,628,533, December 9, 1986, assigned to Fuji Electric Company, Limited, Kanagawa, Japan. Character recognition by pixel matching on OCR

[HudsonSC86a] (*) Hudson, Scott E. and King, Roger "A generator of direct manipulation office systems", ACM Trans. on Information Systems, Vol 4 No 2, April 1986, pp. 132..163

HIGGENS - Human Interface Graphical Generation System: Direct manipulation (generator) UI for office entities, included undo/reversal/recovery mechanism. Drag object to trash can to delete. Xerox Star as direct manipulation system.

[Hull86a] () Hull, Jonathan J. "Hypothesis generation in a computational model for visual word recognition", IEEE Expert, 1986, pp 63-70. Cited in Sinha88: for context

[Hull86] () Hull, Jonathan J. "The Use of Global Context in Text Recognition", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 12181220.

Context via "nearest neighbor" words from a dictionary Cognitive: OCR recognize words by overall outline of vertical bars, etc., not actual individual letters Cites Shillman on use of human cognitive psychology, but this time it's on word-level recognition

[Hulls86] (*) Hulls, L.R. "Polyphase Digitizer", United States Patent 4,570,033, assigned to Numonics Corporation, Lansdale Pennsylvania, February 11, 1986. Phase-shifting tablet digitizer, using three-terminal grid winding. Correction for edge effects

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

7/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

(hockey-stick) by adjusting X value when Y value indicates close to edge, and vice versa.

[Hutchins86] (*) Hutchins, E., Hollan, J. and Norman, D.A. "Direct Manipulation Interfaces", in User-Centered System Design, D.A. Norman and S. Draper, editors, Erlbaum Associates, Hillsdale, New Jersey, 1986, pp 87-124. Cited in JohnsonJ89

[ICSA86] () ICSA "CRS (Character Recognition System) software product description", Intelligent Computer Systems and Applications, Inc., Box 1555, Station H, Montreal Quebec H3G 2N5 Canada, 1986. Ching Suen's commercial company to sell OCR character recognition software.

[Inagaki86] (*) Inagaki, Naoki "Key-In Device", United States Patent 4,578,811, March 25, 1986 Zone-based / matrix based character recognition, using the keypad of the Casio 8000 calculator as the input table. Compare: Unistroke/ single stroke character recogition recognition software.

[JacobRJK86a] (*) Jacrob, Robert J.K. "A specification language for direct-manipulation interfaces", ACM Trans. on Graphics, Vol 5 No 4, October 1986, pp. 283-317

Direct-manipulation user interfaces GUI definition, using inheritance of graphical objects. Describes context-senstive gestures (p. 308).

[Jandrell86] () Jandrell, L.H.M. "Data Input Device with a Circuit Responsive to Stylus Up/Down Position", United States Patent 4,575,580, assigned to Astec International, Limited, Kowloon, Hong Kong. Resistive sheet tablet using a force/pressure-sensitive conductive sheet Gives fix for wild-points at starts and ends of strokes from up/down contact resistance on resistive sheet tablets

[Jelinek86a] () Jelinek, F. "Markov Source Modeling of Text Generation", unpublished manuscript, December 1986. Author's address: Continuous Speech Recognition Group, IBM T.J. Watson Research Center, Yorktown Heights, NY 10598. Speech: probabilistic language models for vocabulary context Cites need for billions of samples to get statistically reasonable vocabulary probabilities

[Jelinek86] () Jelinek, F. "Self-Organized Language Modeling for Speech Recognition", unpublished manuscript, December 1986. Author's address: Continuous Speech Recognition Group, IBM T.J. Watson Research Center, Yorktown Heights, NY 10598. Speech recognition: has large data-bases of business correspondence for vocabulary

[Jorgensen86] () Jorgensen, C. and Matheus, C. "Catching Knowledge in Neural Nets", AI Expert, December 1986, pp 31-38. General overview of neural networks, perceptrons, adelines, etc. "credit assignment problem" in perceptrons and adaptive recognition Neural nets making a comeback: future still not proven

[Kable86] (*) Kable, R.G. "Electrographic Apparatus", United States Patent 4,600,807, assigned to Scriptel Corporation, Columbus, Ohio, July 15, 1986. Scriptel patent on resistive-sheet, electrostatic/capacitive-coupling digitizer tablet. Mentions correction matrix for entire surface of a digitizer tablet

[KaehlerT86] (*) Kaehler, Ted and Patterson, Dave "A Taste of Smalltalk", Norton and Company, New York, 1986

Introduction to Smalltalk language and environment using Towers of Hanoi programming example. (Electronic file.)

[KankaanpaaA86] (*) Kankaanpaa, Arto "An Advanced display System with Natural https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

8/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Interactivity", Proc. of Eurographics 86,European Computer Graphics Conference and Exhibition, Lisbon, 25..29 August, 1986, pp 186..193

Text editing with single-stroke (mostly) gestures on integrated touchscreen digitizer and LCD display, suggests electroluminesent or plasma display.

[Kao86] () Kao, H.S.R., Van Galen, G.P., and Hoosain, R. "Graphonomics: Contemporary Research in Handwriting", North-Holland Publishers, Amsterdam-New York-Oxford-Toronto, 1986, Number 37 of "Advances in Psychology", Stelmach, G.E. and Vroon, P.A., editors. [Kasturi86] () Kasturi, R., Shih, C., and Fletcher, L.A. "An Approach for Automatic Recognition of Graphics", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 877-879. Separating graphics and text characters from an image

[Kay86] (*) Kay, Alan "A Talk by Alan Kay: summary of video interview Alan Kay talks about Sketchpad, Grail, the Dynabook", http://www.newmediareader.com/cd_samples/Kay/; The History of the Personal Workstation, 27 May 1986

Grail system with freehand input of letterforms, boxes, lines, corrections to previous drawings, Sketchpad, Dynabook. Video includes Grail system showing handwriting recognition (with lightpen) and scratchout gesture. Screenshots from video in file.

[Kay86b] (*) Kay, Alan "Alan Kay explains Sketchbook, Grail, and the Dynabook", Available from Youtube (2009): http://www.youtube.com/watch?v=A6h-zDOggYQ Grail system with freehand input of letterforms, boxes, lines, corrections to previous drawings, Sketchpad, Dynabook. Video includes Grail system showing handwriting recognition (with lightpen) and scratchout/rub-out gesture.

[Kondo86] () Kondo, S. and Attachoo, B. "Model of Handwriting Process and its Analysis", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 562-565.

Features: distortions of end points on strokes do not affect human classification of handwriting, of middles of strokes does affect recognition Stroke structure (order) very important in handwriting process, and therefore should be important in character recognition Big problem in handwriting recognition is finding/extracting features not subject to handwriting distortion. Since set of all characters is not clear cut, any definition based on "invariant" features of a class is likely to be contradictory. Simulate handwritten characters: problem is finding out what base forms are that you should vary on.

[KovedL86a] (*) Koved, Larry and Shneiderman, Ben "Embedded Menus: Selecting Items in Context", CACM, Vol 29 No 4, April 1986, pp. 312-318 Touchtext: Pop-up menus showing pick-list of alternative words in a spellchecker UI.

[Kurosawa86] () Kurosawa, Y. and Asada, H. "Attributed String Matching with Statistical Constraints for Character Recognition", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 1063-1067.

Chain code: use primitive segments and to string matching Exhaustive depth-first search of syntactic string for primitive segments Katakana and alphanumeric characters with BLRT-like primitive segments Combinatorial explosion of production rules Combination of primitive-segment syntactic matching and statistical constraints BLRT-chain codes give multiple-matches (3 or so), so second, ad-hoc comparison analysis for each possible pair of characters

[Lam86] () Lam, S.W. and Baird, H.S. "Performance Testing of Mixed-font, Variable-size https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

9/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Character Recognizers", Computing Science Technical Report No. 126, AT&T Bell Laboratories, Murray Hill, New Jersey, November 6, 1986.

Gives statistics for size of test set to justify recognition performance claims of a given percent with a justifiable confidence level To claim 99.5% recognition accuracy with 95% confidence, need 1500 samples To claim recognition accuracy improved from 99% to 99.5% with 95% confidence, need 5000 samples Refers to clustering and partitioning algorithms for feature selection for Bayesian statistics OCR static recognition system was tested without ligatures, without several "special" characters 99.5%+ performance requires very large, carefully-designed tests Test performance of 99.5% was with common cases omitted, and some confusions forgiven For OCR, scanner digitizer performance is critical OCR scanner/digitizer: has short term fluctuations in sensitivity (re-scanning? was there internal averaging?) Testing/training done only with high-quality data, not low-quality For OCR digitizer scanners, scanning performance is not uniform or repeatable page-to-page OCR tested and trained only on data of good quality, but question was raised Resolution: 24 pixels not enough data accuracy for OCR OCR at 200 dots/inch resolution started to fail at 12 point type size Refers to tools to collect automatically a very large (168,000) character test set data base

[Laube86] () Laube, M. "Audiographic Terminal", ITT Electrical Communication, Vol 60 No 1, 1986, pp 45-50. Says maximum frequency of handwriting is 15 Hz, therefore 40 points/second digitizing rate (don't believe it!) Describes resistive-sheet tablet for handwriting Described force/pressure-sensitive tablet (!!) Handwriting/voice/display terminal, like Interspec

[Leedham86] (*p) Leedham, C.G. and Downton, A.C. "On-line recognition of Pitman's handwritten shorthand -- an evaluation of potential", International Journal of Man-Machine Studies, Vol 24, 1986, pp 375-393. 9 degree variation in angle of nominal vertical and horizontal strokes Short and long strokes overlap in length Textbook writing (shorthand) is NOT the most recognizable to humans Human recognition: textbook shorthand is 93.5%, student is 97.5%, expert is 48% For small writing, hooks and loops are as big as many of the strokes Unconstrained shorthand input Intended straight strokes consistently tend to be curved Has gall to say "recognition would be better if writing were neater" Ignored strokes if too close to preceeding stroke Stroke length variability is 20% in length Says strokes were "lost" (thrown out) if not classified as "legal" Did not deal with overdrawn/intentionally retraced strokes Says recognition would get better with user practice (human factors/user interface) "no amount of post-processing (context?) will fix segmentation and stroke classification errors" Test protocol intentionally slow to get better quality data Test protocol defeated linguistic context, resulting in users having to concentrate more Refers to need for better (non-simplified) recognition algorithms Cites ergonomic problems of tablet styli Cites "writer's unfamiliarity with the system and capabilities" as performance factor

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

10/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

[Lettera86] () Lettera, C., Masera, L., Paoli, C. and Proinelli, R. "Use of a Dictionary in Conjunction with a Handwritten Text Recognizer", Proc. ICPR(86), pp. 699-701. 1986 Cited by Marlin Eller, Microsoft Pen Computing group

[LiebermanH86] (*) Lieberman, Henry "Using Prototypical Objects to Implement Shared Behavior in Object Oriented Systems", ACM SIGPLAN Notices, Vol 21 No 11, November 1986, pp 214-223

Ptototype-based languages versus classes: examples include turtle and pen object for drawing, cites to SELF and Smalltalk

[Litvin86] () Litvin, Y. "Private letter of August 4, 1986", Author's address: Skylight Software, 2 Charles Street, Bedford, Massachusetts 01730.

DCR/on-line handwriting recognition not deterministic: there is no formal criteria for correctness (not true: he misunderstood "deterministic")

[LuH86] (*) Lu, H.E. and Wang, P.S.P. "A Comment on 'A Fast Parallel Algorithm for Thinning Digitial Patterns'", Communications of the A.C.M., Vol 29 No 3, pp 239-242. Skeletonization/line-thinning, special notes on endpoints NOT to be deleted: compare with smoothing/pre-processing algorithms for digitizer tablet data by Pencept

[Ma86] () Ma, Y.L., Jang, S.Y., and Ma, C. "Pattern Recognition by Circular Layer Code Approach", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 783-785. Chinese OCR, 97.5% on 4 characters tested with 20 samples each (!!!)

[Maamari86] (*) Maamari, F. and Plamondon, R. "Extraction of the Analog Pentip Position, Velocity and Acceleration Signals from a Digitizer", Neuronal and Motor Aspects of Handwriting, North-Holland Publishers, J.S.R. Kau, Editor, 1985. Analog filter on digitizer output gives "improved accuracy" (!!??!!) Low-pass filtering on tablet digitizer lets you get "better" time resolution (?)

[MacNelly86] (*) MacNelly, Jeff ""Shoe" comic: "I wish I sat behind someone with decent handwriting"", "Shoe", November 21, 1986. Taken from Boston Globe newspaper, Boston, USA, Page 102.

Student in a school class during a test: Fill in the blanks: "To the victor belong the *snails*." That can't be right ... I wish I sat behind someone with decent handwriting. (Humorous illustration of the problems of imperfect handwriting recognition, and of the difficulty of human recognition of handwriting)

[MaedaY86] () Maeda, Y., Yoda, F., Matsuura, K., and Nambu, H. "Character Segmentation in Japanese Hand-written Document Images", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 768-772. [Maier86] () Maier, M. "Separating Characters in Scripted Documents", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 1056-1058. AI artificial intelligence was seen as panacea Cited in Wolf86

[Makkuni87] () Makkuni, R "A gestural representation of the process of composing Chinese temples", IEEE Computer Graphics and Applications, Vol 7 No 12, December 1987, pp 4561. [Mandler86] () Mandler, E. "conversation of September, 1986", AEG Aktiengesellschaft, Forschungsinstitut Ulm, Sedanstrasse 10, D-7900 Ulm, West Germany. One-stroke "T" more common in Europe

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

11/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

[Mangione86b] (*) Mangione, P.A. "SSI's Phonetic Engine (TM)", Speech Technology Magazine, Mar/April 1986. Speech Systems phonetic feature speech recognition

[Mangione86c] () Mangione, P.A. "Phonetic Recognition - The Basic Building Block", Speech Technology Magazine, April/May 1986. Speech Systems phonetic feature speech recognition

[Mangione86] () Mangione, P.A. "What about the user?", Proceedings of Speech Tech '86, April 28-30 1986, New York, New York, pp 154-156. Marketing V.P. did paper on Speech Systems' phonetic speech input product

[Mantas86a] () Mantas, J. "An overview of character recognition methodologies", Pattern Recognition, Vol 19, 1986, pp 425-430. Cited in Baptista88

[Mantas86] () Mantas, J. "A Fuzzy Decision Operator in Recognizing Greek Hand-drawn Characters", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 753-755.

Pattern recognition is not just pattern classification, but also design of recognition systems Statistical versus syntactic/linguistic pattern recognition (does not like statistical) Statistical/Bayesian recognition cannot be done for handwriting because a priori probabilities cannot be calculated for every feature

[Meisel86] (*p) Meisel, W.S. "Implications of Large Vocabulary Recognition", Proceedings of Speech Tech '86, April 28-30, 1986, New York, New York. Speech Systems speech recognition using phonetics (sloppy cursive): co-articulated speech, vs isolated, connected, continuous Speech: storing multiple-word (multiple-char) segments as special "words" (BLRTs/variability): phoneme detection reduces variability to a set of rules at phoneme level Ambiguity: groups of words (chars) vs single words: "there are four" vs "therefore" Dictionary look-up/search: speed and accuracy of recognition unrelated to Size of dictionary, but only to complexity of syntax Adaptive vs user-independent: controversy over "speaker-independence" Adaptive: must begin at a usable level even so, otherwise bad human-factors (frustration) Adaptive: correction for content, not for error (user wants a different word) Adaptive: separate enrollment session a bad user-interface idea for "normal" speakers Penalty for speaker-independence too high (frustration) Variability: phoneme speech system can extrapolate/predict words after adaptive samples Trade-off between accuracy and constraints on user in speech: What if user uses bad English?

[Myers86] (*) Myers, Brad A. and Buxton, William "Creating Highly-Interactive and Graphical User Interfaces by Demonstration", Proceedings of SIGGRAPH '86, pp 249 ff.

Direct-manipulation user interface. Simulated mouse device with three buttons on display screen.

[Morasso86] (*p) Morasso, P. "Understanding Cursive Script as a Trajectory Formation Paradigm", in "Graphonomics: Contemporary Research in Handwriting", Elsevier Science Publishers B.V. (North-Holland), 1986, pp 137-167.

Hand gestures and handwriting: study of movements. Measures curvature profile, not just velocity profile, of handwriting motion. Claims no handwriting information at frequency above 10 Hz, shows peak at 5 Hz and D.C. (but his samples are mostly loop motion, not fast block printing). Shows plots of low-pass frequency filtering on handwriting data at 10 Hz and below (frequency content of dynamic writing motion: implies only low-rate digitizater tablet needed if it is accurate enough?)

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

12/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Author intends to collect lots of allograph handwriting samples to build a future recognizer for cursive script.

[Morita86] (*) Morita, Toshiaki; Horii, Masahiro; Tasaka, Shigeru; Hirose, Hitoshi "Handwriting Character Recognition Device", United States Patent 4,607,386 assigned to Sharp Kabushiki Kaisha, Osaka, Japan, August 19, 1986 Chinese handwritten character recognition without regard to stroke order

[Murase86] (*) Murase, H., and Wakahara, T. "Online Hand-Sketched Figure Recognition", Pattern Recognition, Vol 19 No 2, pp 147-160, 1986. Sketch context: must be valid connections to other flowchart symbols 97.2% accuracy: test protocol was only 20 people, nine symbols, four times each Mentions lots of user-interface work on on-line sketch recognition For "standardized" sketch symbols, high variability (no regularity) in stroke order Says stroke order variable, but end/connection points are always the same Refers to stroke connection variability for "sketched" symbols

[Nagy86b] () Nagy, G.R., Seth, S., Einspahr, K., and Meyer, T. "Efficient Algorithms to Decode Substitution Ciphers with Application to OCR", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 352-355. Adaptive recognition using clear-text and "unknown" type-font text for a cryptogram: but is cleartext always known?

[Nagy86] (*p) Nagy, G., Seth, S., and Stoddard, S.D. "Document Analysis with an Expert System", in "Pattern Recognition in Practice", Gelsema, E.S. and Kanal, L.N., editors, Elsevier Science Publishers B.V. (North-Holland), 1986. Tiling/windows applied for format of written/printed documents

[Nakagawa86] () Nakagawa, M., Aizawa, T., Komoda, C., Ideda, Y., and Takahashi, N. "Syntactic Pattern Recognition with Stochastic Dissimilarity in Japanese On-line Input Systems (JOLIS)-1/1.5", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 1059-1061. Chain-code: Japanese recognition by classifying strokes into primitive strokes Chain-code: eight stroke directions/segments Chain-codes: extension to elastic matching

[Nakagawa86a] (*p) Nakagawa, Masaki, Manabe, Toshihiko, Aoki, Katsuo, Ikeda, Yuji, and Takahashi, Nobumasa "On-line Handwritten Character Recognition as a Japanese Input Methods", Proceedings of ???, pp 191-196 on-line handwriting recognition system for Japanes, JOLIS-1: chain codes (8-directional), 29 primitive strokes types by dictionary look-up

[NespoulousJ86a] . Nespoulous, J.; Perron, P.; Lecours, A.R. "The Biological Foundations of Gestures: Motor and Semiotic Aspects", Lawrence Erlbaum Associates, Hillsdale, NJ 1986 Defines gesture

[Nestor86] (*) Nestor, Inc. "Nestor Press clipping file", Nestor, Inc.

Synthetic neuron pattern-recognition technology, applied to OCR and DCR handwriting recognition

[OedR86a] () Oed, R. "telephone conversation of July 17, 1986", AEG Aktiengesellschaft, Forschungsinstitut Ulm, Sedanstrasse 10, D-7900 Ulm, West Germany. You get different writing forms after the first 3-4 lines out of 20

[OedR86b] () Oed, R. "conversation of September, 1986", AEG Aktiengesellschaft, Forschungsinstitut Ulm, Sedanstrasse 10, D-7900 Ulm, West Germany. Gesture/symbols are modified characters: slash-M, "DF"

[Ogozalek86] () Ogozalek, V.Z. and Van Praag, J. "Comparison of elderly and younger users https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

13/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

on keyboard and voice input computer-based composition tasks", in Human Factors in Computing Systems, Proceedings of CHI 83 Conference, 1983, Boston.

Cited in Martin89 Martin89 cites as saying speech recognition and typing just as fast a user-interface for typing documents

[OlsonB86] (*) Olson, Bruce T. "Is your Handwriting Legible Enough for the Computer?", Journel of Law enforcment Report writing, Vol 3, No 1, December 1986 Pencept PenPad for capturing police reports using handwriting recognition

[Orita86] () Orita, M., Kanasaki, M., Toda, Y., Mishima, T., Suzuki, M., Onuma, C., and Takatoo, M. "Image extraction using density distribution characteristics", European Patent 198481, October 22, 1986, assigned to Hitachi, Limited, Tokyo, Japan. OCR scanner preprocessing to extract character images from background clutter

[Pavlidis86a] () Pavlidis, Theo "A vectorizer and feature extractor for document recognition", Computer Vision, Graphics, Image Processing, Vol 35, 1986. Cited in Kahan87

[Pavlidis86] () Pavlidis, Theo "A Critical Survey of Image Analysis Methods", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 502-511. Image processing / recognition design requires many methods, not just one theoretical basis A digitizer tablet good enough for writing input

[PCMagazine86] (*) PC Magazine "Best of 1985 - Pencept Penpad", PC Magazine, January 14, 1986, Ziff-Davis Publishing Company

Review of best PC products of 1985 -- describes Pencept PenPad with PenCad software, use of "pen macros" / letter gesture commands

[PearsonG86a] (*) Pearson, Glenn and Weiser, Mark "Of Moles and Men: The Design of Foot Controls for Workstations", Proc. CHI '86, April 1986, pp. 333-339

Various foot controls (foot mouse, "tush-mouse", foot touchscreen, etc.). Mentions multipoint/multitouch touchpad, using multiple-finger gestures for typing regardless of location (Shackelford)

[Pencept86] () Pencept "Penpad Penpad 300 (TM) Digitizing Tablet Product Information", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1986. Electromagnetic grid tablet, no handwriting recognition.

[Pencept86a] (*p) Pencept "PENWARE (tm) Pendraw (tm) II User's Guide", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1986. [Pencept86b] (*p) Pencept "Penpad 300 User's Guide", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1986. [Pencept86c] (*p) Pencept "Penpad 320 User's Guide", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1986.

shows single-stroke and multiple-stroke characters shapes in one set. Includes system disk with mouse driver to adapt tablet input (including command templates, character recognition) to mouse/keyboard input.

[Pencept86d] (*p) Pencept "Writing Samples", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1986.

Collections of unconstrained, natural writing samples taken from hotel receipts, university bulletin board notes, bills of sale, and cross-word puzzles from the magazines in waiting rooms and airlines from various North American and European cities, showing true variability effects

[Pencept86e] (*p) Pencept "Software Toolkit for the Penpad 310 and Penpad 320", Pencept, Incorporated, 39 Green Street, Waltham, Massachusetts 02154, 1986. https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

14/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

[Perex86a] (*) Perex Ltd "Multipad from Perex", Perex Ltd., Reading, UK, 1986

Product literature on Perex Multipad Model 7500 portable (and desktop) touchpad digitizer data entry station: pre-printed forms with data entry icons (or virtual keyboard) recognized by bar code, use inputs data by taping/touching on form. Paper forms then usable as back-up physical record of data. One-line 40/80 character display. Compare with DataPad, which also had handwriting recognition.

[Peterson86] () Peterson, J.L. "A note on undetected typing errors", Communications of the A.C.M., Vol 29, 1986, pp 633-637. Cited in Sinha88: on spelling context correction

[Pickering86] () Pickering, J.A. "Touch-sensitive screens: the technologies and their applications", International Journal of Man-Machine Studies, Vol 25, 1986, pp 249-269.

Tuturoria/review of tablet digitizer technologie that work with a finger touch, integrated with a display. Parallax error in touch-screen model. Capacitive, SAW acoustic surface wafe, conductive/resistive film, infra-red optical (using shadow interpolation), surface reflection, strain gauge mounted overlay, velocity-based piezoelectric touch sensing. Mentions Knowlton visual keyboard as touch-input system. Eye dominance (parallax?), finger obscuring, use of stylus. Abstract device mapping (virtual tablets / virtual devices). Describes limitation of not detecting simultaneous multiple touches (multi-touch). Mack89 on tablet technology:

[Plamondon86a] (*p) Plamondon, R. and Baron, R. "On-line Recognition of Handprint Schematic Pseudocode for Automatic Fortran Code Generation", Proceedings of the 8th International Conference on Pattern Recognition, October 27-31, 1986, Paris, pp 741-744. Graphical program editing user-interface using DCR

[Plamondon86] (*p) Plamondon, R. and Baron, R. "A dedicated microcomputer for handwritten interaction with a software tool: system prototyping", Journal of Microcomputer Applications, Vol 9, 1986, pp 51-60. On-line character recognition for graphical software tool User-interface goal: must interface to application without changing application Too much feedback distracts the user from the writing task

[Postl86] () Postl, W. "Detection of Linear Oblique Structures and Skew Scan in Digitizer Documents", Proceedings of 8th International Conference on Pattern Recognition, Paris, France October 1986, pp 687-689. Cited in Biard86a

[PoujoisR86a] (*) Poujois, Robert "Capacitive Keyboard Structure", United States Patent 4,614,937, 1986

touch-sensitive (proximity) capacitive keyboard, wiring on opposite sides of substrate, describes matrix wiring of keys as to reduce connections

[RadioElectronics86] (*p) Radio Electronics "Equipment Report - Pencept Penpad 320", Radio Electronics, January 1987, pp 22 ff What a nice thing Pencept recognition macros (gestures) are for a user-interface

[Rhyne86] (*) Rhyne, J.R. and Wolf, C.G. "Gestural Interfaces for Information Processing Applications", IBM Research Report RC 12179 (Log #54544) 9/2/86, 1986, IBM T.J. Watson Research Center, PO Box 218, Yorktown Heights, NY 10598. Description of IBM's early informal study on what editing marks subjects use on spreadsheets Report on IBM's prototype gesture/handwriting Lotus interface Early description of IBM's electronic ink hardware tablet and display Refers to "gesture language" for the qualitatively similar set of symbol marks and operations

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

15/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

subjects use to edit spreadsheets Refers to gesture language, combining gesture (pointing) and menu selection, gesture (command) and handwriting (data) Accuracy of recognition has great effect on user interface (need to confirm, not just correct) Recognition errors/accuracy: user assumes his or her writing was correct, so errors and means to correct must be very obvious For a small gesture symbol set, intra-user variability was found to be small For a small gesture symbol set, inter-user variability was usually three or so "qualitatively similar" (ambiguous/confusable) symbols IBM had no answer on reconciling small display character size with larger handwritten character size for electronic ink User interface for electronic ink: enlarge area of interest, let user write handwritten characters normal size on enlarged image Optical/visual parallax, also ranging parallax (pen tilt) Pen tilt error of 0.06" tablet digitizer accuracy led to pointing errors and slow user interaction rate effects on user interface Handwriting substantially worse on slick glass surface than on paper for electronic ink, much lower recognition accuracy User interface problems for handwriting are big: no obvious ideas on how to solve

[RichmondD86] () Richmond, Dana "Computer Terminal", United States Design Patent 283,026, March 18, 1986

Design of PenCept PenPad 200 handwriting terminal, showing digitizing tablet in front of a VT-100 like display with no keyboard / keyboardless

[Rothfjell86] () Rothfjell, Rolf E. "Method and Device for Signature Verification", United States Patent 4,581,482, April 8, 1986, assigned to Esselte Security Systems AB, Stockholm, Sweden.

Signature verification using a constrained writing form to get alignment points for segmentation (!)

[Sabourin86] () Sabourin, R. and Plamondon, R. "Preprocessing of Handwritten Signatures from Image Gradient Analysis", Proceedings of the 8th International Conference on Pattern Recognition, October 27-31, 1986, Paris, pp 576-579. Static (OCR) signature verification Signature verification: test protocol included no forgery attempts

[Scheifler86] () Scheifler, Robert W. and Gettys, Jim "The X Window System", Internal Report, Laboratory for Computer Science, Massachusetts Institute of Technology, Cambridge, Massachusetts, October 1986. Description of the X-Window graphical user interface system

[Schomaker86] () Schomaker, L.R.B. and Thomassen, A.J.W.M. "On the Use and Limitation of Averaging Handwriting Signals", in in "Graphonomics: Contemporary Research in Handwriting", Elsevier Science Publishers B.V. (North-Holland), 1986, pp 225-238.

Low-pass average filter on digitizer data so smoothed, but with anchored endpoints where velocity is zero Describes anchoring inflection (zero velocity) points on handwritten characters as similar to dynamic time warping for speech recognition Time-normalization of cursive handwriting; Force/pressure sensitive pen used in handwriting research; Capacitive coupling, resistive-sheet digitizer tablet

[SchultzJ86a] (*) Schultz, Jan "A history of the Promis technology: an effective human interface", Proc. ACM Conf. on The history of personal workstations, 1986, pp 159-182

Promis: Early Digiscribe SAW touch-screen user interface system for medical records, 1967, user

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

16/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

interface mostly point-and-click

[Scriptel86] () Scriptel "SPC-Series Technical Report", Scriptel Corporation, 4145 Arlingate Plaza, Columbus, OH 43228, May, 1986. Capacitive/electrostatic sheet digitizer tablet

[Searby86] () Searby, A.D. and Bowman, D.W. "Stylus Devices Responsive to Pressure Changes for Use in Videographic and Like Apparatus", United States Patent 4,580,007, April 1, 1986, assigned to Quantel, Limited, Surrey, England. Force/pressure-sensitive digitizer stylus with improved life and performance

[Shneiderman86a] (*) Shneiderman, Ben "Human-Computer Interaction Research at the University of Maryland", SIGCHI Bulletin, January 1986, Vol 17 no 3, pp. 27-32. Published version of 1985 manuscript. User-interface studies on menu structure: globally visible menu helps User-interface: arrow keys for pointing vs mouse User-interface: manuals are better than on-line help (why?) User-interface: user preference for touch-screen pointing tablet/display over keyboard

[Shridhar86] () Shridhar, Am. and Badreldin, A. "Recognition of Isolated and Simply Connected Handwritten Numerals", Pattern Recognition, Vol 19 No 1, pp 1-12, 1986. Refers to stroke connection within and between characters

[Signify86] () Signify Inc. "Sign-On product information", 9005 Red Branch Road, Columbia Maryland 21045, 1986 (see also ATI). Signature verification product: now called ASI/Autosig Systems Inc..

[Srinivasan86] () Srinivasan, S., Palaniswamy, K., and Natarajan, A.E. "Machine Recognition of the Indian Language Characters Using a Tree-structure Based On Primitives", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 726-728. [StefikM86a] (*) Stefik, M; Bobrow, D.G.; Lanning, S; Tatar, D; and Foster, G. "WYSIWIS Revised: Early Experience with Multi-User Interfaces", Proc. CSCW '86, December 3-5, 1986, Austin Texas, pp. 276-290 Principles of whiteboard/chalkboard/blackboard systems: What You See Is What I See. Boardnoter freestyle sketching, erase gesture (not a shape) selects whole object not just pixels; with multiple users, visual clutter of windows a problem in the user interface, rooms and doors instead. Multitouch?

[Suen86] () Suen, C.Y. "Human Recognition of Handprinted Characters and Distance Measurements", in "Graphonomics: Contemporary Research in Handwriting", Elsevier Science Publishers B.V. (North-Holland), 1986, pp 213-224.

Needed 29x39 resolution to get decent handwriting recognition Simple (not serious) recognizer algorithm using pixel template matching, then entropy, information content, and nearest neighbor distances: did not correlate to human recognition Human use multiple distance measurements (multiple features) to recognize characters Says entropy, hamming distance, linear and cross correlation, centre of gravity, Mahalonobis distance of template matching were all poor distance functions

[Summagraphics86a] (*) Summagraphics "Bit Pad Two Techncial Reference", Summagraphics Corporation, August 1986

User's manual for Summagraphics Bit Pad Two (magnetostrictive?) tablet digitizer. Described proximity /out-of-prox position sensing, absolute coordinate mode and relative (mouse) mode. Both stylus and puck, stylus is an inking pen stylus.

[Suydam86] () Suydam, W.E. "Approaches to Software Testing Embroiled in Debate", Computer Design, Vol 25 No 21, November 15, 1986, pp 49-55. https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

17/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

Long, informal review article on software testing and reliability David Parnas: Only actual use will bring out the mistakes (not testing) Parnas: need for regression testing Parnas: problem of classical testing is unweighted likelihood of failure Parnas: testing must consider seriousness of different types of failure Parnas: testing must differentiate between important errors and insignificant errors Parnas: (Titanic effect) software design implements a mental model of real world: must test the model AI testing: people think it's different from software testing: it is not AI testing: when mechanical engineering was a new as AI, had not invented the right angle yet Dijkstra: testing shows presence of bugs, not absence Testing: must distinguish between active failure (real bug) vs passive (design omission) Testing: only field testing finds "real" errors Testing: unanticipated data can seriously screw a program

[Tagushi86] (*) Tagushi, Y., and Yamanami, T. "Position Detecting Apparatus", United States Patent 4,617,515, October 14, 1986, assigned to Wacom Company, Limited, Japan. Cordless stylus digitizer tablet with magnets in stylus over a grid of wire loops

[TanakaT86a] (*) Tanaka, Toshinori, and Kobayashi, Shunsuke "Entry of Data and Command for an LCD by Direct Touch: An Integrated LCD Panel", SID 86 Digest of Technical Papers, Society for Information Display, 1986, pp 318-320. Touch-entry-device integrated tablet/display using deformation from touch force/pressure on LCD pixel cells: pixels degrade, but refreshing fixes them. Capacitance between two grid layers of ITO on top and bottom of LCD pixels.

[TannerPP86a] (*) Tanner, Peter P.; MacKay, Stephen A.; Stewart, Darline A.; and Wein, Marceli "A Multitaking Switchboard Approach to User Interface management", Proc. SIGGRAPH '86, Vol 20, No 4; pp. 241-248 User interface management system: refers to multiple virtual devices implemented on a tablet, applications need not know that the devices are virtual.

[TanzawaS86] (*) Tanzawa, Setsu "Recording pen", Japanese Patent Application Number S60-88861

Light-sensing optical stylus digitizer for handwriting input, using X and Y lines in different colors. Compare with Anoto.

[Tappert86] (*) Tappert, C.C., Fox, A.S., Kim, J., Levy, S.E., and Zimmerman, L.L. "Handwriting recognition on transparent tablet over Flat Display", Society for Information Display Digest of Technical Papers, Vol XVII, pp 308-312, May 1986.

Cited in Rhyne86: Scriptel Digitizer Rhyne86 cites this on visual parallax for electronic ink: 0.06" lateral shift causes subject's discomfort. Tappert describes also slippery surface. Cites internal Pencept report by Phillips and Prentice.

[Teulings86a] () Teulings, H., Thomassen, A.J.W.M., van Galen, G.P. "Invariants in Handwriting: The Information Contained in a Motor Program", in "Graphonomics: Contemporary Research in Handwriting", Elsevier Science Publishers B.V. (North-Holland), 1986, pp 305-315. Spatial characteristics are more invariant in handwriting than time or force characteristics (? for signature verification?) But because handwriting is "efficient", time characteristics in handwriting are invariant on trained sequences, like signature verification

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

18/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

[Teulings86] () Teulings, H., Mullins, P.A., and Stelmach, G.E. "The Elementary Units of Programming Handwriting", in "Graphonomics: Contemporary Research in Handwriting", Elsevier Science Publishers B.V. (North-Holland), 1986, pp 21-32.

Handwriting data low-pass filtered from 16 Hz to 48 Hz frequency There is no one, single grapheme unit of handwriting: units depend on what the subject is writing

[Tognazzini86] () Tognazzini, Bruce "You Had To Be There", report on User Interface Reference Model workshop at SIGCHI '86 conference, SIGCHI Bulletin, Vol 18 No 2, October 1986, pp 21-24.

Uses example of "graphical ambiguity/context" in recognition when discussing user-interface issues

[Treisman86] () Treisman, A. "Feature and Objects in Visual Processing", Scientific American, November 1986, pp 114B-125. Visual recognition consists of low-level features (automatic), then identification Low-level perception is lines, spots, edges, locations, orientation Properties/features conjoined only at higher level of human recognition (context): "distractors" delay human recognition

[VanGalen86] () Van Galen, G.P., Meulenbroek, R.G.J., Hylkema, H. "On the Simultaneous Processing of Words, Letters and Strokes in Handwriting: Evidence for a Mixed Linear and Parallel Model", in "Graphonomics: Contemporary Research in Handwriting", Elsevier Science Publishers B.V. (North-Holland), 1986, pp 5-20.

Parsed characters in script handwriting into character segments at velocity zeros (sharp corners) Gives maximum velocity of handwriting in cursive script as 11 cm/sec Alternated turning direction vs continuous loops has big impact on handwriting velocity (of course, silly!) Beginnings of words written at slower speed

[Wakahara86] () Wakahara, Toru "personal correspondence", July 28, 1986. [Ward86] (*) Ward, J. "Method and Apparatus for Removing Noise at the Ends of a Stroke Caused by Retracing", United States Patent 4,608,658, August 26, 1986, assigned to Pencept, Incorporated, Waltham, Massachusetts. Re-trace elimination to pre-process handwritten character shapes before recognition

[Watanabe86] () Watanabe, Y. "letter to J.Ward", Author's address: Terebijon Gakkaishi, Hachinohe Institute of Technology, Department of Engineering, Hachinohe, Japan, 25 November, 1986. Mentions co-work between Watanabe and Jiro Gyoba Interchange of looping and cusping is seen frequently in writing Japanese Kanji characters written to OCR standard are LESS human-recognizable than "sloppy" writing At 300-500 msec/stroke, writing time for Kanji Japanese slower than Roman Constraints: Japanese have characters they can read, but do not know how to write Japanese writers do not conform to formal writing constraints in practice

[Websters86] (*) Merriam-Webster Inc "Moon Type", Webster's Third New International Dictionary of the English Language Unabridged, Copyright 1986, ISBN 0-97779-201-1

Show Moon Type, a simplified single-stroke / Unistroke alphabet used as embossed printing for the blind, popular before Braille became dominant

[Wikipedia86a] (*) Wikiepedia "Macintosh Programmer's Workshop", Wikipedia.org, fetched April 2010 Macintosh Programmer's Workshop MPW SDK/IDE, 1984..1986, supplanted by Project Builder IDE which became Xcode.

[Wolf86] (*) Wolf, C.G. "Can People Use Gesture Commands?", SIGCHI Bulletin, Vol 18 No https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

19/20

10.2.2015

(1986..1986) History of Pen and Gesture Computing

2, pp 73-74.

Gesture input - user interface. IBM simple usability study (18 subjects) for "move" gesture consisting of an arrow to indicate what gets moved to where, with different gestures (lasso, bracket, underline) to indicate selection. Describes editing gestures, such as cross out gesture to delete a word, for stylus-based devices.

[WuL86] () Wu, L. and Weng, F. "Chain Code for a Line Segment and Formal Language", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 1124-1127. Some properties of chain codes (straight line theorem) very hard to test

[YamamotoK86a] () Yamamoto, K., Yamada, H., Saito, T. and Sakaga, I. "Recognition of Handprinted Characters in the First Level of JIS Chinese Characters", Proceedings of the 8th International Conference on Pattern Recognition, Paris, October 1986, pp 570-572. Relaxation method with 98.6% success on Kanji/Chinese characters Testing with ETL-8 and ETL-9 "standard" Chinese writing samples in Japan ETL-9 standard Kanji Chinese samples is 600000 samples of 3036 characters

[YamamotoK86b] (*p) Yamamoto, K. and Saito, T. "Pattern Reading System", United States Patent 4,566,124, January 21, 1986, assigned to Agency of Industrial Science and Technology, Ministry of International Trade and Industry, Tokyo, Japan. Handwriting character recognition by tracing contours, local extrema/outermost points, chain codes Template matching on direction chain codes, polygonal approximation to pattern for OCR handwriting recognition

[Yau86] () Yau, S. S. and Tsai, J.J.-P. "A Survey of Software Design Techniques", IEEE Transactions on Software Engineering, Vol SE-12 No 6, June 1986, pp 713-721. General survey article on software engineering

       Main Reference Page       

https://web.archive.org/web/20130502035926/http://rwservices.no-ip.info:81/pens/biblio86.html

20/20

10.2.2015

(1987..1988) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio88.html

Go

17 captures

JUL MAI NOV

2

2012 2013 2014

29 Jun 07 - 11 Dez 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1987 to 1988. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:51 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio88.html http://216.15.114.196:81/pens/biblio88.html http://rwservices.no-ip.info:81/pens/biblio88.html (Generally most up-to-date)

       Main Reference Page        [Adobe87a] . Adobe "Adobe Illustrator User's Manual Ver. 1.0", Adobe, Inc., Jan 1987

Includes GUI with graphical elements. Gestures/Pop-up menu or keyboard: Cited in "Issues for location-independent interfaces"

[AEG87] (*p) AEG Aktiengesellschaft "Polyform: The Future Data Entry Workstation", product literature, AEG Information Systems, Postfach 2154, D-7750 Konstanz, West Germany, 1987. AEG's OCR product for typed and handwritten character recognition

[Anatex87] (*p) Anatex "Personal Writer Product Description", available from Anatex S.A., Xavier Maury, President, 18 Rue Troyen, F-75017 Paris, France, 1987 (see also "Personal Writer"). https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

1/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

Adaptive handwriting recognition product from Anatex, France In training procedure, if certain characters too similar (e, l, m n), tells user to change writing style See also PersonalWriter89: company changed name

[ArnautLY88] . Arnaut, Lynn Y and Greenstein, Joel S. "Human factors considerations in the design and selection for computer input devices", Computer graphics: technology and applications, Academic Press, Boston, 1988 ISBN 0126399700 Cited in LCS/Telegraphics case vs. Schumer for input devices like virtual tablets

[Asbo87] (*p) Asbo, E.L., and Tichenor, H. "Method and Apparatus for Dynamic Signature Verification", United States Patent 4,646,351, February 24, 1987, assigned to Visa International Service Association, San Mateo, California. Signature verification using tip force (a.k.a. pressure), and length and angle of segments

[Baird87] (*p) Baird, H.S. "Feature Identification for Hybrid Structural/Statistical Pattern Classification", unpublished report, 24-Feb-1987. Author's address: AT&T Bell Laboratories, 2C-557, Murray Hill, NJ 07974.

Reports on OCR system (with Pavlidis) Training speed "very slow" on a statistical OCR recognition system Adaptive recognition: including "unrecognizable" characters (too small) aided training on normal size OCR Adaptive recognition: very large-scale trials necessary to determine actual performance Statistical recognition: in practice, "hand-crafted" (cognitive/functional) rules will always be needed as well Good 99%+ OCR results, but only for "excellent quality" input

[Baptista88] () Baptista, G. and Kulkarni, K.M. "A High Accuracy Algorithm for Recognition of Handwritten Numerals", Pattern Recognition, Vol 21 No 4, 1988, pp 287-291. Multi-layered system syntactic and deterministic (feature table driven) approach to handwritten O.C.R. numeral recognition based on human visual cortex Criticizes syntactic character recognition: says it is unwieldy, and cannot be used in a trainable system Diagram with heirarchy of human visual processing, from cells to brain stem to relations O.C.R. using noise removal, thinning, internal segmentation (like chain-codes)

[BarkerBA88] () Barker, B.A., Hernandez, I.H., and Machart, B.H. "Integrated multiple data editor", United States Patent 4,723,209, February 2, 1988, assigned to IBM Corporation.

Cited in patent: abstracts Integrated multiple data editor uses super-block structure of objects sets and flow attributes for text object sets

[BierEA88a] (*) Bier, Eric A. "Snap-Dragging: Interactive Geometric Design in Two and Three Dimensions", UC Berkeley Report UCB/CSD-88-416, May 1988 Snap to grid vs. heuristic constraints in three dimensions 3-D similar to compass and ruler for pointing and positioning, in technical illustraction system. Slope, angle, distance constraints for lines, circles, planes and spheres (alignment object) specified by user.

[Blatt88] () Blatt, Louis "Character Recognition and Added Value", internal memorandum, Wang Laboratories, September 27, 1988. Review of user-interface human-factors ergonomics advantages/disadvantages in a portable handwriting recognition product: just a rehash of Wolf87 on gestures. User interface: ease of learning may be more important than ease of use.

[Blesser87a] (*p) Blesser, B., and Prentice, T. "Digitizing Tablet System", United States Patent 4,644,102, February 17, 1987, assigned to Pencept, Incorporated, Waltham, https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

2/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

Massachusetts.

Pencept digitizer patent

[Blesser87] (*p) Blesser, B. "Position Indicating Apparatus for Use in a Digitizing Tablet System", United States Patent 4,638,119, January 20, 1987, assigned to Pencept, Incorporated, Waltham, Massachusetts. Pencept digitizer/tablet patent: two-coil pen stylus, side button, force (a.k.a. pressure) transducer

[Bokser88a] (*p) Bokser, Mindy R. "Known Reference Data Processing Apparatus", United States Patent 4,773,099, September 20, 1988 1988, assigned to The Palantir Corporation, Santa Clara, California.

Pattern recognition (for characters) using a set of "ringed zones" in feature space to define boundary space and confidence probability Contains interesting diagram for a discussion of one character overlapping/invading the feature space boundary of another.

[Bokser88b] (*p) Bokser, Mindy R. "Means for Resolving Ambiguities in Text Based Upon Character Context", United States Patent 4,754,489, June 28, 1988, assigned to The Palantir Corporation, Santa Clara, California.

Context in character recognition similar to di-grams, tri-grams, n-grams: aggregate probability score of all character matched against a dictionary of words

[Booth87] () Booth, D.S., Bryden, M.P., Cowan, W.B., Morgan, M.F., and Plante, B.L. "On the Parameters of Human Visual Performance: an Investigation of the Benefits of Antialiasing", unpublished manuscript, 1987. Authors' address: Computer Graphics Laboratory, University of Waterloo, Waterloo, Ontario Canada N2L 3G1. Quotes Allen Newell: engineering understanding in user-interfaces and human factors more important than psychological mechanisms

[BrassLB88] (*) Brass, Robert L.; Glaberson, John; Mason, Richard W.; Santulli, Scott; Roth, G. Thomas; Feero, William M., and Blalaska, Richard K. Jr. "Method and Apparatus for Transforming Digitally Encoded Data into Printed Data Strips", United States Patent 4,728,783, March 1, 1988, assigned to Cauzin Systems, Incorporated Two-dimensional bar code printed with matrix printer, strip data can be arbitrarily long. Constrast to Sekendur patterns

[Brault87] (*p) Brault, Jean-Jules and Plamondon, Rejean "Handwritten Curve Partitioning Based on Geometric and Sequential Information", Proceedings of the Third International Symposium on Handwriting and Computer Applications, Ecole Polytechnique de Montreal, Canada, 1987, pp 50-52. Segmentation of handwriting using local extrema / points of high curvature

[BTG87] (*) British Technology Group "Handwriting encoder and software for automatic signature verification", "Handwriting encoder may provide the access key for future systems users", Report CR 129827, 101 Newington Causeway, London SE1 6BU, 1987. Combined pen and smart-card in 1987: invented by Colin Hilton, inventor: British Technology Group advisor: Dr. John Parks. Handwriting input/recognition system available for license from England

[BrittsS87] (*) Britts, Stefan "Dialog Management in Interactive Systems: A Comparative Survey", SIGCHI Bulletin, Vol 18 No 3, January 1987, pp 30-42

Cites to 1986 Ward paper as example that UI / Dialog management systems for user interfaces do not accomodate new types of devices, such as handwriting recognition input.

[Burgess87] (*) Burgess, Ken L. "Digitizing Method and Apparatus for Compensating Cursor https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

3/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

of Stylus Velocity Errors", United States Patent 4,686,331, August 11, 1987

Correction for bowing due to velocity on digitizing tablet using double alternating X and Y measurements

[Buxton87a] () Buxton, W. "Research Frontiers and Unsolved Problems", in Readings in Human-Computer Interaction: a Multidisciplinary Approach, Chapter 14, 1987. Gesture and character recognition: shorthand gesture user-interface for music.

[Buxton87b] () Buxton, William and Kurtenbach, Gordon "Editing by Contiguous Gesture: A Toy Test Bed", Computer Systems Research Institute, University of Toronto, Toronto, Ontario Canada M5S 1A4, 1987. Suggested symbols for gesture recognition operations

[CallahanJ88a] (*) Callahan, Jack; Hopkins, Don; Weiser, Mark; and Shneiderman, Ben "An Empirical comparison of Pie vs. Linear Menus", Proc. CHI '88, pp. 95-100

Pop-up pie menus: permits multiple motions, action is selected on mouse-up / end-of-stroke to confirm correct choice. Other refences cite for T-Cube pie-menu unistroke handwriting (recognition) input from Apple.

[CardelliL88a] (*) Cardelli, Luca "Building User Interfaces by Direct Manipulation", Proc. UIST '88, pp. 152-166.

Dialog editor for creating graphical UI user interfaces. Refers to buttons for rotations and reflections

[CaswellNS88] . Caswell, N.S. "Introduction to input devices (see SherrS)", Computer graphics: technology and applications, Academic Press, Boston, 1988 ISBN 0126399700

Cited in LCS/Telegraphics case vs. Schumer for input devices like virtual tablets Section "Digitizers and input tablets" by Thomas E. Davies, Gerard Mathews, and Paul D. Smith Coordinate transforms for calibration on digitizer tablet. Active surface tablets vs. Touch Screens. Refers to rudimentary touch screen composed of switches. Cites problems of acoustic, voltage gradient (resistive film), acoustic touch, multilayer matrix-encoded digitizer tablets. Touchpad integrated with keyboard. Comparison of mouse and tablet. Abstract only: see also Sherr88: check Barker Engineering Library

[CaswellNS88b] (*) Caswell, N.S. "Introduction to input devices", "Input Devices", Sol Sherr Ed. Academic Press, Boston, 1988 ISBN 0126399700, Chapter 1 (See also SherrS88a)

[Casio87_IF8000] (*) Casio "Casio PF-8000 Calculator", Collection from Pocket Computing Museum, http://cdecas.free.fr/computers/pocket/museum.htm, 2002 1984 Calculator (this reference says 1987) with touchscreen input, and also zone-based handwriting recognition on a touch-film keyboard/keypad Same reference includes Kyocera Refalo (1991) Same reference includes Sony Magic LInk, General Magic OS Same reference includes EO Personnal Communicator, 1994, PenPoint OS from GO Same reference includes Simon from IBM 1994: Phone built into a portable computer Same reference includes Nokia 900 communicator: fax/phone/browser Casio IF-8000 and PF-8000: same product?

[ChiaoYueh88] (*) Chiao-Yueh, Lin "Method and Means for Automatically Coding and Inputting Chinese Characters in Digital Computers", United States Patent 4,758,979, July 19, 1988. Kanji/Chinese character recognition using a special digitizer stylus Gesture-like handwriting user interface for AutoCAD from CIC

[CIC88a] (*) CIC "Handwriter (R) ProFicient (R) AutoCAD Enhancer User's Guide / Proficient Series Software Drivers for AutoCAD, Synthesis, NC Programmer, etc.", https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

4/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

Communication Intelligence Corporation, 333 Ravenswood Avenue PN 257, Menlo Park, CA 94025, 1988. Gesture-like handwriting user interface for office automation and data entry from CIC. Compare with PenCAD offering by PenCept, Ledeen Recognizer.

[CIC88b] (*p) CIC "Handwriter (R) WRITE-ON (R) Series Software Drivers for Microsoft Windows, WordPerfect, Pagemaker, etc.", Communication Intelligence Corporation, 333 Ravenswood Avenue PN 257, Menlo Park, CA 94025, 1988. Gesture-like handwriting forms data entry from CIC Tap different control areas to shift from upper to lower, etc.

[CIC88c] () CIC "Handwriter (R) Customization tools: FormManager (TM), FormMapper (TM), etc.", Communication Intelligence Corporation, 333 Ravenswood Avenue PN 257, Menlo Park, CA 94025, 1988. Signature verification software from CIC

[CIC88d] () CIC "Handwriter (R) On-line Dynamic Signature Verification (TM)", Communication Intelligence Corporation, 333 Ravenswood Avenue PN 257, Menlo Park, CA 94025, 1988. [CIC88e] (*p) CIC "Handwriter (R) Data Entry System, Layout Design System (TM) Manual Version 1.1, May 1988(TM)", Communication Intelligence Corporation, 333 Ravenswood Avenue PN 257, Menlo Park, CA 94025, 1988. Forms-design package for handwriting, using handwriting: separate writing areas for upper and lower case, numerics, etc.

[CIC88f] (*p) CIC "Handwriter (R) Data Entry System User's Guide(TM)", Communication Intelligence Corporation, 333 Ravenswood Avenue PN 257, Menlo Park, CA 94025, 1988. Shows recognition macros / gestures, special shape for erase (inverted U): features copied from PenPad product

[ClarkWA87] (*) Clark, Wesley A. "The LINC was early and small", History of Medical Informatics: Proc. of ACM conference on History of medical informatics, Bathesda Maryland, 1987, pp. 51-73 Also available at www.digibarn.com: Description of LINC "personal" laboratory computer with DEC-Tape/LINC-tape. Graphical input for cursor crosshairs (without a mouse) using analog knobs on A/D converter module. Citations to TX-O and TX-2 computers (which ran Spacewar and Sketchpad)

[CLCS88] () Chinese Language Computer Society "Proceedings of 1988 International Conference on Computer Processing of Chinese and Oriental Languages", August 29 September 1, 1988, Toronto, Canada. Handwritten and speech Chinese, Japanese/Kanji recognition

[Compucon87] () Compucon Services Corporation "letter from Bruce D. Holenstein to Jean Ward", 83 Main Street, Newton, New Jersey 07860, June 23, 1987.

Letter from Compucon looking for somebody to buy their character recognition software: does OCR only: they don't admit it doesn't do handwriting

[Cooper88] () Cooper, Leon N., Elbaum, Charles, Reilly, Douglas L., and Scofield, Christopher L. "Parallel, Multi-Unit, Adaptive, Nonlinear Pattern Class Separator and Identifier", United States Patent 4,760,604, July 26, 1988, assigned to Nestor, Incorporated, Providence, Rhode Island. Sort of a neural-net recognizer for patterns not linearly recognizable

[Crane88] (*) Crane, H.D. and Ostrem, J.S. "Process and Apparatus Involving Pattern https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

5/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

Recognition", United States Patent 4,718,102, January 5, 1988, assigned to Communication Intelligence Corporation, Menlo Park, California. Loosely-worded patent on a first pass recognition for handwriting (Kanji), then a second pass for disambiguation Described basic strokes, then a word/stroke dictionary for Kanji/Chinese recognition Contains review of commercial work in Kanji/Chinese recognition

[DataEntry88] () Data Entry Systems "product information", 1988: see ScriptWriter. [DataSystemsUK87] (*) DataSystems UK Ltd "The PAD", DataSystems UK Ltd, 35 Holly Avenue, Breaston Derbyshire DE7 3BG, United Kingdom

AC plasma display integrated with high resolution transparent digitizer: digitizer type not stated. VME bus,68000 tablet processor controller, 200 points/second, 0.001" nominal resolution. See also National Physical Laboratory.

[DaviesTF88] . Davies, Thomas F., Matthews, H. Gerard, and Smith, Paul D. "Digitizers and input tablets", Computer graphics: technology and applications, Academic Press, Boston, 1988 ISBN 0126399700 Cited in LCS/Telegraphics case vs. Schumer for input devices like virtual tablets

[Day88] (*) Day, Benjamin W. Jr, Gillon, Alexander C., and LeConte, Raoul A. "Touch Screen Form Entry System", United States Patent 4,763,356, August 9, 1988

User-Interface Form input with pen stylus, field highlighted as they are selected, also pops up appropciate GUI tool for that field: graphical keyboard, date pad, numeric pad, calculator, electronic ink drawing/writing field. No character recognition?

[DiederichJ87a] (*) Diederich, Jim and Milton, Jack "Experimental Prototyping in Smalltalk", IEEE Software, May 1987, pp. 50-64

Smalltalk IDE development environment: modeless development (rapid turnaround on code/execute, in this case via interpreter) speeds up development, object-based programming with strict encapsulation tends to make code messes be a high levels of abstraction, not low. Pluggable views, similar to MacApp IDE.

[Digitalk88] (*) Digitalk Inc. "Smalltalk/V 286 Tutorial and Programming Handbook", Digitalk Inc., Los Angeles California, 1988 Introduction to Smalltalk language and environment. (Electronic file).

[Dilella87] () Dilella, Antonio "Method and Apparatus for Isolating Image Data for Character Recognition", United States Patent 4,680,803, assigned to NCR Corporation, Dayton, Ohio, July 14, 1987. Separates hand-written characters on checks prior to recognition: segmentation by looking at joins, feedback from recognizer

[Doran88] . Doran, David "Trackballs and joysticks", Computer graphics: technology and applications, Academic Press, Boston, 1988 ISBN 0126399700 Cited in LCS/Telegraphics case vs. Schumer for input devices like virtual tablets

[Dunkley88] () Dunkley, Rowland A. and Pugsley, Peter C. "Sign Verification", United States Patent 4,752,965, June 21, 1988, assigned to The De La Rue Company, PLC, London, England. Portable signature verification system using a force/pressure-sensitive pad/tablet

[DunthornDI88a] (*) Dunthorn, David I. "Virutal Button for Touch Screens", United States Patent 4,914,624, April 3, 1990

Get around lack of proximity sensing in virtual push buttons (with highlighting) on a digitizer touch screen, touch and untouch (sic) events. First touch/untouch does a selection, second touch/untouch

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

6/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

actual activates what was selected. Instead add a second touch to the first touch, or move the finger in a particular direction, or press harder, and get a second button or a rotating menu to select/perform the particular action.

[Ellozy88a] (*) Ellozy, H.A. et al "The paper-like interface (video)", IBM internal video shown in office lobby circa 1989: web links in paper file Description of paper-like interface PLI projects at IBM: see refs. Video also shown at CHI89.

[El-Sheikh88] () El-Sheikh, T.S. and Guindi, R.M. "Computer Recognition of Arabic Cursive Scripts", Pattern Recognition, Vol 21 No 4, 1988, pp 293-302. O.C.R. system for Arabic script from typewritten (but cursive, like handwriting) characters Uses Fourier descriptors for characters, topological classifier for dots, stress marks

[Etherington87] () Etherington, H.J.C., Joslin, P.C., and Dunkley, R.A.G. "Sign Verification", United States Patent 4,680,801, July 14, 1987, assigned to The De La Rue Company PLC, England. Signature verification

[EvansJW88a] (*) Evans, John W. "Capacitance-variation-sensitive touch sensing array system ", United States Patent 4,733,222, March 22, 1988

Capacitive grid touchscreen using diamond shapes on electrodes. Shows alternative spiral patterns instead of X/Y grid. Used for touch-sensitive keyboard. Refers to transparent conductive material for grid so that touchscreen may overlay a CRT display. Conductor traces on opposite sides of board to avoid cross-over.

[Feldman88] () Feldman, Jerome A., Fanty, Mark A., Goddard, Nigel H., and Lynne, Kenton J. "Computing with Structured Connectionist Networks", Communications of the A.C.M., Vol 31 No 2, February 1988, pp 170-187.

Overview article on neural networks: asserts merging connectionist/relaxation/adaptation AI/patternrecognition with algorithms+data structures/inference/representation would be good, but it's just speculation

[Filliman87] () Filliman, Mark D., and Granzow, Robert H. "Personal Identification Method and Apparatus", United States Patent 4,656,662, April 7, 1987, assigned to NCR Corporation, Dayton, Ohio. A patent on the idea of doing signature verification (of any means) using a lightpen and a display

[FordDM87a] (*) Ford, D.M.; Higgins, C.A.; Brocklehurst, E.R. "The Electronic Paper Project", Proc. 3 Int'l Symp. on Handwriting and Computer Applications, Montreal 1987, pp. 194-196

Report on paper-like interface / Electronic Paper project PAD. Free-hand editing using proofreader's marks gestures by BSI standard BS5261(1976)

[Fox87] () Fox, A.S., and Tappert, A.S. "On-line External Word Segmentation for Handwriting Recognition", unpublished manuscript, authors' address: Computer Sciences Department, IBM T.J.Watson Research Center, PO Box 704, Yorktown Heights, NY 10598, 1987. Asserts external segmentation (separate from recognition) is faster, more interactive Cites 0.5% segmentation error, but with six very careful writers Cites that sophisticated segmentation can be done using extra information from having boxes Asserts delayed strokes (t, i crossings and dots) always done at end of each word

[Fox88a] (*) Fox, A.S., Greanias, E.C., Kim, J., and Tappert, C.C. "System for Automatic Adjustment and Editing of Handwritten Text Image", United States Patent 4,727,588, February 23, 1988, assigned to International Business Machines Corporation, Armonk, New https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

7/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

York.

Scribble-editor: gesture recognition? user interface for text-editing/word-processing of handwritten annotation electronic ink Automatic editing and adjustment system for handwritten text images using processing algorithm to identify groups and to smooth random fluctuations in handwritten information

[Fox88b] () Fox, A.S., Kim, J., and Tappert, C.C. "Reco machine interfaces", IBM Research Report RC14053, September 1988. Tappert89, describing IBM's handwriting recognition

[Fukunaga87] (*) Fukunaga, Y., Kuzunuki, S., Shojima, H., Yokoyama, T., Koga, K., Hirasawa, K., and Kawada, S. "Apparatus for Recognizing and Displaying Handwritten Characters and Figures", United States Patent 4,641,354, assigned to Hitachi, Limited, Tokyo, Japan, February 3, 1987. User-interface: ink erasure for electronic ink and handwriting recognition Patent on electronic ink where handwritten strokes are erased automatically as the strokes for a character are recognized and the ASCII result is displayed instead

[FurukawaM88a] (*) Furukawa, Mikio; Tahara, Kazatoki; and Kunishi, Yosuke "Touchoperated See-through Coordinate Input Unit", United States Patent 4,725,696, February 16, 1988 Resistive-film transparent digitizer using grid of conductors between spacer dots: multiple wires between dots for relable operation. Electroconductive ink or paint, or thin wires of metal.

[Gallant88] () Gallant, Stephen I. "Connectionist Expert Systems", Communications of the A.C.M., Vol 31 No 2, February 1988, pp 152-169. Connectionist / neural network overview Chinese input system using bar-coded "digitizer" and radical identification Chinese input with over 6000 characters (not Kanji/Japanese)

[Gerb87] () Gerb Elektronik "CHI-EASY Product Description", (in German and Chinese), Gerb Elektronik Berlin, Roedernallee 174-176, 1000 Berlin 51, West Germany, 1987. [GiuseD88a] (*) Giuse, Dario "LISP as a Rapid Prototyping Environment: The Chinese Tutor", Lisp and Symbolic Computation, Vol 1, 1988, pp. 165-184 Lisp as rapid-prototyping language and UIMS for user interfaces

[Goshtasby88] () Goshtasby, A. and Ehrich, Roger W. "Contextual Word Recognition Using Probabilistic Relaxation Labeling", Pattern Recognition, Vol 21 No 5, 1988, pp 455-462.

Spelling context correction after recognition: does not use confidence figure from recognition about how good a character is, or what else came close Post-processing spelling context correction: examples show incorrect correction Spelling context correction using probabilities of letter pairs Describes relaxation process for spelling context correction by factoring in the merit figure for each character's % confidence level

[Gould87a] (*) Gould, J.D. and Salaun, J. "Behavioral Experiments on Handmarkings", Proceedings of CHI+GI Conference on Human Factors in Computing Systems and Graphics Interface, Toronto, April 5-9, 1987, pp 175-181. Sloppy IBM study of what gestures/symbols are most "natural" for user interfaces

[Gould87b] () Gould, J.D. and Salaun, J. "Behavioral Experiments on Handmarkings", A.C.M. Transactions on Office Information Systems, Vol 5 No 4, October 1987, pp 358-377.

Sloppy IBM study of what gestures/symbols are most "natural" for user interfaces User interface / gesture recognition: "natural" symbols are circles for groupings, arrows for operators and target position

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

8/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

User interface / gesture recognition: design of the actual user interface will actually determine whether gesture symbols are useful, not the use of gestures per se "natural" user-interface study of gesture symbols for text editing / word processing, picture editing

[Gould87c] () Gould, J.D., Alfaro, L., Finn, R., Haupt, B., Minuto, A., and Salaun, J. "Why reading was slower from CRT displays than from paper", Proceedings of the 1987 CHI+GI Conference: Human Factors in Computing Systems and Graphics, Toronto, Ontario, Canada, 1987. Graphic user-interface hardware: what makes a display easy to read

[Goy88] . Goy, Carl "Mice", Computer graphics: technology and applications, Academic Press, Boston, 1988 ISBN 0126399700 Cited in LCS/Telegraphics case vs. Schumer for input devices like virtual tablets

[Graphonomics87] () International Graphonomics Society "Membership directory", March 1987, c/o Department of Experimental Psychology, University of Nijmegen, PO Box 9104, 6500 HE Nijmegen, The Netherlands. Index of researchers in handwriting analysis, signature verification, and character recognition

[Greanias87] (*) Greanias, E.C., J.J., Verrier, G.F., and Donaldson, R.L. "Combined finger touch and stylus detection system", United States Patent 4,686,332, August 11, 1987, assigned to International Business Machines Corporation, Armonk, New York. Integrated transparent tablet/display for data processing. Flexible film to fit on curved CRT display. Stylus detection capacitive digitizer and finger touch touchpad in one device, integrated with a display. Capacitive(?) grid. Not clear that it can sense multiple simultaneous finger touch points (multi-touch), but can sense stylus and finger input simultaneously. Compare with Scriptel. Touch detected by strenth of signal: 919 patent says this sometimes gave false touches due to variation in signal between grid lines.

[Greanias88] (*) Greanias, E.C., Schroeder, K.F., and Ruffino, L.V. "Minimum parallax stylus detection", United States Patent 4,764,885, August 16, 1988

Parallax error minimalization for display device / tablet digitizer - enables operator to focus attention on displayed location of cursor instead of stylus location. Emphasizes display of tracking cursor to remediate problems from parallax displacement of reported position from physical position of stylus.

[GreensteinJS88] . Greenstein, Joel S. and Muto, William H. "Keyboards", Computer graphics: technology and applications, Academic Press, Boston, 1988 ISBN 0126399700 Cited in LCS/Telegraphics case vs. Schumer for input devices like virtual tablets

[Gundersen88a] () Gundersen, Steven C. "Measure of Distinguishibility for Signature Verification", United States Patent 4,736,445, April 5, 1988, assigned to International Business Machines Corporation, Armonk, New York. [Gundersen88b] () Gundersen, Steven C. and Worthington, Thomas K. "Signature Verification Algorithm", United States Patent 4,789,934, December 6, 1988, assigned to International Business Machines Corporation, Armonk, New York.

Signature verification using spatial domain, then successively acceleration in frequency domain and force/pressure profile for a coherence score

[HallAD88a] () Hall, Anthony D., Cunningham, James B., Roache, Richard P., and Cox, Julie W. "Factors Affecting Performance Using Touch-entry Systems: Tactual Recognition Fields and System Accuracy", Journal of Applied Psychology, Vol 73 No 4, 1988, pp 711-720. Study of minimal acceptable optical parallax, angle, size of target on touchscreens/electronic-ink tablet: how much to offset the cursor

[HallAD88b] () Hall, A.D., Cunningham, J.B., Roache, R.P. and Cox, J.W. "Factors affecting https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

9/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

performance using touch-entry systems: tactual recognition fields and resolution characteristics", Technical Report No TR-29.0787, IBM Corporation, Research Triangle Park, North Carolina, 1988. Beringer89: integrated tablet/display hardware for user-interface?

[Hamel88] . Hamel, K. "NoteWriter computer software", Computer Software, University of British Columbia, Vancouver, Canada, 1988-1994 Cited by Brown in 1998: unistroke music notation handwriting recognition system

[HCI87] () Advance Program "Second International Conference on Human-Computer Interaction", Honolulu, Hawaii, August, 1987. [HelanderM88a] (*) Helander, Martin et al, eds. "Handbook of Human Computer Interaction", Elsevier Science Publishers, 1988

Includes chapters Direct Manipulation, Graphics Challenges in Designing Object-oriented User Interfaces, Input Devices (Gesture-based input), Rapid Prototyping for User Interface Design (Wizard-of-Oz)

[Hernandez87a] () Hernandez, I., Baeker, B.A., Himelstein, C.S. and Machart, B.H. "Business chart arm editing method", United States Patent 4,674,043, June 16, 1987, assigned to IBM Corporation, Armonk, New York. Patent abstracts Busines chart arm editing method updating predefined data to reflect result of editing action

[Hernandez87b] () Hernandez, Irene H., Himelstein, Carol S., and Wang, John S. "Method of Editing Graphic Objects in an Interactive Draw Graphic System Using Implicit Editing Actions", United States Patent 4,686,522, August 11, 1987, assigned to IBM Corporation, Armonk, New York.

User-interface on graphics drawing/editing: one button to pull up a menu, a second button to select: mode of action persists until stopped User-interface: editing in handwriting/graphics is to modify (several steps in a row), not correct (one step) as in text editing

[Herrndobler87] () Herrndobler, I. and Machalitzky, C. "Schreiben mit Uli: Schreiblehrgang", Paul List Verlag, Munich, West Germany, 1987.

German handwriting textbook to show national variation in handwriting styles (for script)

[Hilton88] (*) Hilton, Colin Sefton "Method and Apparatus for capturing information in drawing or writing", European Patent 0 276 109, January 18, 1988

Signature verification tablet using optical sensor: refers specifically to recognizing characters (position) on paper which has different shading or color shading. Optical digitizer with speciallyprinted paper and stylues which reads shading of two colors in X and Y gradient, or shades of grey with different lighting sources. Compare with Sekendur.

[Himelstein87a] () Himelstein, Carol Sue and Wang, John Shihyan "Perspective projection", European Patent 220461, May 6, 1987, assigned to IBM Corporation. User interface in 3-dimensional drawing: computer computes the 3rd depth dimension by user specifying a vanishing point

[Himelstein87b] () Himelstein, C.S. and Wang, J.S. "Editing method for interactive drawing", United States Patent 4,683,468, July 28, 1987, assigned to IBM Corporation. User interface for sketch input: match pointing position to vertices and endpoints of objects: editing sub-objects within objects Identify objects by endpoints of writing motion

[Himelstein87c] () Himelstein, C.S. and Wang, J.S. "Editing method for interactive drawing", https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

10/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

United States Patent 4,686,522, August 11, 1987, assigned to IBM Corporation. Patent abstracts

[Holt87] () Holt, C.M., Stewart, A., Clint, M., and Perrott, R.H. "An Improved Parallel Thinning Algorithm", Communications of the A.C.M., Vol 30 No 2, February, 1987, pp 156160. Skeletonization/line-thinning on OCR, using 8 compass directions Line thinning with special provision for stair-case elimination

[Huang87] () Huang, J.S. and Chung, M.-L. "Separating Similar Complex Chinese Character by Walsh Transform", Pattern Recognition, Vol 20 No 4, pp 425-428, 1987.

O.C.R. for typed Chinese characters, first separation is by zoned template matching method, then by Walsh transform Says 5401 Chinese characters commonly used

[IBM87a] (*) IBM Corporation "IBM Scientists Demonstrate Personal Computer with Advanced Speech Recognition Capability", IBM Press Release, April 7, 1986

Talkwriter speech recognition, claims 95 percent accuracy, system must be trained to individual speaker's phonemes

[InfoWorld87a] (*) Walkenbach, John "Product Comparison: Desktop organizers", InfoWorld, April 29, 1987, pp 43-47

Comparison of products including Borland SideKick 1.5 with phone dialer: also Desktalk from Advance Logic Systems, Homebase 2.5 from Brown Bag Software, HQ 1.02 from TEK Microsystems, Maestro 1.0 from Spectre Software, Metro 1.0 from Lotus Development Corp., PCDesk from Software Studios, Polywindows Desk Plus 1.2 from Polytron Corp., Pop-Up Desk Set Plus from Popular Programs Phone dialer from screen on Borland SideKick -- perhaps others also.

[Ishino88] () Ishino, Hiroaki "Optical Character Reader", United States Patent 4,751,743, June 14, 1988, assigned to Sumitomo Electric Industries, Limited, Osaka, Japan. Detecting edge of form and proper paper alignment for a hand-held optical scanner for OCR

[Kamal88] . Kamel, Khaled and Iman, Ibrahim "A computerized transcription system for cursive shorthand writing", Proceedings of IEEE SouthEastcon, Knoxville, Tennesee, pp. 336339, April 1988 Cited by Goldberg for Unistroke recognition

[Kahan87] () Kahan, S., Pavlidis, Theo, and Baird, H.S. "On the Recognition of Printed Characters of Any Font and Size", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol PAMI-9 No 2, March 1987, pp 274-288.

Confusion cases disambiguated through contour analysis on OCR Ligatures / merged characters broken and re-classified, then layout and linguistic context processing Many OCR systems fail accuracy if document is slightly tilted Error rate for manual typing / Human OCR is about 3 per page Practical OCR performance must be 99.9% accuracy, no substitution errors, just rejection Robustness is more important than accuracy (?) Lists many different kinds of character blobs/joins for OCR Linguistic context by certain very simple context heuristics, not grammar and punctuation rules Use UNIX spell dictionary for context manipulation in OCR Use of spelling dictionary does not help much correcting mis-recognition errors Test of OCR system, but omitted small punctuation, disconnected characters, ligatures, and special characters: confusable errors not counted (!) Bayesian classifier assumes statistically independent features, which is not really true Performance of current OCR recognition system are glaring engineering problems, not science Need more theory of human reading ability and automatic design (?) of recognition classifiers

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

11/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

For OCR, ligatures are usually accidental serif joins or double-o joins

[Kankaanpaa88] (*) Kankaanpaa, A. "FIDS - A Flat-Panel Interactive Display System", Laboratory of Information Processing Science, Helsinki University of Technology, 02150 Espoo 15, Finland, February 1987: IEEE Computer Graphics and Applications, Vol 8 No 3, March 1988, pp 71-82.

Electronic ink paper sent to me for review. Proof-reader's symbols in 1988 paper? simulation of recognition using a keyboard. User interface: electronic ink with gesture/special symbols for editing word-processing text with handwriting. Discusses "orthogonality" of gesture/command handwriting recognition symbols.

[Kaplan88] () Kaplan, Samuel J., King, Jonathan J., and Sagalowicz, Daniel "Knowledge based processor for application programs using conventional data processing capabilities", United States Patent 4,783,752, November 8, 1988, assigned to Teknowledge, Incorporated, Palo Alto, California. Interface between artificial intelligence rule-based symbolic reasoning software and applications programs

[Kashioka88] () Kashioka, S., Shima, Y., Miyatake, T., and Ejiri, M. "Method for Producing a Standard Pattern for Pattern Matching", United States Patent 4,783,831, November 8, 1988, assigned to Hitachi, Limited, Tokyo, Japan. Used for machine vision, locating parts

[KayA87a] (*) Kay, Alan "Doing With Images Makes Symbols - Communicating with Computers", Video: Distinguished Lecture Series, Apple Computer, 1987

Video presentation on Dynabook, includes demonstration from 1960's (?) of gesture input in a drawing program using handwriting recognition of capital letters, GRAIL system, Sketchpad

[Kerrick88] () Kerrick, D.D. and Bovik, A.C. "Microprocessor-based Recognition of Handprinted Characters from a Tablet Input", Pattern Recognition, Vol 21 No 5, 1988, pp -525-537.

D.C.R. system in 32Kbytes of combined RAM/ROM: features are endpoints, corners, joins, angle, curvature, aspect ratio, relative positions D.C.R. system: three levels: low-level features and binary decision tree, binary tree for absence of features, high-level evaluation specific to remaining candidate characters D.C.R. system: retrace only allowed for certain lower-case characters: a, g, h, m, n, q, r, u, y Corner extraction using Freeman77 Stroke/character segmentation using possible fitting of strokes into a recognized character (bad idea: Easy to create lots of exception cases) This is NOT a robust system. There are too many ways to fool it -- and the authors don't cite much existing work, either. Uses HPR (Handprint Recognition) instead of D.C.R. or On-line character recognition Word segmentation based on overlap of 40% or more

[KimJ87] () Kim, J. "Gesture Recognition by Feature Analysis", IBM Research Report RC 12472 (Log #56035) 1/28/87, IBM T.J. Watson Research Center, PO Box 704, Yorktown Heights, NY 10598.

It takes more time to write a gesture than a character Asserts character recognition methods will not work for gestures Could not deal with "vocabulary explosion" by including rotational, inversion variants for gestures Recognizing all variants of a letter takes too much time and space (!) Gesture variation effects: non-linear scaling, rotation, mirror-image inversion, reverse direction Usually, a gesture by itself does not make much sense: compound phrases only Gesture recognition (at IBM) using twelve-direction chain codes

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

12/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

[KimJ88] (*) Kim, Joonki "On-line gesture recognition by feature analysis", Proceedings of Vision Interface '88, Edmonton, June 6-10, 1988, pp 51-55

Gesture recognition "differs from" handwriting recognition. Gesture recognition by direction changes (compare to Buxton SSSP reference), thus less subject to differences in rotational, mirroimage, reverse direction, size orientation for cut, pigtail, circle, other gestures. Gestures not independent of application, separate grammatical module for each application operation. Example application is Lotus spreadsheet. Gesture / direct manipulation interface to a spreadsheet program (Lotus 123), part of PLI paper-link interface projects at IBM. First stage of recognizer uses chain codes, second stage is customprogrammed for the gesture shapes.

[Kimpan87] () Kimpan, C., Itoh, A., and Kawanishi, K. "Fine classification of printed Thai character recognition using the Karhunen-Loe`ve expansion", IEE Proceedings, Vol 134 Pt E No 5, September 1987, pp 257-264. Handwriting recognition for Thai: features are Karhuen-Loe`ve with maximum eigenvalue Features for Thai: Freeman chain codes, concavities and convexities, similar arc pairs: not conclusive results: 100% on training set, "lower" on test data (but not given) Cites other work on Korean, Arabic, Thai handwriting recognition

[Kinoshita88] () Kinoshita, Akiyoshi "Character Input System", United States Patent 4,724,423, February 9, 1988.

Simple zone-type handwriting character recognition reading the strokes on the calculator keyboard

[Kobayashi88] () Kobayashi, K., Sakurai, A., and Sato, G. "Character Recognition Method and System Capable of Recognizing Slant Characters", United States Patent 4,757,551, July 12, 1988, assigned to Ricoh Company, Limited, Tokyo, Japan. Translating scanner input into direction codes: line-thinning. Recognition by histogram of contour direction/chain codes on OCR handwritten numbers. Asserts that slant/tilt varies among handwriting by different people, but consistent for one user

[Kondo87] () Kondo, Shozo "Some Considerations on Stroke-Structure of Characters Using a Model of Handwriting Process", Proceedings of the Third International Symposium on Handwriting and Computer Applications, Ecole Polytechnique de Montreal, Canada, 1987, pp 72-73. [KreinPT88a] (*) Krein, Philip T. and Meadows, R. David "The Electroquasistatics of the Capacitive Touch Panel", IEEE Conf. Proc. 1988 88CH2565-0/88/0000-171 Seems to be same as KreinPT90a: Indium Tin Oxide ITO resistive film touchscreen errors

[Kurta87a] (*) Kurta Corporation "IS/PenMouse", Kurta Corporation, 1987

Technical specification on Kurta IS/PenMouse digitizer tablet, includes examples of binary format on serial port. Stylus or puck, each with additional buttons (on side of stylus, etc.)

[Kurtzberg87] (*) Kurtzberg, J.M. "Feature Analysis for Symbol Recognition by Elastic Matching", IBM Journal of Research and Development, Vol. 31 (1) (1987) 91--95.

Combines feature analysis with elastic matching to filter out unlikely prototypes: pruning features for preprocessing recognition a number of strokes, points per stroke, relative heights of endpoints / maxima of strokes

[KustanovichY87a] (*) Kustanovich, Yosef "Surface-area pressure transducer and lineselection circuit for use therewith", United States Patent 4,644,801, February 24, 1987

Grid of capacitive pressure sensors with compressible material between the plates of the capactitors. Each capacitor can be measured individually. Used for biomedical instrumentation (pressure profile of foot)

[Kuzunuki87] (*) Kuzunuki, Soshiro, Shojima, HHiroshi, Yokoyama, Takanori, Fukunaga, https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

13/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

Yashushi, and Hirasawa, Kotaro "Method for Designating a Recognition Mode in a HandWritten Character/Graphic Recognizer", United States Patent 4,680,804, August 14, 1987, assigned to Hitachi, Limited, Tokyo, Japan.

Projections of strokes on to X and Y axes for recognition: mode setting: strokes larger than a certain size are annotation, not characters. Simple size context to distinguish characters and drawing marks

[KwokPCK88] () Kwok, P.C.K. "A Thinning Algorithm by Contour Generation", Communications of the A.C.M., Vol 31 No 11, November 1988, pp 1314-1324. Skeletonization/line-thinning with grey-scale information

[LakinF87a] (*) Lakin, Fred "Visual Grammars for Visual Languages", Proc. AAAI-87, pp. 683-688 Two-dimensional visual languages using spatial parsing (e.g. mathematical expressions), shows hand-written input using tablet digitizer. Contains additional references back to 1971, for visual parsing of sketchs of houses, etc.

[Lapeyre87] (*) Lapeyre, James M. "Electro-Optical Position Determining System", United States Patent 4,688,833, August 25, 1987

Optical digitizer/tablet for large area, two optical sensors on the edged of the tablet with triangulate to a light LED on the stylus

[LeeS88a] () Lee, Seongwhan, and Kim, Jin H. "Automatic verification of seal imprints using attributed stroke graph matching", Proceedings of the International Conference on Computer Processing of Chinese and Oriental Languages, 1988, pp 66-70. Lee,S89

[LeeS88b] () Lee, Seongwhan, and Kim, Jin H. "Recognizing hand-drawn symbols in engineering drawings", Artificial Intelligence in Engineering: Robotics and Processes", Computational Mechanics, Southampton, 1988, pp 179-200. Lee,S89

[Leung87] (*p) Leung, C.H., Cheung, Y.S., and Wong, Y.L. "A Knowledge-Based StrokeMatching Method for Chinese Character Recognition", IEEE Transactions on Systems, Man, and Cybernetic, Vol SMC-17 No 6, November 1987, pp 993-1003. Relaxation method for distance from feature-space template with reduced computational load for Chinese recognition Minimum-distance template matching in feature space Trained/adaptive system, but with specific knowledge of writing Chinese characters, too Tested on 240 Chinese characters only, notes that extension to 4000 will add problematically to compute time User training sample collection (for only 240 Chinese characters!) is admitted to be tedious

[Licklider88] (*) Licklider, J.C.R. "Interview with J.C.R. Licklider, Conducted by William Aspray and Authur Norberg", 28 October, 1988. Charles Babbage Institute, Center for the History of Information Processing, University of Minnesota, Minneapolis. Available at http://www.cs.utexas.edu/users/umair/cs370/interviews/oh150jcl.rtf

Mentions Herb Teager's early work on a capacitive (?) coupling digitizer tablet, and the alternative project of a mouse

[Linus87] (*p) Linus Technologies "LINUS (tm) Write-Top User's Guide", Linus Technologies Inc, 1889 Preston White Dr., Reston, VA 22091

Shows writing/editing with handwriting recognition on a single surface display/tablet digitizer

[Linus88a] (*p) Linus Technologies "Linus plans tiered Write-Top channel strategy", Product announcement for Write-Top handwriting recognition product, Computer and Software News, https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

14/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

June 13, 1988.

Product announcement, portable handwriting recognition product for Linus Technologies: WriteTop. Additional materials in file: Ralph Sklarew and Robert Nadeau, George Mason Universty: original name was "Techbook"

[Linus88b] (*) Linus Technologies "Equipment/Device: Linus Technologies Write-Top, ca. 1988", Linus Technologies Physical device in collection: Early portable pen-computing, predecessor to PenPoint from GO, Microsoft PenWindows and Tablet PC. Touch-screen digitizer connected to display unit. (Stylus missing).

[Linus88c] (*) Linus Technologies "Linus Just-Write and Just-Write II Software Reference Manual", Linus Technologies, Inc, 1988 Handwriting recognition text-editing application. Desktop application shows text listing of files (similar to File Commander) on DOS operation system, for executing an opening files. Also has virtual keyboard.

[LittlePD88a] (*) Little, Paul D. "Audio/telephone communication system for verbally handicapped", United States Patent 4,785,420, November 15, 1988

On-tablet menus as talking UI for verbally handicapped using a touch digitizer: Chalkboard from Powerpad. Note that Powerpad (later models) accepted multi-touch input, resolution 0.1 inches.

[LuP87] () Lu, P.-Y. "professional resume", for work in on-line handwriting recognition

Resume for former employee of Communications Intelligence Corporation. Device Driver and Mouse Emulator for digitizing tablet

[Lukis87] (*p) Lukis, L.J. "Method and Apparatus for Correcting X-Y Position Measurements", United States Patent 4,679,241, July 7, 1987, assigned to Moore Business Forms, Incorporated, Grand Island, New York.

Resistive-sheet digitizer tablet with correction table calibration Several references to British patents for portable handwriting recognition dynabook: diagrams show Moore Business Forms handwriting product (portable)

[Maarse87] (*) Maarse, F.J., Janssen, H.J.J., and Dexel, F. "A special pen for an XY-tablet", preliminary manuscript, University of Nijmegen, Department of Experimental Psychology, Montessorilaan 3, PO Box 9104, 6500 HE Nijmegen, The Netherlands, 1987. Measuring pen stylus tilt angle using peak levels of signal picked up in electromagnetic tablet: digitizer which reports stylus angle

[Machart88] (*p) Machart, Beverly H., and Wang, John S. "Freehand Drawing Containing Invisible Lines", United States Patent 4,757,549, July 12, 1988, assigned to International Business Machines Corporation, Armonk, New York.

Stroke segmentation in sketch recognition: group strokes together in a signature, or any free-hand writing or scribble, if they are close enough together Compares stroke starting and ending positions with previous storage ending to detect termination of a signature

[MaedaK87] (*p) Maeda, Kenichi, and Nitta, Tsuneo "Pattern Recognition Apparatus and Method for Making Same", United States Patent 4,651,289, March 17, 1987, assigned to Toky Shibaura Denki Kabushiki Kaisha, Kawasaki, Japan. After training, a speech/handwriting recognition system stores deltas from previously learning patterns on misrecognition, not entire pattern Reduce memory size for pattern dictionary by storing deltas from originals, not whole patterns

[Malzbender87] (*) Malzbender, T. "Permuted Trace Ordering Allows Low-Cost, Highhttps://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

15/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

Resolution Graphics Input", Hewlette-Packard Journal, June 1987, pp 4-7.

Description of Hewlett-Packard's digitizer electrostatic tablet circuitry. By permuting traces in an X/Y grid, and reporting the numbers of which traces which detected a signal in descreasing strengh, able to interpolate very high accuracy without relying on absolute measurements of signal strength. Amplifier built into stylus. HP 45911A digitizing tablet.

[Mandler87] () Mandler, Eberhard "Advanced Preprocessing Technique for On-Line Script Recognition of Nonconnected Symbols", Proc. 3rd Int. Symp. on Handwriting and Computer Applications, pp. 64-66, July 1987 Cited by Marlin Eller, Microsoft Pen Computing group

[MatthewsHG88] (*) Matthews, Henry G.; Zalenski, Thomas; Barbetti, Jamie L; and Mletzko, Al "Menu for a Charge Ratio Digitizer", United States Patent 4,788,386, November 29, 1988 Summagraphics charge-ratio tablet, with tapered traces and varying-width traces on a PC board

[McArthurD87] . McArthur, David; Stasz, Cathleen; and Hotta, John Y. "Learning ProblemSolving Skills in Algebra", RAND Note N-2595-NSF, Prepared for The National Science Foundation, May 1987 Abstract only: see 1990 publication by same authors

[McAvinneyP88a] (*) McAvinney, Paul "Method and apparatus for isolating and manipulating graphic objects", United States Patent 4,747,770, May 24, 1988 Optical beam touchscreen device, multiple fingers

[McCaskill88] () McCaskill, R.A., Wang, J.S., and Repass, J.T. "Printed document processing", United States Patent 4,739,314, April 19, 1988, assigned to IBM Corporation. Patent abstracts User-interface: specifying measurements of printed document objects by pointing to them

[MellB88a] (*) Bell, Barlett; Omohundro, Stephen; Robison, Arch; Skiena, Steven; Thearling, Kurt; Wolfram, Stephone; and Luke, Young "Tablet: The Personal computer of the Year 2000", Communications of the ACM, June 1988, pp 638-646 Forrunner proposal to iPhone/iPad? Winning proposal in Apple-sponsored compettion to envision the computer of the future. Touchscreen (stylus for high resolution input) used as a mouse. Gesture for turning on is to touch two corners. Voice input/output.

[Microsoft86a] (*) Microsoft Corporation "Microsoft Excel User's Guide Version 1.03 with Business Graphics and Database for the Apple Macintosh", Microsoft Corporation, 1986

Excel 1.03 spreadsheet processing for the Apple Macintosh - shows integration with Apple menus. Contains update for version 1.5 describing File contains additional materials:

[Microsoft87a] (*) Microsoft Corporation "Microsoft Excell Arrays, functions and Macros", Microsoft Corporation, 1987 Description of Microsoft Excel spreadsheet program for Windows

[Microsoft87b] (*) Microsoft Corporation "Reference to Microsoft Word Word Processing Program Version 3.0 for the Apple Macintosh", Microsoft Corporation, 1987

Word 3.0 Word processing for the Apple Macintosh - shows integration with Apple menus. Contains update for version 3.01 describing differences from Word 1.0 for the Macintosh. File contains additional materials: Learning Microsoft Word for Apple Macintosh, etc.

[Microsoft88a] (*) Microsoft Corporation "Descriptions of Expert and Standard Mouse Menus", support.microsoft.com, article 23837 / Q23837, approximate date 1988

Description of MENU.COM, *.MNU files, MENUMAKE.DOC, MENUREAD.ME. Mouse menus allow for support of mouse in DOS applications that are not "mouse-aware". MENU.COM uses

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

16/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

static menu definitions, expert menus are *.COM files with specific knowledge of application. Compare with keyboard macros, and with recognition macros by PenCept and CIC for handwritten gestures.

[MiletzkiU87a] . Miletzki, U; Doster, W.; Fogaroli, G.; Lobl, H; and Moulds, P. "Paper Interfaces for Office Systems", ESPIRIT '86, pp. 373-397, 1987 Cited in FordDM91a: regarding gestures

[Mishima88] (*p) Mishima, T., Kanasaki, M., Takatoo, M., and Ota, H. "Half-tone image recognition", European Patent 287995, October 26, 1988, assigned to Hitachi, Limited, Tokyo, Japan. Image processing: recognize halftone texture in a scanned image, to do OCR character recognition without binarization, so that contrast/brightness does not affect recognition

[Mochinaga88] (*) Mochinaga, N., Moto, T., and Ogata, Y. "Pen-type Character Recognition Apparatus", United States Patent 4,751,741, June 14, 1988, assigned to Casio Computer Company, Limited, Tokyo, Japan. Pen stylus which measures lateral pressure/force using strain gauges for handwriting recognition, instead of an X/Y digitizer : used for handwriting recognition / character recognition

[Morishita87] (*p) Morishita, T., Ooura, M., and Ishii, Y. "A Kanji Recognition Method Detecting Incorrectness in Writing", Proceedings 1987 International Conference on Computer Processing of Chinese and Oriental Languages", pp 67-74. Claims 99.7% recognition of Kanji characters "with errors", 99.9% for "correctly written" Chinese characters, used to check for correct writing style in Japanese, "Standard Writing" by the Japanese Council on the National Language

[MullerMJU88a] (*) Muller, Michael J. "Multifunctional Cursor for Direct Manipulation User Interfaces", Proc. CHI '88, pp. 89-94

Cursor showing state of current selected tool: suggests first selecting tool and then selecting object to apply it to (in the meantime, cursor indicates which tool is "active), rather then first select object and then select operation/command to apply to it. Update (pop-up?) menus/icons on mouse input? Mentions implementation for 1/2/3-button mouse, with single- and double-click actions.

[MyersBA88a] (*) Myers, Brad. A. "The Garnet User Interface Development Environment: A Proposal", Carnegie-Mellon University Technical Report CMU-CS-88-153, September 1988 In Garnet system papers: set of UIMS/UI design tools for direct manipulation GUIs. Common Lisp IDE, but objects use protype inheritance, not classes. Any change in property of an object immediately updates display of object (e.g. color management, color properties, or uncovering a window)

[Nadler87] (*a) Nadler, Morton "private communication", August, 1987.

This fellow was in handwriting character recognition in the 1960's , on ANSI handprint-standard committee as GE representative NADLer Inc., Blacksburg VA (circa 1986)

[Nakamura87a] () Nakamura, Shoichiru, and Kable, Robert "Electrographic System and Method", United States Patent 4,650,926, assigned to Scriptel Corporation, March 17, 1987 Correction grid matrix for digitizer: divide into small correction rectangles

[NationalPhysicalLaboratory87] (*) National Physical Laboratory NPL "Electronic Paper: The Electronic Paper Collaboration", National Physical Laboratory NPL, Division of Information Technology and computing, Tedding, Middlesex TW11 0LW, United Kingdom Scriptel digitizer and plasma display, with handwriting/cursive recognition. Commercial development by DataSystems UK. Says "Electronic Paper is nearly here" (sic).

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

17/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

[Nestor87] () Nestor, Inc. "NestorWriter Product Description", available from Nestor Incorporated, One Richmond Square, Providence RI 02906. Cited in --->"Computing with Neural Networks", High Technology, Vol 7 No 5, May 1987, pp 28-29. References to Nestor's work on handwriting recognition product

[Nestor88] (*) Nestor, Inc "Press/correspondence file on Nestor, Inc.", (personal correspondence)

References to Nestor's work on handwriting recognition products and technology using neural nets. Mike Buffer, Leon Cooper.

[Nielsen87] (*) Nielsen, Jakob "CHI+GI '87 Trip Report", http://www.useit.com/papers/tripreports/chi87.html

Mentions demonstration of DataGlove, with a hand-gesture of opening the fingers of the hand to clare a graphic screen. Demo of Alternate Reality Kit with direct manipulation of simulated objects using a mouse. (See Alternate Reality Video)

[Nielsen88] (*) Nielsen, Jakob "CHI '88Trip Report", http://www.useit.com/papers/tripreports/chi88.html

Refers to "two-cursor" problem, but this has nothing to do with multi-touch multiple touch inputs on a digitizer or tablet, it is a cognitive problem of needing to point simultaneously to a command (e.g. "paste" icon) and a target (position in text).

[Numonics88] (*p) Numonics Incorporated/Terminal Display Systems Limited "MAX Multi-Axis Input Digitizer", "ZedPEN product literature", Terminal Display Systems, Lower Philips Road, Blackburn England BB1 5TH, 1988. 5-axis digitizer (X,Y, theta/phi/rho), plus force/pressure sensor, plus "flick" accelerometer sensor

[Numonics88a] (*p) Numonics Incorporated "#2200 Digitizer Pad Technical Information", Available from Numonics Incorporated [Numonics88b] (*) Numonics Incorporated "CADCommand product information", Available from Numonics Incorporated, Montgomeryville PA Pencept PenCAD and PenPad 320 sold under Numonics name: recognition macros / gestures, handwriting recognition [Ooi87] () Ooi, K., Hidai, K., Kurosawa, Y., and Nakamura, Y. "Method and Device for Handwritten Letter Recognition", United States Patent 4,685,142, August 4, 1987, assigned to Kabushiki Kaisha Toshiba, Kawasaki, Japan. Kanji/Japanese recognition using standard strokes, in a standard stroke order Attempt to remove stroke-order properties from Kanji recognition using a heirarchical dictionary of standard strokes, and matching as you go [Orita87a] () Orita, M., Kobayashi, Y., and Kuboo, Y. "Tree-structure recognition dictionary preparation system", United States Patent 4,658,429, April 14, , 1987, assigned to Hitachi, Limited, Tokyo, Japan. Order tree nodes in a recognition dictionary of templates, so features with the most power are highest in the tree [Orita87b] () Orita, M., Mishima, T., and Kobayashi, Y. "System and Method for Preparing a Recognition Dictionary", United States Patent 4,682,365, July 21, 1987, assigned to Hitachi, Limited, Tokyo, Japan. Heirarchical tree-structure for pattern recognition decision tree: method to minimize search time by organizing tree (for Kanji recognition) Cites prior art (1975) on tree-structured pattern recognition dictionaries for Kanji/Japanese recognition [Ovonics88] (*) Ovonic Imaging Systems OIS, Inc. "E-Z image and "OIS Telepad" product literature, 1988.", 1896 Barrett Street, Troy, MI 48084, 313-362-3140.

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

18/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

EZ-Image is a clear digitizer tablet, resistive sheet: electronic ink with integrated LCD display Telepad is an integrated digitizer/display unit Uses the term "electronic paper" (similar to "electronic ink") [Pearson87] () Pearson, G. and Weiser, M. "Exploratory Evaluations of Two Versions of a FootOperated Cursor-Positioning Device in a Target-Selection Task", poster paper, CHI+GI 87 Conference, Boston, Massachusetts, April 1987. Authors' address: Heterogeneous Systems Lab, University of Maryland, College Park, Maryland. Foot-operated pointing device, similar to mouse [PenMouse88a] (*) PenMouse Technologies "Equipment/Device: PenMouse device, ca. 1988", PenMouse Physical device in collection: Roller-ball mouse in a pen-shaped housing, does not report absolute position. Not the same as the IS/PenMouse digitizer tablet from Kurta. [Phillips87] () Phillips, M. "Several simple tests can help you choose the correct digitizer", Computer Technology Review, Vol VII No 1, January 1987. [Platshon88] () Platshon, Mark "Acoustic touch technology adds a new input dimension", Computer Design, March 15, 1988, pp 89-93. Technical description of Elographics digitizer technology, surface acoustic wave (SAW). SAW technology for force/pressure-sensitive "Z" on touch tablet digitizer. [Pobgee88a] (*a) Pobgee, P.J. "Prototype System for Interactive Input of Cursive Information", National Physical Laboratory, Teddington (England), Division of Information Technology and Computing, Report No NPL-DITC-125/88, 1988 (abstract only). NTIS citation index: refers to pointing and handwriting recognition combined in a GUI application. User interface and editing and graphics manipulation for handwriting recognition. [Pobgee88b] () Pobgee, P.J. "EPT, a Dynamic Tutorial for Introducing New Users to Electronic Paper", National Physical Laboratory, Teddington (England), Division of Information Technology and Computing, Report No NPL-DITC-134/88, 1988 (abstract only). NTIS citation index Integrated tablet and display with sample handwriting applications [PotterR88a] (*) Potter, R., Weldon, L., and Shneiderman, B. "Improving the accuracy of touch screens: An experimental evaluation of three strategies", Proceedings of CHI conference, Washington, D.C., May 15-19, 1988. Published by the Association for Computing Machinery, New York, 1988, pp 27-32. Touch screens advantageous/desirable because do not consume workspace, no moving parts. Accuracy limitations due to visual parallax: target on touch-down, target on drag-to-touch; target on lift (to be patented) -- does not note that target-on-lift typically employed in mouse systems, albeit for different reasons. Mentions highlighting before lift, so that user can tell what would be selected if user lifted pen then. Mack89 digitizer user-interface hacks [Reilly87] () Reilly, Douglas, L., Scofield, Christopher, Elbaum, Charles, and Cooper, Leon, N. "Learning System Architectures Composed of Multiple Learning Modules", Proceedings of IEEE First Annual International Conference on Neural Networks, June, 1987, Vol II, pp 495-503. Training time is shorter if you train one module to each shape class, rather than many modules to share training, in a Nestor neural network. [Reilly88] () Reilly, Douglas L, Scofield, Christopher, Gouin, Philip R., Rimey, Raymond, Collins, Edward A., and Ghosh, Sushmito "An Application of a Multiple Neural Network Learning System to Industrial Part Inspection", to be presented at ISA/88, Houston, Texas. Nestor recognition paper on industrial vision parts inspection [Rhyne87] (*) Rhyne, J. "Dialogue Management for Gestural Interfaces", Computer Graphics, Vol 21 No 2, April 1987, pp 137-142. Also IBM Research Report RC 12244, 1986. Temporal grouping/segmentation of written gestures more important than the temporal sequence https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

19/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

[RubineD88a] (*) Rubine, Dean and McAvinney, Paul "The Videoharp", Proc. ICMC 88, pp. 49-55 Electronic VideoHarp musical instrument using optical sensing of multiple fingers (multitouch) and gestures: either harp-like (strum) or piano-like (projected keyboard). Optical sensing on two sides (either side) of transparent instrument, such that instrument can be played with both hands like a harp, or mounted horizontally like a piano. MIDI output. to a synthesizer. Position of finger along a ray detected by shadowing. File contains additional materials showing Video harp construction, frame, and use. See also McAvinneyP90a [Rympalski87] (*) Rympalski, William P., Herstein, James S., Ritenour, Roger L. "Electronic Sketch Pad", United States Patent 4,639,720, assigned to Harris Corporation, Melbourne, Florida, January 27, 1987 Capacitive digitizer integrated with an LCD display: patent on "writing" directly on a display. conformable stylus tip allows for indirect pressure sensing. [Saba87] (*p) SABA "Handscan product literature", Saba Technologies, Incorporated, 9300 S.W. Gemini Driver, Beaverton, Oregon, 97005, June 1987. Produce literature on hand-held OCR input scanner Acoustic/sonic 2-D tablet [SAC87] () SAC "GP-7 Grafbar Mark II Operator's Manual", Science Accessories Corporation, 1987, 970 King s Highway West, Southport, Connecticut 06490. [Satoh88] (*p) Satoh, Koji, United State States Patent 4,783,835 "Method of Character Recognition", November 8, 1988, assigned to Sumitomo Electric Industries, Limited, Osaka Japan. Typed character recognition in a hand-held scanner using rightside and left-side profiles/chain codes, in addition to line features [Schoonard87] (*p) Schoonard, James W.; Gould, John D.; Bieber, Miriam; and Fusca, AAngie "A Behavior Study of a Computer Hand Print Recognition System", IBM Research Report RC 12484 (Log #56157) 2/6/87, 1987, IBM T.J. Watson Research Center, PO Box 218, Yorktown Heights, NY 10598. Compared human recognition accuracy, both by original writer and by another subject, with IBM's machine recognition In adaptive system, adding poorly-formed (atypical) prototypes from handwriting to system is a problem, as accuracy goes down In adaptive system, accuracy goes down as prototypes are added beyond a certain point (so why add them? when to add them?) Handwriting interaction tested for four tasks: copy, compose, spreadsheet, delayed copy/transcription Human recognition accuracy measured as 88.5% to 96.1%, average 93.2% Writing speed for hand-printing is 0.99 characters/second 90 to 111.2 prototypes in adaptive system for individual subject's handwriting Subjects consistently tended to underestimate recognition accuracy of IBM system, because errors in words and inability to correct were so annoying 96% recognition accuracy "not good enough" for commercial use of on-line character recognition [Scott87] () Scott, Walter C. "Signature Verification", United States Patent 4,701,960, October 20, 1987, assigned to Texas Instruments Incorporated, Dallas, Texas. Signature verification using matches at local extrema points(?) and something like elastic matching [Sejnowski86] (*) Sejnowski, Terrence, J. and Rosenberg, Charles R. "NETtalk: A Parallel Network that Learns to Read Aloud", Technical Report JHU/EECS-86/01, John Hopkins University, Baltimore, MD, 1986 Hinton diagrams; training input consisted of phonetic transcriptiosn of English text, not actual https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

20/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

spoken recording. [Sejnowski87] (*) Sejnowski, Terrance and Rosenberg, Charles "Parallel Networks that Learn to Pronounce English Text", Complex Systems, 1:145-168, (1987) Hinton diagrams; training input consisted of phonetic transcriptiosn of English text, not actual spoken recording. Cited by Marlin Eller, Microsoft Pen Computing group [Sekita88] () Sekita, I., Toraichi, K., Mori, R., Yamamoto, K, and Yamada, H "Feature extraction of hand-written Japanese characters by spline functions for relaxation", Pattern Recognition, Vol 21 No 1, January 1988, pp 9-17. Cited in Yu90: for line thinning with context by chain codes [Semiotics87] () Semiotics Design "handwriting recognition product outline", 2980 Salem Drive, Santa Clara, California 95051, 1987. Carol Anne Ogdin , formerly Mr. Ogdin Lists of sentences using all 26 letters of alphabet in various combinations, for collecting writing samples Sample list of sentences using all 26 letters of the alphabet -- source unknown [Sherr88] (*) Sherr, Sol (Ed.) "Input Devices", Academic Press Inc., 1988, ISBN 0-12-639970-0 Chapter 1, "Introduction to Input Devices", Caswell, N.S. Chapter 2, "Human Factors Considerations in the Design and Selection of Computer Input Devices", Arnaut, Lynn Y. and Greenstein, Joel S. Chapter 3, "Keyboards", Greenstein, Joel S. and Muto, William H. Chapter 4, "Digitizer and Input Tablets", Davies, Thomas E., Mathews, H. Gerard, and Smith, Paul D. Chapter 5, "Mice", Goy, Carl Chapter 6, "Trackballs and Joysticks", Doran, David Chapter 7, "Voice Input Systems", Viglione, Sam S. See also citations for each chapter. Windows input managers / window management, virtual devices. [Shojima87] (*) Shojima, H., Kuzunuki, J. S., and Hirasawa, K. "On-line pattern recognition for hand-written shapes", United States Patent 4,653,107, March 24, 1987, assigned to Hitachi, Limited, Tokyo, Japan. Re-order strokes, feature is quantized curvature, try deleting endsegments or combining sequential strokes On-line handwriting recognition using a dictionary of templates: used in a document preparation user-interface? [Shojima88] () Shojima, H., Mifune, T., Mori, J. and Kuzunuki, S. "Method and Apparatus for Online Recognizing Handwritten Patterns", United States Patent 4,718,103, January 5, 1988, assigned to Hitachi, Limited, Tokyo, Japan. Cites DP Matching Process to Character Recognition of Nikkei Electronics, 1983. Angular vector chain code sequences: matching successive angle differences for line segments in handwriting character recognition; Unanticipated/intermittent input/event causes software system error [SIGSOFT87a] () SIGSOFT "Anti-Skid Brakes", quoted from October 1986 issue of Road and Track, A.C.M. SIGSOFT Software Engineering Notes, Vol 12 No 1, page 10, January, 1987. Unanticipated/intermittent input/event causes software system error [SIGSOFT87b] () SIGSOFT "Cause of the Mysterious Bay Area Rapid Transit Power Outage Identified", quoted from July 8, 1987 San Francisco Chronicle, A.C.M. SIGSOFT Software Engineering Notes, Vol 12 No 4, page 4, January, 1987. Unanticipated/intermittent input/event causes software system error [SIGSOFT87c] () SIGSOFT "Actual Stock Price Fails Sanity Check", contributed by Mark Brader, https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

21/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

A.C.M. SIGSOFT Software Engineering Notes, Vol 12 No 4, page 4, October 1987. Unanticipated/intermittent input/event causes software system error [SIGSOFT87] () SIGSOFT "BBC Documentary Filming Causes Library of Congress Computer Crashes", contributed by Howard C. Berkowitz, A.C.M. SIGSOFT Software Engineering Notes, Vol 12 No 4, page 15, October 1987. Unanticipated/intermittent user input/event causes software system error [SIGSOFT88] () SIGSOFT "Runaway mouse problem in popular commercial WP program", contributed by Steven Jones, A.C.M. SIGSOFT Software Engineering Notes, Vol 13 No 4, page 9, October 1988. [Sinha88] (*p) Sinha, R.M.K. and Prasada, B. "Visual Text Recognition Through Contextual Processing", Pattern Recognition, Vol 21 No 5, 1988, pp 463-479. Spelling context dictionary where words outside the dictionary are handled with a Viterbi algorithm A priori context (i.e. statistical values for letter pair digrams) vs a posteriori context (checking results against a spelling dictionary) Contains quick overview of everybody's work on spelling or statistical probability context correction Transient dictionary for context: words not in regular Uses weighted confusion matrix of touching/rejected characters for context correction (segmentation) Refers to ambiguous upper/lower-case confusion pairs, other than the obvious In OCR, attempt to fix touching characters by a separate segmentation algorithm on rejected characters common "omitted" words can be used to correct the rest dictionary may occur frequently in document, so most [Sklarew88a] (*) Sklarew, Ralph "Handwritten keyboard-less entry computer system", United States Patent 4,972,496, assigned to Linus Technologies, 1988. Patent on transparent digitizer over display for handwriting input, with character recognition Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Title and abstract read almost identically to other Sklarew patents Transparent front-mounted digitizer tablet/touchscreen: cites advantages (stylus tilt, etc.) over rear-mounted tablets. Refers to trainable recognition for handwritten characters and symbols, but not to macros or gestures. [Sklarew88b] () Sklarew, Ralph, European Patent 254561 "Handwritten keyboard-less entry computer system", Janrary 27, 1988, assigned to Linus Technologies, inc. Broad patent on Linus' keyboardless computer product, using handwriting recognition Gives many example screens for Linus/Grid's user interface, showing pop-up windows/rectangles for handwriting entry Gives figures for handwriting digitizer tablet performance: 0.015"/0.005", 150 points/second Linus/Grid user-interface on editing functions/symbols, appear similar to gesture-based user interface [Skylight88] (*p) Skylight Software, Incorporated "Handprints 2.0 product information", 323 Andover Street, Wilmington, Massachusetts 01887. Yuri Litvin's small on-line handwriting recognition software product: runs in 13Kbytes (!) [SmithR87a] (*) Smith, Randall "Experiences with the Alternate Reality Kit: An Example of the Tension between Literalism and Magic", IEEE Computer Graphics, Sep. 1987 vol 7 no 9, pp. 42-50. See also video of Alternate Reality Kit ARK: mouse-hand can manipulate literal ("realistic" but 2-D) objects with momentum, bouncing, etc. Other "magical" features such as buttons, changes to simulated gravity, etc. Suggests that multiple mouse buttons (by extension, mouse gestures?) are hard to learn because they are unnatural. https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

22/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

[SmithRW87] () Smith, R.W. "Computer processing of line images: A survey", Pattern Recognition, Vol 20, 1987, pp 7-15. Taxt90 [SpeechSystems87] (*p) Speech Systems, Incorporated "Phonetic Engine (R) product description", 18356 Oxnard Street, Tarzana, California 91356, 1987. Product literature on phonetic speech recognition system with large dictionary Phonetic Decoder (TM), Phonetic Profiler (TM), DS100 application development system, [Srihari87a] (*) Srihari, Sagur N. and Hull, Jonathan J. "System to Achieve Automatic Recognition of Linguistic Strings", United States Patent 4,654,875, assigned to Research Foundation of State University of New York, Albany, N.Y., March 31, 1987 Automatic language (actually, character) recognition by converting words to bit strings, and comparing resulting strings to the best match of similar bit strings: stated as applicable to OCR [Srihari87b] . Srihari, Sagur N. and Bozinovic, Radmilo M. "A Multi-Level Perception Approach to Reading Cursive Script", Artificial Intelligence, Vol. 33 No 2, p. 217-255, 1987 Cursive script recognition [StevensMJ88a] . Stevens, M.J. "A Text Editor Driven by Hand-Drawn Symbols", NPL Report DITC 124/88, 1988 Cited in FordDM91a regarding gestures [Stoll88] . Stoll, Clifford "The Cuckoo's Egg: Tracking a Spy Through the Maze of Computer Espionage", Pocket Books, ISBM 0743411463 Discrepency of 75 cents in a billing program for internet usage led SysAdmin to first public uncovering of an attacker/hacker group is fraudulent [Suen88] () Suen, C.Y. (chair) "Future Challenges in Handwriting and Computer Applications", panel discussion, 3rd International Symposium on Handwriting and Computer Applications, Montreal, May 29, 1987. Panelists: R. Plamondon, C. Tappert, A.J.W.M. Thomassen, J.R. Ward, K. Yamamoto. Summary published January 18, 1988, Prof. Ching Y Suen, Concordia University, Montreal, Canada. Comments included why most handwriting character recognition accuracy reports are "inaccurate" [Summagraphics87] () Summagraphics "Digitizer technology paves the way for portable systems", Computer Design, April 1, 1987, page 9. Summagraphics' low-cost charge-ratio digitizer tablet [Tamura88] () Tamura, S. and Kawasaki, S. "Recognition of Sign Language Motion Images", Pattern Recognition, Vol 21 No 4, 1988, pp 343-353. Cheremes - like phonemes or graphemes, but for (hand) sign language, like American Standard sign language [Tanner87] () Tanner, P.P. "Multi-Thread Input", Computer Graphics, Vol 21 No 2, April 1987, pp 142-145. User interface discussion of having multiple input devices / multiple streams of input: relates to problem of handwriting combining both position AND command/text input, as in gesture recognition? [Tappert87] (*) Tapper, C.C., Suen, C.Y., Wakahara, T. "Research Report: On-Line Handwriting Recognition - a Survey", Research Report RC 14045 (#59748) 12/8/87, IBM Research Division, T.J. Watson Research Center, Yorktown Heights, New York Report on state-of-the-art in handwriting recognition, pen-computing, gestures, curvematching, elastic matching, etc. as of about 1986 Compare with 1990 publication: Tappert90c [Tappert88a] () Tappert, Charles C. "Recognition System for Run-on Handwritten Characters", United States Patent 4,731,857, March 15, 1988, assigned to International Business Machines Corporation, Armonk, New York. https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

23/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

Character stroke segmentation/parsing using an iterative approach to find the best aggregate recognition score for the whole line, or for whole word. Recognition method for run-on handwriting repeating receiving, examining and gradings steps until all strokes have been processed and recognized. [Tappert88b] () Tappert, C.C. "A Divide-and-Conquer Cursive Script Recognizer", IBM Res. Rep. RC14070, Oct. 1988. Cited by Marlin Eller, Microsoft Pen Computing group [Tektronix87a] (*) Tektronix "Tektronix Smalltalk Users Manual", Tektronix, Part No. 061-344000 1987 Smalltalk language and graphical user interface: decribes draw-through or drag gesture for selecting text, in addition to single/double/triple click to select words, sentences, etc. Selection for click also depends on where you click: in middle of word or at start of line. [TI87a] (*) Texas Instruments "Texas Instruments Business Edge Guidebook", Texas Instruments, 1987 Hand-held calculator with PowerTouch display, five touchpad buttons whose labels and functions change to set different functions when user hits SCROLL key. File contains additional materials. Also sold as Radio Shack EC-5500. [TransImage87] () TransImage Corporation "Transimage 1000", hand-held OCR data-entry system for IBM PC XT/AT product announcement, 910 Benicia Avenue, Sunnyvale, California 94086, 1987. [Tsuda88] () Tsuda, I., Shimizu, H., and Hibino, K. "Method and Apparatus of Recognition", United States Patent 4,760,603, July 26, 1988, assigned to Research Development Corporation of Japan, Tokyo, Japan. Strange patent on recognition by looking at oscillation frequencies of hypothetical components streatched between segments of the outline image [Tsugei87] (*p) Tsugei, Shinji and Iguchi, Shigeki "Handwritten Character Input Device", United States Patent 4,656,317, April 7, 1987, assigned to Sharp Kabushiki Kaisha, Osaka, Japan. Handwriting recognition for processing billing receipts on-line: patent on any kind of forms input? [UngarD87] (*) Ungar, David and Smith, Randall B. "Self: The Power of Simplicity", OOPSLA '87, pp. 227-242 Description of SELF programming language: prototype-based object-oriented language: prototypes, slots, and behavior. Prototypes combine inheritance and instantiation. [Viglione88] . Viglione, Sam S. "Voice input systems", Computer graphics: technology and applications, Academic Press, Boston, 1988 ISBN 0126399700 Cited in LCS/Telegraphics case vs. Schumer for input devices like virtual tablets [Wada87] () Wada, Y., Kobayashi, Y., and Mitsuta, T., European Patent 218246 "Graphic data design method", April 15, 1984, assigned to Hitachi, Limited, Tokyo, Japan. User interface patent on design rule checking (?) drawing constraints on CAD input (?) [Wang88a] (*) Wang Laboratories "Video: Wang Freestyle Demonstration", Available on Youtube: video link to SIGGRAPH videos from www.billbuxton.com Want Freestyle desktop stylus/handwriting system, documents may be annotated with dynamic electronic ink and real-time voice recording.. No handwriting recognition, extensive use of direct manipulation gestures. [WangA87] (*) Wang, A., Ho S., and Mainemer, C.I. "Writing Pad", United States Patent 4,638,118, January 20, 1987, assigned to Wang Laboratories, Inc., Lowell, Massachusetts. Dr. An Wang's digitizer: force/pressure-sensitive digitizer using very thin grid of contact lines, as for LCD's. Force/pressure-sensitive digitizer using coarse, then fine position sensing of X/Y grid. Touch surface has special zones for special computer codes (commands). [WangPSP88] () Wang, P.S.P. "Knowledge Pattern Representation of Chinese Characters", https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

24/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

International Journal of Pattern Recognition and Artificial Intelligence, Vol 2 No 1, 1988, pp 161179. Not really about a Chinese/Kanji recognition system, but that Chinese characters are complicated (lots of strokes) because they are like English words (lots of strokes from lots of characters) [Ward87a] () Ward, J. "Design Criteria for and Electronic Tablet Technology with Acceptable Performance for Handwriting Capture and Analysis", Proceedings of the Third International Symposium on Handwriting and Computer Applications, Montreal, Canada, July 20-23, 1987, pp 178-180. [Ward87b] () Ward, J. "Issues in the validity of testing protocols and criteria for on-line recognition of handwritten text", Proceedings of the Third International Symposium on Handwriting and Computer Applications, Montreal, Canada, July 20-23, 1987, pp 67-70. [Ward87c] (*p) Ward, J. and Phillips, M. "Digitizer Technology: Performance Characteristics and the Effects on the User Interface", IEEE Computer Graphics and Applications, April 1987, pp 31-44. [Ward87d] (*) Ward, J. (organizer): Sibert John (Moderator): Buffa, Michael G., Crane, Hewitt D., Doster, Wolfgang, and Rhyne, James "Issues Limiting the Acceptance of User Interfaces Using Gesture Input and Handwriting Character Recognition", panel discussion, Proceedings of CHI+GI Conference on Human Factors in Computing Systems and Graphics Interface, Toronto, April 5-9, 1987, pp 155-158. Much work on handwriting character recognition is very over-stated Participants from Nestor, SRI International, CIC, AEG Research Institute, IBM Thomas J. Watson Research Center, Pencept [Ward87e] () Ward, J. "Combinatorial Aspects of Variability in Handprinted Text", Proceedings of the Third International Symposium on Handwriting and Computer Applications, Montreal, Canada, July 20-23, 1987, pp 60-63. [Ward88] (*) Ward, J. and Kuklinski, T. "A Model for Variability Effects in Hand-printing, with Implications for the Design of On-line Character Recognition Systems", IEEE Transactions on Systems, Man, and Cybernetics, Vol 18 No 3, May 1988, pp 438-450. Generative model for shape variations in handprinted and handwritten characters, based on stroke order, angle, hooks, retracing, and a modification of chain codes using local extrema, for on-line handwriting character recognition [Welbourn88] . Welbourn, L.K. and Whitrow, R.J. "A gesture based text editor", Proceedings of the British Computer Society, pp 363-371, Cambridge University Press, 1988 Cited in Goodisman91, FordDM91a [Whitrow87] () Whitrow, R. and Higgins, C. "The Application of n-grams for Script Recognition", Proceedings of the 3rd Symposium on Handwriting and Computer Applications. Montreal, Canada, 1987 Cited by Marlin Eller, Microsoft Pen Computing group [Williford88] (*p) Williford, John D. "Automatic Reference Adaptation During Dynamic Signature Verification", United States Patent 4,724,542, February 9, 1988, assigned to International Business Machines Corporation, Armonk, New York. Continuous adaptive signature verification recognition: samples are updated automatically over time [Wolf87a] (*) Wolf, Catherine G. and Morrel-Samuels, Palmer "The Use of Hand-drawn Gestures for Text-editing", International Journal of Man-Machine Studies, Vol 27 No 1, July 1987, pp 91102, also available as IBM Report RC 12523. Paper and pencil study of gesture user-interface for editing (proofreader's marks) for user consistency, choice of symbols [Wolf87b] (*p) Wolf, Cathy G. "A comparative Evaluation of Gesture and Conventional Interfaces", IBM Research Division Human Factors research report RC13187 (#58999), October 9, https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

25/26

10.2.2015

(1987..1988) History of Pen and Gesture Computing

1987. Cited in Blatt88: on gesture user interface, single stroke gesture for spreadsheets, with text and pointing recognition [Wolf88] () Wolf, Catherine G. "A Comparative Study of Gestural and Keyboard Interfaces", Proceedings of the Human Factors Society 32nd Annual Meeting, 1988, pp 273-276. Gesture user interface on spreadsheets: 72% faster than keyboard alone, preferred by users, using electronic ink integrated tablet/display: shows "preferred" gesture symbols [Xerox87a] (*) Xerox Corporation, Vista Laboratory "Analyst V1.2t Reference Manual.pdf", Xeros Special Information Systems, Vista Laboratory, 1987 popup/pop-up menus on three-button mouse for varous functions on single-click/double-click. Pop-up menu is context sensitive, depending on what is clicked on and whether there is a current selection. Implemented in Smalltalk-80. Draw-through for drag selection of text. [Yamakawa87] (*) Yamakawa, Tadashi "Character and Figure Processing Apparatus", United States Patent 4,672,677, June 9, 1987, assigned to Canon Kabushiki Kaisha, Tokyo, Japan. User-interface combination of handwriting recognition, and simulated touch-button areas on tablet for Chinese/Kanji word processing Shows a menu of multiple candidate character to select from when the on-line recognizer for handwritten character isn't sure. [Yoshida88] (*p) Yoshida, K., Shimizu, H., and Watari, Massao "Continuous Characters Recognition System", United States Patent 4,764,972, August 16, 1988, assigned to NEC Corporation, Tokyo, Japan. On-line character recognition using inter-stroke handwriting strokes Refers to changes in separate handwritten character variations depending on inter-stroke motion (hooks, continuation marks, etc.) Refers to partially-connected (script-like) writing as continuous writing (don't stop between characters) [Zimmerman87] (*) Zimmerman, T.G., et al "A hand gesture interface device", Proceedings of the ACM CHI + GI '87 Conference on Human Factors in Computing Systems and Graphics Interface, Toronto, Canada, April 5-9, 1987. Association for Computing Machinery, New York, 1987, pp 189196. Cited in Nielsen90 Z-glove, Date-Glove, Data-Glove using ultrasonic/acoustic position sensors for threedimensional digitizing. Alternative input was magnetic sensing of small magnets on a glove. [ZingherO87a] (*) Zingher, Oded "Data Input Unit and Method for Printing Machines", United States Patent 4,639,881, January 27, 1987 Transparent matrix switch / touch screen, using transparent ink (gold, etc.) on two sheets of mylar in row/column geometry.        Main Reference Page       

https://web.archive.org/web/20130502033607/http://rwservices.no-ip.info:81/pens/biblio88.html

26/26

10.2.2015

(1989..1990) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio90.html

Go

44 captures

FEB MAI OKT

2

2012 2013 2014

7 Sep 08 - 23 Okt 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1989 to 1990. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:51 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio90.html http://216.15.114.196:81/pens/biblio90.html http://rwservices.no-ip.info:81/pens/biblio90.html (Generally most up-to-date)

       Main Reference Page        [Abramovitz89] (*A) Abramovitz, R.G., Anderson Jr., R.L., Busse, F.L., Celarier, S.A., Poublan, J-Y. H., and Shorthill, L.R. "Optical Character Reader", United States Patent 4,809,351, February 28, 1989, assigned to SABA Technologies, Incorporated, Beaverton, Oregon. Hardware design of a hand-held scanner for optical (typed) character recognition

[AccessDevelopment90] () Access Development Corporation "FormLink product literature", July, 1990. Address: 2000 Commonwealth Avenue, Auburndale, Massachusetts, 02166, 617332-7200. Forms package, stylus-keyboard electronic-paper user interface, suitable for adding handwriting recognition

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

1/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[ActiveBook89] (*p) Active Book Ltd., Cambridge England "Masterstroke: the notebook computer", London Times, September 7, 1989, p 34.

Portable touch-screen/handwriting product, with character recognition. Active Book: Dr. Herman Hauser, founder: Olivetti financing

[Adolf89] (*p) Adolf, Jurine "An Expert System for the Selection of Input Devices", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 335-339.

Says on-line recognition inferior to almost all other user-interfaces for text input (comparision with Linus)

[AdvancedProducts89] (*p) Advanced Products and Technologies "Voice Computer product announcement", IEEE Computer, September 1989, p 98. Portable voice (!) recognition and output computer product

[Agilis89a] (*p) Agilis Corporation "product information on the Agilis System (TM) of Handheld Workstations", June 12, 1989. 1101 San Antonio Road, Mountain View, California 94043-1008. Portable touch-screen/handwriting product, but no character recognition or electronic ink userinterface: radio net, Unix/OS-2/DOS

[Agilis89b] () BYTE "Agilis Hand-Held Workstations: Computing Power in the Field", BYTE Magazine, August 1989, pp 91-94. [Apple89a] (*) Apple Computer, Inc. "HyperCard User's Guide", Apple Computer, Copyright 1989, Cupertino, CA Basic reference for Hypertalk: new buttons may be defined to auto-higlight, includes lasso gesture for graphical editing

[Apple89b] (*) Apple Computer, Inc. "HyperTalk Beginner's Guide: An Instroduction to Scripting", Apple Computer, Copyright 1989, Cupertino, CA

Basic reference for Hypertalk: describes tool palettes for buttons, text, selection: lasso selection gesture triggerd by tool palette button

[Apple90a] (*) Apple Computer, Inc. "MacIntosh Reference", Apple Computer, Copyright 1990, Cupertino, CA Reference manual/user's guide for MacIntosh computer: CloseView screen magnifier for accessibility

[Apple90b] (*) Apple Computer, Inc. "Getting Started with your MacIntosh", Apple Computer, Copyright 1990, Cupertino, CA

Reference manual/user's guide for MacIntosh computer: desk user interface, explains that "press" does not mean press on the mouse, it means press the mouse button

[AppleProgrammersAndDevelopersAssociation89a] (*) Apple Programmer's and Developer's Association "Hypercard Developer's Toolkit Version 1.0", Apple Programmer's and Developer's Association, 1989 Apple Hypercard documentation from user's group. User interface visual effects (scroll or wipe/swipe). AppMaker Application Generator with GUI graphical user interface editor.

[AppleProgrammersAndDevelopersAssociation89b] (*) Apple Programmer's and Developer's Association "ResEdit Version 1.2B1", Apple Programmer's and Developer's Association, 1989 Apple Hypercard document from user's group. Resource Editor IDE, shows resource builded in a file, resource picker. Properties and attributes of individual resources can be edited. MacsBug 6.0 debugger. Includes LightSpeed C: GUI of build utility allows files to be bundled into segements graphically (partition line) for both source and library files (resources also?)

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

2/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[Atari90] (*p) Atari Corporation "Portfolio hand-held personal computer", Sunnyvale, California, 94089-1302, 1990. [Autosig90] (*p) Autosig Systems Inc. "Sign/on product information", 1990, PO Box 16050, Irving Texas 75016, 214-258-8033. Formerly Signify / Sign-on: signature verification product

[BarkerBA89] (*p) Barker, Barbara A., Hernandez, Irene H., and Machart, Beverly H. "In-line dynamic editing of text or graphics", United States Patent 4,815,029, March 21, 1989, assigned to IBM Corporation. User interface combining free-hand drawing, graphical editing, similar to "Polite" product system by Sheldon Borkin and John Prager, or Xerox Star and Apple MacIntosh with generic functions valid for all types of objects On-line dynamic editing of text or graphics in computer document executing actions on userselected attributes based on internal knowledge of object type rather than by explicit commands

[BarkerBA90] (*) Barker, Barbara A.; Hernandez, Irene H.; Machart, Beverly H. "Method for Modifying Intermingled Text Object and Graphic object within an Object Set Individually or Correspondingly", United States Patent 4,974,194, November 27, 1880 User-interface for stylus/gesture editing of text, using mark-up gestures

[BarkerPG89] () Barker, P.G. and Manji, K.A. "Pictorial dialogue methods", International Journal of Man-Machine Studies, Vol 31 No 3, pp 323-347, September 1989. User-interface for electronic books: multi-media pointing a la hypertext with pictures

[Baum89] () Baru, E. and Haussler, D. "What size net gives valid generalization", in Advances in Neural Information Processing Systems, D.S. Touretzky, editor, Morgan Kaufman, 1989. Martin,GL90b

[Beringer89] (*p) Beringer, Dennis B. and Bowman, Mary James "Operator Behavioral Biases using High-resolution Touch Input Devices", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 320-322.

Nothing study of visual parallax and targetting error in integrated tablet/display: 3/4mm error on their hardware at 17 degrees viewing angle: software offset only good for one user in one position, so they suggest letting the user just get used to visual parallax

[BierEA90a] (*) Bier, Eric A. "Snap-DraggingTn hree Dimensions", ACM SIGGRAPH Computer Graphics, Vol 24 No 2, Mar 1990, pp. 193-204. Proc. I3D '90 Symp. on Interactive 3D Graphics Snap to grid vs. heuristic constraints in three dimensions 3-D similar to compass and ruler for pointing and positioning, in technical illustraction system. Gravity, alignment objects (lines, angles, spheres, etc.), smooth-motion affines. Snap-to-grid in three dimensions in 2-D user interface.

[BilboMK90a] (*) Bilbo, Mark K. "Using MacWrite: Covers MacWrite II/TITLE> Que Corporation, 1990 MacWrite II word processing / electronic publishing

[Blatt89a] (*p) Blatt, Louis A. "Human Factors Support of Gesture Recognition", internal report June 16, 1989, Wang Laboratories, 1 Industrial Avenue, Lowell, Massachusetts 01851. Internal Wang report on variations in chain code writing sequences for handwritten alphabetic characters

[Blatt89] (*p) Blatt, Louis A. "Spreadsheet Gesture Set", internal report February 2, 1989, Wang Laboratories, 1 Industrial Avenue, Lowell, Massachusetts 01851. Internal Wang report on what editing marks subjects used informally on spreadsheets

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

3/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[Blatt90] (*p) Blatt, Louis A., and Schell, Alan "Gesture Set Economics for Text and Spreadsheet Editors", unpublished manuscript, March 3, 1990, Wang Laboratories, 1 Industrial Avenue, Lowell, Massachusetts 01851.

Gesture recognition UI study on "most natural" gestures for text and spreadsheet editing, resulted in proofreader's marks

[BoieB89a] (*) Boie, Bob; Mathews, Max; Schloss, Andy "The Radio Drum as a Synthesizer Controller", Proc. International Computer Music Conference (1989), pp. 42-45

Capacitive touch sensor: transmitting antennae in multiple drum sticks (e.g. multi-touch), receiver in flat drum sensors, different drum sticks use different frequencies. Z proximity sensing up to about 6 inches (compare with Scriptel)

[Borenstein90] (*) Borenstein, Nathaniel S. "Multimedia Applications Development with the Andrew Toolkit", Prentice-Hall, 1990, ISBN 0-13-036633-1 Mostly Dialog and other aspects of Andrew UI programmin

[BowersDevelopment89a] (*) Bowers Development "AppMaker, the Application Generator", Bowers Development, Lincoln MA 1989 ThinkC Class Library object-oriented development system for the Apple Macintosh -- forerunner to FrameMaker? Shows UI for creating dialogs on targeted system. GUI IDE for cross-system development. Includes addendum for version 1.1 of Appmaker.

[BowersHL90a] (*) Bowers, Harold L. "Interactive Template", United States Patent 4,933,514, July 12, 1990

(Printed patent miss-spells Interractive Template): Patent on CadKey fixed-menu command template to be put on top of a digitizer with command iput, commands being grouped on the template. Compare with other templates of the time, such as PenCad, Pencept template with recognition macros (gestures), and work by Doster and Oed.

[Bozinovic89] . Bozinovic, R.M. and Srihari, S.N. "Off-Line Cursive Script Word Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence", Vol 11 No 1, January 1989, pp 68-83. Off-line (vs on line) cursive handwriting recognition. Abstract only. Multi-level analysis of handwriting: points, contours, features, letters, and words Reference-line finding on handwriting, letter segmentation based on local minima or low vertical profiles Topological relationships of contours on handwriting for recognition Lists of features used for cursive handwriting recognition Chain encoding for off-line handwriting cursive script recognition Statistical and syntactic context rules for cursive handwritten words Testing done with two subjects told to do fully-connected script, and to maintain reasonable legibility Said 77% accuracy on whole words with context was good test results (!) Testing of off-line cursive script, but used data taken from tablet digitizer, so no scanning/pixel/gray problems Well-known tenet of pattern recognition practice that for problems with large feature space dimensionality, the sizes of the training and testing sets should be roughly the same Well-known tenet of pattern recognition practice that training and testing sets should not be the same to avoid overly optimistic results

[BrooksFP90a] (*) Brooks, Frederick P. Jr.; Ouh-Young, Ming; Batter, James, J. and Kilpatrick, P. Jerome "Project GROPE - Haptic Displays for Scientific Visualization", Computer Graphics, Vol 24 No 4, August 1990, pp. 177-185 https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

4/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Haptic output display visualization of molecules (electric field surface) and objects, with forcefeedback device. GROPE-1 Device used developed by Margaret Minsky.

[BrownNR89] () Brown, Norman R. and Vosburgh, Ann Marie "Evaluating the Accuracy of a Large-Vocabulary Speech Recognition System", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 296-300. Recognition performance: simple recognition error (how many wrong): adjusted recognition error (how many wrong after removing errors system "not expected" to get right) out of vocabulary words (also removing errors attributed to bad input: tablet or voice input errors? Use of ontext can ADD errors and reduce recognition accuracy: "drag-along" errors where a "correction" due to context screws up subsequent inputs User interface and recognition %: a (speech) recognition system need very good / easy correction mechanisms for user to correct recognition errors

[BuxtonWAS90a] (*) Buxton, William A.S. "A Three-State Model of Graphical Input", Proc. INTERACT 90, pp 449-456

Modeling pointing (stylus, joystick, mouse, touchscreen, lightpen) user interfaces as transitions among three states: touch, proximity, out-of-range. Does not model multiple buttons directly. Tap is no motion in touch. Mentions timeout cue (no motion/dwell gesture) for pointing.

[Byrne89] () Byrne, Jani Gabriel "Competitive Evalution in Industry: Some Comments", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 423-425. Notes on comparing competitive commercial user interfaces

[CalComp90] (*p) CalComp "CalComp 2300 Series DrawingBoard Digitizers", CalComp Incorporated, 1990. [Canon89] (*) Canon "Ai Note IN-3000 product announcement", CanonVoice, February, 1989 (in Japanese). Small, portable notebook-style handwriting input/recognition (PDA) product from Canon, 1980

[CardSK90a] (*) Card, Stuart K.; Mackinlay, Jack D.; and Robertson, George G. "The Design Space of Input Devices", Proc. CHI '90, pp. 117-124 Comparison of user-interface features for tablets, touch pads, light pens, mouse, and other pointing input devices: resolution, foot print, speed and error performance, accuracy.

[Carpenter89] () Carpenter, Gail and Grossberg, Stephen "Hierarchical neural approach", Boston University press release, 1989. [ChengF89] (*p) Cheng, F., Hsu, W., and Chen, C. "Fuzzy Approach to Solve the Recognition Problem of Handwritten Chinese Characters", Pattern Recognition, Vol 22 No 2, pp 133-141, 1989. Fuzzy set recognition applied to Chinese characters Most troublesome problem in Chinese handwriting is great variation among hand-prints Assumptions about statistical probability density in handwriting recognition are highly dubious It is impractical to deal with variations in handwriting with probability densities A similarity measure between strokes in Chinese character based on angle feature, not length Stroke length not a reliable feature in Chinese characters 96% recognition rate on 881 Chinese characters (160 variations each), once rejects are removed

[ChowD90] (*) Chow, Doris and Kim, Joonki "Paper Like Interface for Educational Applications", Proceedings fo National Educational Computing Conference, June 20-22, 1989, Boston, Massachusetts, pp. 337..344 Part of the paper-like interface PLI projects at IBM: electrostatic/capacitive digitizer (Scriptel) over LCD display, exploration of gesture input. Teaching block-printing to children by direct comparision

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

5/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

with prototype shapes. Statest that gesture recognition requires a different recognition strategy. Crossword-puzzle as teaching drill using handwriting recognition. Music editing demonstration modeled after Buxton, but not using same recognition technology.

[CIS89] () CIS: "Geometry Ball product information", CIS Group, Postfach 10 01 80, D-4060 Viersen 1, West Germany, 1989. Six-degree of freedom 3-D pointing mouse device.

[Clark89] (*) Clark, D.M. "Pattern Recognition Method and Apparatus", United States Patent 4,805,225, February 14, 1989, assigned to The Research Foundation of the State University of New York, Albany, New York. Hierarchical network recognizer, similar to neural nets, to determine the presence of a feature (but how are features weighted?). Cites work on connectionist models for neural nets

[ClarkAJ90] (*) Clark, Andrew J. "Do you really know who is using your system? - A Survey of Personal Authentication Techniques", Paper to be presented to the British Computer Society, Technology of Software Protection Specialist Group, February 1990 Review of authentication techniques: Something Known (password), Something Owned, Optically read cards, Smart cards, Password Generators, Personal Authenticators, Physical Charactgeristics -Fingerprint, Retinal Scan, Voice Verification. Mentions *dynamic* signature verification as an "involuntary response", cites low hardware reliability of touch-screens: Dr. John Parks of the British Technology Group for signature verification products

[ComputerBusinessReview89] (*) Computer Business Review "IBM Announcements Computer Business Review", Computer Business Review, Issued 1146, March 31, 1989 Report on IBM PLI "paper-like interface", and comparision with Quest Automation Datapad development in the United Kingdom: Quest Datapad 15 years previously (1975?) .

[ComputerS89] () Computer Shopper "Paper-like Interface -- IBM researchers are exploring a way to use computers in which people simply write on a flat surface", Computer Shopper, June 1989, page 169. Press announcement of IBM's electronic ink handwriting recognition product

[CorrentDR89a] (*) Corrent, Dean R. "Computer System User Interface", United States Patent 4,827,410

User interface for transparent digitizer or touchscreen which covers a display and also portions of working surface next to the display. Fixed Menus can be mounted outside the area of the display.

[Danis89] () Danis, Catalina M. "Developing Successful Speakers for an Automatic Speech Recognition System", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 301-304.

Training users to adapt to a particular speech recognition: Problems are too clear at end of words, too mushy at start of words, no word separation, speak too fast Data base /testing: very important to try realistic conditions: realistic conditions include the fact that users adapt to the system

[DannenbergRB89a] (*) Dannenberg, R.B. and Amon, D. "A gesture based user interface prototyping system", Proc. UIST '89, 1989, pp 127-132

Slide-switch, two-finger (multi-touch) twist knob, click gestures. Hand-coded recognizer in prototype. Buttons: multitouch? Touchscreen/tablet was McAvinney Sensor Frame. Describes user interface system using object that are responsive to multiple, concurrent gestures (more than one finger); object is responsive to gesture if point of (first) contact falls within its bounding box. Includes "graphical switch" and "graphical slide switch" to turn on/of.

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

6/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[DarraghJJ90a] (*) Darragh, John J.; Witten, Ian H. and James, Mark L. "The Reactive Keyboard: A Predictive Typing Aid", IEEE Computer, November 1990, pp. 41-49

Graphical/virtual/synthetic keyboard on-screen keyboard on Apple MacIntosh, usable with mouse without physical keyboard. Also includes predictive type-ahead. One use is as accessiblity technology, combined with dwell-mouse for handicapped use.

[Datakech90] () DataKech, Incorporated "Scriptwriter product information", 15331 Manor Village Lane, Rockville, Maryland 20853. [Datapro89] () Datapro Research, Manufacturing Information Systems Data Collection report #450 "Handwriting Recognition Systems", January 1989. Datapro report on Linus Write-Top and Data Entry Systems ScriptWriter handwriting recognition products.

[DavisE89] () Davis, Elliot "Pattern Recognition Error Reduction System", United States Patent 4,802,231, January 31, 1989. Patent abstract only Error reduction by matching patterns against additional templates of patterns otherwise mismatched.

[Denker89] () Denker, J.S., Gardner, W.R., Graf, H.P, Henderson, D., Howard, R.E., Hubbard, W., Jackel, L.D., Baird, H.S., and Guyon I. "Neural network recognizer for Handwritten zip code digits", In Advances in neural information processing systems I, D.S. Touretzky, editor. Morgan Kaufman, 1989. Martin,GL90

[DestombesF89a] (*) Destombes, F. "Virtual All-Points-Addressable Tactile Display", IBM Technical Disclosure Bulletin, May 1, 1989, Vol 89 No 5, pp. 135-136 Compare with optacon: small finger-sized display for tactile output. Refers to small display being movable over desktop surface, and sensing absolute position on the surface (such as through mesh/grid of wires: electromagnetic/electrostatic tablet?)

[DFM89a] () DFM Business Systems Inc. "DBF unveils 3.5-pound hand-held PC", Travelite 286 Product announcement, Info World, September 11, 1989, vol 11 no 37. [DFM89] () DFM Business Systems Inc. "Hand-held CPU for health care uses infrared-link", Travelite 286 Product announcement, Network World, Oct 30, 1989, v6 no 43. [Dragon90] () Dragon Systems "DragonDictate product announcement", Newton, Massachusetts, March 1990. Commercial voice/speech recognition product

[Drumm89] () Drumm, Donald E. "Electronic Light Pointer for a Projection Monitor", United States Patent 4,808,980, February 28, 1989, assigned to Wang Laboratories, Lowell, Massachusetts. Patent on wall-mounted light pen for projection TVs, displays

[Dynabook89] (*p) Dynabook Technologies "product literature and press release", October 1989. PC/Computing, October 1989. Rumored portable touchscreen product: handwriting recognition?

[Evergreen90] () Evergreen Technologies "Gestures product announcement", Jeffrey Siegel, Fox Chapel Center, Suite 401, 19751 Frederick Road, Germantown, Maryland 20874, personal correspondence, March 12, 1990. Handwriting (adaptive?) character recognition product, gesture interfaces?

[Exos90] () EXOS, Inc. "Dexterous Hand Master exoskeleton product information", August 1990. 8 Blanchard Road, Burlington, MA 01803, 617-229-2075. https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

7/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Data-glove, mechanical version, n-dimensional pointing device including Polhemus 3-D digitizer

[Faggin89] () Faggin, Federico, and Lynch, Gary S. "Brain Learning and Recognition Emulation Circuitry and Method of Recognizing Events", United States Patent 4,802,103, January 31, 1989, assigned to Synaptics, Incorporated, San Jose, California. Neural net patent Successive stages of recognition threshholds set for neural nets learning Includes neural net feature to resolve mis-recognized patterns confused with a pattern already learned Press announcement and description of IBM prototype signature verification system

[FederalCW89] () FCW "Smart signatures at FED: Net Prototype uses Biometrics, Smart Cards", Federal Computer Week, May 22, 1989, page1. [Fellows89] () Fellows, Gerald, L. and Freivalds, Andris "The use of force sensing resistors in ergonomic tool design", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 713-717. Pressure/force sensors for hand-tools (drills, hammers, etc.): also stylus?

[FlemingSS90a] (*) Fleming, S.S. "IBM 384381 Fleming Architecture forSeparate UserInterface Software Development", IBM Technical Disclosure Bulletin, DA890-0063 JHB, Vol 33 No. 6A, November 1990 pp. 483-485

Separation of user-interface from application, messages send to application from action bars (menus) or pop-up windows (pop-up menus).

[FlowerDR91a] (*) Flower, Dale R. Flower; Gallarelli, pat; Goffinet, Kevin P.; Miles, Anthony W., Rudisill, Charles A.; and Vorhees, Kevin H. "Touch sensing display screen apparatus", United States Patent 5,038,142, August 6, 1991

Touchscreen or tablet measuring force at four corners of a monitor with strain gauges, monitor is mounted so that it can only move in the "Z" direction, and that not by much.

[FooteB89] (*) Foote, Brian "Class Warfare: Classes vs. Prototypes", Workshop on Objects without Classes, OOPSLA '90, New Orleans, LA

Discussion of classless prototype-based languages, including Smalltalk and SELF. No description of development environments.

[Francik89] () Francik, Ellen and Akagi, Kenichi "Designing a computer pencil and tablet for handwriting", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 445-449.

Design of WANG Freestyle tablet and stylus: taper, length, comparison of human factors of tablets. Gives samples of types of writing for tablet and stylus design. Freestyle stylus was engineered to look and feel like a pencil, with an "eraser" button (colored pink) on the rear end of the stylus. Tablet digitizer itself was electromagnetic, designed by Hitachi.

[Fujiwara89] () Fujiwara, A., Takenouchi, M., and Shimizu, M. "Character Recognition Apparatus", United States Patent 4,813,078, March 14, 1989, assigned to Matsushita Electric Industrial Company, Limited, Kadoma, Japan.

Optical character recognition for typed Kana using direction codes / chain codes of outer perimeter to compare best matches of lengths of segments

[Furukoori89] () Furukoori, H. "Image Contour Detecting Apparatus", United States Patent 4,817,173, March 28, 1989, assigned to Kabushiki Kaisha Meidensha, Tokyo, Japan. Patent abstract Curve tracing

[Gaver89] () Gaver, W.W. "The SonicFinder: An interface that uses auditory icons", Humanhttps://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

8/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Computer Interaction, Vol 4 No 1, 1989, pp 67-94. Cited in Nielsen90

[Geiser89] () Geiser, Georg "Handprinted Data Entry with a Touch-Sensitive Numeric Keypad", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 305-308. Handwriting character recognition using a calculator's 5x5 (3x3 plus spaces between) keypad (similar to some Japanese calculator products): instead of double keying for alphabetics on a small calculator. Claims "very low" error rate: but unknown, does not say what the rate was. Shows number of variants/variations considered is NOT combinatorial.

[Go90] () Go Corporation, Foster City, California "Go Corp. Gets IBM's Backing For 'Tablet PC'", PC Week, April 9, 1990, page 1. Go Corp. principals: Robert Carr (Aston-Tate), Jerry Kaplan (Lotus), Daniel Lewin (Next). Portable handwriting recognition product: PenPoint

[Gonzalez89] () Gonzalez, Rafael C. and Jerrera, Juan A. "Apparatus for Reading a License Plate", United States Patent 4,817,166, March 28, 1989, assigned to Perceptics Corporation, Knoxville, Tennessee.

Features on license plates are edges, contours, height, width, topline and baseline, structural analysis, templates once the state (and therefor font) are known.

[Goolsbey89] () Goolsbey, Michael A., Jones, Eugene R., Micka, William F., and Robinson, Thomas, S. "Locating Individual Images in a Field for Recognition or the Like", United States Patent 4,817,186, March 28, 1989, assigned to International Business Machines, Armonk, New York. Hardware to segment separate typed (handwritten?) characters for OCR recognition

[Graphonomics89] () International Graphonomics Society "Membership directory", April 1989, c/o Department of Experimental Psychology, University of Nijmegen, PO Box 9104, 6500 HE Nijmegen, The Netherlands. Index of researchers in handwriting analysis, signature verification, and character recognition

[GreenM90] (*) Green, Mark, and Jacob, Robert "SIGGRAPH '90 Workshop Report: Software Archivetures and Metaphors for Non-WIMP User Interfaces", Computer Graphics, Vol 25 No 3, Jully 1991

UI/GUI design beyound pointing devices such as mouse and/or stylus digitizer: using gaze, sound, body motion: also gesture?

[Greenstein89] () Greenstetin, Joel S. and Baijal, Anish "An Investigation of Techniques for Occasional Numeric Data Entry", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 310-314. User-interface review of numeric keypad with mouse, multiple menus, sliders, clickers, simultaneous menus. Reference to Quest Automation in 1970's as earlier product

[GridPad89] () Computergram International "Grid's GridPad handheld takes handprint data entry", Computergram International, October 2, 1989, no 1275.

BYTE magazine gives award to GridPad product: compare 1985 award to PenPad. Additional GridPad information in file. GridPad 1910 ruggedized tablet computer, etc. One source cites GRiD Compass 1101 as "The first Clamshell Laptop", but it was predated by the DG/1 from Data General running MS/DOS.

[GridPad89a] (*p) Grid Systems "Getting Started with GRiDForm", Grid Systems Corporation, September 1989 https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

9/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[GridPad89b] (*p) Grid Systems "GRiDPAD Program Development Manual", Grid Systems Corporation, September 1989 [GridPad90a] () BYTE "The BYTE awards (important products and technologies)", Byte magazine, January 1990, vol 15 no1, p. 285. -- GRiD System's GRiDPad, Lotus Magellan, Zenith MinisPort, Poqet PC, etc. [GridPad90] () Grid Corporation "GridPAD PadBase+ Training Course", course description, April 11, 1990, provided by Rober Artusy, R2Z Incorporated, 39120 Argonaut Way, Suite 319, Fremont, California 94538. GridPAD user-interface with stylus, training Correspondence includes list of features to be used for punctuation marks, handwriting prototype base forms and shapes

[Grossberg89] () Grossberg, Steven and Mingolla, Ennio "Neural Networks for Machine Vision", United States Patent 4,803,736, February 7, 1989, assigned to The Trustees of Boston University, Boston, Massachusetts. Patent abstract only Boundary/edge/curve contour, feature contour, and object recognition in machine vision

[GTCO89a] (*) GTCO Corporation "CalComp 9500 Digitizer Series: User's Guide", GTCO Corporiation, Copyright 1989 CalComp/GTCO 9500 digitizer with Pressure Pen stylus: senses tip force, not pressure: electromagnetic / magnetic coupling, stylus is transmitter. Includes software to use tip sensor as switch, with adjustable force threshold.

[GuiseDA89a] (*) Guise, Dario A. "Efficient Frame Systems", Proc. EPIA 89 4th Portuguese Conference on Artificial Intelligence, pp. 39-50 Description of Garnet UIMS user interface management system, with color management.

[Guo89] () Guo, Z. and Hall, R.W. "Parallel Thinning with Two-Subiteration Algorithms", Communications of the A.C.M., Vol 32 No 3, March, 1989, pp 359-373. Skeletonization/line-thinning using four compass directions, which preserves line connectedness

[HaarslevV90a] (*) Haarslev, Volker and Moeller, Ralf "A Framework for Visualizing Object-Oriented Systems", Proc. ECOOP/OOPSLA '90, October 21-25 1990, pp. 237-244

Separating application and visualation in user-interface UIMS for automatic visualization of class hierarchies and graphs. Lisp/X-Windows, cites to visual programming

[HallRW89] () Hall, R.W. "Fast Parallel Thinning Algorithms: Parallel Speed and Connectivity Preservation", Communications of the A.C.M., Vol 32 No 1, January 1989, pp 123-131. Robert M Harlick is editor for many CA.C.M. OCR line-thinning articles OCR handwriting line thinning algorithm which does NOT eliminate diagonal lines

[Harnad89] () Harnad, S. "The symbol grounding problem", CNLS Conference on Emergent Computation, Los Alamos, May 1989. Martin,GL90

[HauptmannAG89a] (*) Hauptmann, Alexander G. "Speech and Gesture for Graphic Image Manipulation", Proc. CHI '89, May 1989, pp. 241-245

Wizard-of-Oz simulation of gesture/speech interface to computer, using three-dimentional 3D multiple hand and finger gestures. Mentions Rolky and Lee multi-touch input devices for prototypes.

[Hayashi89] () Hayashi, Y., Sakata, M., Nakao, T., Ohno, T. and Ohhashi, S. "Alphanumeric character recognition using a connectionist model with the pocket algorithm", (abstract only), Proceedings of International Joint Conference on Neural Networks, Washington, D.C., June https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

10/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

18-22, 1989, Vol II p. 606.

OCR for a single font using neural networks

[HenryTR90] (*) Henry, Tyson R.; Hudson, Scott E.; and Newell, Gary L. "Integrating Gesture and Snapping into a User Interface Toolkit", in in UIST'90 (1990), ACM, pp 112-122 "X" cross-out gesture to delete; alphabetic gestures in a special "gesture area" on the tablet -compare with Pencept PenPad?

[HigginsCA90a] (*) Higgins, Colin L. and Duckworth, R. James "The PAD (Ped And Display) - A Demonstrator for the Electronic Paper Project ", Computer Processing of Handwriting, World Scientific Publishing, 1990, pp. 111-131

Electronic Paper Project EPP prototype of integrated tablet and display. Compare with IBM PLI Paper-Like Interface. Refers to parallax problems of touchscreen digitizer. Touchscreen (Scriptel: some parallax problems) used with Apple MacIntosh and MacWrite instead of mouse.

[HildebrandTK89a] (*) Hildebrand, Thoms K. and Stein, Norbert J. "Electronic book for reading textual information from an electronic medium / Elektronisches Buch zum Lesen literaturartiger Informationen aus einem elektronischen Medium", European Patent EP 0337401 A2, published October 18, 1989 (in German)

Electronic book system with flat display, touch-display-screen interface: touching a word or other element in text displays additional relevent information, boolean search expressions.

[HorowitzSL89] () Horowitz, Steven L. "Method and Apparatus for Generating Size and Orientation Invariant Shape Features", United States Patent 4,803,230, January 31, 1989, assigned to GTX Corporation, Phoenix, Arizona.

Character recognition, OCR, statistical decision tree. OCR using features of six bounding rectangles at different angles, translated to direction (chain?) codes OCR using Fourier transforms, autocorrelations, moments, centroid of largest hole and center of character

[Hsieh90] () Hsieh, A.-J., Kunk, S.-J., Shiau, S.-L., Kao, M.-C., and Chen, J.-W. "An Experimental System for Stroke-number Free On-line Chinese Character Recognition", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 73-86.

Taiwanese efforts on both OCR and on-line Chinese character recognition: 5401 characters x 23 people x 10 samples each OCR, 5401 x 23 people (mixed) on-line data base collection. Later came by to visit Wang: part of five-year project, 9 people OCR, 5 on-line, first year is "find out everything there is to know"

[Hubby89] (*) Hubby, Laurence M. "Flat Panel Display with Integrated Digitzing Tablet", United States Patent 4,873,398, October 10, 1989

Optical digitizing tablet integrated with a flat (flat front surface CRT?) display. Light is emitted by the stylus, projected back through the same optical path used for projecting the image on the front surface (?). Cites Scriptel.

[Hull90] () Hull, Jonathan J., Commike, A., and Ho, T.-K. "Multiple Algorithms for Handwritten Character Recognition", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 117-130. OCR for handwritten Zip codes, address blocks Description of IBM signature verification system at Federal Reserve

[IBM89a] () Federal Computer Week "Smart Signatures at Fed", Federal Computer Week, https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

11/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

May 22, 1989, Page 1. [IBM89b] () IBM Corp. Research Division, press release "IBM Writing Interface May Replace Typing", spokesperson Gerald Present, September 1989, 914-945-3884. Description of IBM's "paperlike interface" user interface

[IMCS90] () International Machine Control Systems "MousePen product literature", January 1990. 1332 Vendels Circle, Paso Robles, California 93446. 1-805-239-8976. Stylus-shaped mouse with mechanical trackball: substitute for a tablet?

[Impedovo90] () Impedovo, S., Castellano, M., Pirlo, G., and Dimauro, G. "An Off-line Writer Identification System Based on a Syntactic Approach", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 53-64.

Like signature verification, but using regular hand printing (a nothing paper, looks like they had to change horses from adaptive handwriting recognition in mid-stream)

[IndustrialEE89] () Industrial Electronic Engineers, Inc. "Pixie Graphic LCD Switch keyboard product literature", 1989, 7740 Lemona Ave, Van Nuys, CA 91409, 818-787-0311.

User-interface item: keys with individual graphic LCD displays in the key top for relabeling the keys

[IshikawaY90] () Ishikawa, Y., and Kakajima, K. "A Real Time Connected Word Recognition System", 10th International Conference on Pattern Recognition, Atlantic City, New Jersey, June 16-21, 1990. Note on Chinese character recognition product internal to Wang Laboratories, but shown publicly.

[ITRI89] () ITRI "Chinese Character Recognition", Wang Laboratories internal memorandum on discussions with Industrial Technology Research Institute (ITRI) in Taiwan, June 20, 1989. [Jackel89] () Jackel, L.D. "VLSI Technology and Neural Network Chips", Tutorial Notes No 8, International Joint Conference on Neural Networks, Washington D.C., June 18-22, 1989. Contains examples of neural nets for handwritten numerals recognition in O.C.R.

[JohnsonJ89] (*) Johnson, J., Roberts, T.L., Verplank, W., Smith, D.C., Irby, C.H., Beard, M., and Mackey, K. "The Xerox Star: A Restropective", IEEE Computer, Vol 22 No 9, September, 1989, pp 11-28.

User-interface description of the development of the Xerox Star desktop paradigm, now called ViewPoint (originally on Alto computer) Xerox Star original desktop direct-manipulation user-interface intended only for casual users Desktop metaphor for user interface is intended for office applications an publishing, not software developments (tools based) Direct-manipulation desktop user interface (no processing on files per se) is orthogonal to toolsbased user interface (UNIX/SunView Windows: any file can be operated on by any tool, even if not sensical) Clean user-interface lies more in Xerox Star details, not in features Mouse pointing input must be handled at low-level by system to prevent jerkiness, jumps, dead time as the system degrades: these (mouse or tablet or whatever) are eye-hand co-ordination devices One-button mouse (or tablet stylus) vs. two-button: fewer button confusion errors, but more increased selection errors Overlapped-windows cause users to spend time adjusting windows so they don't overlap: just use tiled windows to begin with (if the display is 17" large) Xerox Star: cites user-interface work by many others using graphical/sketch input, Xerox View Point

[JohnstonJP89] () Johnston, J.P. and Russell, D.L. "Information Display and Entry Device", United States Patent 4,814,760, March 21, 1989, assigned to Wang Laboratories, Lowell, https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

12/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Massachusetts.

Patent on integrated tablet and display for a dynabook/electronic-ink?

[Jones89] () Jones, D., Hapeshi, K., and Frankish, C. "Design guidelines for speech recognition interfaces", Applied Ergonomics, Vol 20 No 1, March 1989, pp 47-52.

Syntax (context) has profound effects on speech variability, so design user-interface to minimize effects Very important to collect samples (speech) in context for training: phonetic, semantic, and personal stress context affect variability Issues of user-interface design for task-specific, limited speech recognition

[Jourjine89] (*) Jourjine, A.N. "Microprocessor Assemblies Forming Adaptive Neural Networks", United States Patent 4,809,193, February 28, 1989. Cellular automaton for neural nets, using radiated entergy coupling between separate microprocessors

[Jourjine90] (*) Jourjine, Alexander "Variable capacity transmission medium", United States Patent 4,967,369 Neural net establishing correlation between signals by exchange of random codes

[Katsurada89] () Katsurada, Morihiro "Method of a System for Analyzing Characters", United States Patent 4,811,412, March 7, 1989, assigned to Shapr Kabushiki Kaisha, Osaka, Japan. Segment/parse character from right and left, see if they match, if they don't, try templates

[Katt90] (*) Katt, Spencer F. (pseudonym) "Microsoft ueber alles?", PC Week, April 16, 1990, page 182

"Rumor Central": Microsoft conference in Canada, microsoft starting development of Windowsbased operating system for handwriting recognition, to compete with GRiD and Go Corporation, estimated release is 12 to 18 months

[Kawakami90] (*) Kawakami, Yasushi; Obata, Fukue; Makihara, Kayoko; Shiro, Yamada, Morimoto, Yoshinari et al "Data processing device with screen separated into line format area and ata display area", United State Patent 4,897,804, January 30, 1990 Text-input recognition area on tablet, data can be moved into regular display area

[KellyW90] (*) Kelly, William "Sparking Stylus for Acoustic Digitizer", United States Patent 4,891,474, January 2, 1990 SAC Science Accessories Corporation sparking stylus for acoustic/sonic tablet digitizer

[Kensington89] () Kensington Microware, Turbo "Mouse trackball product literature", Kensingon Microware, 1989. 251 Park Avenue South, New York, New York 10010. Mouse/digitizer trackball replacement products

[Khotanzad90] () Khotanzad, Alireza and Hong, Yaw Hua "Rotation invariant image recognition using features selected via a systematic method", Pattern Recognition, Vol 23 No 10, October 1990, pp 1089-1102. Character recognition using rotation-invariant features - Zernike moments (what about "E" and "W"?) Rotation-invariant OCR: 84% on numeric handprinted characters, 16,550 samples, 99% on "clean" alphabetics Numeric handprinting OCR samples from Recognition Equipment, Inc. Claims 84% correct recognition rate is very effective

[Kinnucan89] () Kinnucan, P. "The Versatility of Graphics Tablets", Computer Graphics Review, Vol 4 No 7, July 1989, pp 44-52. Simple-minded review article on digitizer technologies

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

13/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[Knight89] () Knight, Leland, W. and Retter, Dale "Datahand: Design, Potential Performance, and Improvements in the Computer Keyboard and Mouse", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 450-454. Two handed mouse/keyboard user-interface combination, using the "Datahand" product

[Koezuka89] () Koezuka, T., Tsukahara, H., Nakashima, M. "Pattern Matching Method and Apparatus", United States Patent 4,805,224, February 14, 1989, assigned to Fujitsu, Limited, Kawasaki, Japan. Video pattern matching recognition using two-dimensional extracted image from frame buffer

[Kreifeldt89] () Kreifeldt, J.G., Levine, S.L., and Iyengar, C. "Reduced Keyboard Designs using Disambiguation", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 441-444. Stenotype-type user interface keyboard design: one key per finger, multiple characters per key

[KreinPT90a] (*) Krein, Philip T. and Meadows, R. David "The Electroquasistatics of the Capacitive Touch Panel", IEEE Trans. on Industry Application, Vol. 26, No 3, May/June 1990, pp. 529-534 Seems to be same as KreinPT88a: review of wavy-line distortion and inaccuracies in resistive/capacitive touch panels and tablets using resistive sheets.

[Krzyzak90] () Krzyzak, A., Dai, W., and Suen, C.Y. "Unconstrained Handwritten Character Classification Using Modified Backpropagation Model", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 155-166. [Kuan89] () Kuan, C-C.L. and Srihari, S.N. "Analysis of handwritten text images using runlength based algorithms", IEEE Transactions on Pattern Analysis and Machine Recognition, to appear, 1989. Taxt90

[KuoWC90a] (*) Kuo, Wen-Cheh; Lin, Chia-Hui; Chou, Te-Chang; Lian, Yuan-Hsiung "Touch-control Computer Mouse", United States Patent 4,977,397, December 11, 1900 Small touchpad mounted in a mouse-like housing, to plug into a mouse port printed patent title miss-spells "mouse" as "house".

[Kulp90] () Kulp, James and John "telephone conversation", April 1990. SuperScript Incorporated, Cambridge, Massachusetts, 617-876-0787. Working on a portable handwriting recognition product (with forms) John Kulp says they are a Symbolics spin-off: CD-ROM portable box for manuals. Did their own elastic matching: not super happy with it (using lots of context helps)

[Kundu89] () Kundu, Amlan, He, Yang, and Bahl, Paramvir "Recognition of Handwritten Words: First and Second Order Hidden Markov Model Based Approach", Pattern Recognition, vol. 22, no. 3, p. 283, 1989 Cited by Marlin Eller, Microsoft Pen Computing group

[Kurosawa89] (*p) Kurosawa, Y., European Patent 335696 "Pattern recognition apparatus with two-part reference storage", assigned to Toshiba.

Two-level OCR recognition using contours for one level, then detailed features for final resolution Performs choice of matching pattern from among number of candidate standards preselected using partial characteristic data. Describes tablet template, side-menu touch buttons for tablet (user-interface) Kurta's cordless stylus/pen for a digitizing tablet

[Kurta89] (*p) Kurta "Kurta IS/ONE, IS/ADB, and IS/TWO product description", Kurta Corporation, 3007 East Chambers Road, Phoenix, Arizona 85040 https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

14/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

shows static templates GUI for picking commands in various applications

[Kuzunuki89] (*) Kuzunuki, Soshiro, Shojima, Hiroshi, Miura, Masaki, Mori, Junko, and Mifune, Toshimi "Real Time Handwritten Character Input System", United States Patent 4,860,372, August 22, 1989, assigned to Hitachi, Limited, Tokyo, Japan.

User interface on keyboard emulation with handwriting input: Ward85 was cited as prior art (check US Patent category 382,13). Handwriting user interface: use a Times-square circular buffer for writing in, because written character are bigger than typed font

[LacyME89a] (*) Lacy, Mark. E. "Artificial Laboratories", AI Magazine, Vol 10 No 2, 1989, pp. 43-48

Artificial realty environment, mentions virtual switches and virtual slide switches in graphical userinterface UI: input is by a DataGlove in three dimensions: refers to hand movements instead of gestures -- pinch gesture shown?

[LandayJA93a] (*) Landay, James A. and Myers, Brad A. "Extending an existing user interface toolkit to support gesture recognition", Proc. CHI '93, Interact '93, pp. 91-92

in Garnet system papers: cites to PenPoint for gestures. Adding gesture support to widget input: proposes using Rubine adaptive/trainable recognition. Recognizer passes some graphical features to interactor: e.g. bounding rectangle (but not hotpoint?) No support for context of gesture (object it is written on).

[LandmeierWL89a] (*) Landmeier, Waldo L. "Ink-on-Glass Digitizer Tablet and Method of Construction", United States Patent 4,873,399, October 10, 1989 Transparent touchscreen with spaced vertical conductive ink conductors on top surface of glass substrate, second set of horizontal conductors on bottom surface

[LeCun90] () Le Cun, Y.; Boxer, B., Denker, J.S., Henderson, D., Howard, R.E., Hubbard, W., Jackel, L.D., and Baird, H.S. "Constrained Neural Network for Unconstrained Handwritten Digit Recognition", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 145-154.

In his notes, claimed neural nets can learn feature on their own: actually, his net structure, pixel resolution, etc. determined the class of features. OCR of handwritten zip codes: segmentation, "bad" samples already done.

[LeeS89] () Lee, Seongwhan, and Kim, Jin H. "Unconstrained Seal Imprint Verification using Attributed Stroke Graph Matching", Pattern Recognition, Vol 22 No 6, 1989, pp 653-664. Like signature verification, but for the stamps/seals used in oriental/Chinese countries Spatial distributions of stroke skeletons: recognition independent of size/scale/magnification

[Legault90] () Legault, R., Suen, C.Y., and Nadal, C. "Classification of Confusing Handwritten Numerals by Human Subjects", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 181-194. Similar to Shillman functional attribute experiments, using old zip-code samples Contains some hypothesis on distinguishing features for handwritten numerals and human recognition

[Li89a] (*p) Li, H.F., Pao, Derek, and Jayakumar, R. "Improvements and Systolic Implementation of the Hough Transformation for Straight Line Segments", Pattern Recognition, Vol 22 No 6, 1989, pp 697-706.

Add contiguity check to Hough transform to find straight line features in a binary image: handles

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

15/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

overlapping lines, short lines.

[Li89b] (*p) Li, H.F., Jayakumar, R., and Youssef, M. "Parallel algorithms for recognizing handwritten characters using shape features", Pattern Recognition, Vol 22 No 6, 1989, pp 641652. Static/OCR handwriting recognition: features are local shape, start and end points, edge types, and join relations in contours (digits only!) OCR for handwritten digits: 120 samples per digit Handwriting OCR: twelve relations for contours: compare to combinatorial explosion in Ward88? chain codes via systolic array

[Lien89] (*a) Lien, Yih-Liang L. "Apparatus and Method for Vectorization of Incoming Scanned Image Data", United States Patent 4,817,187, March 28, 1989, assigned to GTX Corporation, Phoenix, Arizona.

Patent abstract only. Curve-tracing, curve-follower, scanner algorithm for detecting lines in OCR or image analysis.

[LintonMA89a] (*) Linton, Mark A.; Vlissides, John M.; and Calder, Paul R. "Composing User Interfaces with InterViews", IEEE Computer, February 1989, pp. 8-22

UIMS (Garnet/Interactors) in C++, colors and appearance of UI defined in run-time calls to C++ classes, including color management, model is based on X toolkit. Multiple UIs for same application, UIs need not be entirely graphical.

[Litvin89] (*p) Litvin, Y. and Kuklinski, T. "Recognitive Sciences Provides Cost Effective OCR Solutions for OEM's", company profile, Recognitive Sciences, 323 Andover Street, Wilmington, Massachusetts 01887, 1989.

Report on OCR work by Kuklinski and Litvin at Recognitive Sciences: see also RecognitiveSciences references.

[LoganJD89a] (*) Logan, Jame D. and Litvin, Yury "Touch Screen Computer-Operated Video Display Process and Apparatus", United States Patent 4,821,029, April 11, 1989

Touch screen UI: select a button or area, information is copied to a different window or area on the screen.

[Logitech89] (*) Logitech Corporation "LogiMouse C7 Technical Reference Manual", Logitech Corporation, 1989.

Electronic digitizer tablet sold as a mouse replacement: emulates Microsoft Mouse data format, other tablets

[LuS90] (*) Lu, S.W. and Suen, C.Y. "Heirarchical Attributed Graph Representation and Recognition of Handwritten Chinese Characters", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 87-100. Chinese/Kanji OCR. Abstract only

[Mack89] (*) Mack, Robert, and Lang, Kathy "A Benchmark Comparison of Mouse and Touch Interface Techniques for an Intelligent Workstation Windowing Environment", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 325-329.

Replace mouse with touchscreen digitizer tablet on screen to Windows 2.0 by using new driver. Refers to double-click/double-tap gesture problems of mouse versus keyboard, but overall positive. Suggests delay-before-select as alternative to select-on-lift when using touchscreen with stylus, so that user has some time to "fine-tune" click/tap/select position, also refers to maintain-contact to select followed by drag. Stylus faster than keyboard for pointing.

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

16/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[MacTutor90a] (*) MacTutor "MacTutor: The Macintosh Programming Journal", MacTutor: The Macintosh Programming Journal, Vol 6. No. 3, March 1990 General issue on programming development and environments for MacIntosh, commercial IDEs, Hypercard

[MacTutor90b] (*) MacTutor "MacTutor: The Macintosh Programming Journal", MacTutor: The Macintosh Programming Journal, Vol 6. No. 4, April 1990

p. 84, TooLKit MenuMaker by Shared Intelligence for Hypercard development, p. 50 HyperBASIC for HyperCard, p. 33 Prograph by TGS Systems, p. 13 ScriptEdit for HyperCard

[Mahach89] (*p) Mahach, Karen Renee "A Comparison of Computer Input Devices", Linus Pen, Mouse, Cursor Keys, and Keyboard", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 330-334.. Linus electronic ink tablet/display had low accuracy: typing faster than writing: points out that a handwriting user-interface is not really just handwriting, but a lot of menu-picking for data entry, which needs to be studied Looks like a good researcher to contact on electronic ink studies

[Marshall89] () Marshall, William W. and McWhortor, William F. "Method and Apparatus for Pattern Recognition", United States Patent 4,817,176, March 28, 1989, assigned to William F. McWhortor, Fountain Hills, Arizona. Patent abstract Character recognition from OCR using Fourier transforms, returning confidence percentage goodness based on second-best match.

[MartinGL89] (*) Martin, Gale L. "The utility of speech input in user-computer interfaces", International Journal of Man-Machine Studies, Vol 30 No 4, April 1989, pp 355-376.

Points out that user-interface questions for speech recognition are hard to answer, because so many interaction modalities are involved Points out indirectly (for Votan speech recognition) that the "perfect" recognition of 100% went down over time after training. Grand review of speech recognition in user-interfaces Speech recognition is faster than typing, and it has the advantage of being an additional channel of input besides the hands (haptic?) For a simplified set of commands, speech recognition and mouse clicks equally efficient Report by group at MCC Microelectronics and Computer Technology Corporation on their handwriting/speech recognition system (MAGIC) Cites a large number of studies that show speech recognition is not as good as keyboard input (!!), although this paper says speech is better

[MartinGL90a] (*) Martin, Gale L., Leow, Wee Kheng, and Pittman, James A. "Function Complexity Effects on Backpropagation Learning", MCC Technical Report ACT-HI-062-90, Microelectronics and Computer Technology Corporation, Human Interface Laboratory, 3500 West Balcones Center Drive, Austin, Texas 78758, January 1990.

Neural network report on on-line handwriting recognition Data collection of 8,600 upper-case letters from (from NCR for digits) 110 people on an integrated tablet/display, 200 points/second 1000 points/inch Training sets of 500,2500,6261 sample from different people States one needs tens of thousands of samples of handwriting data base to train a system, more than an adaptable neural net Neural nets need to be designed to detect human features, otherwise not much good

[MartinGL90b] (*) Martin, Gale L., and Pittman, James A. "Recognizing Hand-Printed Letters and Digits Using Backpropagation Learning", MCC Non-confidential report, to appear https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

17/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

in Advances in Neural Information Processings, D.S. Touretzky, editor, Morgan Kaufman, 1990.

Cites NCR corporation data-base of hand-printed on-line character shape collection 8,600 on-line handwriting samples from 110 people, 200 points/second at 1000 points/inch: images converted to blurred 15x24 greyscale image for static character recognition Training set of 500 to 6,300 samples, 18 people, separate from test data: human handwriting recognition error rate was 3.4% (compare Neisser60) Gives table of exact trade-offs between reject rate and error rate on handwriting recognition, for digits and letters separately Estimate of number of training samples needed for adaptive recognizer / neural network Credits at MCC/NCR to Dave Rumelhart, Joyce Conner, Janet Kilgore, and Kay Bauer for collection

[MaulsbyDL89a] (*) Maulsby, David L.; Witten, Ian H; and Ki8ttlitz, Kenneth A. "Metamouse: Specifying Graphical Procedures by Example", ACM Computer Graphics, Vol 23 No 3, July 1989, pp. 127-136

Programming by example: deduce macro operations for graphical actions by applying contraints to observed operations in GUI. Must infer variable (such as row indices)

[McArthurD90] . McArthur, David; and Stasz, Cathleen "An Intelligent Tutor for Basic Algebra", RAND Report R-3811-NSF Prepared for The National Science Foundation, August 1990 Two-dimensional mathematical input: not clear on the input means for user interface, perhaps online handwriting recognition

[McAvinneyP90a] (*) McAvinney, Paul and Rubine, Dean H. "Videoharp", United States Patent 4.968,877, November 6, 1990

Electronic VideoHarp musical instrument using optical sensing of multiple fingers (multi-touch) and gestures: either harp-like (strum) or piano-like (projected keyboard). Optical sensing on two sides (either side) of transparent instrument, such that instrument can be played with both hands like a harp, or mounted horizontally like a piano. MIDI output. to a synthesizer. Position of finger along a ray detected by shadowing. See also RubineD88a

[MCC90] () MCC Microelectronics and Computer Technology Corporation "Interactive Tablets", description of work in progress, CHI '90 Conference on Human Factors in Computing Systems, Seattle Washington, April 2-3, 1990. Available from Tom Parish, MCC, PO Box 200195, Austin Texas 78720, 512-343-0978. General description of neural net character recognition, user-interface for handwriting at MCC MCC staff on handwriting/gesture user interface: Tom Parish (general), Jim Pittman and David Chapman (hardware), Gale Martin (recognition), Kent Wittenburg (interpretation), Bill Gooch (Prototypes) Working on mathematical expression user-interface stroke segmentation

[MeadowsRD90a] (*) Meadows, Robert D. "Integrated Liquid Crystal Panel and Optical Touch Panel", United States Patent 4,916,308, April 10, 1990

Optical touch screen with high resolution equal to LCD pixels, small angled mirrors reflect light from outermost row/column of LCD display to be the light beams across the display. Stylus for high resolution.

[Meeks90] (*p) Meeks, M.L., and Kuklinski, T.T. "Measurement of Dynamic Digitizer Performance", to be published in Computer Processing of Handwriting, Leedham and Plamandon, editors, World Scientific, Singapore, 1990.

Report on tablet characteristics and instrumentation for measuring handwriting Describes test bed for calibrating tablet digitizers with an X/Y table to correct for *fixed* positional

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

18/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

errors -- not tilt or velocity related accuracy problems?

[Microslate89] () Microslate "press release", Microslate, 1989. Rumored touchscreen portable product: handwriting recognition?

[Microsoft90a] (*p) Microsoft Corporation, announcement of "Windows/H", Product development, PC Week "Spencer F. Katt" column, April 16 1990., p. 182 Microsoft (Lloyd Frink and Marlin Eller) on Windows/H PenWindows user-interface for handwriting recognition: using "Anfa" or "Infa" company

[Microtouch89a] (*) Microtouch "Microtouch unMouse product file", (various) Microtouch.com

File of references regarding PC UnMouse from microtouch: resistive-film small touchpad/touchscreen panel on a mechanical switch, user can drag finger across surface of touchscreen to simulate proximity information or mouse motion, user presses on entire surface to close switch to for mouse click / touch-lift. Usually operated in relative-motion mode, not absolute digitizer tablet mode. Available for DOS/Windows PC and for MacIntosh.

[Microtouch90] () (no author) "ScreenWrite Touch Screen Performance Specifications", Available from Microtouch Corporation, Microtouch.com Digitizer touch-screen, show calibration tablet for adjusting for regional position errors

[MillerBP90a] (*) Miller, Barton P.; Fredriksen, Louis; and So, Bryan "An empirical study of the reliability of UNIX utilities", Comm. ACM, Vol 33 No 12, Dec. 1990, pp. 32-44 Fuzz-testing: random keyboard input to Unix utilities (very mature programs) causes most to fail, because few programmers check plausibility of user input, and thus fail on unanticipated input.

[MingJ90] () Ming, Ji "The Statistical Information Formulation for Noisy Speech Recognition", 10th International Conference on Pattern Recognition, Atlantic City, New Jersey, June 16-21, 1990. [MinskyM90a] (*) Minsky, Margaret; Ming, Ouh-young; Steele, Oliver; Brooks, Frederick P. Jr.; and Behensky, Max "Feeling and seeing: issues in force display", Proc. 1990 Symp. on Interactive 3D Graphics: SIGGRAPH, Vol 24 No 2, mar. 1990, pp. 235-241

Haptic feedback to give the illusion of a surface requires surface, texture, temperature, softness, etc. Software sinthesizes, also viscosity. Special note on stability: analog integration required with digital control, raising joystick smapling from 30Hz to 1000Hz was not enough, wanted to achieve similar stability to human arm (which has 200msec respons time, but is still stable)

[Mira89] (*p) Mira Imaging, Inc. "Hyperspace (tm) product literature", 1989. 969 Logan Avenue, Salt Lake City, Utah, 84105. 3-D digitizer software: works with Science Accessories, IsoTrak (Polhemus), Cyberware laser scanner, Topcon.

[MoellerR90a] (*) Moeller, Ralf "Entwicklung von Visualiserungswerkzeugen in objektorientierten Systemen unter Verwendung von KI-Programmiermethoden", Universitaet Hamburg, Technical Report B-149, 1990 (partical copy) 1989 Doctoral thesis: describes Labview and other visual programming languages, page 13 shows virtual slide switch element

[Momenta89] () Momenta Inc "press release", Milpitas California, October 19, 1989. Rumored handwriting recognition portable product from Momenta

[Momenta90] (*p) Display Momenta Corporation "What's New in Laptops and Pen Computing", Bill Lempesis of Dataquest, Flat Panel Display News, Vol 1 No 3, May/June 1990.

Rumors of Go Corporation, Grid, Momenta: contains a P.R. blurb from Momenta on "four waves of

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

19/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

personal computing user-interfaces", leading up to verbal/voice recognition.

[MoriY89] () Mori, Y. and Yokosawa, K. "Neural networks that learn to discriminate similar kanji characters", in Advances in neural information processing systems I, D.S. Touretzky, editor, Morgan Kaufman, 1989. Martin,GL90

[MyersBA89a] (*) Myers, Brad A. "User-Interface Tools: Introduction and Survey", IEEE Software, Jan 1989, Vol 6 No 1, pp. 15-23

In Garnet system papers: refers to need for one application to have many user interfaces, separation (as a design question?) of user-interface an application.

[MyersBA89b] (*) Myers, Brad A.; Guise, Roger B; Zanden, Brad Vander; Kosbie, David; Marchal, Philippe; Pervin, Ed; Kolojejchick, John A. "The Garnet Toolkit Reference Manuals: Support for Higly-Interactive, Graphical User Interfaces in Lisp", Carnegie-Mellon University report CMU-CS-89-196, November 1989 In Garnet system papers: KR object model, updates to prototypes (using Garnet interface builder) automatically reflected in all instances on screen. Circular gestures for rotating objects.

[MyersBA89c] (*) Myers, Brad A.; Zanden, Brad Vander; and Dannenberg, Roger B. "Creating Graphical Interactive Application Objects by Demonstration", Proc. SIGGRAPH 89, pp 95-104 Same title as Myer's '86 paper? In Garnet system papers: Lapidary user interface tool. Supports different styles, examples are MacIntosh-like and OpenLook-like. Also shapes of objects can be changed: square to circle, etc.

[MyersBA89d] (*) Myers, Brad A. "Encapsulating Interactive Behaviors", Proc. CHI '89, May 1989, pp. 319-324 In Garnet system papers: Encapsulate interactive behaviors into "Interactor" class objects, separate from GUI-element objects. New interactors can be defined for new kinds of input, such as gesture and handwriting recognition. Interactors can handle two-handed (multi-touch) input, e.g. mouse and touch tablet at same time.

[Myers90] (*) Myers, B.A., Guise, D., Dannenberg, R.B., Zanden, B.V., Kosbie, D., Pervin, E., Mickish, A. and Marchal, P. "Garnet: Comprehensive support for graphical, highlyinteractive user interfaces: The Garnet user interface development environment", IEEE Computer, Vol 23 No 11, Nov. 1990, pp 71..85 Garnet system: Constraint-based graphical editor for constructing GUIs: visual programming language for rapid UI prototypes. Look and feel independent GUI gadgets/objects include floating buttons, number sliders, gauges, text fields, and scroll bars. When designer changes standard look and feel, all menus in system immediately change accordingly: example is changes to shpes, font, color of buttons, slide bars. Uses Opal (language) as graphical object system. Defines "slots" as fields or instance variables, using prototype inheritance.

[MyersBA90b] (*) Myers, Brad A. "A New Model for Handling Input", ACM Trans. on Inf. Systems, Nol 8 No 3, July 1990, pp. 289-320

Garnet system: UIMS/IDE supporting arbritray looks and feels, programmer can control both appearance and feedback behavior of UI elements such as menus. UI defined independent of the graphics and application program via Interactors. Interactors caa be attached to graphics on the fly, even while interface is running. Includes definition of "slots" as accessible dynamic parameters to an object.

[MyersBA90c] (*) Myers, Brad A. "Demonstrational interfaces: A step beyond direct manipulation", Carnegie Mellon University Research Showcase, Computer Science https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

20/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Department, 1998

User interface: example values or example operations displayed while user is using user interface. If includes inferencing of user intent, called intelligent user interface. Example-based programming, direct manipulation.

[Nagasawa89] (*a) Nagasawa, H., Ito, K., Horii, S., and Tanoshima, K. "Optical Character Reader Apparatus", United States Patent 4,799,271, January 17, 1989, assigned to Oki Electric Company, Limited, Tokyo, Japan. Patent abstract only OCR character recognition matching entire words against a dictionary

[Nakamura89] (*p) Nakamura, Y., Ooi, K., and Yura, K. "Hand-held data input apparatus", United States Patent 4,866,646, September 12, 1989, assigned to Toshiba.

Patent on external handwriting recognition product with integrated tablet/display to attach to keyboard port, and voice output User-interface for electronic ink, editing documents Recognizes handwritten character data input through force/pressure sensitive tablet and sequentially stores result of character data

[NakataniM89a] (*) Nakatani, Munehiro "Image Processing Apparatus", United States Patent 4,817,174, March 28, 1989, assigned to Minolta Camera Kabushiki Kaisha, Osaka, Japan. Edge contour/curve detection for machine vision: for focusing cameras?

[NCR90] () NCR Corporation, press release "Workstation Sales Systems to be Bought from NCR", May 15, 1990. Press-release on NCR signature capture / handwriting electronic ink system

[Negroponte89] (*p) Negroponte, Nicholas "A Personal Perspective: An Iconoclastic View Beyond the Desktop Metaphor", International Journal of Human-Computer Interaction, Vol 1 No 1, 1989, pp 109-113. User-interface: a desktop is NOT complete human communication: hand gestures, winks, tone of voice, context of the situation, etc.

[Neurogen89] (*p) CAP International, Inc. "Neurogen, Inc.: Reading Numbers with Neural Networks", Market Report, October 2, 1989. Principals: Kupfersmith. One Longwater Circle, Norwell, Massachusetts, 02061, 617-982-9500. Neurogen claims 99% correct OCR recognition on handwritten numerals, but with 30% rejection rate Report on Neurogen, other handwriting OCR recognition companies for numerals : Nestor, HectNielson Neurocomputer, Siemens, REI/ Recognition Equipment Incorporated, Scan-Optics, Elsag (Italy), Recognitive Sciences, Calera, Datacopy Accutext, Caere OmniPage, Calera TrueScan

[NewellA90a] (*) Newell, Allen and Fahlman, Scott E. "Information Processing Research report WL-TR-91-1121", Information Processing Research report WL-TR-91-1121, CMU, Published 1992, Final Report for Period July 1987 - July 1990 Section Research in Uniform Workstation Interfaces: Garnet Project replaced Dante project. LISP/X11 UIMS system for allowing users to construct widget GUIs using constraints.

[Nielsen89] (*) Nielsen, Jakob "CHI '89 Trip Report", http://www.useit.com/papers/tripreports/chi89.html

Comments on demonstration of the Paper-Like Interface with handwriting recognition by Cathy Wolf et al from IBM, with a "formula editor" (spreadsheet/mathematical notation) application. Also a mention of gestural interaction in an application toolkit for prototyping user interfaces from Mark Rosenstein of MCC Human Interface Tool Set and "silocon paper" (electronic paper). Several paragraphs on Wang Freestyle, described as an email application with the ability to integrate

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

21/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

graphics, spoken comments, and animated writing (miss-called "gestures").

[Nielsen90] (*) Nielsen, Jakob "Traditional Dialogue Design Applied to Modern User Interfaces", Communications of the ACM, Vol 33 No 10, October 1990, pp 109-118.

Review of Wang Freestyle, other pen and non-pen UIs: shows postage stamp feature of Freestyle for documents. Says scrolling of text is bad in UI design.

[Nolan89] (*p) Nolan, Peter R. "Designing Screen Icons: Ranking and Matching Studies", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 380-384.

Suggested icons for user-interface: symmetric confusions, "confusion matrix" of preferred selections

[NormileD90a] (*) Normile, Dennis and Johnson, J.T. "Computers Without Keys", Popular Science, August 1990, pp. 66-69 Soni Ai Note PalmTop with handwriting recognition and electronic ink drawing, GridPad, SuperScript, GO Corp./PenPoint (not yet released). Typing plate with boxes for handwriting recognition, with send/transfer button at end. Refers to template-matching recognizer.

[Nunez89] (*a) Nunez, Linda Mensinger "professional resume", for work in on-line handwriting recognition, 1989.

Resume for former employee of Nestor, Incorporated, worked on Japanese on-line handwriting recognition in 1987

[ON90] () ON Technology Inc. "ON Technology, press release", April 24, 1990, Peter B. Miller to start handwriting recognition-base systems software company for Slate computers. [Ooi89] () Ooi, K., Sasaki, H., and Ariyoshi, S., European Patent 335233 (number incorrect?) "Character recognition system", July 26, 1989, assigned to Toshiba (abstract only. From patent abstracts Includes device for obtaining coincidence between recognition character candidates and character patterns stored in dictionary memory

[Ossner90] () Ossner, J. "Transnational symbols: The rule of pictograms and models in the learning process", in "Designing User Interfaces for International Use", J. Nielsen, Ed., Elsevier Science Publishing, Amsterdam, 1990, pp 11-38. Cited in Nielsen90

[PatrickM89] (*) Patrick, Mark and Sachs, George "X11 Input Excension Protocol Specification", M.I.T. X Consortium - Technical Review - X11R4 Public Release, December 1989

Extension to X graphical system standard to support devices beyond system keyboard and system pointer (mouse): event input includes Key, Button, Valuator data in motion events, proximity events, focus, feedbacks

[PenPoint90a] (*) GO Corporation "Using the GO Computer", GO Corporation internal document: September 26, 1990 Description of user interface of PenPoint operating system, 1990

[PentlandA90] () Pentland, A. and Kuo, J. "The Artist at the Interface", 10th International Conference on Pattern Recognition, Atlantic City, New Jersey, June 16-21, 1990. [PeppersNA89a] () Peppers, N.A., Young, J.R., Pierce, G.A., Nishi, H., and Katsuki, K. "Apparatus for Preprocessing of Character Recognition", United States Patent 4,809,344, February 28, 1989, assigned to Nippon Sheet Glass Company, Limited, Osaka, Japan.

Segmentation in OCR scanner input for paragraphs, words picture, and individual letters, also doing character normalization.

[PeppersNA89b] () Peppers, N.A., Young, J.R., Nishi, H., and Katsuki, K. "Page Segmentor", https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

22/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

United States Patent 4,817,169, March 28, 1989, assigned to Nippon Sheet Glass Company, Limited, Osaka, Japan (abstract only). Segmenting a document image into parts "with a single feature" as pre-processing before pattern recognition

[PerkinsR89a] (*) Perkins, Ronald; Blatt, Louis A.; Workman, Daniel; Ehrlich, Susan F. "Iterative Tutorial Design in the Product Development Cycle", Proc. Human Factors and Ergonomics Society Annual Meeting, 1989, pp. 268-272

Report on tutoral for Wang Freestyle, but indirectly a human factors report on usability of Freestyle voice/electronic ink annotation system, pen computing system without use handwriting recognition, instead using of gestures and direct manipulation. Notes that subjects found most useful: Syncronized voice/sketching annotation in recorded whiteboard system. Partial copy in file

[PerryS89a] (*) Perry, Tkla S. and Voelcker, John "Of mice and menus; Designing the userfriendly interface", IEEE Spectrum, September 1989, pp 46-51

Historical view (circa 1989) of graphical user interfaces: Sketchpad in 1962, lightpen in 1960's, Graphicol curve-tracer witha potentiometer, mouse in 1964 by Dougleas engerbart at SRI, Trackball. Sketchpad split screen into two windows. No mention of handwriting or gesture recognition, or of Rand tablet.

[PersonalWriter89] (*p) Personal Writer, Inc. "Personal Writer 10SL/15SL product literature and User Manual", 1900 Avenue of the Stars, Suite 2870, Los Angeles, California 90067 (see also Anatex). Copyright 1987/1988/1989. Previously called Anatex (which see) Adaptive handwriting recognition product, using a spelling dictionary

[PetersonS90] () Peterson, Scott "patent application", for Simulated Input Device User Interface, Wang Laboratories, as drafted by patent counsel.

Patent description for Wang/Guide SID simulated device user-interface, application independent

[PhillipsM90] (*) Phillips, Mark J; Philbin, Patrick T. and Blesser, Barry A. "Coordinated Determining Device using Spatial Filters", United States Patent 4,963,703, October 16, 1990 Electromagnetic digitizing tablet/pen with tilt measurement and stylus tilt (mis-named as parallax) correction: Cited later for prior art on acoustic/ultrasonics tablets

[PlaisantC90a] (*) Plaisant, Catherine and Wallace, Daniel "Touchscreen Toggle Design", Report HCIL-90-08, CS-TR-2557, CAR-TR-521, November 1990, U. Maryland Institute for Advanced Computer Studies Abstact only: See PlaisantC92 Touchscreen virtual toggle and slider switches

[Plamondon89] (*) Plamondon, R. and Lorette, G. "Automatic signature verification and writer identification -- the state of the art", Pattern Recognition, Vol 22 No 2, March 1989, pp 107-132.

Review of all current commercial and research signature verification systems -- specificallyexcludes patents

[Plamondon90] () Plamondon, R. and Yergeau, P. "A System for the Analysis and Synthesis of Handwriting", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 167-180. [Poqet89] () Poqet Computer Corporation "Poque Computer Corporation press release", October 2, 1989. Rumored portable touchscreen product: no character recognition

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

23/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[Quam89] () Quam, David L., Williams, George B., Agnew, Jeffery R., and Browne, Patricia C. "An Experimental Determination of Human Hand Accuracy with a DataGlove", Proceedings of Human Factors Society 33rd Annual Meeting, October 16-20, 1989, Denver Colorado, pp 315-319.

Pointing accuracy with human hand, but open loop (no coupling to a tablet digitizer/display tracking crosshair, for example).

[QuerciaV89] (*) Quercia, Valerie and Ro'Reilly, Tim "X Window System User's Guide for X11 R3 and R4 of the X Window System", Three volumens: O'Reilly & Associates, 1989

X-Windows documentation: mouse/pointer based windows interface, can be used with a tablet digitizer with a puck with at least three functional buttons, for mouse-button menus. No use with a stylus. Mouse-button menus can be re-defined. (ARCHIVED: See Lucent file)

[RecognitiveSciences89] (*p) Recognitive Sciences "Recognitive Sciences Provides Cost Effective OCR Solutions for OEMs", company profile, 1989. Principals: Ted Kuklinski and Yuri Litvin. 323 Andover Street, Wilmington, Massachusetts, 01887. Kuklinski's and Yuri's O.C.R for handwritten and embossed characters

[RevelleGL90a] (*) Revelle, Glenda L. and Strommen, Erik F. "The effects of practice and input device used on young children's computer control", Collegiate Microcomputer, Vol 8 No 4, Nov. 1990, pp 33-41. Joystick, mouse, trackball pointing devices: cites to earlier studies using touchscreen digitizer tablets. Child user's always press and hold button for long time when intending to select, click on button unintentionally while thinking what to do next.

[RobertsonGG89] (*) Robertson, Geroge G., Card, Stuart K., and Mackinlay, Jock D. "The Cognitive Coprocessor Architecture for Interactive User Interfaces", Proc. 2nd Annual ACM SIGGRAPH symposium, Williamsburg Virginia, 1989, pp 10..18 User-programmable buttons, RoomsButtons experimental system extended (with other objects) to support gestures.

[RosenbergJ90a] (*) Rosenberg, Jarret (moderator): Asente, Paul; Linton, Mark; Palay, Andrew "X Toolkits: the Lessons Learned", Proc. UIST '90, pp. 108-111

X Windows needs a toolkit. Constraint and error checking in toolkit means windows implementation can be simpler, since it finds bugs and reduces need for run-time checking or complications. Like a good compiler does for an instruction set.

[RubineD90a] (*) Rubine, Dean and McAvinney, Paul "Programmable Finger-Tracking Instrument Controllers", Computer Music Journal, Vol 14 No 1, Spring 1990, pp. 26-41 (partial copy) multi-touch musical instrument touchscreen interface: see also VideoHarp

[Sabourin89] () Sabourin, Robert and Plamondon, Re'jean "Segmentation of Handwritten Signature Images: A Structural Approach", unpublished manuscript, July 26, 1989. Laboratoire Scribens, Ecole de technologie Supe'rieure, De'partement de Production Automatise'e, Montre'al, Quebec, Canada.

Reviewed for PAMI and Henry Baird: extraction of signatures from scanned documents prior to verification

[Sabourin90] (*a) Sabourin, Robert and Plamondon, Rejean "Progress in the Field of Automatic Handwritten Signature Verification Systems Using Gray-Level Images", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 1-12. https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

24/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Signature verification with OCR: can tell photocopies from originals

[SantoriM90a] (*) Santori, Michael "An instrument that isn't really: LabVIEW's software approach to instrumentation systems yields an intuitive programming tool for test needs", IEEE Sprctrum, August 1990, pp 36-39

LabView graphical programming language for software simulation and control of virtual laboratory instruments, describing dataflow programming. Introduction gives history of LabVIEW to 1986. Quoted in JohnsonGW94a.

[SatoK89] () Sato, Koji, Kurakake, Masahiro, and Fujiwaki, Kazuo "Optical Character Reader", United States Patent 4,797,940, January 10, 1989,assigned to Sumitomo Electric Industries, Osaka, Japan (abstract only).

Hand-held OCR scanner which can read one line at a time, with hardware to segment into separate characters

[ScanOptics90] (*) Scan-Optics, Inc. "Easyreader 1720 OCR product", press release, February 1, 1990. [Scenario89a] () Scenario, Inc. and Visible Systems Corp. "Easy Touch/Touch Translator", structured UI design tool, PC Week, Dec 4, 1989, vol 6 no 48, p 73. Touch-screen user-interface design tool: Pen-base UI.

[Scenario89] () Scenario Inc "Dynabook product announcement", October 1989, Boston, Massachusetts.

Touch-screen portable (sort of) CD-ROM product: no handwriting recognition yet. File contains additional references on Dynawriter (change of product name) with handwriting recognition. Resistive-film touchscreen -- may be electrostatic?

[Schneidawind90] (*) Schneidawind, John "Software pioneers are reunited at hot new Arizona company", Press report, 1990 (publication not known) Bob Frankston and Dan Bricklin join Slate Corporation. Investment by Mitch Kapor

[SearsA90a] (*) Sear, Andrew; Plaisant, Catherine; Shneiderman, Ben "A new era for touchscreen application: High precision, dragging icons, and refined feedback", U. Maryland HCI Lab., Dep.t of Comp.Sci, CAR-TR-506 / CS-TR-2487, June 1990. Also in Advances in Human-Computer Interaction, Hartson and Hix, 1993

Review of touchscreen user interface considerations, including hardware trade-offs. Mentions firsttouch versus lift-off for selection and pointing. Touchscreen keyboards somewhat slower typing than regular keyboards. Accuracy of rotation gestures improved by longer lever distance by user. Microsoft UnMouse. See: multi-touch "has been explored", looking for applications when it becomes commercially available: touchscreen manufacturers will be important. SAW may be able to detect as least two touches.

[SeymourJ90] (*) Seymour, Jim "The "Slate PC" Wave Is About To Break", PC Magazine, October 16, 1990, page 85..86

Editorial that pen-computing PCs (like Palm?), as small portable devices making only minor use of handwriting character recognition, would be successful. Mentions GRiD, Go/PenPoint, Momenta. No mention of Microsoft Pen-Windows.

[Shu89] () Shu, Joseph Shou-Pyng "One-pixel-wide Edge Detection", Pattern Recognition, Vol 22 No 6, 1989, pp 665-673.

Edge detection/skeletonization/line-thinning using a 3x3 pixel filter, similar to Sobel edge detector filters, Robert 2x2 edge detectors, combined with heuristic (minimum-cost) search Edge-streak encoding, similar to chain codes for edges

[Signaware89] () Signaware Corp. "software description", 1989, 300 South Duncan Avenue, https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

25/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Suite 273, Clearwater, Florida 34615, 813-461-4211.

Internal Wang memo on signature verification vendors: one in Florida, one in Ireland

[SinghG89a] (*) Singh, Gurminder and Green, Mark "Chisel: A System for Creating Highly Interactive Screen Layouts", Proc. UIST '89, 2nd Annual ACM SIGGRAPH symposium on User Interface Software and Technology, pp. 86-94

Automatic screen layout in UIMS user interface definition: color and window resources managment

[SinghG89b] (*) Singh, Gurminder "Automating the Lexical and Syntactic Design of Graphical User Interfaces", Ph.D. Thesis, U. of Alberta, Canada, 1989

UIMS development system. UI defined declaratively using a graphic editor / layout editor not for the user interface appearance, but for the interaction structure and positional constraints of the UI.

[SinghG90a] (*) Singh, Gurminder; Kok, Chun Hong; and Ngan, Teng Ye "Druid: A System For Demonstrational Rapid User Interface Development", Proc. UIST '90, 3rd ann. ACM SIGGRAPH symposium on User Interface Software and Technology, New York, 1990, pp. 167-177 UIMS development system for prototyping. User defines UI elements graphically (direct manipulation), animates them manually, system "learns" the UI behavior to simulate. Prototype implemented using Motif GUI.

[SiliconGraphics90a] (*) Silicon Graphics "Silicon Graphics Workstation - Desktop", ACM CHI 1990 Issue 56, Video - Silicon Graphics Workstation. Available at open-video.org, 2010 Shows highlighting on selection and motion during drag in GUI for Silicon Graphics Workstation Unix, for file explorer window. Drag and drop, drop-available highlighting when dragging over a target.

[Simon90] (*p) Simon, J.C. and Baret, O. "Handwriting Recognition as an Application of Regularities and Singularities in Line Pictures", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 23-38. [Sklarew89a] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", European Patent Application 0 254 561 A2 Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Title and abstract read almost identically to other Sklarew patents

[Sklarew90a] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer system", United States Patent 4,972,496, November 20, 1990 U.S. Patent application on handwriting recognition user-interface, arm-held "slate" type pen computer. Patent description of prior art for Linus product, Grid patent on user interfaces

[Small90] (*p) Small, Charles H. "Inexpensive software reads printed material", Electronic Design News, January 18, 1990, pp 77-86. Review of OCR scanner companies: Caere Corporation, Inovatic, Olduvai Corporation, Xerox Imaging Systems.

[Sony90] () Sony Corporation "Sony hand-held computer press release", March, 1990. Hand-held slate computer product from Sony Corporation.

[Spitz89] (*p) Spitz, Gabriel "The Preferred Pen Activation Force for the Low Resolution Freestyle Tablet", Internal report 14 July, 1989, Wang Laboratories, 1 Industrial Avenue, Lowell, Massachusetts 01851. Internal Wang report on stylus pen force/pressure for handwriting force

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

26/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[Spitz90] () Spitz, Gabriel, Akagi, Kenichi "Stylus Button Location", internal report 3 January, 1990, Wang Laboratories, 1 Industrial Avenue, Lowell, Massachusetts 01851. Internal Wang report on barrel-switch/side-button on digitizer tablet stylus

[Srihari90] () Srihari, S.N. "Reading Unconstrained Handwriting with Bounded Context", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 109-116. Overview of some recognition context problems: project was OCR for handwritten Zip codes, address blocks

[Stentiford89] (*a) Stentiford, Frederick W.M. "Pattern Recognition System", United States Patent 4,817,171, March 28, 1989, assigned to British Telecommunications public limited company, Great Britain. Patent abstract OCR

[Stringa90] () Stringa, L. "A Structural Approach to Automatic Primitive Extraction in Handprinted Character Recognition", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 65-72. Abstract only

[Suen90] () Suen, C.Y., Nadal, C., Mai, T.A., Legault, R. and Lam, L. "Recognition of Totally Unconstrained Handwritten Numerals Based on the Concept of Multiple Experts", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 131-144. [SunMicrosystems90a] . Sun Microsystems "Open Windows Developer's Guide 1.1, User's manual", Sun Microsystems, 1990 X-Windows-like windows management system with graphical objects

[Suzuki90] () Suzuki, T. and Mori, S. "A Thinning Method Based on Cell Structure", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 39-52. Line-thinning / skeletonization

[Taguchi89] (*) Taguchi, Yoshinori; Yamanami, Tsuguya "Coordinate Input Device with Display", United States Patent 4,845,478, July 4, 1989 Patent on Wacom electromagnetic / magnetostrictive digitizer using cordless stylus. Does not describe sensor or switch for detecting stylus down or contact with surface.

[Tappert89] () Tappert, Charles C. and Jeanty, H.H. "A Study of Several AccuracyImprovement Methods for a Handwriting Recognition System", IBM Research Report, IBM T.J. Watson Research Center, P.O. Box 704, Yorktown Heights, NY 10598, November 1989.

Most promising feature algorithm for improving recognition over elastic matching is pairwise comparison (but NOT tuned by hand!) Features (beyond elastic matching) are heights of endpoints, relative stroke positions (min and max extents), line extension, relative width, etc. Most handwriting recognition error for other systems was transducer/stylus % error, user error (user wrote "wrong")! Cites on study that handwriting on integrated tablet/display (electronic ink) sloppier than on separate tablet, much sloppier than on paper

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

27/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

[Tappert90a] () Tappert, C.C., Suen, C.Y., and Wakahara, T. "On-line Handwriting Recognition - a Survey", manuscript in preparation, to appear in IEEE Transactions on Pattern Analysis and Machine Intelligence: C.C. Tappert, IBM T.J. Watson Research Center, Yorktown Heights, N.Y 10598. Historical development of elastic matching for script, discrete handwriting character recognition Commercial handwriting input systems listed

[Tappert90b] () Tappert, Charles C. "Rationale for Adaptive Online Handwriting Recognition", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 13-22. [Tappert90c] (*) Tapper, Charles C., Suen, Ching Y,. and Wakahara, Toru "The State of the Art in On-line Handwirting Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 12 No 8, August 1990, pp 787-ff Comprehensive review as of 1989. Gives historial remarks pen-computing in the 1950s, 1960's, 1970's, 1980's

[Taxt89] () Taxt, Torfinn, Flynn, Patrick J., and Jain, Anil K. "Segmentation of Document Images", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 11 No 12, December 1989, pp 1322-1329. Statistical classifier to separate text and background images on documents Document segmentation using contextual Bayes, Besag's, relaxation, Owen and Switzer, versus Haslett's classifiers: which is best varies

[Taxt90] () Taxt, Torfinn, Olafsdottir, Jorunn B., and Daehlen, Morten "Recognition of Handwritten Symbols", accepts for Journal of Pattern Recognition, 1990. O.C.R. on handwriting with 98.6% and 97.7% accuracy O.C.R. of handwritten map symbols, using several edge detection, spline curve fits, Fourier expansion, and statistical classification (lower-case alphanumerics) O.C.R. of handwritten lower-case alphanumeric using circular graphs

[Teh89] () Teh, Cho-Huak and Chin, Roland T. "On the Detection of Dominant Points on Digitial Curves", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 11 No 8, August 1989, pp 859-872. Scale-space filtering (size-dependent) of small features in machine vision. Keywords: chain code, curve tracing, polygonal approximation, tangential deflection. Points of high curvature are dominant features for pattern recognition. Lots of references on chain codes and curve tracing for machine vision.

[Termiflex89] (*) Termiflex Corporation "TouchGraf Keyless Keypad: the Next Generation of Flexible Terminals", 316 Daniel Webster Highway, Merrimack, NH 03054, March 1989. Handwriting capture terminal product, separate digitizer built into a hand-held terminal: digitizer/touchpad and display separate

[Teulings90a] () Teulings, H.-L. "Handwriting movement control - Research into different levels of the motor system", Doctoral Thesis, Nigmeegs Instituut voor Cognitie-onderzoek en Informatietechnologie, Nijmegen, 1990. [Teulings90] () Teulings, H.-L. and Schomaker, L.R.B. "A Handwriting Recognition System Based on the Properties and Architectures of the Human Motor System", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, April 2-3, 1990, pp 195-ff. [TogawaF90a] (*) Togawa, Fumio and Hirose, Hitoshi "Handwritten Character-Recognizing Apparatus for Automatically Generating and Displaying Character Frames", United States https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

28/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Patent 4,953,225, August 28, 1990

boxed/boxless recognition with boxes generated to right of current/previous handwriting character as user writes: automatic spacing of characters, stroke parsing / segmentation.

[Toshiba89] (*p) Toshiba America Information Systems, Inc. "Toshiba PenPC product information", November 3, 1989, 714-455-1707.

Pre-announced portable handwriting recognition product: kludged together from Linus, other parts?. DOS 3.3 OS. Mentions mouse emulation with touchscreen digitizer.

[Uncapher89] (*) Uncapher, Kieth "Interview with Kieth Uncapher", Arther L. Norberg, 10 July, 1989. Charles Babbage Institute, Center for the History of Information Processing, University of Minnesota, Minneapolis. Available at http://www.cs.utexas.edu/users/umair/cs370/interviews/oh174ku.rtf

Interview with Kieth Uncapher of RAND Corporation: mentions GRAIL system with electronic ink on the Rand tablet. Describes use of tablet for flow-chart and programming text entry. Describes invention of the disc drive (to replace the drum drive) as a result of this project. Mentions a video film showing the Rand tablet and handwriting recognition in operation in the 1960's. Rand tablet invented by Tom Ellis around 1966: also an earlier tablet by Herb Teager at Boston College (Graphacon?). Other work by Gabe Groner, and Bill Sibley.

[Unser89] () Unser, Michael and Eden, Murray "Mutliresolution Feature Extraction and Selection for Texture Segmentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 11 No 7, July 1989, pp 717-728.

Segmentation of textured images for machine vision: refers to Fisher's multiple linear discriminants and Karhunen-Loe`ve transform

[VanLeeuwen89] () Van Leeuwen, H.C. "A development tool for linguistic rules", Computer Speech and Language, Vol 3 No 1, January 1989, pp 83-104. Phonology, grapheme-to-phoneme conversion rules for text-to-speech

[Vosburgh89] () Vosburgh, A.M. and Brown, N.R. "Following the bouncing ball: An evaluation of a self-pacing enrollment interface for a large-vocabulary speech recognition system", Research Report RC-64372, IBM Thomas J. Watson Research Center, Yorktown Heights, New York, 1989. Brown,NR89 on user interface / enrollment for adaptive recognition

[Wacom89] () Wacom, Inc. "Super Digitizer product information", West 115 Century Road, Paramus NJ 07562, August 1989. Product literature on Wacom force/pressure-sensitive pen stylus and cordless pen stylus tablet. Product literature describing Wacom cordless pen stylus using resonating coil in tablet digitizer. 1986 CIC memo lists a katakana and Roman and kanji system under development. Digitizer tablet with absolute and relative (i.e. mouse) modes.

[Wacom89a] (*) Wacom, Inc. "Wacom PC Installation and Utilities Manual", Park 80 West Plaaza II, Saddle Brook, NJ 07662, November 1989. Describes emulation and multiple command sets for digitizer controller/driver Digitizer tablet with absolute and relative (i.e. mouse) modes

[WakimotoK90] () Wakimoto, K., Shima, M., Tanaka, S., and Maeda, A. "An Intelligent User Interface to an Image Database Using a Figure Interpretation Method", 10th International Conference on Pattern Recognition, Atlantic City, New Jersey, June 16-21, 1990. [Wang89] (*) Wang Laboratories "The Wang Freestyle System", product literature Wang Freestyle: pen-computing electronic-ink and voice annotation, no character recognition. Used customized Hitachi tablet, with first (?) double-ended stylus with an eraser on the back end. Pure

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

29/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

electronic ink and selection application system, with syncronized voice: interesting case of human communication. Standalone Demo diskette (5.25").

[Wang89b] (*) Wang Laboratories "Freestyle: A Multimedia Conferenceing System ", Video: ACM CHI 1989 Issue 45 Video Presentations: Available (2009) from http://www.openvideo.org/details.php?videoid=8067&surrogate=clip Wang Freestyle: pen-computing electronic-ink and voice annotation, no character recognition.

[Wang90a] (*) Wang Laboratories "Freestyle: Wang Freestyle/Light User's Guide, Release 1.21", Wang Laboratories, Lowell Massachusetts

Wang Freestyle: pen electronic-ink and voice annotation, no character recognition. Used customized Hitachi tablet, with first (?) double-ended stylus with an eraser on the back end. Describes imageonly document (voice/electronic ink/imaging) data base using no handwriting recognition. No use of gestures. Cited by Bill Buxton.

[Wang90b] (*) Wang Laboratories "Freestyle: Take a look at the personal communication system you already know", Wang Laboratories, Lowell Massachusetts

5.25" floppy demo of Wang Freestyle, with brochure explaining the Freestyle UI: pen electronic-ink and voice annotation, no character recognition.

[Wang90c] (*) Wang Laboratories "Equipment/Device: Wang Freestyle miniature keyboard ca. 1990", Wang Laboratories

Physical device in collection: Small keyboard with pressure switches, suitable for activation with a stylus. Full 102-key keyboard, including function and shift keys. Intended to be used in conjunction with Freestyle tablet digitizer for Freestyle UI. Likely a prototype.

[Wang90d] (*) Wang Laboratories "Wang Freestyle Installation Guide, Release 1.2", Wang Laboratories

Installation guide for PC version of Wang Freestyle, handwriting/direct-manipulation office software with whiteboard and audio recording. (Partial Copy)

[WangJS89] () Wang, J.S. "Electronic text-graphic editing system", United States Patent 4,829,470, May 9, 1989, assigned to IBM Corporation.

Text-graphic editing system includes mixed object editor which flows text around into irregularly shaped objects on page (for a mark-up language, like runoff for text composition in documents)

[WangPSP89] () Wang, P.S.P. and Zhang, Y.Y. "A Fast and Flexible Thinning Algorithm", IEEE Transactions on Computers, Vol 38 No 5, May 1989, pp 741-745. Compares and shows results of different skeletonization/thinning algorithms for character and arbitrary shapes

[WangPSP89b] () Wang, P.S.P. "A New Approach for Chinese Handwriting Recognition", Proc. Int. Conf. on Electronic Imaging, Pasadena, pp. 373-379, 1989 On-line (D.C.R.) recognition with very little system training/learning for Chinese. Chinese recognition using stroke angles in 22.5 degree ranges (chain codes?)

[Ward89] (*) Ward, Jean Renard "Testing tablet characteristics", Internal Report, Wang Laboratories, May 1989

Technical instructions on testing tablets to reveal bad behaviors for electronic ink, handwriting character recognition Describes differential vs. absolute error, spirograph tests, etc.

[Ward90] () Ward, Jean Renard "One View of On-going Problems in Handwriting Character Recognition", in Frontiers in Handwriting Recognition, C.Y. Suen, editor, Proceedings of the Conference on Frontiers in Handwriting Recognition, Concordia University, Montreal Canada, https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

30/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

April 2-3, 1990, pp 101-108. [Ward90a] (*) Ward, Jean Renard and Kabel, Robert "The "How to" of Electronic Ink: Tablet Error Mechanisms and Performance Analysis for Handwriting Capture", Internal report, Wang Laboratories, July 1990 Descriptions of "bad behaviors" in digitizing tablets, engineering review of the effects, test procedures for showing the bad behaviors

[Ward91] () Ward, Jean Renard "Pen-Based Products", correspondence in "ACM Forum", Communications of the Association for Computing Machinery, Vol 34 No 12, December 1991, pp 18-19. Reply to Larry Press that Linus was not the first pen computing company

[Ware89a] (*p) Ware, Colin and Baxter, Curtis "BAT Brushes: On the Uses of Six Position and Orientation Parameters in a Paint Program", Proceedings of 1989 CHI conference, 1989, pp 155-160. User-interface on simulating a brush with a stylus using stylus rotation angle, x/y/z digitizer tablet

[Ware89b] () Ware, Colin and Jessome, D "Using the Bat: A Six-Dimensional Mouse for Object Placement", to appear in IEEE Computer Graphics and Applications, November 1989. Cited in Ware89a

[WatsonJS89a] (*) Watson, James S. "Ground Switching Technique for Silkscreened Digitizer Grids", United States Patent 4,853,499, August 1, 1989

Ground switching in transparent electromagnetic digitizer using ink-on-glass, "passive stylus"

[Weideman89] () Weideman, W.E., Manry, M.T. and Yau, H.C. "A comparison of nearest neighbor classifier and a neural network for numeric handprint character recognition", IEEE International Conference on Neural Networks, Washington, D.S., 1989. Martin,GL90

[WenzelEM90a] (*) Wenzel, Elizabeth M.; Fisher, Scott S.; Stone, Philip K; and Foster, Scott H. "Virtual Acoustics Displays", Proc. of Visualization '90, IEEE, San Francisco, October 2326, 1990, pp. 10-20 3D audible/acoustic display coordinated with real-time gesture, three-dimensional visual objects. Auditory cues/icons using Auditory Cue Editor. Artificual/virtual reality in general user interface. Three-dimensional psychophysical/psychoacoustic audio synthesized.

[WiechaC89a] (*) Weicha, Charles (chair); Bois, Sstephen; Green, Mark; Hudson, Scott; and Myers, Brad "Panel: Direct manipulation or programming: how should we design interfaces?", Proc. 2nd ACM SIGGRAPH Symp. on User Interface Software and Technology, UIST '89, pp. 124-126 Direct manipulation to create user interface vs. text specification: real question is how to combine these two.

[WolfCG89a] (*) Wolf, Catherine G., Rhyne, J.R., and Ellozy, H.A. "The paper-like interface", in "Designing and Using Human-Computer Interfaces and Knowledge-Based Systems", G. Salvendy and M.J. Smith, Eds., Elsevier Science Publishers, Amsterdam, 1989, pp 494-501.

Description of paper-like interface PLI projects at IBM: electrostatic/capacitive digitizer (Scriptel) over LCD display, exploration of gesture input. Video demonstration shown in IBM lobby. Gestures described as handmarkings for user-interface in spreadsheet (Lotus) and drawing applications. Music editing demonstration modeled after Buxton. Two-dimensional mathematics editing. Note: video demonstration filed under Ellozy88a.

[WolfCL90] (*) Wolf, Chris L; Maikowski, Michael F.; Martin, Winston N.; and Lindsley, https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

31/32

10.2.2015

(1989..1990) History of Pen and Gesture Computing

Walter E "System for selectively modifiying code generated by a touch type keyboard upon detecting of predetermined sequence of make codes and break codes", United States Patent 4,937,778, June 26, 1990 Make use of roll-over on keyboard to use space bar as a shift key, by sequential decoding of make/break codes on keyboard keys

[Yamada89] (*p) Yamada, K., Kami, H., Tsukumo, J., and Temma, T. "Handwritten Numeral Recognition by Multi-layered Neural Network with Improved Learning Algorithm", Proceedings of International Joint Conference on Neural Networks, Washington, D.C., June 18-22, 1989, Vol II pp 259-266. OCR for handwritten numerals using neural network. Gives samples of low-quality, but real-world handwriting test data for numerics for OCR.

[Yamaguchi89] (*A) Yamaguchi, Mikio and Sato, Koji "Optical Character Reader", United States Patent 4,817,185, March 28, 1989, assigned to Samitomo Electric Industries, Limited, Osaka, Japan. Patent abstract only Hand-held scanner for reading price tags

[Yoshimura91] () Yoshimura, I. and Yoshimura, M. "Off-Line Writer Verification Using Ordinary Characters as the Object", Pattern Recognition, Vol 24 No 9, September 1991, pp 909-915.

Writer (not just signature) recognition in Japanese Kanji writing: OCR skeletonization based: claims 99.5% accuracy: uses arcs and angles/vectors

[YoungDA90a] (*) Young, Douglas A. "The X Window System: Programming and Applications with Xt: OSF/Motif Edition", Prentice-Hall, 1990

X-Windows programming: describes setting resource values (providing values) to affect the way a widget appears or behaves by specifying values for resources: XtSetValue, XtGetValues

[Yu90] () Yu, Shiaw-Shian and Tsai, Wen-Hsiang "A new thinning algorithm for gray-scale images by the relaxation technique", Pattern Recognition, Vol 23 No 10, October 1990 pp 1067-1077. Uses chain codes context to preserve line straightness in line thinning: for sketch recognition? Straightness of lines very important in Chinese/Kanji character recognition

[ZandenBV90a] (*) Zanden, Brad Vander and Myers, Brad A. "Automatic, Look-and-Feel Independent Dialog Creation for Graphical User Interfaces", Proc. CHI '90, April 1990, pp. 27-34

Garnet system: Jade UI definition UIMS: UIMS supporting arbritray looks and feels. Dialog box ore menu look and feel changed on the fly by switching look and feel databases. Jade obtains graphic information from (multiple) style files, example chainging Garnet style dialog to OpenLook style, style can include changes to layout or graphics or adding elements, position of objects in dialog

[Zhuang89] () Zhuang, X., Haralick, R.M., and Joo, H. "A Simplex-Like Algorithm for the Relaxation Labeling Process", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 11 No 12, December, 1989, pp 1316-1321.        Main Reference Page       

https://web.archive.org/web/20130502035934/http://rwservices.no-ip.info:81/pens/biblio90.html

32/32

10.2.2015

(1991..1995) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio95.html

Go

16 captures

FEB MAI OKT

2

2012 2013 2015

7 Sep 08 - 4 Feb 15

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1991 to 1995. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:52 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio95.html http://216.15.114.196:81/pens/biblio95.html http://rwservices.no-ip.info:81/pens/biblio95.html (Generally most up-to-date)

       Main Reference Page        [AbrahamRI95] (*) Abraham, Robert I; Moore, Richard E.; Rich, William L.; Shackelford, Floyd W.; Tiller, John R. Jr.; and Briggs, Richard S. Jr. "Slot Objects for an Object Oriented Programming System", United States Patent 5,410,702, April 25, 1995 Implementation of a slot object: citations back to 1982

[ActiveDesk95a] (*) Buxton, Bill "The Active Desk and Prototyping the Future", Alias/Wavefront, 1995, Toronto Canada. Link to video on www.buxton.com (2011)

Active Desk whiteboard / collaborative drawing space prototype using large Scriptel digitizer tablet and rear-projection display. Compare with Microsoft Surface, Digital Desk

[Agulnick94] (*) Agulnick, Todd; Carr, Robert; Hoeber, Tony; Kaplan, S. Jerrold; Low, David R. and Ouye, Michael "Control of a computer through a position-sensed stylus", United https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

1/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

States Patent 5,347,295 assigned to GO Corp, Foster city, California, September 13, 1994

Describes using a pen stylus for entering commands via character recognition / gestures into a computer, recognizing and executing command after out-of-proximity/end-of-stroke/time-out. Compare with Ledeen, which did not have gestures made on the display. Specific reference to first, second and third gestures in a sequence for a compound gesture (multiple flicks, multiple taps, etc.). Specific reference to direction of motion of the gesture. Animated marquee on selection after pressand-hold. Describes feedback to user (idealized form of gesture displayed, or question mark in a circle) on what gesture recognized. If gesture not appropriate in context, error returned (displayed). Proximity sensing for termination of gesture.

[Aha92a] (*) Aha! Software Corporation "aha! InkWriter with SmartInk reference card / Basics", Aha! Software corporation, 1992

Manual for InkWriter for PenPoint: electronic-ink scribble editing software, later acquired by Microsoft. Supports delays/deferred handwriting recognition, indexes ink by the recognition results. Editing gestures generally similar to PenPoint: X to delete, caret gesture to insert, B to make bold, press-and-hold to start selection. Compare with van Raamsdonk.

[Aha93a] (*) Aha! Software Corporation "aha! InkWriter Handbook", Aha! Software corporation, 1993

Manual for InkWriter for PenPoint: electronic-ink scribble editing software, later acquired by Microsoft. Supports delays/deferred handwriting recognition, indexes ink by the recognition results. Compare with van Raamsdonk.

[AhmadS95a] (*) Ahmad, Subutai "A Usable Real-Time 3D Hand Tracker", Proc. 28th Asilomar Conf. on Signals, Systems, and Computers, 1995

Optical (camera) hand tracking system for smart desk: track hand, multiple fingertips, finger joints.

[AllenD92] . Allen, Dennis "Pen-Input Systems", BYTE Magazine, April 1992, P. 10 Part of a series on pen-input systems and PDAs

[AllenG93] (*) Allen, Gregory "Data Input Grid for Computer", United States Patent 5,214,428, May 25, 1993

mechanical grooves restrict the motion of a digitizer stylus to octant chain-code directions: shows a set of single-stroke characters for recognition

[AlsonS91a] (*) Alson, Stewart "NCR takes Expo by storm with pen-based computer", InfoWorld, July 1, 1991 NCR 3125 pen computer runs either PenPoint for Windows for Pen-based Computing (sic).

[Amstrad93] (*) Amstrad93 "Amstrad PenPad PDA 600", Reference available at www.oldcomputers.com/museum/doc.aps?c=876

Z-80 handheld pen-computer, 1993, styled as fold-out notebook. Contains quotes from project manager Cliff Lawson, Mark Stevenson, Wulf Broening: software by German company Wiedmann Additional materials in file -- shows touch buttons on outside edge of display area?

[AndrewC94a] (*) Andrew, Christopher and Bloomfield, Marc. A. "Palette Manager in a Graphical User Interface Computer System", United States Patent 5,371,844, December 6, 1994 Select new color from a palette, drag onto a UI element to change its color in OS/2. Dynamic themes/scheme manager via GUI. File also contains EP published patent application 0 591 571 A1.

[Apiki93] . Apiki, Steve "A Unified Ink Standard", BYTE Magazine, September 1993, p. 26 JOT standard for electronic ink storage?

[Apple95a] (*) Apple Computer, Inc. "Apple Outlines Newton Wireless Comm Solutions", https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

2/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Apple Computer press relese, January 30, 1995

Apple Newton support for wireless communications, not on a single-vendor network

[AppleNewton93a] (*) Apple "Apple Newton product", (various)

File of references to Apple Newton: August 1993 introduction? Hand-held PDA, resistive touchscreen, scribble/rubout gesture.

[AppleNewton94a] (*) Apple "Welcome to Newton (promotional video)", Apple computer, Inc. 1995

Video demonstration of Apple Newton user interface, including "heavy mark" gesture. Video in electronic files: transcript fetched from guidebookgallery.org 2010. Text file has complete transcription of text. Zigzag gesture to rubout (gesture). Copy-and-paste by moving text to edge of (small) screen.

[AppleNewton95a] (*) Apple "Newton: Apple MessagePad Handbook, 1995", Apple computer, Inc. 1995

Apple Newton: describes various gestures and UI features, including "heavy mark" selection gesture

[ApplePenlite93a] (*) Apple "Apple PenLite Tablet Computer", (Various)

Electronic file of references to Apple PenLite, a pen-computer based on Apple PowerBook Duo from 1992/1993. Project cancelled 1994 in favor of Apple Newton PDA. Most of material in German. See also video "Watch Apple PenLite Video". References obtained October 2012.

[ApplePenlite93b] (*) Apple "Watch Apple PenLite Video/TITLE> Youtube.com Video of Apple PenLite pen-computer prototype.

[Apte93] (*) Apte, A. and Kimura, T.D. "A Comparison Study of the Pen and the Mouse in Editing Graphic Diagrams", Proc IEEE 1993 Symposium on Visual Languages, 1993, Bergen, Norway, pp 352-357

Citrin96 sites for single-stroke graphical editing gestures: comparison of NoteTaker on PenWindows / Windows for Pen Computing without gesture (menu picks only) and the GDE gesture-based graphical editor in GO/Penpoint. Concludes that for drawing, gesture-based editor with a pen/stylus is preferred by users because modes do not have to be changed to a menu.

[ArmbrusterJL93] (*) Armbruster, Jeffrey L. "PenRight! Pro SDK 3.1", Windows/DOS Developer's Journal, Vol 4. No. 3, March 1993, pp. 45-48 Abstract only: PenRight

[ATTHobbit93a] (*) A.T. & T. "ATT Hobbit pen computer running PenPoint (functional unit)", Personal collection of Jean Renard Ward, [email protected]

(May not be functional) PenPoint "Hobbit" pen computer from AT&T, includes manuals. Appears to be functional as of April 2011, PenPoint Operating System.

[ATT95a] (*) A.T. & T. "ATT Video of ATT Personal Communicator Videon", AT\&T 1995, fetched from YouTube (URL on file) Vision of future technology. Shows personal hand-held video communication (like Skype) with pen touchscreen interface.

[Avitzur92] (*) Avitzur, R. "Your own handprinting recognition engine", Dr. Dobb's Journal, April 1992, Vol 17 No 4, pp 32-37 combination Chain-code/zone-based handprinting/handwriting recognizer. Open-source. Csspne.tk blog posting says Avitzur also author of Milo mathematical equation editor for Apple Mach.

[Baecker91] . Baecker, Ronald M. "Scriptel inks pact with Apple: Pen-based computer only a year away?", The Daily Reporter, Tuesday, November 26 1991 Scriptel electrostatic digitizer with Apple pen computer

[Baecker95a] (*) Baecker, Ronald M.; Grudin, J.; Buxton, W.A.S. and Greenberg, S. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

3/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Baecker, Ronald M. "Readings in Human-computer Interaction: Toward the Year 2000, Second Edition", Morgan Kaufmann Publishers, 1995 Case study C: Wang Freestyle, pen-based voice/electronic-ink annotation system. Describes substantial public interest and acclaim when Freestyle released in 1988 (citations) Cited in MyersB96: ITS from IBM Research as automatic generation/generator tool for user interfaces.

[BallBR91] (*) Ball, Brian R. "Readings in human-computer interaction: Toward the Year 2000", Morgan Kaufmann Publishers, 1995, ISBN 155860-246-1

Chapter "Touch, Gesture, and Marking": device independence and virtual devices, equivalence of various pointing/locator devices, mouse/joystick, button/blow-suck tube, touchscreen, etc. partial copy in files only

[BarrettDM93a] (*) Barrett, David M., McNally, J. Michael, Martin, Patricia A., Huntington, Monathan T. II and Douthart, Robeert M. "Computer with separate display plane and user interface processor", United States patent 5,260,697, November 9, 1993 Divisional application of UI work by Ward, this one is for the hardware. UI include handwriting recognition bar and simulated devices. Handwriting bar on The Guide at Wang.

[BartholomewJ92] (*) Bartholomew, Jim "Microsoft Visual Tools Suite for Windows Ver 1.5", www.accu.org, 1992

Review of Microsoft development tool suite. Mentions VBX controls added to Control Palette in Visual C++ App Studio or Visual Basic Toolbox, four controls for Windows for Pen Computing Windows for Pen Computing development environments: Visual C++ App Studio graphical environment support VBX controls for Windows for Pen Computing.

[BaudelT93a] (*) Baudel, Thomas and Beaudouin-Lafon, Michel "Charade: Remote Control of Objects Using Free-Hand Gestures", CACM, Vol 36, No 7, July 1993, pp. 29-35

Hand-gesture control of presentation graphics using DataGlove: next-chapture gesture is open hand (start) wiping movement of hand (flick gesture to right), close hand. Syntax is Start/Dynamics/End. Gesture recognized by angle/orientation of hand, open and closed fingers and thumb, bendings of fingers.

[BedersonB94a] (*) Bederson, Benjamin B.; Stead, Larry; and Hollan, James D. "Pad++: Advances in Multiscale Interfaces", Proc. CHI '94, April 1994, Short Papers pp. 315-316

Infinite resolution multimedia sketchpad: infinite resolution display windowed into smaller display area: parallel lazy loading, only load/render data that is current viewable: example is browsing photos.

[BedersonB94b] (*) Bederson, Benjamin B. and Hollan, James D. "Pad++: A Zooming Graphical Interface for Exploring Alternate Interface Physics", Proc. UIST '94, Nov. 2-4, 1994, pp. 17-26

Alternative graphical user interface to icons menus and windows, show small snapshots / postagestamps of simulated desk objects. Directory browser is array of small thumbnail images of pages/documents.

[BedersonB94c] (*) Bederson, Benjamin B. and Hollan, James D. "Pad++: A Zoomable Graphical Interface", Proc. CHI 94

Multiple scale / multi-scale data visualization user interface: example is directory browser, with thumbnails inside of thumbnails and multiple levels

[Bederson95] (*) Bederson, Benjamin B. and Hollan, James D. "Advances in the Pad++ Zoomable Graphics Widget", Third Annual Tcl/Tk Workshop, July 1995, www.usenix.org Multiple graphical representations of data, constraint-based graphical editing

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

4/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[BedersonB95a] (*) Bederson, Benjamin B. and Hollan, James D. "Pad++: A Zoomable Graphical Interaface System", Proc. CHI '95

Zoomable user interface, example is "world view" of documents, similar to thumbnail. Compare with Telesis "world view".

[BennettWE91] (*) Bennett, William E., Boies, Stephen J., Davies, Anthony R., Etzold, KarlFriedrich, Rodgers, Todd K. "Optical Stylus and Passive Digitzing Tablet Data Input System", United States Patent 5,051,736, September 24, 1991 Optical stylus digitizer utilizing extremely small patterns within a cell, some similarity to Anoto

[BierEA91a] (*) Bier, Eric A. "EmbeddedButtons: Documents as User Interfaces", Proc. UIST '91, Nov 11-13, 1991, pp 45..53

Arbitrary document elements may behave as buttons, including graphics and text, and document may be control panel for an application. Describes multi-state button

[BierEA94a] (*) Bier, Eric A.; Stone, Maureen C; Fishkin, Ken; Buxton, William; and Baudel, Thomas "A Taxonomy of See-Through Tools", Proc. CHI '94, pp. 358-364

Two-handed input (trackball and mouse cursor: multitouch?) trackball moves a virtual transparent layer, such as a transparent selection/framing tool and a mouse click to make an action happen.

[BierEA94b] (*) Bier, Eric A.; Stone, Maureen C; Pier, Ken; Fishkin, Ken; Baudel, Thomas; Conway, Matt; Buxton, William; and DeRose, Tony "Toolglass and Magic Lenses: The SeeThrough Interface", Proc. CHI '94, pp. 445-446 Two-handed input (trackbal and mouse cursor: multitouch?) trackball moves a virtual transparent layer, such as a transparent selection/framing tool and a mouse click to make an action happen, for example a virtually-transparent color selector or shape selector. drop-shadow selector

[BlandfordRR94a] (*) Blandford, Robert R. "Personal Computer Diary", United States Patent 5,347,579, September 13, 1994 PIM/Diary that keeps change/delta diff record of changed entries so that previous entries can be reconstructed, and automatic monitoring for dates and other phrases to prompt user to add to diary

[Blaszczak93] (*) Blaszczak, Mike "Presentations delivered: Mike Blaszczak", www.nwlink.com/~mikeblas/speaks.htm Presentations on Windows for Pen computing in Visual Basic, 1993.

[Blickenstorfer95] (*) Blickenstofer, Conrad H. "Editorial: Vertical market hardware manufacturers growing stronger, but they'r enow facing a challenge from consumer electronics giants and their marketing savvy", Pen Computing Magazine, Issue No. 6, August/September 1995 Mentions Scriptel WriteTouch front-mount digitizer for Windows95 and Windows for Pen computing: cites Windows 95 as having better pen-computing support than Windows for Pen Computing 1.0, although tablet drivers are not included. Norand PEN*KEY6100 vertical market pen tablet device.

[Bloombert92] (*) Bloomberg, Dan S. and Tow, Robert F. "Adaptive Scaling for Decoding Spatially Periodic Self-clocking Glyph Shape Codes", United States Patent 5,091,966, February 25, 1992 DataGlyphs: see other references

[BoltRA92a] (*) Bolt, Richard A. and Herranz, Edward "Two-handed Gesture in Multi-Modal Natural Dialog", Proc. ACM UIST '92, Nov 15-18, 1992, Monterey, CA, pp. 7-14 Discussion of multi-hand gestures in free space by human user subjects: includes rotate gestures for rotating in 3D. Experimental hardware usedDataGloves by VPL Research (finger positions) and Polhemus Navation Sciences 6DOF position/orientation sensor.

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

5/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[Borucki94] (*) Borucki, Gregory "Surface acoustic wave touchscreen sealing system", United States Patent 5,332,238, July 26, 1994

Sealing for SAW touchscreen tablet: see citations for actual surface acoustic wave touchscreen technologies Elographics IntelliTouch Systems Manual, 1988

[Bosscher94] (*) Bosscher, Peter J. and Yeazel, Dean "Phase I Report: Using handheld Data Collectors in Highway construction for Accounting and Materials Management", Report to the Wisconsin Department of Transportation, January 10, 1994 Recommends PenRight! Pro as leading pen-centric development environment, Windows for Pen Computing lacks pen-centric features, non-pen-centric development tools are unfeasible. No mention of Newton or PenPoint.

[BoyceJ92a] (*) Boyce, Jim "Maximizing Windows 3.1", New Riders Publishing, 1992 Multiple color schemes defined in control.ini file of Windows 3. Dynamic themes/scheme management in Windows for color schemes.

[Bricklin93] . Bricklin, Dan "JOT defines electronic ink", BYTE Magazine, Vol. 18 No 11., October 1993, page 110 (abstract only) Short description of JOT standard for electronic ink data for GO/PenPoint and Microsoft Windows for Pen Computing.

[BrocklehurstER91a] (*) Brocklehurst, E.R. "The NPL electronic paper project", International Journal of Man-Machine Studies, Vol 34 No 1, January 1991, pp 69-95 Abstract only

[BrocklehurstER91b] . Brocklehurst, E.R. and Kenward, P.D. "Preprocessing for Cursive Script Recognition", NPL Report DITC 132/88, 1988 Cited in FordDM91a

[Brugge92] (*) Brugge, John "Introduction to PenPoint", MacTECH,The Journal of Macintosh Technology: available at http://www.mactech.com/articles/frameworks/6_2/PenPoint_Brugge.html Overview article from about one year after PenPoint OS announced in Apple journal

[BryanM93a] (*) Bryan, Marvin "The MacWrite Pro Book", Sybex MacIntosh Library, 1993 MacWrite word processing / electronic publishing

[BucklandMK92] (*) Buckland, Michael K. "Emanuel Goldberg, Electronic Document Retrieval, and Vannevar Bush's Memex", J. Am. Soc. for Information Science, Vol 43 No 4, May 1992, pp 284-294

Vannevar Bush's Memex likely anticipated as a technical development by 1931 patent by Emanual Goldberg, and reference would/should have been known.

[BurnsJ95] (*) Burns, John and Lloyd, Sheelagh A. "Position-sensing Apparatus", United States Patent 5,442,147, August 15, 1995

Opticial digitizer tablet: Note similarity to Anoto: printed surface of pattern cells, making use of subpatterns. Refers also to a "single-pixel" sensor stylus.

[Bursky92] (*) Bursky, Dave "Chip Set Simplifies the Design of Pen-Based PCs", Electronic Design, November 2, 1992

PICK (Pen Interface Controller Kit) digitizer interface chip set from TriTech Electronics, to support Scriptel electrostatic digitizer in pen-computing. Refers to changes in pen-position frequency (from 100KHz?) to deal with environmental noise from backlight, etc.

[BusinessWeek95] (*) Business Week "PenRight! launches first cross platform pen-based mobile computing application development tool", Business Week magazine (Business Wire), https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

6/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

July 24, 1996

Abstract/Summary only: PenRight cross-platform development environment

[Buxton91b] (*) Buxton, Bill "GEDIT - The Use of Single-Stroke Marks (Marking Menus) in Graphical Interaction", www.billbuxton,com, http://www.youtube.com/watch? v=0A21YfqEa1c

Video posted by Bill Boxton in 2010 on GEDIT, marking menus with single strokes in 1991. Menus pop up either on a stationary hold or on a radial stroke ending with a starionary hold.

[Buxton92a] (*) Buxton, W. "The Active Desk", www.billbuxton.com, fetched 2011

The Active Desk: posting by Bill Buxton on Xerox research project on surface computing, display and digitizer (Scriptel) in physical desktop, rear projection display. Used in Bricks graspable user interface, collaborative drawing/whiteboard, prototype for VisionMaker Digital Desk.

[Buxton94x] . Buxton, W. "Combined keyboard / touch tablet input device", Xerox Disclosure Journal, 19(2), 109-111. See also http://www.billbuxton.com: User flips keyboard top over to expose touchscreen: touch tablet is multi-touch sensitive and pressure (force) sensitive, with virtual sliders and further touch elements.

[Buxton94y] (*) Buxton, W. "Two-handed Document Navigation", Xerox Disclosure Journal, 19(2), 103-108. Two overlapping operations by user as same time using pointing input in both hands. Describes scrolling gestures: smooth scrolling as touch-slide-release, page turning with touch-rapid flickrelease, and jumping to scrollbar touch location on a touch surface. Also mentions wireless touch tablet PARCtab. See also http://www.billbuxton.com

[Buxton95a] (*) Buxton, William A.S. and Kurtenbach, Gordon P. "An improved graphical keyboard", European Patent Application 94120248.3, Publication Number 0 660 218 A1, June 28, 1995 Graphical on-screen keyboard using gestures for modifier keys such as shift and control: e.g. tap "a" key for lower-case a, upward flick for Upper case, right flick gesture for Control-a, right-upward angle gesture for control-shift-A, etc. Mentions interchangability of other types of input devices: mouse, tablet, trackball, etc. press-and-wait / PenStill

[Buxton95x] (*) Buxton, Bill "Chapter 7: Touch, Gesture and Marking", http://www.dgp.utoronto.ca/OTP/papers/bill.buxton/haptic.html

haptic input overview. Date approximate based on dates of most references, this draft obtained 2002.

[CabralAW95a] (*) Cabral, Authur W. et alet al "Obect-Oriented Graphic System", United States Patent 5,455,599, Oct. 3, 1995 Object-based graphical development system with polymorphic inheritance

[CaldwellDW92a] (*) Caldwell, David W and Medendorp, Nicholas W. "Touch-sensitive Control Circuit", United States Patent 5,153,572, October 6, 1992

Multiple-touch-pad touch sensor, if there are multiple touches on more than one pad (detected by impedence change) output is inhibited to reject multi-touch input.

[CallowayJD92a] (*) Calloway, Jack D.; Holzer, Raymond F;, Matheny, Stephen E.; and Orwig, Gary W. "Electronic Maintenance Support Work Station", United States Patent 5,146,404, September 8, 1992

Compare to Kaplow; Allow user to pick through exploded views of a parts assembly diagram at multiple levels. An item picked in a text list is automatically shown in a graphical representation.

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

7/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[CappsS94a] (*) Capps, Stephen et al "Method and apparatus for correcting words", United States Patent 5,367,453, November 22, 1994

Handwriting recognition that let use display pop-up list of alternative recognition results for words (from spelling dictionary) by entering a gesture to bring it up, user can pick appropriate word, or use virtual keyboard to type in correct word.

[CappsS94b] . Capps, Stephen et al "Method for manipulating objects on a computer display", United States Patent 5,345,543, September 6, 1994 Rotate an object with a stylus by means of a center axle mark, and a handle used to rotate.

[CappsS95a] (*) Tchao, Michael C. and Capps, Stephen P. "Pointing gesture based computer note pad paging and scrolling interface", United States Patent 5,398,310

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Gestures on buttons or command-input areas to edit electronic-ink notes: notes not necessarily ink. Few if any references before. Compare with van Raamsdonk, Pencept, and CIC.

[CappsS95b] (*) Capps, Stephen, and Beernink, Ernest H. "Method and apparatus for formatting paragraphs", United States Patent 5,479,596, December 26, 1995, Assigned to Apple Computer Inc

Automatic re-flow / formatting of paragraphs from handwritten (or "pointing" input): compare to van Raamsdonk. Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Few references before 1990 Compare with van Raamsdonk, Pencept, CIC

[CappsS95c] . Capps, Stephen et al "Method and apparatus for the manipulation of text on a computer display screen", United States Patent 5,442,742, August 15, 1995

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990 ... Compare with van Raamsdonk, Pencept, CIC

[CappsS95d] . Capps, Stephen et al "Visible clipboard for graphical computer environments", United States Patent 5,404,442, April 4, 1995

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990 ... Compare with van Raamsdonk, Pencept, CIC

[CarrR92a] (*) Carr, Robert; Fraisl, Danile J.; Isaac, Steve; and Ouye, Michael "Computer documents as compound documents in a notebook metaphor", PCT Internationat Patent Application WO 92/08199, 14 May 1992 (Later EP0555403 A1?)

PenPoint/GO User interface using notebook metaphor instead of desktop methaphor: notebook, virtual bookshelf of applications, indexing, tabs, pagenumber. Documents may be embedded in other documents.

[CarrDA94a] (*) Carr, David A. "Specification of Interface Interaction Objects", Proc. CHI '94, Boston Massachusetts Shows graphical/touchscreen slide switches and toggles, three-state "secure switch" toggle.

[CarrDA95a] (*) Carr, David Andrew "A Compact Graphical Representation of User Interface Interaction Objects", Ph.D. dissertation, Dept. of Computer Science, Univ. of Maryland, 1995

User Action Notation for user interface objects. Example: Secure switch graphical object for preventing accidental manipulation of a device under computer control, such as master power switch for factory machinery. Compare to Apple slide-to-unlock gesture?

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

8/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[CarrR91] (*) Carr, Robert and Shafer, Dan "The Power of Penpoint", Addison Wesley, 1991, ISBN: 0-2015-7763-1

Technical background and information and rationale for design of PenPoint operating system by GO corporation for pen computing, incorporating gestures and handwriting recognition, integrated digitizer tablet and display. Includes sections on applications that do not rely on handwriting recognition. Option sheets, writing pads in UI.

[Casio93a] (*) Casio, Inc. "Casio Z-7000 Zoomer product information", Casio, Inc.

Casio Z-7000 Zoomer PDA: GEOS Operating system, Handwriting recognition (Graffiti?). File contains additional information.

[CerdaM95a] (*) Cerda, Michael "EO Interest Document", www.utexas.edu/ftp/microlib/eo/html

Personal note on EO with PenPoint: lists of collected EO/PenPoint materials. EO based in UK?

[ChangL94] (*) Chang, Larry and MacKenzie, I. Scott "A Comparison of Two Handwriting Recognizers for Pen-based Computers", Proceedings of CASCON '94, pp. 364-371, Toronto: IBM Canada Compare Pen-Windows and CIC Handwriter recognizers: the CIC handwriting recognizer performed better, both with and without constraints.

[ChattyS95] (*) Chatty, Stephane; Lecoanet, Patrick; and Mertz, Christophe "Toward penbased interaction with ATC tools", Air Traffic Control Quarterly, Vol 3 No 4, 1995, pp 205228 GRIGRI (French slang for "scribble") system using pen-computing gesture recognition in user interface for air traffice control ATC. Modeled on flight strips for air traffic control. See also "Digistrips". Numeric entries for flight numbers via menus. Cites PenPoint. Lists fifteen singlestroke gestures, some of which are alphabetic. Mentions that pen-based computing is bad for large ATC display screens (arm fatigue). Refers to gesture input as "mark-based input".

[Chefalas92] (*) Chefalas, Thomas E.; Fujisake, Tetsunosuke; Kim, Joonki; and Tappert, Charles C. "Robust Prototype Establishment in an On-line Handwriting Recognition System", United States Patent 5,121,441, June 9, 1992

Averaging out the training sets in a trainable recognizer to get a better prototype for elastic matching

[CHI92a] (*) Plaisant, Catherine and Wallace, Daniel "Touchscreen Toggle Design", Proc. CHI '92, May 3-7, 1992, pp. 667-668 Video presentation at CHI 92: "Touchscreen Toggle Design" showing virtual toggle and slider switches: See also -- See also Plaisant92a

[CIC92] (*) CIC Communications Intelligence Corporation "CIC Press Release: CIC PenDOS Handwriter Recognition Systems licensed exclusively to IBM", Software Industry Report: October 19, 1992 [CloughWA91] (*) Clough, William A.; Ouelette, Daneil; De La Sablonniere, Serge "Portable Computer with Touch Screen and Computer System Employing Same", PCT International Patent Application @0 91/12578, 22 August 1991 Portable slate pen-computer using touch screen (not proximity digitizer): Microslate, Inc. of Canada.

[CloughWA95] (*) Clough, William A.; Ouelette, Daneil; De La Sablonniere, Serge "Portable Computer with Touch Screen and Computer System Employing Same", United States Patent 5,379,057, January 3, 1995

Portable slate pen-computer using touch screen (not proximity digitizer): Microslate, Inc. of Canada. Describes having an automatic application generator. Refers to drop-down pick list as a "library" of answers for touch-screen selection.

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

9/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[CohenO93] (*) Cohen, Oryx; Meyer, Shawna; and Nilsen, Erik "Studying the Movement of High Tech. Rodentia: Pointing and Dragging", InterCHI '93 Conference on Human Factors in Computing Systems, Amsterdam, 1993, pp 135-136.

Comparison of MousePen, Microtouch UnMouse, Touch Pad, Mouse, trackballs, joystick: UnMouse lower accuracy than touchpad for human use (dragging, pointing): not clear that UnMouse was used in absolute or relative mode; refers to poor placement of barrel buttons on PenMouse stylus

[Comerford93] (*) Comberford, Liam D., Ellozy, Hamed A., Jelenek, Frederick, Levy, Stephen E., and Nahamoo, David "Method and Apparatus for Improving the Paper Interface to Computing Systems", United States Patent 5,243,149, September 7, 1993 Electronic clipboard tablet computer with audio recording, optical scanner, digitizing tablet

[ComputerBusinessReview92a] (*) Computer Business Review "Pen Announcements", Computer Business Review, Feb 25, 1992, Issule No. 1867

Slate announces vendors for Day-timer Pen Scheduler PIM personal information management software: NCR, Poqet, Momenta, MicroSlate. Kurta cordless pen/stylus for digitizer, Kurta Lite-Touch pen, PenPoint, PenWindows, Pen-DOS (CIC). SunDisk Flash memory for pen-computing market.

[Computerwoche93b] (*) Computerwoche "Pen-computing-Anbieter setzen nicht alle technischen Trends um", Computerwoche V. 22, 1993: available at http://www.computerwoche.de/heftarchive

Comparison of pen-enabled products Windows for Pen-Computing by Microsoft and Pen-DOS from CIC with more radical approach of PenPoint by GO Corporation, with operating system designed from the ground up, but none have met market estimates for success. Mentions that Windows for Pen Computing allows the definition of gestures. CIC Handwriting recognition licensed by IBM as best performing. Also Pen-Right from Grid computing. Microsoft includes support for Visual Basic and C 7.0 MFC.

[Computerwoche93c] (*) Computerwoche "Ein kleiner Ueberblick ueber die Betriebssysteme fuer Pen-Computer", Computerwoche 26 Feb 1993: available at http://www.computerwoche.de/heftarchive Listing of pen-computing operating systems and development environments: PenRight from Grid, PenDOS from CIC, penPoint from GO, and Pen-Windows. Mentions one problem of using mousetype drivers with pen computing is low resolution, less than that of digitier. Mentions Pen Pal scripting language.

[Cornett91] (*) Cornett, Johnny A. and Corbett, James D. "Touchscreen Control Panel with Sliding Touch Control", United States Patent 5,053,758, October 1, 1991

Touchscreen GUI technique, where user slides finger to target, and releases on target: intended to get past inaccuracies/mis-registration of touchscreen film digitizer with display. Compare to Litvin techniques, which are not cited. Contains reference to Minsky gesture article, 1984

[CraneHD93] (*) Crane, Hewitt D. and Rtischev, Dimitry "Pen and voice unite: Adding Pen and Voice Input to Today's User Interfaces Opens the Door for More Natural Communication with Your Computer", BYTE Magazine, Vol 18 No 11, October 1993, pp. 98-102 (abstract only) compare with Anoto-technology products incorporating voice recording for electronic ink notes? "The strengths of pen and voice technologies complement each other to create a powerful, natural user interface." "Speech to text systems must deal with a wide range of homophones words that sound the same but have different meanings."

[Cripps95] (*) Cripps, Marcus "Introduction to PenWindows", Available at https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

10/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

http://tawny.cs.nott.ac.uk/AMI/apprentice/INTERNAL/tech08.htm

Architectural overview of the PenWindows / Windows for Pen Computing system from Microsoft: hedit and bedit controls, Pen Extensions, normal and inking mode, RC handwriting recognition manager, PenWin.dll

[Csspne.tk92a] (*) www.csspne.tk "Interacting with computers through pen gestures", www.csspne.tk/newton, March 10 1992 (?)

Spreadsheet with gestures on Apple Newton: mentions Numero by PenMagic, and AtHand @Hand by Slate / Dan Bricklin. Refers also to pen-computing pen-based extension to Apple MacIntosh, Milo, supporting editing of mathematical expressions. Slate PenApps application builder IDE, PenMagic Numero spread-sheet and database, Pensoft Perspective personal information manager PIM.

[Cubictechcorp95a] (*) cubictechcorp "LabView User Manuals", cubictechcorp.homestead.com/Manuals.html, fetched 2009

LabView manuals from early 1990's for visual programming language

[CushmanWH91a] (*) Cushman, William H. and Rosenberg, Daniel J. "Human Factors in Product Design", Elsevier Science Publishing Company Inc., 1991, ISBN 0-444-89031-9

Chapters on Keyboards and Input Devices for Computers, Theory and Design Strategies for User Interface Software. Practical Considrations for the Design of User Interface Software. Brief section on auditory displays (speech output interfaces)

[CypherA91a] (*) Cypher, Allan "EAGER: Programming Repetitive Tasks by Example", Proc. CHI 91, New Orleans, April 28-May 2, pp. 33-39

UI detects pattern of repeated action sequences (command input) by user (e.g. moving mail messages to different folders), displays "EAGER" icon in pop-up list, user can select that icon or another. Gestures on buttons?

[CypherA91b] (*) Cypher, Allan "EAGER Demo Movie", acypher.com/Eager, fetched 2010 Web page describes video (on file) from CHI 91 of Eager. UI learns repeated action sequences by user (e.g. moving mail messages to different folders), displays "EAGER" icon in pop-up list, user can select that icon or another. Gestures on buttons?

[DamoreK93a] (*) Damore, Kelley "Borland C++ 4 adds visual controls", InfoWorld, November 8, 1993, page 19 IDE with object browser, class expert, floating palettes, events.

[DaoJ91] (*) Dao, James; Foyt, David C.; and Allen, Kenneth R. "Keyless Flat Panel Portable Computer - Computer Aided Notebook", United States Patent 5,049,862, September 17, 1991 Notebook style (fold-out) pen computer, similar in appearance to Reefalo. Corded stylus. Two flat panel displays in the two sides of the notebook, provision for ring binder at the hinge to hold paper. Rotatable orientation to accomodate landscape format, or for left-handed writers.

[Dauphin92] (*) Dauphin "Dauphin 5000 Pen-Based Notebook", Press release, Dauphin Computer, Lombard Illinois Pen-computer slate format using Scriptel electrostatic digitizer

[deBaarDJMJ92a] (*) deBaar, Dennis J.M.J.; Foley, James D; and Mullet, Kevin E. "Coupling Application Design and User Interface Design", Proc. CHI '92, May 3-7, 1992, pp. 259-266

UIMS/UIDE with automatic GUI layout: data model is not separate from user interface model, user interface is generated automatically from (enhanced) data model for different UIs. Examples include Open Look, OSF/Motif, Apple, and CUA.

[DeTar94] (*) DeTar, Jim "NCR, Scriptel push cordless digitizer - NCR Microelectronic https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

11/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Products and Scriptel Holding Inc. develop WriteTouch cordless electrostatic digitizer", Electronic News, Nov 14, 1994, Available on http://findarticles.com Electrostatic / capacitive digitizer from Scriptel, can sense finger input as well as stylus

[DigitizerTechnology91] (*) Digitizer Technology Company "User's Guide to the Virtual Tablet Editor", Digitizer Technology Company, Redmond WA, 1991

Graphical editor for defining macros, regions, virtual/simulated devices on digitizing tablet: compare with Kaplow? Related to WinTAB specification?

[DrDobbs93] (*) Dr. Dobb's Journal "New Products: Lattice Introduces PenBase Database management Library", Dr. Dobb's Journal, April 1, 1993

Database library for use with PenRight for pen computers: compare with PenDBase for PenApps

[DuwaerAL83a] (*) Duwaer, ARne L. "Data Processing System with a Touch Screen and a Digitizing Tablet, Both Integrated in an Input Device", United States Paten 5,231,381, July 27, 1993 Stylus detector digitizer and finger detector touchscreen on top of each other: refers to ITO for sensors, grid for stylus detector sheet for touch detector, but not specific to any particular digitizer technology,

[DysonE91a] (*) Dyson, Esther "GO Corporation: our friend the pen - promoting pen-based input system", Release 1.0: Jan 22, 1991

PenWares: comparison of GO Corporation developer's conference to introduce PenPoint operating system (Bill Campbell), and Microsoft similar conference for Pen Windows. The style, pacing, and features of the Microsoft PenWindows presentation closely paralleled the GO/PenPoint presentation.

[DysonE91b] (*) Dyson, Esther "Component software", Release 1.0: 25 February 1991

Page 22: discusson of component software and component reuse, as in GO/Penpoint and Component WorkShop, ParcPlace systems

[DysonE91c] (*) Dyson, Esther "Act III -- Notepads: A New Environment, or a Pen off the old block?", Release 1.0: 25 February 1991

Page 24: PenPoint easier to program for more advanced features than PenWindows. Active Book: PDA based on Smalltalk -- compare with Self and with Newton PDA / NewtonScript? Also mentions PenPal software from PenSoft, and Eden Group VPi386 notepad with PenWindows and touch-screen-enabled AutoCad.

[DysonE91d] (*) Dyson, Esther "PenBook: Just the Pages Please", Release 1.0: 30 September 1991

Page 14: PenBook, simple (no editing) e-Book / e-publishing application for PenPoint OS, similar to Kindle. Limited text mark-up (white-out, highlighting).

[DysonE92a] (*) Dyson, Esther "The Electronic Frontier: Where Personal Computing Goes from Here", Proc. IFIP 12th World Computer Congress, Madrid, September 1992, pp. 13-22 Pens and Groupware: Critieus GO PenPoint and Microsoft Windows for Pen Computing (Pen Windows) as too expensive ($2000 in 1992), Cites Pen/GEOS (Graphical Environment Operating Systems) and Palm Computing. Quotes Jeff Hawkings regargind Slate for beeing cross-platform. Sidekick 2 from Borland.

[EatonJK94a] (*) Eaton, John K. and Eaton, Laura "LabTutor: A Friendly Guide to Computer interfacing and LabVIEW Programming", Oxford University Press, 1994 LabVIEW graphical programming language.

[EdwardsMJ93a] (*) Edwards, Martin J. "Touch sensor array systems and display systems incorporating such", United States Patent 5,194,862, March 16, 1993

Array/matrix of touch sensors (touch switches) for multi-touch input in a graphics tablet: addressing

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

12/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

technique for dealing with large number of touch sensors: touch sensors are bi-stable (maintain state after touched), so that touched locations in the array can be determined. Mentions capacitive touch sensor grids relying on physical displacement of conductors under force. Cited in Ure patent as technology for multi-touch.

[EliensA95a] (*) Eliens, A. "Hush -- a C++ API for Tcl/Tk", The X Resource, Issue 14, April 1995, O'Reilly & Ass., pp 111-155 Refers to mapping of events to mouse buttons in user interface. Compare to press-and-hold.

[Ellozy91] (*) Ellozy, Hamed A; Jeanty, Jenry H; and Tappert, Charles C. "Handwriting recognition employing pairwise discriminant features", United States Patent 5,005,205, April 2 1991 Pairwise analysis of characters against prototypes, then voting, then highest score of the winning pair: appears similar to the Pencept technology (not patented)

[EloTouch95] (*) Elo TouchSystems, Inc. "DOS and Windows Driver Guide, version 2.0", Elo TouchSystems, Inc. 105 Randolph Road, Oak Ridge, Tennessee 37830. Copyright 1987..1995

Contains description of touchscreen implementation of mouse menus for DOS application which are not "mouse-aware". See also Microsoft documentation on MENU.COM and mouse menus. Tablet drivers for mouse emulation in DOS and Windows.

[ElrodS92a] (*) Elrod, Scott; Richard, Bruce; Gold, Rich; Goldberg, David; Halasz, Frank; Jannsen, William; Lee, David, McCall, Kim; Pedersen, Elin; Pier, Ken; Tang, John; and Welch, Brent "LiveBoard: A Large Interactive Display Supporting Group Meetings, Presentations, and Remove Collaboration", Proc. CHI '92, SIGCHI conf. on Human Factors in Computing Systems, 1992, pp. 599-607

Multi-user remote whiteboard using rear-projection screen and wireless digitizer pen with four additional buttons (for menus, etc.) Cordless pen digitizer projects light onto screen, detected optically. Sweeping gestures for scrolling and panning, also for turning pages in a slide-show application: tap as gesture? Multi-touch: up to three users with three pens at same time, therefore can share the tools. Other references state as multi-user / multi-touch: up to three simultaneous pens/users.

[Endo91] (*) Endo, Yasuo; Akimichi, Shinji; Hirose, Tadayoshi; Furukawa, Motonori; Yoshida, Kyoko "Context-Base Input/Output System", United States Patent 5,012,521, April 30, 1991

Gesture recognition user interface: refers to recognition of patterns (sketch recognition?) of elements of on-line drawing (curves, arcs, lines), but emphasis is on gestures: X for erase, clash for cut (of two segments), closed wrap (circle or lasso) to cause recognition of handwriting, wrap/lasso plus arrow for magnify, copy, reduce. No modal input, gestures can be input at any time, compare with Tablet PC gestures. Integrated tablet digitizer and display.

[EO93a] (*) EO "The World of Messaging: An Introduction to Personal Communications", EO, Inc., 1993

User documentation provided for EO personal communicator, running PenPoint operating system. Describes E-mail, FAX, AT\&T Mail services, Applelink. See also ATTHobbit file (functional device)

[EO93b] (*) EO "Lookup Guide to the EO Personal Communicator", EO, Inc., 1993

User documentation provided for EO personal communicator, running PenPoint operating system. Describes basic function of PenPoint and EO "Hobbit" hardware: caret, check/tick, circl, cross out, undo, flick up gestures. Press (hold) gesture for move, tap+press two stroke gesture for copy. See

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

13/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

also ATTHobbit file (functional device), Agulnick file

[EO93c] (*) EO "EO Personal Communicator: Applications", EO, Inc., 1993

PenPoint/EO: InkWare Notetaker, Longhand by Lexicus, MHS link for GO mail by GO: PenASCII, penHost, Slate PenApps Application Builder, Pensoft Perspective, PenMagic Numero, PenCross

[EO93d] (*) EO "Getting Started with your EO Personal Communicator", EO, Inc., 1993

User documentation provided for EO personal communicator, running PenPoint operating system.

[EO93e] (*) EO/ATT "How to Appease a fat cat FROM a gondola", AT\&T / EO, Inc., 1993 Sales brochure for ATT/EO Hobbit personal communicator pen computer tablet. Shows functional unit (actualy display) running PenPoint operating system. Applications include Slate Corporation PenApps (similar to Visual Basic?), Pensoft Corporation Perspective forms/reports/planner, PenMagic Software Numero spreadsheet and LetterExpress letters/fax editing, Ink Development Corporation NoteTaker, fax software. Deskin Research Group Gnosis database and document storage software with remote server storat.

[EO93f] (*) EO/ATT "EO Personal Communicator: Video", AT\&T / EO, Inc., 1993

Video marketing presentation for EO personal communicator running PenPoing: shows wireless data, notebook metaphor, and cellphone communications: tablet-sized smartphone with handwriting pen-computing user interface

[Essex95] (*) Essex, David "Rewriting Handwriting Recognition", Byte Magazine, June 1995 Refers to reduced expectations on handwriting recognition accuracy, not to read human-illegible handwriting. Reference to Doonesbury commentary, use of point-and-tap selections and digital ink. Shows modified Graffiti character set (neography), Lexicus Cursive Recognition

[FaughnanJ95] (*) Faughnan, John "bar coding journal articles - DataGlyphs", Posting to ftp.org/mailmain discussion list, December 29, 1995

Proposal to use a DataGlyph (two-dimenstional barcode) to having indexable/scannable information at the start of published articles. Compare to Silverbrook patent 2004, and to Anoto. Note: there was a similar technology already in place in the 1980's?

[FeinerS91a] (*) Feiner, Steven "Hybrid User Interfaces: Breeding Virtually Bigger Interfaces for Physically Smaller Computers", Proc. UIST '91, Nov 11-13, 1991, pp 9..17

Combine two head-mounted displays (low resolution and high resolution) and two pointing inputs (low resolution and high resolution: use Polhemus 3-D electromagnetic digitizer to track head). Cites to Sutherland 1965 for head-mounted dipslay. Mentions combination of dataglove and stylus for pointing.

[Fenwick95] (*) Fenwick, Daniel J. "Generation of Interdependent Font Characters Based on Ligature and Glyph Categoriations", United States Patent 5,412,771, May 2, 1995, assigned to Signature Software Inc., Hood River, Oregon

Creating of a "handwriting-looking" font from samples of someone's handwriting: refers in claims to automatic classification/categorization based on slope and other characteristics of the characters

[FitzmauriceG95a] (*) Fitzmaurice, George W.; Ishii, Hiroshi; Buxton, William "Bricks: laying the Foundations for Graspable User Interfaces", Proc. CHI 1995

GraspDraw project: Physical devices coupled to "virtual" objects via position sensors: blocks (bricks) that may be moved on a position-sensing surface. Refers to multiple-value input being either time-multiplexed (one mouse or stylus) or space-multiplexed (two hands).

[Forcier93] (*) Forcier, Mitchell D. "Script/Binary-encodedcharacter Processing Method and System with Moving Space Insertion Mode", United States Patent 5,220,649, June 15, 1993 Editing of handwriting/electronic ink without recognition of characters, use of editing gestures distinguished from handwritten character/glyphs based on context: word-wrap, inserting spaces,

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

14/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

editing of handwritten lines of text: Compare with van Raamsdonk. Press reports from 1999 of Forcier accusing Microsoft of infringement: see correspondence with Forcier

[Forcier93a] (*) Forcier, Mitchell D. "Script/Binary-encoded Character Processing Method and System", United States Patent 5,231,698, July 27, 1993

Editing GUI of handwriting/electronic ink without recognition of characters, use of editing gestures distinguished from handwritten character/glyphs based on context. Editing of electronic ink: word-wrap, inserting spaces, editing of handwritten lines of text Distinguishes handwritten electronic ink from other non-handwriting input during editing Compare with van Raamsdonk. Press reports from 1999 of Forcier accusing Microsoft of infringement

[FordDM91a] (*) Ford, David Malcom "On-Line Recognition of Connected Handwriting", Ph.D Thesis, University of Nottingham, U.K., May 1991

Contains review of handwriting recognition techniques for discrete, connected, and cursive writing: primitive sub-strokes, elastic matching, feature matching, Freeman chain codes. Digitizer used was a Pencept PenPad, specifically engineered for use in a handwriting-input system.

[Fox92] (*) Fox, Abijah Shawhan; Greanias, Evon Constantine; Kim, Joonki; and Tappert, Charles Carson "A system for automatic adjustment and editing of handwritten text images", European Patent Publication Number 0176715B1, Proprietor International Business Machines, Armonk, NY. Stroke segmentation and alignment to a base writing line

[FrancikE91a] (*) Franci, Ellen; Rudman, susan Ehrlich; Cooper, Donna; Levine, Stephen "Putting Innovation to Work: Adoption Strategies for Multimedia Communication systems", CACM, Dec. 1991, Vol 34 No 12, pp. 53-63

Report on adoption plan for Wang Freestyle as pen-based system for cooperative/collaborative work, syncronized voice/electronic-ink annotations. Refers to conversational turns enabled in whiteboarding system. Cites to early resistance to telephone as an electric toy (citations)

[Frankish95] (*) Frankish, Clive; Hull, Richard; Morgan, Pam "Recognition Accuracy and User Acceptance of Pen Interfaces", CHI '95 Proceedings, available at http://www.acm.org/sigchi/chi95/Electronic/documnts/papers/crf_bdy.htm

Short study of Windows for Pen Computing accuracy, compares to Neisser60, cites also LaLomia94

[FrederickV93a] (*) Frederick, Vivian and Yasuda, Phyllis, with Yamada, Judy and Koda, Ann "Using Windows 3.0/3.1", McGraw-Hill, 1993 Color and pattern Scheme GUI in Windows 3.0/3.1

[FrickeJ93a] (*) Fricke, Jeorg "Tactile graphic computer screen and input tablet for blind persons using an electrorheological fluid", United States Patent 5,222,895, June 29, 1993 Tactile display for the blind, uses a fluid that changes state in response to a voltage. Intended to display braille.

[Fried-Nielson94a] (*) Fried-Nielsen, Lars K. "Symbol Browsing in an Object-Oriented Development system", United States Patent 5,339,433

IDE development environment with object, code browser, links reference to source code. No layout editor for GUI shown.

[FriedlandM91] (*) Friedland, Mary "They Made It Happen (Momenta)", Pentop Magazine, Nov. 1 1991 Kamran Elahian, founder of Momenta pen-computing company: Portia Isaacson compares MADE (Momenta Application Development Environment) with PenPoint and Pen-Windows.

[FriendJ95a] (*) Friend, John; Freedman, Mike; Bricklin, Dan "Input Device with Deferred https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

15/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Translation", United States Patent 5,455,901

Delayed translation/Deferred recognition of electronic ink, part of Slate/Bricklin thinking of ink as a data type. Implemented for PenPoint and Pen Windows in PenApps, a Visual-Basic like language. Refers to leaving electronic ink displayed if handwriting not recognized, or handwriting recognition result not found in dictionary. User can also display ink instead of recognized text. Gestures?

[FrohlichD93] (*) Frohlich, David "The History and Future of Direct Manipulation", HewlettPackard internal publication, 1991 Broad psychological comparision of direct manipulation GUIs (a la Shneiderman) with virtual partners, virtual reality systems. Cites to Shneiderman for three-point definition of "direct manipulation"

[Garnet94a] (*) Brad A. Myers, Dario Giuse, Andrew Mickish, Brad Vander Zanden, David Kosbie, James A. Landay, Richard McDaniel, Rajan Parthasarathy, Matthew Goldberg, Roger B. Dannenberg, Philippe Marchal, Ed Pervin "The Garnet Reference Manuals: Revised for Version 3.0", CMU Computer Science report CMU-CS-90-117-R5, December 1994, and additional materials Collection of reference manuals and papers for Garnet IDE (see other refs) from CMU archive web site: includes directory listings.

[GeisslerJG95a] (*) Geissler, Joerg "gedrics: The Next Generation of Icons", Proc. 5th Int'l Conf. on Human-Computer Interaction (INTERACT '95), Lillehammer, Norway, June 27-29 1995, pp. 73-78

Critique of Pen Windows / W4PC as only encompasing double-click, not drawing of gestures. Gedrics: gesture-driven icon. Gestures (of single stroke, to be fast) are performed on an icon: tab to activate, right-left to open, single-stroke question mark for help menu, closed "X" to delete, press/hold or hold/drag for copy/paste/move-to-parent, etc. circle left and circule right. Implementation on Newton. Does not mention "marking menus".

[GemmellM92a] (*) Gemmell, Mark; Robson, Christopher "Input device with tactile feedback", PCT Patent Application PWO9200559A1, January 9, 1992 Stylus and digitizer with haptic feedback, conveying texture by vibrational/noise

[GeneralMagic94a] (*) General Magic "General Magic Phone Predates Smartphones", General Magic Corporation. Video available at http://www.youtube.com/watch? v=wko0m6XA9yg, Fetched 2011

Video presentation of General magic smart phone / PDA. Slate computer with stylus touchscreen from Sony. Appears to be resistive film tablet. Calendaring, virtual keyboard, electronic ink for notetaking, Personal Link communiation network services from AT&T for email, etc.

[GeneralMagic94b] (*) General Magic "Video Telescript General Magic: A 1994 Vision of the Future", General Magic Corporation. Video available at http://www.youtube.com Fetched 2011 Video presentation of General magic smart phone / PDA. Slate computer with stylus touchscreen from Sony. Appears to be resistive film tablet. Focus is on Telescript: early messaging/email service?

[GeneralMagic95a] (*) General Magic "Telescript Language Reference, October 1995", General Magic Corporation

Telescript: Prototype-based programming language for pen-centric pen computing applications for General magic platform.

[GerlachJD94a] (*) Gerlach, John D. and Weiblen, Michael E. "System for Relocating a Multimedia Presentation on a Different Platform by Extracting a Resource Map in Order to https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

16/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Remap and Relocate Resources", United States Patent 5,317,732, May 31, 1994

Visual programming language / GUI for creating programmed multimedia presentations

[GerpheideGE94a] (*) Gerpheide, George E. "Methods and apparatus for data input", United States Patent 5,305,017, April 19, 1994 Capacitive/electrostatic grid tablet ("dipole electrodes"), finger affects capacitance at intersections. Interpolates for higher resolution? Proximity sensing

[GesslerS95a] (*) Gessler, Stefan and Kotulla, Andreas "PDAs as mobile WWW browsers", Proc. WWWF '94, Computer Networks and ISDN Systems, 1995. Available at ww.teco.unikarlsruhe.de/~stefan/papers/wwwf94/www_pda.html

Speculative (forward-looking) paper on web-browser for PDA Apple Newton: advantage is ubiquity and portability, disadvantage was high wireless data charges while mobile, small display and small memory.

[GoldbergD91] (*) Goldberg, D. and Goodman, A. "Stylus User Interfaces for Manipulating Text", Proceedings of the Fourth ACM SIGGRAPH Symposium on User Interface Technology (UIST'91), 127 - 135

Cited by Bill Buxton: Shows "undo" graphically, using electronic ink: Scriptel electrostatic digitizer. Shows markup editing as a good application for handwriting recognition and input: cites Suenaga and Nagura. Note: did not cite van Raamsdonk. Cites to PenPoint, but specifically mentioned before PenPoint: penpoint recognizer can make errors in gesture recognition. Cites parallax problem with Scriptel digitizer above display. Discusses U-V recognition, boxed versus boxless, but no reference to PenCept. Segmenting cursor: initially one writing box, box is moved when you start writing outside the current box. Tap gesture to replace (incorrect) single-character recognition with recognizers second alternative. ("tap-correction"). Tap-twice to correct manually.. Mentions two differences between stylus and mouse pointing: precision, and multiple-buttons on mouse, does not mention lift-vs-down, relative-vs-absolute position, etc.

[GoldbergD93] (*) Goldberg, D. and Richardson, C. "Touch-typing with a stylus", INTERCHI '93 Conference Proceedings, Amsterdam, April 1993, pp 80-87 See also SIGGRAPH Video Review 88, New York: ACM., 1993. Unistroke handwriting character recognition

[Goodisman91] (*) Goodisman, Aaron "A Stylus-Based User Interface for Text: Entry and Editing", S.M. Thesis, Massachusetts Institute of Technology, Dept. of EE and CS, May 1991.

General study and overview of stylus-based user interface for text input and text editing, including the use of gestures. Makes comparisons to PenPoint, but is not specifically about PenPoint. Mentions differences between Stylus and Mouse GUI user interfaces, such as activate-button-on-touch versus activate-button-on-lift, scroll-up flick versus pull-scroll-bar-down. Supervisor was David Goldberg of Xerox PARC, who later patented similar work on mark-up editing using gestures, boxes, with handwriting recognition (Unistroke)

[Gookin92] (*) Gookin, Dan "Oh, to Find a Better Mouse", Also Available at www.wambooli.com/fun/dang/mouse

Unpublished manuscript for PC Computing Usability Labs on mouse, trackball, and similar devices: includes low-cost tablets and touchpads such as AceCat, UnMouse, PortaPoint. Also MousePen (note on writing with a mousepen). Unmouse: default (only?) behavior is non-absolute relative motion, mentions problem of double-click with a touch pad.

[Gore93] (*) Gore, Andrew and Ratcliffe, Mitch "Newton's Law: A Digital Nomad's Guide", Random House Press, 1993, ISBN 0-679-74647-1 Handwriting recognition on page 157 ff. Mentions JOT electronic ink standard with Slate, but not

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

17/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

supported on Newton. Handwriting recognition "not well explained" by Apple. Appears to show a scrub-out gesture for erasing text: text is selected (alternatively) before the scrubbing gesture, or y the scrub gesture itself. Gestures: caret gesture. Due to problems with recognizer, recommends deferred recognition and searchable electronic ink.

[Greanias91] (*) Greanias, Evon C. and Donaldson, Robert L. "Remotely Sensed Personal Stylus", United States Patent 5,007,085, April 9, 1991

Transparent digitizer overlaid on a display (CRT example, not flat LCD: see other Greanias). Appears to be a patent on using the same stylus on any of several workstations, and logging on with the stylus by identifying the particular stylus. Compare with SecureID token from RSA.

[Greanias92a] (*) Greanias, Evon C.; Stein, Frank L; Donaldson, Robert L.; and Gray, Michael "Remotely Sensed Personal Stylus", United States Patent 5,117,071, May 226 1992

Capacitive grid Finger touch touchpad, and electromagnetic digitizer in one device. Describes touch mechanism (tip switch?) as solving a problem of not knowing when stylus is actuall in contact with surface

[Greanias92b] (*) Greanias, Evon C.; Stein, Frank L; Donaldson, Robert L.; and Gray, Michael "Stylus Sensing System", United States Patent 5,149,919, September 22, 1992

Electrostatic (capacitive?) digitizer using a single globe pickup receiver in the stylus, to avoid tilt errors. Special contact sensing mode: appears not to use a physical switch in the stylus, uses height / proximity distance instead. Alternating grid of grounded and signal wires.

[Greanias92c] (*) Greanias, Evon C.; Verrier, Guy F.; Arbeitman, Gordon W.; Tannenbaum, Alan R; and An, Yu L "Advanced User Interface", United States Patent 5,157,384, October 20, 1992

Gesture/voice/speech input with multiple user profiles for different commands to differnet programs. Circle gesture mentioned. Translation of gestures to simulated input for other, pre-exiting devices, such as keyboard and/or mouse, to maintain compatibility with pre-existing applications. Compare to Pencept CAD and other interfaces from 1985, which translated "recognition macro" gestures to defined sequences of keyboard/mouse input. If no meaning yet associated with gesture, pop up a menu for user to define the meaning on the fly.

[GreaniasEC92d] (*) Greanias, Evon C.; Stein, Frank L.; Donaldson, Robert; and Gray, Michael "Stylus Sensing System", United States Patent 5,149,919, September 22, 1992

Stylus for transparent grid conductor tablet digitizer. Grid is transmitter, round tip on stylus to have no tilt error (capacitive sensing?). Grid can be either electromagnetic or electrostatis signal source. States disadvantage of 332 patent was false touch points because "touch" detected indirectly by signal strength, by energizing entire grid with same signal, thus getting less variation in signal strength across surface.

[Greanias95] (*) Greanias, Evon C.; Verrier, Guy F.; Donaldson, Robert L. "Touch Overlay for Improved Touch Sensitivity", United States Patent 5,386,219, January 31, 1995 Capacitive grid digitizer, transparent on top of display

[GreenbergS94] (*) Greenberg, Saul "HCI Video Resources", Available at http://www.cpsc.ucalgary.ca/~saul/hci_topics/hci_resources/videos.html

Extensive list of video tapes from ACM CHI, CSCW, and ACM SIGGRAPH Vieo Review relating to handwriting recognition, sketch input, signature verification, and pen-computing: 1983 to 1994. 1963 Video: Videotape of Sketchpad system by Sutherland 1985 Video: Software Control at the Stroke of a Pen - Pencept - CHI '85 1989 Video: The Paper-Like Interface, IBM Watson Research Center - CHI '89 1989 Video: Freestyle - Wang Labs - CHI '89 1992 Video: Combining Gesture and Direct Manipulation - CMU

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

18/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

1992 Video: Touchscreen Toggle Design - Univ. of Maryland 1992 Video: Tactile Manipulation on a Digital desk - Rank Xerox EuroPARC Video: Alternate Reality Kit - Xerox PARC Video: The Lapidary Graphical User Interface Design Tool - Univ. of Tennesee

[GridSystems92a] (*) GridSystems "Grid System Windows for Pen Computing 1.0", Grid Systems installation kit

Windows for Pen Computing installation kit: includes Slate applications software Daytimer Pen Scheduler, WinFax Pen Software, Slate PenBook Reader, Slate LooseLeaf Notetaker, Microsoft documentation for Windows for Pen Computing 1.0 and Windows 3.1 User's Guide. Also PenCell spreadsheet program from Grid (compare with Slate spreadsheet program).

[GridSystems92b] (*) Youtube.com "Grid Pen Computer running Windows 3.1", Youtube.com posted approximately year 2000

Video Windows for Pen Computing running on Grid Pen Convertible computer, circa 1992.

[Griepentrog93] (*) Griepentrog, Scott "David vs. Goliath", Wiki posting at: twiki.stg.net

Microsoft Notebook Application for Pen Windows version 1.00a: described Notebook electronic ink (?) as most promissing application for Pen Computing -- compare with Slate Pen Scheduler notetaking application?

[Gurewich93] (*) Gurewich, Ori and Gurewich, Nathan "Teach Yourself Visual Basic 3.0 in 21 Days", Sams Publishing, 1993 Tutorial and workshop on Visual Basic language and development environment

[Hardock93] (*) Hardock, Gary; Kurtenback, Gordon; and Buxton, William "A Marking Based Interface for Collaborative Writing", Proceedings of the UIST'93, pp 259-266. See also http://www.dgp.utoronto.ca/OTP/papers/bill.buxton/mate.html Collaborative system for marking up text documents: Says modeled on Wang Freestyle: references from 1989

[HarrisonBL95a] (*) Harrison, Beverly L.; Kurtenbach, Gordon; and Vincente, Kim J. "An Experimental Evaluation of Transparent User Interface Tools and Information Content", Proc. UIST 95, Puttsburgh, USA

Show pop-up menus (including pie menus or context menus) semi-transparent or wire-frame over object, so that user can still see context, underlying image/object not obscured. See-through UI tools.

[HashimotoO92a] (*) Hashimoto, Osamu and Myers, Brad A. "Graphical Styles for Building User Interfaces by Demonstration", Proc. UIST '92, Nov. 15-18, 1992, p. 117-124

in Garnet system papers: User can define multiple graphical styles for UI. When a style is edited, all widgets change. Shows Set Style GUI for setting which style.

[Hawkins92] (*) Hawkins, Jeffrey C. "Object Recognition System", United States Patent 5,125,039, June 23, 1992

Compare with Unistroke patent. Recognition of handwriting by dictionary look-up independent of any character set. Uses recognition dictionary: one entry per object, entries involve Boolean operations only to find match: uses inflection points / chain-codes

[Hawkins92a] (*) Hawkins, Jeffrey C., Daly, John J., McNamara, James H. and Cole, James F. "Hand Held Computer", United States Patent 5,133,076, June 23, 1992 Hand-held slate computer with handwriting, convertable to a desk-top computer: shows rotation of display

[HayesP94] (*) Hayes, P. "NameFinder: software that finds names in text", Proc. of RIAO '94, pp 762-774

Abstract only: Commercial product that finds literal names based on capitalization, and dictionary,

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

19/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

plus knowledge engineering rules. Compare with regex expressions to find phone numbers.

[HellerD93a] (*) Heller, Dan "XView Programming Manual / XWindows: Volume Seve, Updated for XView Version 3.2 by Thomas Van Raalte", O'Reilly and Associates, August 1993 X-Windows / XView programming and specification

[HellerD93b] (*) Heller, Dan "XView Reference Manual / XWindows: Volume Seve, Updated for XView Version 3.2 by Thomas Van Raalte", O'Reilly and Associates, August 1993 X-Windows / XView programming and specification

[HenckelJDD95] (*) Henckel, Jonathan D. and Hospers, Paul A. "Data Processing System Graphical User Interface which Emulates Printed Material", United States Patent 5,463,725, October 31, 1995

Gesture (?) for turning a page by touching edge of page in a simulated book, and moving animated page(s) to the left or right. Compare with flick gesture, PenPoint OS metaphor of notebook pages?

[HenryTR91a] (*) Henry, Tyson R, Hudson, Scott E., Yeatts, Andrey K., Myers, Brad A. and Feiner, Steven "A Nose Gesture Interface Device: Extending Virtual Realities", Proc. UIST '91, Nov 11-13, 1991, pp 65-69 Tongue-in-check ("DATANOSE"). Used Polhemus 3-D electromagnetic digitizer mounted in a helmet. Cites to nose-twitching as prior reference for nose gestures.

[HinckleyK94a] (*) Hinckley, Ken; Pausch, Randy; Goble, John C.; and Kassell, Neal F. "A Survey of Design Issues in Spatial Input", Proc. UIST '94, November 1994, Marian del Rey, California, pp. 213-222

Hybrid user interface: touchscreen UI can be combined with 3-D input device, because user can reach out to touch touchscreen with the 3-D input device in their hand. Relative vs. Absolute gestures: hard to perform gestures in absolute coordinates. Bi-manual/two-handed input advantageous over sequential single-hand input, because user can (e.g.) position a tool with one hand and use the tool with the other. Mentions using multiple pointing devices in a prototype (trackball and mouse, or two mice). User's spontanteous use two hands for combining translation/rotation/scaling gesture (direct manipulation).

[HinckleyKP95a] (*) Hinckley, Kenneth P.; Bathiche, Steven N.; Cauthorn, James H.; and Sinclar, Michael J. "Automatic Scrolling", United States Patent 6,975,306, December 13, 2005 Scroll to line, paragraph, or other document boundary. Scrolling initiated by minimum gesture movement, with second threshold to stop autoscrolling or scroll back if touch location has not moved on touch-sensitive surface.

[HopkinsD91a] (*) Hopkins, Don "The Design and Implementation of Pie Menus: There're Fast, Easy, and Self-Revealing (sic)", Dr. Dobb's Journal, Dec. 1991 Description of pop-up circular pie menus, developed in 1986 at U. Maryland in uwm window manager for X-Windows, OpenWindows.

[HopkinsT95] (*) Hopkins, Trevor and Horan, Bernard "Smalltalk: An Introduction to Application Development using Visualworks", Visualworks Object-Oriented Programming Series, 1995 Introduction to Smalltalk language and environment. (Electronic file.)

[HoYL95] (*) Ho, Yung-Lung, and Li, Hwok-Leung "Track Pad Cursor Positioning Device and Method", United States Patent 5,424,756, June 13, 1995 Touchpad controller for very small touchpad: uses (optical) sensing of velocity to position cursor faster if touch is moving fast.

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

20/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[HP95a] (*) Hewlett-Packard "HP Omnigo 100 PDA product information", Hewlett-Packard Touchscreen PDA with full keyboard, swivel/convertible/clamsheel display. Graffiti Handwriting recognition software, GEOS operating system. File contains additional materials.

[Hu95] (*) Hu, Jianying, Brown, Michael K., and Turin, William "Invariant Features for HMM Based On-Line Handwriting Recognition", in "Image Analysis and Processing", Braccini, C., DeFloriani, L. and Vernazza, G. (Ed.), Springer Verlag, 1995, pp. 588-593, Lecture Notes in Computer Science #974.

Invariant handwriting features (independent of rotation, translation, scale) are ratio of tangents and normalized curvature, for Hidden Markov Model recognizer

[Hullender92] (*) Hullender, Gregory N. "Method for Recognizing Handwritten Characters Using Shape and Context Analysis", United States Patent 5,151,950, September 29, 1992

Deterministic Finite Automata (state machine) for using a dictionary of words in handwriting character recognition on the fly, using probabilities of characters: compare with Viterbi algorithm, which is not cited.

[IBM93a] (partial) IBM "BellSouth/IBM Simon smart phone", (various)

Collection of published articles concerning 1993 IBM Simon, a touchscreen-only smart phone with calendar, address book, and other PDA functions built in. Recevied Best Of Show award at 1994 comdex. Design by IBM, manufacturer: Mitsubishi, marketed by Bell South. Touch-screen phone vs. QWERTY cellphone. Pre-internet, send/receive Email by dialing into analog modem on Lotus Notes, send/receive analog Fax. DispatchIt back-end software application for field service. Predictive keying on virtual keyboard. File mentions BellSouth working with Apple to integrate cellular phone service into Newton device. Annotation function (electronic ink) for Fax messages, without handwriting recognition.

[IBM93b] (*) IBM "PenPoint Operating System Overview and Application Development IBM Version", IBM International Technical Support Center, Boca Raton, Feb 1993, GG243978-0 PenPoint documentation from IBM

[IBM94] (partial) IBM ""Redbook" IBM Pen for OS/2 and PenDOS", IBM Form Number GG24-4217-00 Architecture of IBM Pen for OS/@ V1.0 and PenDOS from IBM, version 2.2: Lists gesture assignments by Session Type, Gesture Commands and Sessions

[IBM94b] (partial) IBM "Simon Says "Here's How!", Simon Mobile Communications Made Simple, Users Manual", IBM Corp., 1994

IBM Simon user manual. Touch screen uses plastic stylus or finger. PredictaKey keyboard shows six most likely characters on virtual keyboard, Other shows next six most likely. User can hightlight numbers in messages and they are dialed from a pop-up menu.

[IBM94c] (partial) IBM "AIX Version 4 Desktop Handbook", IBM Corp. Document Number GG24-4451-00, December 1994 Windowing system uses different control layout from Microsoft Windows. Drag-and-drop to printer icons. Style manager allows color palette for all windows to be updated. Three button mouse, pop-up menu button can be rightmost of leftmost button depending on handedness of user.

[Impedovo94] (partial) Impedovo, Sebastiano, editor "Fundamentals in handwriting recognition", Proceedings of the NATO Advanced Study Institute on Fundamentals in Handwriting Recognition, Chateau de Bonas, France, June 21-July3, 1993 [Inforite94] (partial) Inforite "MP100 Writing Pad, Rite-Expressions annotation software for handwriting", BYTE Magazine product announcement, May 1994 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

21/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Appears to have no relation to Inforite82 product, separate company? Several companies have used the name "Inforite"?

[InfoWorld91a] (*) InfoWorld "Windows for Pens beta adds macros, training", InfoWorld, July 22, 1991, page 7

Windows for Pens beta / Pen Windows publicly announced gesture macros definable by user. Refers to new recognizer in December 1991. Additional controls for Visual Basic, compared to PenPoint: delaed recognition a.k.a. "raw ink", ink as a data type, context-sensitive editing (gestures depend on context?) Gestures include tap and double-tap gestures on buttons?

[InfoWorld91b] (*) InfoWorld "Microsoft Passion for Go May Have Been Just a Ploy to Steal Its Heart", InfoWorld, Feb. 18, 1991 Windows for Pens / Pen Windows: Microsoft technical staff met regularly with GO/PenPoint, while also working on PenWindows.

[InfoWorld91c] (*) InfoWorld "Momenta is a study in compromise", InfoWorld, October 21, 1991 Momenta pen-based computer compared with Grid, NCR, PenPoint, and PenWindows. Pop-up context menus / command compass, , trainable handwriting recognition. Operating System is DOS.

[InfoWorld91d] (*) InfoWorld "The Power of the Pen", InfoWorld, March 4, 1991

Article on Tug of War between GO/Penpoint and Microsoft/Pen Windows. Describes PenPoint technology as superior, Microsoft's advantage is business standardization. Review of hardware vendors, architectural comparison of PenPoint and Pen Windows, whether IBM supports PenPoint or PenWindows. Quotes "Information at your Fingertips" from Microsoft.

[InfoWorld91e] (*) InfoWorld "Is pen computing for real?", InfoWorld, November 11, 1991

PenPoint, Windows for Pen Computing (Pen Windows), and PenTop: questions whether users are waiting for technology to deliver as promised. Possible killer apps: Ink Development Inkware (later aha! journal notetaker?), PenBook from Slate, Pensee notepad and outlining, SuperScript improved recognition (?). Companion article "Momenta takes different approach to pen systems",. Quotes preductions of 1 million units to be sold by 1995, mostly felett users, 4 million by 1995.

[InfoWorld92a] (*) InfoWorld "TouchPen turns PenPoint into touch-based system: MiroTouch System's Inc's digitizer compatible with Go Corp.'s PenPoint", InfoWorld, June 8, 1992 MicroTouch working with PenPoint from GO -- OS required proximity sense. Mentions cursor control with finger

[InfoWorld93a] (*) InfoWorld "Visual C++ is a strong development tool: Microsoft gets the C environment right with this robust Windows application builder", InfoWorld, June 21, 1993, page 94 ff. Visual C++ 1.0 replaces Microsoft C/C++ 7.0: compared with Visual Basic: custom controls of Visual Basic may be used in Visual C++. Development environment: Visual C++ 1.0, available with PenWindows: Shows a tool palette, resource editor, tool palette can add and drag-and-drop VBX components, custom controls

[InfoWorld93b] (*) InfoWorld "Visual C++ 1.5 integrates OLE, ODBC", InfoWorld, November 8, 1993, page 5

Visual C++ 1.5: SDK with AppWizards, ClassWizards, visual editing, and drag-and-drop. Also mentions Borand C++4.0 as released easlier, with templates.

[InfoWorld93c] (*) InfoWorld "CA challenges Visual Basic with app builder for Windows, OS/2", InfoWorld, November 8, 1993, page 19 CA Realizer 2.0 for OS/2, and Windows 3.1.

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

22/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[InfoWorld93d] (*) InfoWorld "More tools available for Power Mac programmers", InfoWorld, Kwi 1994, page 23 CodeWarrior by Metroworks, Object Master, MacAPP, Workshop

[InfoWorld93e] (*) InfoWorld "Genetically engineered mice run amok at Windows World", InfoWorld, May 24, 1993, page 34.

Report on Windows World conference: Whiskers utility use use middle button (button 3) of mouse, Gliffic Pluse mouse pad that also works with pen/stylus digitizer, used with Pen Windows / Windows for Pen Computing.

[Intel95a] (*) Intel "Intel386 EX Embedded Miroprocessor MHT9000 Handheld Terminal", Intel Application Note AP-719, August 1, 1995 Intel386 embedded processor, includes registers and MTL6560 digitizer controller for resistive touchscreen (digital voltage measurement), controller/co-processor for LCD

[Isaacson93] (*) Isaacson, Portia "Electronic ink emerges as a launchpad of the future -While few products exist, Jot 1.0 standard is a step", Computer Resellers News, Jun 28, 1993

Review of JOT 1.0 electronic-ink / E-ink format standard for handwriting data. Mentions particularly the tutorial nature of the specification, and open-ended format. Credits Slate as author of the standard: original draft was by Jean Renard Ward, later revised, credit to Dan Bricklin of Slate.

[Isaacson94] (*) Isaacson, Portia "The Power of 'EINK'", OEM Magagzine, February 1994, Page 93

States large hardware business for specialize electronic chips for PDAs with electronic ink, handwriting recognition coprocessor. Mentions immaturity (performance defects) of digitizer tablets. e-ink.

[Ishigaki94] (*) Ishigaki, Kawasaki Kazushi "Handwriting Entry Processing System Using Keyboard and Mouse Interfaces Requiring No Modification of an Application Program", United States Patent 5,361,310, November 1, 1994

Handwriting recognition UI characters translated to keyboard input: no references to Sklarew/Linus or Ward/Pencept?

[IshiiH93a] (*) Ishii, Hiroshi; Kobayashi, Minoru; and Grudin, Jonathan "Integration of Interpersonal Space and Shared workspace: ClearBoard Design and Experiments", ACM Trans. on Information Systems, Vol 11, No 4, October 1993, pp. 349-375

Transparent whiteboard combined with video conferencing, other side of conference is shown (mirror image) on whiteobard so that the writing appears right-way-around. Reference to handgestures in video conferencing. TeamBoard hardware.

[JacobRJK93a] (*) Jacob, Robert J.K.; Leggett, John J.; Myers, Brad A; and Pausch, Randy "Interaction styles and input/output devices", Behaviour and Information technology, Vol 12 No 2, pp. 69-79, 1993

gesture and handwriting as alternative to keyboard input. Gesture and other types of input have a probability vector of input, rather than absolute commands. Refers also to two-hand input (Buxton multi-touch) and UI having more than one stream of input events, unlike WIMP architecture, force feedback for haptic display of 3D surfaces.

[JacobRJK94a] (*) Jacob, Robert J.K.; Sibert, Linda E.; McFarlane, Daniel C.; and Mullen, M. Presont Jr. "Integrality and Separability of Input Devices", ACM Transactions on Computer-Human Interaction, Vol 1 No 1, March 1994, pp. 3-26

Describes mouse as absolute position device if not lifted from pad (sic), thus a three-dimensional digitizer is equivalent for two dimensions. Refers to device-independent API interfaces such as ACM CGS. But in practice, practical attributes of input devices are not separable from types of user

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

23/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

interfaces and interactions.

[JohnsonGW94a] (*) Johnson, Gary W. "LabVIEW Graphical Programming: Practical Applications in INstrumentation and Control", McGraw-Hill, INc. 1994

LabView graphical programming language for software simulation and control of virtual laboratory instruments, describing dataflow programming. Text refers to RUN switch in examples (p84/92). Introduction gives history of LabVIEW to 1986. User interface: notes that scroll bar on MacIntosh and Windows effectively halts asyncronous/multi-tasking operation.

[JohnsonWA91] (*) Johnson, Walter A.L.; Faieta, Baldo A.; and Smith, Z. Erol III "Form Utilizing Encoded Indications for Form Field Processing", United States Patent 5,060,980, October 29, 1991

Printing machine-readable descriptions, data, and instructions on a paper form, to be used in conjunction with OCR to read the pattern on the special section of the form. Numerous citations to other inventions involving printing data on paper: compare to DataGlyphs, which encoded the whole surface, and to Anoto.

[Jourjine91] () Jourjine, Alexander "Neural network using random binary code", United States Patent 4,996,648

Neural net for handwriting recognition developed during Freestyle project at Wang Laboratories.

[Jourjine93] (*) Jourjine, Alexander "Method and apparatus for parallel implementation of neural networks", United States Patent 5,224,066

Alex Jourjine had a very interesting user-independent cursive handwriting recognizer at Wang Labs, without use of a vocabulary dictionary.

[KabbashP93a] . Kabbash, Paul, Mackenzie, I.Scott, and Buxton, William "Human Performance Using Computer Input Devices in the Preferred and Non-Preferred Hands", Proceedings of the ACM INTERCHI 1993, pp 474-481 multi-hand user interface: prototype used stylus (Wacom pressure) tablet and mouse Cited in Wanderley00

[Kable92] (*) Kable, Robert G. "Electrostatic Digitizers Performance with Color LCD Displays", Scriptel Corporation, 1992

Scriptel electrostatic digitizer, resistive film. Mentions high immunity to backlight and display noise. Front-mounted touchscreen. Describes ratiometric sensing of voltage field

[KajlerN95a] (*) Kahler, Norbert and Soiffer, Neil "A Survey of User Interfaces for Computer Algebra Systems", J. symbolic Computation, Vol 11 no 1, 1995.

Survey of mathematical expression editing, mostly from a keyboard (and mouse?). Section 4.10 talks about pen computing user interfaces: two-dimensional input is good, but large number of symbols used is problematic for handwriting recognition

[Kaplan94] (*) Kaplan, Jerry "Startup: A Silicon Valley Adventure", Penguin Books, ISBN 0395-71133-9, ISBN 0 14 02.5731.4, 1994 History of GO Corporation and PenPoint, experience with IBM and Microsoft, from point of view of CEO of GO. Compare to account of same events by Marlin Eller in "Barbarians led by Gates" about PenWindows. Additional materials in file: winster.com, etc.

[KasselRH95a] (*) Kassel, Robert Howard "A Comparison of Approaches to On-Line Handwritten Character Recognition", Ph.D. Thesis, Dept. of EECS, M.I.T., May 12, 1995

Study of testing handwriting recognition algorithms using some 87,000 characters from 150 writers. Supported by Microsoft Pen computing Group: Greg Slyngstad and Sunh Rhee. (Cites variability models of Ward and Kuklinski, but does not derive implications about 97,000 being a small sample

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

24/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

size.)

[Kay93] (*) Kay, Alen "The Early History of Smalltalk", ACM SIGPLAN, Vol 28 No 3, march 1993. Appearing in "History of Programming Languages", ACM Press 1996

History of object-based programming, back to Burroughs B200 Mentions GRAIL and Sketchpad systems, 1960's, early pen computing environment Describes early thought to include handwriting recognition input on Dynabook, not thought would work well

[KelleyAJ93a] (*) Kelley, A.J. "On the Development of a Force-Feedback Mouse and its Integration into a Graphical User Interface", Dynamic System sand Control, Vol 55 No 1, 1994, pp 287-294

Force-feedback "mouse" using position over electromagnetic plate. Haptic features for user interface include tactile feedback for: rectangular constraints for windows, resistance to motion when moing upward into menu bars, contraining input in scroll bars, icon gravitation, viscous feeling when dragging (window, object, scrollbar), etc. Interfaced to X-Windows.

[KelleyAJ94a] (*) Kelley, A.J. and Salcudean, S.E. "MagicMouse: Tactile and Kinesthetic Feedback in the Human-Computer Interface using an Electromagnetically Actuated Input/Output Device", Technical Report, Dept. of E.E., Univ. of Briish Columbia, October 19, 1993 Haptic mouse with force feedback, integrated with X windows. Electromagnetic actuator in mouse, feedback provided external to host CPU because control loop through host application too slow or too low in bandwidth. Turns mouse into absolute position device?

[Kempf93] (*) Kempf, James "Integrating Handwriting Recognition into Unix", 1993 USENIX Summer Technical Conference, Cincinnati Ohio, June 21-25 1993 Block recogizer versus cursive recognizer: HRE API for Linux, for incorporating handwriting character recognition into X-Windows

[Kempf94a] (*) Kempf, James "HRE API: A Portable Handwriting Recognition Engine Interface", Available at http://playground.sun.com/pub/multimedia/handwriting/hre.html

Proposed API for handwriting recognition systems, using pen strokes optimized for point vectors in the X window system, but otherwise independent of OS or windowing system Incremental translation/recognition of handwriting support for context as for Japanese and Cursive English API for character prototype files and dictionaries Data structures for gestures and arbitrary objects Data structures correlations between recognized objects and pen strokes

[Kempf94b] (*) Kempf, James "Preliminary Handwriting Recognition Engine Application Program Interface for Solaris 2", Available at http://playground.sun.com/pub/multimedia/handwriting/hre.html [Kent93] (*) Kent, Joel C. "Contact touchscreen with an improved insulated spacer arrangement", United States Patent 5,220,136, June 15, 1993 Resistive sheet digitizer with spacing dots, electrographic tablet

[Khanide92] (*) Khanide, Fereydun "kurz vorgestellt - Pen-Computer: Pen-Prototyping / PenEntwicklungswerkzeuge: PenRight!Pro und PenPal", c't Magazine, September 1992, page 48

Abstract/Summary only: Visual Software development packages for pen computers using GRiD API

[Kim94] (*) Kim, Joonki; Teibman, George J.; and Tappert, Charles C. "Method and Apparatus for Improving Prototypes of Similar Characters in On-line Handwriting Recognition", United States Patent 5,285,505, February 8, 1994. Averaging out the prototypes in adaptive handwriting recognition system

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

25/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[KimuraTD92a] (*) Kimura, T.D. "Hyperflow: a visual progrmaming language for pen computers", Proc. 1992 IEEE Workshop on Vistual Languages, 15-18 September 1992, pp. 125-132

visual programming langauge with pen input: pen-based multimedia computer system. Lasso/linethrough gesture for multiple copying, box and arrow gesture recognition.

[KnabeK95a] (*) Knabe, Kevin "Apple Guide: A Case Study in User-Aided Deisng of Online Help", Proc. of CHI '95, Short Papers On-line help, with hypertext linking and search for related topics by text

[KnowltonKC94a] (*) Knowlton, Kenneth C. "Computer Apparatus and Method for Graphical Flip Book", United States Patent 5,283,864, February 1, 1994 Simulation of indexed flip book / rollodex in Wang Freestyle, with small edges of pages shown

[KruegerM91] (*) Krueger, Myron W. "Artifical Reality II", Addison-Wesley Publishing, Reading MA, 1991

Limited discussion of "The Glove as a Gesture Technology": simple hand gestures: because its shape is in three dimensions, it has a larger vocabulary of gestures. Suggests that natural hand gestures (e.g. open/close) better than symbolic gestures. Cites earlier VIDEOPLACE ca. 1972 with simulated "touching" of two users to each other via video projection.

[KruegerMW93] (*) Krueger, Myron W. "Environmental Technology: Making the Real World virtual", CACM, Vol 36 No 7, July 1993, pp. 36-37

Multi-hand / multi-user videodesk teleconferencing, both a whiteboard and direct manipulation of graphics. Multipoint control (four finger touch points) for manipulating curves, 3-D wind tunnels, videotouch.

[Kurtenbach91] (*) Kurtenbach, G. and Buxton, W. "GEdit: A test bed for editing by contiguous gestures", ACM SIGCHI Bulletin, Vol 23, 1991, pp 23-26.

Cited in Lipscomb91, Rubin91b: sub-gestures within a stroke Simple gestures to create a small object (square, circle, etc.) using a single-direction flick stroke in one direction: gestures for delete (slash) and select (loop around) with drag mark on the rest of the selection to move

[Kurtenbach91a] (*) Kurtenbach, G. and Buxton, W. "Issues in Combining Marking and Direct Manipulation Techniques", Proc. 4th ACM SIGGRAPH Symposium on User Interface Technology (UIST), pp 137-144. Simple gestures to create a small object (square, circle, etc.) using a single-direction flick stroke in one direction: gestures for delete (slash) and select (loop around) with drag mark on the rest of the selection to move.

[Kurtenbach91b] (*) Kurtenbach, G. "Making Marks Self-revealing", SIGCHI Bulletin, October 1991, pp 60-ff. Flick gestures in different directions, pop-up menu for pie-menu if you press-and-hold.

[Kurtenbach91c] (*) Kurtenbach, Gordon "Editing Time-line Data Using Marking Menus", Video demonstration, Dynamics Graphics Lab, University of Toronto, 1991

Also known on YouTube.com as Marking Menus in ConEd Example. Marking menus /gestures in UI to edit video annotations: pop-up menu when mouse/stylus is held stationary (hold/press gesture)

[Kurtenbach92] (*) Kurtenbach, Gordon and Baudel, Thomas "HyperMark: issuing commands by drawing marks in HyperCard", SIGCHI Conf. on Human Factors in computings systems, Monterey, CA, 1992. pp. 64-64 (poster session) Gesture Markings on buttons in HyperCard

[Kurtenbach93] (*) Kurtenbach, Gordon and Buxton, William "The Limits Of Expert https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

26/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Performance Using Hierarchic Marking Menus", Proc. INTERCHI '93, 24-29 april 1993, pp. 482-487

Heirarchic marking menus: heirarchical levels of pie/radial menus, user can combine "zig-zag" motions through multiple levels of menus. Includes an undo/no-selection gesture by moving pen back to center before lifting stylus, or moving pen to new location before lifting. Undo gesture is pointing to center. Notes that mouse is worse than stylus with digitizer/touchscreen. Test system employed Momenta pen-based computer (which already had marking/pie menus), but Momenta not listed in references.

[KurtenbachGP93b] (*) Kurtenbach, Gordon P., Sellen, Abigail J; and Buxton, William S.a. "An emperical evaluation of some articulatory and cognitive aspects of "marking menus"", Human Computer Interaction, Vol 8 No 1, pp. 1-23.

User usability study of heirarchic marking menus: response time not solely a function of number of menu items

[KurtenbachGP93c] (*) Kurtenbach, Gordon Paul "The Design and Evaluation of Marking Menus", Ph.D. thesis, Graduate Dept. of Comp. Sci., University of Toronto, 1993

Kurtenbach thesis on marking menus: self-revlation (due to pop-up menu on dwelling), guidance (from pie menu), and rehearsal (from stylus motion in pie menu like the mark). Pen item is selected when stylus crosses outer boundary of pie menu radial item. Previewing of menu selections. Animation of demonstrated marks as on-line help. UI works by pen-motion only, barrel buttons are "events distinct from men movement".

[Kurtenbach94] (*) Kurtenbach, G.; Moran, T.P.; and Buxton, W. "Contextual Animation of Gestural Commands", Computer Graphics Forum, Volume 13 (1994), Number 5 pp 305-314.

Use of pop-up radial menus to train users to "gestures" which match the motion used to select from a radial menu. Also display of images of gestures in menus, and pop-up text giving name/meaning of gesture recognized. Circle/lasso gesture around an object brings up a pop-up menu of actions that may be applied to the object. Also shows pig-tail gesture for delete/erase, scroll-up and scroll-down (flick?), lasso gesture for select. Gestures may be recognized using velocity: e.g. Slow flick moves to next page, fast flick to end of document.

[Kurtenbach94b] (*) Kurtenbach, G.; and Buxton, W. "User Learning and Performance with Marking Menus", Proc. CHI '94, pp. 258-265 Marking menus on MacIntosh/Apple. (pop-up pie menus when user hold stylus still, selectedable without first lifting pen). Zig-zag gestures for navigation.

[KusumotoH94a] (*) Kusumoto, Hiroki and Hasuhara, Hiroshi "Image drawing apparatus for displaying input image on display means", Unite States Patent 5,311,207, May 10, 1994 Pressure sensitive tablet digitizer using two conductive sheets and conductive rubber

[KwokJC92] (*) Kwok, Jac Chak-Lam "An innovative integrated development environment for the Pocket PC PDA", Master's Thesis, Massachusetts Institute of Technology, EE/CS, 1992 Mentions digitizer problems with handwriting recognition, based on Ward and Kluklinski articles

[Kyocera_Refalo91] (*) Kyocera "Kyocera Refalo KX-1601 Product information, 1991", Collection from Mobile Computers Museum, http://www.kako.com/backup/mesum/keyocera/kyocera.html, 2002

Kycocera Refalo: fully electronic day-timer, DOS-based Pen palmtop, Handwriting recognition, ATOK, JUST-Window. Unit was shaped like a three-ring binder, with the display and writing surface on the left inside: included separate pointing device (cursor-key pad) in addition to stylus. MS-DOS, additional

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

27/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

leaves/pages could be inserted with additional hardware, worked by electromagnetic coupling. Web page Copyright 1995-1999 by Eiji Kako, additional Refalo materials in file.

[LahtinenPI91a] (*) Lahtinen, Pekka Ilmari "Multi-function telephone apparatus", European Patent Application E 0458563 A2, November 27, 1991

Portable telephone user interface that recognizes telephone numbers in messages on the display and lets the user dial them

[LaLomia94] (*) LaLomia, Mary "User acceptance of handwritten recognition accuracy", Conference on Human Factors in Computing System, Boston, Massachusetts, 1994, pp 107108. Cited along with Neisser (93% recognition success for humans without context), that users not satisfied with 97% correct character-to-character handwriting recognition success.

[LaLonde91] (*) LaLonde, Wilf R. and Pugh, John R. "Inside Smalltalk, Volume II", Prentice-Hall International, 1991 Introduction to Smalltalk language and environment. (Electronic file.)

[LambAC94a] (*) Lamb, Arthur C. Jr. "Pop-up Keyboard System for entering Handwritten Data into Computer Generated forms", United States Patent 5,276,794, January 4, 1994 pop-up keyboard in GridPad computer, in a particular form application

[LandayJA93a] (*) Landay, Jams A. and Byers, Brad A. "Extending an Existing User Interface Toolkit to Support Gesture Recognition", Proc. INTERCHI '93, pp 91-92

Garnet user interface system extended to support gesture input (Rectangle, Circle, Copy, Delete gestures: delete is one-stroke "X"). Interactor class passes name/ID of gesture, and features (such as bounding box). Compare with PenCept recognition-macro gestures for extents?

[LandmeierWL95a] (*) Landmeier, Waldo L. "See-through Digitizer with Clear conductive Grid", United States Patent 5,381,160, January 10, 1995 Front-mounted electromagnetic digitizer (CalComp) with a display: gives long description of Scriptel front-mounted electrostatic display, discussion of problems of rear mounting. Uses term "pen-driven computing". Two layers of grid are fabricated on two layers of transparent mylar.

[LawlessMT93a] (*) Lawless, Michael T. and LaVine, Nils D. "Reconfigurable Simulator Specifications for Future Main Battle Tanks Within the Close Combat Test Bed", U.S Army Research Institute for the Behavioral and Social Sciences, Fort Knox Field Unit, Training Systems Research division, Report AD-A268 134, March 1993.

User interface for a battle tank simulator: mentions need for reconfigurable glass cockpit, touch screen technology on display has advantages from user interface controls placed on the screen. Touchscreen is a modified Microtouch unMouse using capacitive touch-sensing with a microswitch below the screen. Dragging by clicking and sliding.

[LeeJ94] (*) Lee, Jack "Pen-based form computer", United States Patent 5,347,477, September 13, 1994

Forms-based inputing gestures to control recognition, insert, delete scroll -- compare with GO Refers to smoothing (and averaging?) to obtain the non-distortion point on stylus input filtering?

[LeedhamCD94] . Leedham, C.G. "Historical perspectives of handwriting recognition systems", IEE Colloquium on Handwriting and Pen-Based Input, 1994, pp 1..13. Abstract only: history of handwriting recognition (?) back to 1950's.

[LevineS91] (*) Levine, Stephen R.; Harui, Alex J.; Schirpke, Michael W.; Donoghue, Karen; Ajgaonkar, Donna "Apparatus for Manipulating Documents in a Data Processing System utilizing Reduced Images of Sheets of Information which are Movable", United States Patent 5,060,135, October 22, 1991 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

28/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Freestyle from Wang: Pen/stylus direct manipulation for annotating document images. Only made use of electronic ink, no handwriting recognition or gesture shape recognition. Touch-and-lift (similar to tap) and touch-and-move (drag) operations. Allowed for both ink annotations and voice recording annotations, which could be played back as a "recorded" whiteboard session. No actual remote whiteboard communication. Gave the appearance of being an operating environment, but was only for annotating captured images, taken from DOS application screens or Fax input. Separate patent on means for suspending and restoring a running DOS application program.

[LevineS91b] (*) Levine, Stephen R. and Ehrlich, S. "The Freestyle System: A design perspective", in Human-Machine Interactive Systems, A. Klinger, Ed. Plenum Press, New York, 1991, pp. 3..21

Freestyle from Wang: in particular describes voice/electronic-ink annotations with recorded realtime pointing with proximity cursor of Hitachi digitizer tablet Partial copy in files

[LevineSR93a] (*) Levine, Stephen R; Abrams, Kenneth H; Burns, Raymond S; Harui, Alex J; Lakness, David R.; and Rudis, Ronald F. "Apparatus for Document Annotation and Manipulation Using image from a Window Source ", United States Patent 5,231,579, July 27, 1993 Freestyle patent: annotation (electronic ink and voice/audio) of documents in Freestyle. States that documents are produced as snapshots of windows from an application, and the documents are annotated separately from the application. Typo in first inventor name: Levin, LevinSR Stephen R.

[LewisJR93a] (*) Lewis, James R. "Literature Review of Touch-Screen Research from 1980 to 1992", IBM Corporation, Technical Report 54.694, August 20, 1992

Review of touchscreen literature at about the time of PenWindows, PenPoint, PenDOS, and Pen/OS/2. Mentions last contact / lift-off as less error-prone than first contact or touch area. Touchfeedback strategies include highlighting the object the user has selected.

[Lexicus92] (*) Lexicus "iSKETCH Digital Ink for Wireless Communications", http://www.motorola.com/lexicus/html/isketch.html Compression software for digital ink images on hand-held platforms

[Lexicus95] (*) Lexicus "Lexicus' Cursive Recognition", Byte Magazine, June 1995: available at http://www.byte.com/arg/9506/img/501026j0.htm Lexicus neural network handwriting cursive recogition: 25,000-word dictionary and statistical methods (compare with Viterbi algorithm?)

[Lipscomb91] () Lipscomb, James S "A Trainable Gesture Recognizer", Pattern Recognition, Vol 24 No 9, September 1991, pp 895 to 907. Angle filtering and multi-scale/step gesture recognition. Angle filtering very non-invariant recognition, so funny scaling was required. Copy/move using gesture recognition without separate vector part of move: just two circles and arc between as one stroke. Gestures have semantic effect (they do something), are single, so a recognition speed delay less critical than with handwriting character recognition.

[LoganJD94a] (*) Logan, James D. and Evans, Blair "System and Method for Emulating A Mouse Input Devices with a Touchpad Input Device", United States Patent 5,327,161, July 5, 1994

Microtouch touchpad digitizer: press-and-drag distance is a minimum distance threshold before user input does drag automatically by simulating mouse button action

[Loh91] (*) Loh, Skiu-Chang "On-line Handwritten Character Recognition Apparatus with https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

29/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Non-Ambiguity Algorithm", United States Patent 5,034,989, July 23, 1991

Handwritten characters are recognized as a set of primitives / primitive strokes, consiting of short lines, segments, curves. Contains table of single-stroke primitives (unistrokes?) which are labeled uniquely with letters of the alphabetic: recognition of letters/words consists of a dictionary look-up of the resulting strings of characters

[LoomisJM93a] (*) Loomis, Jack M.; Golledge, Rignald G.; and Klatzky, Roberta L. "Personal Guidance System for the Visual Impaired using GPS, GIS, and VR Technologies", Proc of 1993 Virtual Reality VR Conference, csun.edu GPS aid for visual impaired/blind, giving information about surrounding environment as well as location. Output to user by means of artificial auditory beacons located at correct/appropriate binaural location relative to user.

[Lopresti93] . Lopresti, Daniel P. and Tomkins, Andrew "Approximate Matching of HandDrawn Pictograms", 3rd International Workshop on Friontiers in Handwriting Recognition, Buffalo NY May 1993 Avoid need for handwriting recognition when indexing documents by approximate matching of hand-drawn pictograms. Mentions difficulty of handwriting recognition of (Asian) languages

[Lopresti94] . Lopresti, Daniel P. and Tomkins, Andrew "On the Searchability of Electronic Ink", 4th International Workshop on Friontiers in Handwriting Recognition, Taipei, Taiwan, December 1994 Avoid need for handwriting recognition when indexing documents by approximate matching of hand-drawn pictograms. Mentions difficulty of handwriting recognition of (Asian) languages

[Lopresti95] (*) Lopresti, Daniel P.; Aref, W.G.; Kamel, I. "On handling Electronic Ink", ACM Computing Surveys, vol 27, no 4, December 1995, pp. 564..567

Searchability of electronic ink; approximate matching of hand-drawn pictograms, not just comparing with character recognition results to index handwritten text

[LouieJ95] (*) Louie, Jim "An Analysis of a Pen-Based Tool for Acquiring Engineering Design Information", Master's Thesis, University of Toronto, 1995

Review of pen-based computer (PenPoint) with applications for engineering: notetaking, engineering design. Applications written in Slate PenApps. Generally, paper fared better than electronic notebook, in part because notebook was not perfect writing surface and was a bit small (6" by 9"). Notes that engineers dislike doing documentation, in part because words are not the natural medium of expression -- diagrams/sketches are preferred. Cites several other electronic/virtual notebook systems, but most not portable.

[LuciwWW95a] . Luciw, William W; Capps, Stephen; and Tesler, Lawrence G. "Method and apparatus for deducing user intent and providing computer implemented services", United States Patent 5,390,281, February 14, 1995

Determine user intent by applying a pattern template to user interactions in a pen user interface, and then carry out an operation automatically. Also check Capps file

[Machart92] (*) Machart, Beverly Hellen, and Wang, John Shihyuan "Graphic data display system", European Patent EP 0 226 019 B1, February 5, 1992, assigned to International Business Machines Corporation.

Filing date in 1986 A signature which has disconnected stroke can be manipulated an transmitted as a single object. To indicate end of signature/character, uses second button on pointing device: appears similar to

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

30/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Pencept PenPad.

[MackR91a] (*) Mark, Robert and Montaniz, Frank "Comparision of Touch and Mouse Interaction Techniques for a Graphical Windowing Software Environment", Proc. of Human Factors Society 35th Annual Meeting, 1991, pp. 290-294

Selection gesture (tap/lift-off) on touchscreen: Application provides visual indication of selection by highlighting before lift off: also mentions auditory feedback (click?). Mentions difficulty of doubletapping (with stylus) for double-clicking (with mouse), but does not mention cause (see PenWindows and Tablet PC notes). Very short "taps" are rejected as unintentional input.

[MackenzieIS92a] (*) MacKenzie, I. Scott "A Comparision of Input Devices in Elemental Pointing and Dragging Tasks", Proc. GI Graphics Interface '92 Performance/usability study: tapping (tap gesture) time vs. Fitt's Law, user timing performance

[MacNeill93] (*) MacNeill, David "Newton Notes: Messaging Card and NewtonMail: We pick up and deliver", On The Go Magazine, October 13, 1993 NewtonMail E-Mail application using electronic ink instead of text

[MacTech93a] (*) Bresee, Don and Ticktin, Neil "Newton Toolkit: You've seen the Newt and what it can do", MacTech, the Journal of Apple Technology: Vol 9 No 11, November 1993 Description of Newton Toolkit, NewtonScript.

[MacTech93b] (*) Ticktin, Neil "It's a Newt!", MacTech, the Journal of Apple Technology: Vol 9 No 11, November 1993 Review of Newton handwriting PDA

[MagicLink94a] (*) Sony "Video: Magic Link Sony PDA PIC-1000 running Magic Cap OS (General Magic)", Sony circa 1994: Video fetched from YouTube 2011

Shows pen/stylus based PDA with office desk / office room and hallway metaphor. Appears to be a resistive touchscreen, looks like it might be a Data Rover 840.

[MakiK93] (*) Maki, Ken "The AT&T EO Travel Guide", John Wiley and Sons, 1993

User guide for EO Personal Communicator. Describes Gestures of GO/PenPoint operating system, including flick gestures, brackets, circle, caret, down-right, up-right, etc.

[Maryland95] (*) Maryland, Universtify of at College Park "DOCBIB through 1994: Document Understanding Blibliography", http://documents/cfar.umd.edu/biblio/DOCBIBpre95.ps

Bibliography of papers relating to document understanding, starting about 1980. Sections include: On-line character recognition; Gestures and Sketches; Script; Foreign optical character recognition; Recognition of mathematics and Formulas; Line drawings; Signature verification; Writer Identification; Synthetic data; Forms processing; Shorthand; Music recognition

[MartinD95] (*) Martin, David A. "Interactive Display System", United States Patent 5,448,263, September 5, 1995

Projection whiteboard system with LCD project panel, overhead projector, digitizer. See other references to MartinD. Describes alignment/calibration method for display and projection vs. tablet, similar to that of PenCept/CIC/etc. for paper versus tablet.

[MartinP92] (*) Martin, Partricia A; Huntington, John T II; McNally, J. Michael; Barrett, David M.; Ward, Jean R. "Computer with Tablet Input to Standard Programs", United States Patent 5,148,155, September 15, 1992

Simulated devices for input to a computer with integrated digitizer/display: devices included writing pad, simulated mouse, simulated virtual tablet, simulated virtual soft keyboard. Devices implemented in a separate control processor, no special device drivers. Long button press on simulated mouse button locks mouse button into "down" state for press-and-drag.

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

31/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

press-and-hold as counterexample? See also 5,491,495 Ward et al

[MartinT95a] (*) Martin, Teresa A. "The Tablet Newspaper: A Vision for the Future", Proc CHI '95 "Mosaic of Creativity", Video presentation, May 7..11, 1995, p. 425 Knight-Ridder Information Design Lab: electronic newspaper on a pen computer, with pen/touch user interface

[MaulsbyD92a] (*) Maulsby, David L. "Prototyping an Instructible Interface: MOCTEC", Proc CHI '92, May 3-7 1992, pp. 153-154

System learns to recognize patterns in text from examples by user, such as recognizing who won a game in a series from a list of teams and scores. Highlighting of focus items. See also MaulsbyD89.

[MaulsbyD93a] (*) Maulsby, David L. and Witten, Ian H. "Metamouse: An Instructible Agent for Programming by Demonstration", Chapter 7 in "Watch What I Do: Programming by Demonstration", Halbert, Kurlander, Turransky eds., 1993, acypher.com/wwid System learns to recognize graphical operations of user by pushing a graphical turtle on a display touchscreen, such as sorting graphical objects by size.

[MaulsbyD94a] (*) Maulsby, David "Instructible Agents", Ph.D. Thesis, Univ. of Calbary, Canada, June 1994

(partial copy) Chapter 5: Interactive learning / Concept learning system Cima, Turvy, and Moctec. Example is teaching system to find phone numbers in notes, in different contexts and in various canonical forms, and second component that learn so intract with users and application programs, (dialing numbers)

[MayorT92a] (*) Mayor, Tracy; Ray, Garry; and Paul, Fredric "Microsoft's numbers game. (Microsoft Corp.'s Microsoft Windows 3.1 graphical user interface and Microsoft Windows for Pen Computing operating system)", Lotus Magazine, June 01, 1992 Announcement of Pen Windows / Microsoft Windows for Pen Computing, extensions to Windows 3.1 for pen-based or stylus-pased computers

[McKeehan94] (*) McKeehan, Julie and Rhodes, Neil "Programming for the Newton: Software Development with NewtonScript", AP Professional Press, division of Academic Press, 1994, ISBN 0-12-484800-1 Newtonscript Language

[McQueenJC95a] (*) McQueen, J. Craig; MacKenzie, I. Scott; and Zhang, Shawn X. "An Extended Study of Numeric Entry on Pen-based Computers", Proc. of Graphics Interface '95, Toronto, pp. 215-222 Pie-pad pop-up menu for numeric input, pop-up circular menu with digits. Marking menus. Mentions Goldberg 93 paper on unistroke.

[MeyerA95] (*) Meyer, Andre "Special Feature: Pen Computing - A Technology Overview and a Vision", ACM SIGCHI Bulletin, July 1995. Also available at http://www.amug.org/amug/sigs/newton/nanug/PenReport/References.html Includes reviews of several experimental systems of the early 1990's, and a lengthy bibliography: several German references included. Almost all the references are from 1991 to 1995, very little before that. Unistrokes. Jotted notes: implying electronic ink as a data type. PenPoint, Windows for Pen Computing. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

32/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Cites Alan Kay for early visition of handwriting computer (although no such device was ever built?). Cites early paper by Ward, but not the on-line bibliography (1995).

[MichelS93a] (*) Michel, Steve and Coleman, Dale "MacWrite Pro Inside & Out: A comprehensive Guide to MacWrite Pro", Osborne / McGraw-Hill, 1993 MacWrite word processing / electronic publishing

[Microsoft91a] (*) Microsoft "Microsoft Mouse Programmer's Reference", Microsoft Press, 1991, ISBN 1-55615-336-8 Description of MENU.COM, *.MNU files, MENUMAKE.DOC, MENUREAD.ME. Mouse menus allow for support of mouse in DOS applications that are not "mouse-aware". MENU.COM uses static menu definitions, expert menus are *.COM files with specific knowledge of application. Compare with keyboard macros, and with recognition macros by PenCept and CIC for handwritten gestures.

[Microsoft91b] (*) Microsoft "Microsoft Announces Visual Basic at Windows World '91", Microsoft Knowledge Base on Compuserve, "Visual Basic" through June 25, 1991: fetched 2012 from yfondeur.tripod.com/vbkbase1.htm Announcement of Visual Basic by Microsoft with support for Pen Windows / Windows for Pen Computing.

[Microsoft92a] (*) Microsoft "Differences Between VB 3.0 Standard and Professional Editions", support.microsoft.com, article Q113334, 1992, republished October 29, 2003 Revision 2.0 as ID 113334 Visual Basic 3.0 Pro edition: Pen controls: Bedit, HEdit, PenInk on BitMap for electronik ink, Pen Onscreen Keyboard synthetic keyboard for input to the active control.

[Microsoft92b] (*) Microsoft "The Windows Interface: An Application Design Guide", Microsoft Press, Microsoft Programming Series, 1992 Section on The Pen Interface (Pen Windows): pen techniques include tap, press-hold-drag, write-draw. List of gestures include pig-tail, up-right (Tab), down-left (newline), undo, check-mark, with list of keyboard equivalents. Mentions circle gestures, both positional and non-positional for pen-aware and penunaware applications. Use of pointers (cursors) to provide feddback for fine positioning, drag areas, what pen actions are currently enabled. Pop-up menus with either mouse button. Two editions: one contains floppies with software, different price, same contenxt except for advertizing in the back.

[Microsoft93a] (*) Microsoft "Understanding Pen Drive functionality under Windows", support.microsoft.com, article Q94701, republished January 8 2003 as ID 94701 Mouse/Pen driver for Microsoft Windows for Pen Computing 1.0 (Pen Windows 3.1). Sample driver was for a Wacom tablet: Scriptel also supported (other reference). States that pen behaves similar to a mouse when Windows for Pen Computing is not present. Includes support for non-integrated separate tablet. Tablet data rate and resolution can be set dynamically. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

33/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[Microsoft93b] (*) Microsoft "Microsoft Visual C++ User's Guides: Visual Workbench User's Guide; App Stuio User's Guide", Microsoft Corporation, 1993 Tutorial documentation on Microsoft C++ Development System for Windows Version 1.0. Supplants Programmer's Workbench (PWB). Not same as more expensive professional edition. For Visual C++ 2.0? Describes browser windows, GUI editor with component pallette, similar to SIP Soft Input Panel in Tablet PC.

[Microsoft93c] (*) Microsoft "Microsoft Visual C++ Programmer's Guides: C++ Tutorial; Class Library User's Guide; Programming Techniques", Microsoft Corporation, 1993 Microsoft Visual C++ Development System for Windows.

[Microsoft93d] (*) Microsoft "Q94701: Understanding Pen Driver Functionality Under Windows", Microsoft Corporation, 1993 (republished 2003 as Article 97401 Pen Driver (mentions WACOM tablet) for Windows for Pen Computing / PenWindows 1.0, Windows 3.1. Refers to "Architecture of Windows Pen Drivers"

[Microsoft94a] (*) Microsoft "Tap and Tap-and-Hold Pointer Events", Article 86921, formerly Q86921, support.microsoft.com: Microsoft Corporation, 1995, last reviewed January 9, 2003 Tap and hold (TapNHold) gesture: tap analogous to clicking left mouse button: TapNHold click tip of pen on tablet and holding for a specified amount of time. German edition of (discontinued) support article documents Windows for Pen Computing 1.0, prior to Windows95.

[Microsoft94b] (*) Microsoft "Information At Your Fingertips ", Transcript of Bill Gate's Keynote Speech at Fall/COMDEX Nov. 14, 1994: from microsoft.com 2008 Windows for Pen Computing as portable information at your fingertips: reference "vision" video of Information at your Fingertip in 2005, with face-to-face video in mobile settings, pen computing, video conferencing.

[Microsoft95a] (*) Microsoft "The Windows Interface Guidelines - A Guide for Designing Software", Microsoft Corporation, Feb. 1995 UI guidelines include keyboard, mouse, and Windows for Pen Computing / PenWindows gestures: General circle-around-UC-letter gestures, has circle-M/M-circle pop-up "context menu gesture" / "pen menu gesture". Fundamental behaviors defined for a Pen are Pressing/Tapping/Double-tapping/Dragging. Gestures leave ink. Lasso-tap (circle-tap) selection gesture. Tap on text box brings up text-input handwriting window, with alternative word list or alternative character list from recognizer. Partial print copy in physical file -- see electronic copy at http://www.ics.uci.edu/~kobsa/courses/ICS104/course-notes/Microsoft_WindowsGuidelines.pdf (fetched 2010) stylus or finger, pen can perform equivalent operations of mouse.

[Microsoft95b] (*) Microsoft "WD: Known Issues Using "Windows 95 for Pen Computing"", support.microsoft.com, article Q164505 / 164505, last Review November 5, 2000 (1995) https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

34/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Defect in tablet/pen driver in Windows for Pen Computing: circle-m context menu gesture does not emulate right mouse button, other problems with barrel button on stylus

[Microsoft95c] (*) Microsoft "The Windows Interface Guidelines for Software Design", Microsoft Corporation, 1995 Similar topic to Microsoft95a -- includes section on special design considerations of Accessibility. Some sections on pen input. Guidelines on targeting of electronic ink to fields. Lasso-tap gesture to select. Need larger tapping (double-tapping) target with stylus than with mouse, similar considersations for targeting of lasso-tap selection gesture on text. Pen menu (context menu) gesture is circle-m. Describes activate-on-lift of mouse being applied for pen: "Do not activate the window unless the user releases the mouse button (the pen tip is lifted) in that window." Press-hold-drag for select instead of barrel button. Auto-scrolling based on velocity. Mentions accessibility "Screen Review Utilites" (screen readers) for the bling, onscreen keyboards. Pop-up/context menus synonymous: refers to contextual interfaces such as pop-up menus, property sheets, and OLE drag and drop. pop-up (context) menu handlers. Partial print copy in physical file -- electronic image file.

[MicroTouchUnMouse92] (*) MicroTouch Systems Inc. "UnMouse Product information", MicroTouch Systems Inc., Methuen Massachusetts Touchpad (relative motion) digitizer to replace a mouse: includes an absolute-position mode, and the use of pre-defined function templates to define additional programmable keypad. Compare programmable keyboard with Kaplow Presssure/force-sensitive touchpad uses light touch to simualate proximity sensing / mouse tracking on tablet, press harder to simulate touch contact UnMouse marketed as accessibiliy aid device for the handicapped File contains additional materials also

[MicroTouch95a] (*) MicroTouch Systems Inc. "MicroTouch Touch Controllers References Guide, 1995", MicroTouch Systems Inc., Methuen Massachusetts touchscreen/tablet/digitizer: mentions dual sensing of stylus/pen or finger or both, with positions of each.

[Mikan94] (*) Mikan, Peter J. "Computer Mouse Simulator Device", United States Patent 5,376,946, December 27, 1994 Device to convert absolute co-ordinates of touchscreen to mouse relative-motion coordinates, and having "buttons" recognized on the touchpad for the mouse button: prior art include MicroTouch Unmouse cited 1990 Compare to Schumer patent on tablet controller, where driver functions are claimed if located in an external controller for a tablet (or mouse?)

[MillenDR93a] (*) Millen, David R. "Pen-Based User Interfaces", AT&T Technical Journal, May/June 1993, pp. 21-27 Overview of PenPoint OS with core gestures, Windows for Pen Computing core and six additional gestures (does not list tap). GO MiniNote ink-editing/sketch ink note application. Brief description of prototype AT&T PDA communications device with ink communications, handwriting recognition, diamond-shaped icons on display -- few detais. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

35/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[MinasM95a] (*) Mina, M. and Viehstaedt, G. "DiaGen: A Generator for Diagram Editors Providing Direct Manipulation and Execution of Diagrams", Proc. of VL Visual Languages 95, Darmstadt, Germany Sketch/diagram editor employing constraints, and dealing with inconsistent state during direct manipulation editing: flowchart, hypergraphs

[MinskyMDR95a] (*) Minsky, Margaret Diane Rezvan "Computational Haptics: The Sandpaper System for Synthesizing Texture for a Force-Feedback Display", Ph.D. Disseration, M.I.T, June 1995 Force-feedback joystick, with multiple force actuators. Software to create feel of textures, virtual spring and inverse spring forces, etc. Includes reference manual for Sandpaper software.

[Momenta91a] . Momenta Corp. "Momenta User's Reference Manual", Momenta Corp. Oct 1991 GUI for pen computer. Cited in PierK92a for pop-up menus, pop-up keyboard SIP panel. Cited in Kurtenbach93 for minimum distance on press-and-hold to drag.

[Momenta91b] . Momenta Corp. "The Momenta Computer: Background Information", Momenta Corp. 7/26/91 Slate tablet computer, mentions Tin Oxide (ITO?) with weak voltage gradient for touchscreen resistive digitizer, voltage conducted back to computer via tether/cable, which darkings LCD pixel to create electronic ink. Command compass marking menu. Sketch recognition. Soft-pedals handwriting recognition as "not there yet". Applications appear to be based on electronic ink, on MS-DOS. Implementation is SmallTalk 80.

[MontanizF91a] (*) Montaniz, Frank and Mack, Robert "A Comparision of Touch Interface Techniques for a Graphical Windowing Software Environment", Proc. of Human Factors Society 35th Annual Meeting, 1991, pp. 286-289 Selection gesture (tap/lift-off) on touchscreen: Application provides visual indication of selection by highlighting before lift off: also mentions auditory and visual feedback (click?). Tab/hold/drag (presshold) like click-hold-drag gesture with mouse.

[MoranTP95a] (*) Moran, Thomas P.; Pedersen, Elin R.; McCall, Michael K.; and Halasz, Frank G. "Time-Space Object Containment for Graphical User Interface", United States Patent 5,404,430, April 4, 1995 When selecting objects by selecting a range (drag selection rectangle?), take into account time ordering of when objects were created: user is likely to want to select objects created by the user at about the same time. Uses a white board with rear projection.

[MoranTP95b] (*) Moran, Thomas P.; Chiu, Patrick; van Melle, William; and Kurtenbach, Gordon "Implicit structures for pen-based systems within a freeform interaction paradigm", Proc. CHI '95, (preprint) https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

36/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Whiteboard system (Xerox Live-Board Tivoli / MeetingBoard on Windows PC) with free-form interaction -- primarily electronic ink scribbling: recognized rough layout of lists, text, tables, and indented outlines in electronic ink, based on informal structure or "visual grammars". Mentions aha! InkWriter which formats/indexes ink based on handwriting recognition, but does not compare with van Raamsdonk which edits directly electronic ink. Selection via various bracket and corner gestures, insert via caret gesture. Has "table clean-up" function to align slanted writing lines of electronic ink.

[More93a] (*) More, Edward S., and Aiken, John C. "Electro-optic Slate for Direct Entry and Display and/or Storage of Hand-entered Textual and Graphic Information", United States Patent 5,194,852, March 16, 1993 digitizer tablet combined with LCD display: shown in a PDA sample, hand-held slate computer also shows chain-code recognition of connected and disjoint characters Handwriting recognition is done in separate area from electronic ink: side-menu GUI for text-editing

[Mosaic95] (*) Mosaic Input Technologies, Inc. "Gesture Mosaic User Guide", www.amtelcom.com/Mosaic/UserGuide.html Simplified unistroke-like gestures, as substitute for writing full characters. User writes on a 12-segment outline of characters, outline in shape of figure eight, similar to seven-segment display. Punctuation and some other characters input via pop-up keyboard. For Apple Newton. (See also AlphaPad00)

[MoskowitzD93a] (*) Moskowitz, David and Kerr, David, et al "OS/2 2.1 Unleashed", SAMS Publishing, 1993 OS/2 Presentation manager, palette manager, scheme palette: dynamic scheme/theme management via GUI as pop-up context menu on mouse button 2. Partial copy

[Motif94a] (*) X Window System, Open Source Edition "The Definitive Guides to the X Windows System, Vol. 6a: Motif Programming Manual for Motif 2.1, Open Source Edition", www.opencontent.org/openpub Motif Window Manager: 1994 version, updated as of 2001. resource XmNsnapBackMultiple sets snapback/bounce distance if use moves mouse cursor too far outside of bounds of scrollbar widget. Automatic Layout of GUI elements? XmNselectThrehold: click and drag minimum distance that pointer must move to select text on a drag.

[MyersBA92a] (*) Myers, Brad A. and Zanden, Brad Vander "Environment for rapidly creating interactive design tools", The Visual Computer, Springer Verlag, 1992, No 8: pp. 94-116 In Garnet system papers: describes Garnet UIMS toolkit. Look and feel independent, examples are lists, buttons, sliders. Humanoid toolkit built on top of Garnet. Prototype-based objects, objects saved to file. Dynamic editing of graphical objects, even while they are being viewed. Automatic graphical update.

[MyersBA92b] (*) Myers, Brad A. and Rosson, Mary Beth "Survey on User Interface Programming", Proc. CHI '92, May 3-7 1992, pp. 195-202 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

37/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

In Garnet system papers: one need cited was problem with code being too tightly coupled to a particular toolkit. Most users used Motif, OpenLook, or commercial windowing e.g. DEC, Microsoft Windows

[MyersBA92c] (*) Myers, Brad A.; Guise, Dario A.; and Zanden, Brad Vander "Declarative Programming in a Prototype-Instance System: Object-Oriented Programming Wihtout Writing Methods", Proc. OOPSLA 92, pp 184-200, May 3-7 1992, pp. 195-202 In Garnet system papers: define (much of) interactive behavior in declarative parameters, fewer call-backs in GUI definition. Compares Garnet to SELF (prototype inheritance?). Edits to prototype object immediate appear in all instances, even in running system: example is buttons. Persistence via retainedobject model. Gesture-Interactor class: e.g. free-hand "X" gesture to delete

[MyersBA92d] (*) Myers, Brad A. "State of the Art in User Interface Software Tools", Carnegie Mellon University report CMU-CS-92-114, Feburary 1992, also in Advance in Human Computer Interaction, Vol. 4, 1992 UIMS for Direct Manipulation. Designing a user interface is an iterative design process.

[MyersBA93a] (*) Myers, Brad A. "Garnet: Uses of Demonstrational Techniques", In "Watch What I Do", Allen Cypher, ed., MIT Press, 1993, pp. 219-233 In Garnet system papers: behaviors and styles of UI object can be defined at runtimes. Includes prototype/by-demonstration support for pen gestures. GILT (Garnet Interface Layout Tool) support graphical styles: style is a named set of properties that can be applied to widgets.

[MyersBA93b] (*) Myers, Brad A.; Wolf, Richard; Potosnak, Kathy; and Graham, Chris "Heuristics in Real User Interfaces: Panel Discussion", Proc. INTERCHI '93, 24-29 April 1993, pp.l 304-307 In Garnet system papers: mostly about heuristics in interactive programs, examples are renumbering in word-processing program to be like numbering (to the extent detectable) user has provide as example.

[MyersBA93c] (*) Myers, Brad A. "The Second Garnet Compendium: Collected Papers 19901992", Carnegie Mellon University Report CMU-CS-93-103, February 1993 Single publication of multiple Garnet papers on UIMS design systems

[MyersBA93d] (*) Myers, Brad A. "Why are Human-Computer Interfaces Difficult to Design and Implement?", Carnegie Mellon University Report CMU-CS-93-183, July 1993 User interfaces and UIMS difficulties: UI design is iterative, complex, and hard to test due to interactions and usuability considerations, also because new UI technologies (UI, pen-based gesture recognition, Undo for multiple users, etc.) become available.

[MyersBA93e] (*) Myers, Brad A. "User Interface Software Tools", Encyclopedia of Computer Science and Technology, 1993, pp. 371-405 See Myers 95 reference, same title. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

38/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[MyersBA94a] (*) Myers, Brad A. "Challenges of HCI Design and Implementation", Interactions: ACM Trans. on Inf. Systems, Jan. 1994, pp. 73-84 in Garnet system papers: Prototyping user interfaces can be difficult, because test-subject users may not behave like real users, may even have a hidden agenda. Coupling of user-interface to application is a nightmare in maintainability.

[MyersBA94b] (*) Myers, Brad A.; Guise, Daria A.; Mickish, Andrew; and Kosbie, David S. "Making Structured Graphics and Constraints Practical for Large-Scale Applications", Carnegie Mellon University Report CMU-HCII-94-100 Garnet system: Contraint toolkit for UIMS, including object management in user interface

[MyersBA94c] (*) Myers, Brad A.; Dario Giuse; Andrew Mickish, Brad Vander Zanden, David Kosbie, James A. Landay, Richard McDaniel, Rajan Parthasarathy, Matthew Goldberg, Roger B. Dannenberg, Philippe Marchal, Ed Pervin "The Garnet Reference Manuals: Revised for Version 3.0", Carnegie Mellon University Report CMU-CS-90-117-R5, December 1994 Garnet system: Contraint toolkit for UIMS, including object management in user interface

[MyersBA94d] (*) Myers, Brad A.; Giuse, Dario; Mickish, Andrew; Vander Zanden, Brad; Kosbie, David; McDaniel, Richard; Landay, James; Goldberg, Matthew; and Parthasarathy, Rajan "The Garnet User Interface Development Environment: Video Abstract", Proc. CHI '94, April 2428, 1994, Boston, pp. 457-458 Garnet system: Direct manipulation user interface and IDE with Interactor objects for mouse, rotating, text editing, gesture recognition. Include Lapidary to create widgets or objects, Marquise tool to demonstrate/animate user interface behavior of applications

[MyersBA94e] (*) Myers, Brad A. "User Interface Software Tools", CMU School of Computer Science, Technical Report CMU-CS-94-182, August 1994 Garnet system: supersedes CMU-CS-92-114. States gesture UIs used since 1970's in commercial CAD tools.

[MyersBA95a] (*) Myers, Brad A. "User Interface Software Tools", ACM Trans. on ComputerHuman Interaction, March 1995, Vol. 2 No. 1, pp 64-103 in Garnet system papers: describes X-Windows lack of agreement on widgets, therefore Xt instrisics so support. 3-D GUI toolkits: Brown Animation Generation System, Silicon Graphic's Inventor toolkit. See also Myers 93 reference, same title.

[NagaokaM95a] (*) Nagaoka, Makoto and Sugiyama, Soka "Information Input Device", United States Patent 5,440,080, August 8, 1995 Transparent X/Y digitizer/touchscreen using transparent electrode wires of ITO indium tin oxide. Stylus/pen uses a plastic film coating to get appropriate writing friction on a metal core stylus. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

39/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[NairA91a] (*) Nair, A. and Leedham, C.G. "Preprocessing of line codes for online recognition purposes", Electronics Letters, Vol 27 No 1, Jan 3, 1991, pp. 1-2 (Abstract only) non-linear smoothing and filtering of digitizer tablet input to remove noise: compare with Ward 85/87

[NationalInstruments94a] (*) National INstruments "LabVIEW Graphical Programming for Instrumentation: Student Edition (Software+Documentation)", National Instruments Corporation, 1994(?) LabVIEW Graphical programming language and software for Windows 3.1: Date approximate. Contains Wells book.

[NCR92] (*) NCR "NCR 5991 Signature Capture/Electronic Payment Terminal", NCR Corporation, an AT&T Company Signature capture digitizer terminal with integrated display, shows actual sales receipt on display not just opaque signature capture pad. Uses Scriptel electrostatic front-surface digitizer.

[NCR93a] (*) NCR "NCR 3125 con Windows 3.1", Youtube.com, fetched 2011 Video of NCR 3125 pen/touchscreen computer running Windows for Pen Computing / Pen-Windows, circa 1993

[NCR93b] (*) NCR "NCR 3125 con Windows 3.1", Youtube.com, fetched 2011 Additional Video of NCR 3125 pen/touchscreen computer running Windows for Pen Computing / PenWindows, circa 1993

[NewmanW92a] (*) Newman, William and Wellner, Pierre "A desk supporting computer-based interaction with paper documents", Proc. CHI '92, pp 587-592 Projected desktop on physical desktop, with machine vision recognition objects: describes projecting a virtual calculator for use on a physical desktop.

[NeXT92a] (*) NeXT Computer "NeXTSTEP Release 3: A Demonstration with Steve Jobs", NeXT Computer: Video available on YouTube.com and methodshop.com, 2010 Date appoximately 1991 or 1992

[NeXT95a] (*) NeXT Computer "The Project Builder Application", NeXT Computer, 1995 Part of NeXT Computer SDK. Overview of GUI tool for building/making applications.

[NeXT95b] (*) NeXT Computer "The Interface Builder Application", NeXT Computer, 1995 Part of NeXT Computer SDK. Overview of GUI tool for building GUI user interfaces. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

40/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[NeXTSTEP92a] (*) NeXT Computer, Inc. "NeXTSTEP General Reference, Volume 1", NeXTSTEP Developer's Library, Release 3, Addison-Wesley Publishing, 1992 NeXTSTEP Operating System and application user interface design

[NeXTSTEP93a] (*) NeXT Computer, Inc. "NeXTSTEP Object-Orientied Software, Development Tools and Techniques", NeXTSTEP Developer's Library, Release 3, AddisonWesley Publishing, 1992 NeXTSTEP Operating System and application user interface design, IDE

[NorwoodDD91a] (*) Norwood, Donald D. "Hybrid Information Management System for Handwriting and Text", United States Patent 5,063,600, November 5, 199 Electronic-ink notetaker application and mark-up. Screenshots who personal information manager / PIM with calendaring, notetaking, ink (addressing) of meil and fax. Suggests use of structured electronic ink and GUI instead of handawriting recognition. Cites to Wang Freestyle, Grid, IBM Paper-like interface, Toshiba Pen PC (1991). Compare to Slate?

[NovakJL94a] (*) Novak, James L. and Wiezer, James J. "Non-contact Capacitance Based Image Sensing Method and System", United States Patent 5,281,921, January 25, 1994 Electrostatic/mutual capacitance imaging proximity sensor for objects: single pair of electrodes to sense distance, pair of electrodes moved over object in a known plane (or otherwise)

[Novobilski92] (*) Andy Novobilski "PenPoint Programming", Addison-Wesley, August 1992 General application programming tutorial for PenPoint. Chapter 7 "Using the Pen" describes acetate layer for tempory display of electronic ink prior to recognition: thus showing actual shape, compare with early "write anywhere" features of Tablet PC. Field types Integer, Date, Fixed, Text for character recognition by context. Compare with "Factoids" for Tablet PC from Microsoft. Example applications include twodimensional mathematics/arithmetic calculator, crossword puzzle, direct manipulation of character tile objects.

[OConner92a] (*) O'Conner, Rory J. "Apple banking on Newton's brain", San Jose Mercury News, April 22, 1992 Upcoming release of Apple Newton, describes recognizing "fax Scully" and invoking fax application

[OlsenDR93a] (*) Olsen, Dan R.; Foley, James D.; Hudson, Scott E.; Miller, James; Myers, Brad "Research directions for user interface software tools", Behavior and Inf. Tech., 1993, Vol 12, No 2, pp. 80-97 Listed in Garnet project papers: Overview of UIMS tools, with emphasis on malleable/changeable programing: programming by demonstration, contraint systems, rule-based systems, re-use. Implementations refer to pipes, shell-scripts, and other features more common on Linux than on Windows etc. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

41/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[Oram91] (*) Oram, Andrew and Talbott, Steve "Managing Projects with make, second edition", O'Reilly and Associates, 1993 (reprinted with corrections) Unix "make" project builder. Refers to recursive invocation of make, GNU make. First Edition 1986, Second Edition 1991.

[Organek93] (*) Organek Technology "PenPut - Beyond character recognition!", Product announcement: PenPut, and SmartCase. Organek Technology, 695 Mariposa Avenue, Suite 304, Oakland CA 94610, (510) 438-9461 Zone-based gestures instead of characters: pen moves in one of eight directions and three different distances to make a character, next character is made without lifting the pen: Unistroke character recognition for whole words, using special directional abbreviatsions Unistroke short-hand input of whole words for English: claims input speeds to 35 WPM

[OSF93a] (*) Open Software Foundation "OSF/Motif Style Guide: Release 1.2", Prentice Hall, 1993 Mouse with up to three buttons: BSelect for leftmost button (except for left-handed), BTransfer middle button for moving and copying, and BMenu rightmost button for popping up menus. Also mentions mouse-button gestures such as MultiClick (double/triple/etc. mouse clicks), and MultiPress: clicks of mouse button then a normal mouse hold, and BSelect Motion 2 (notation of click). Pointer shapes (cursors) to show state of interaction: pointing arrow, I-beam for Text, X for outside of application input: fine-point and move cursors, has both hour-glass and watch "busy" pointers. Separate upper-right arrow for menu selection state. Defines pop-up menus as (context menus), in that they relate to the area pointed to.

[Parizeau93] (*) Parizeau, Marc and Plamondon, Rejean "Allograph Adjacency Constraints for Cursive Script Recognition", Proc of Third IWFHR International Workshop for Handwriting Recognition, Buffalo NY, 1993, pp 252-261 Probabalistic segmentation of cursive handwriting into separate characters: operates without word dictionary / linguistic knowledge

[Paul95] (*) Paul, Lauren Gibbons "Keeping secrets", Ziff-Davis Publishing Company, PC Week Press report on trade-secret theft lawsuit between VMI and Autodesk, concerning Otto Berkes, later director of UMPC/Origami project at Microsoft

[PavlidisT92a] (*) Pavlidis, Theo; Swartz, Jerome; and Wang, Ynjiun P. "Information Encoding with Two-Dimensional Bar Codes", IEEE Computer, June 1992, pp. 18-28 Overview of two-dimensional bar codes circa 1992: Code 16K, Code 49, PDF417, Identcode MLC-2D, Datacode Philips dot code, Softstrip, Manchester code.

[PCWeek93a] (*) PC Week "Apple adding tablet-sized PDA", PC Week, December 6, 1993 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

42/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Tablet-size Newton Pen Computer, codename BIC, data/fax modem (landline)

[PedersenER93a] (*) Pedersen, Elin Ronby; McCall, Kim; Moran, Thomas P.; and Halasz, Frank G. "Tivoli: An Electronic Whiteboard for Informal Workgroup Meetings", Proc. INTERCHI '93, April 1993; pp. 391-398 Remote whiteboard application on Xerox Liveboard with gesture user interface: line (horizontal) gesture to edit electronic ink to create space, lasso/loop gesture, compound gestures. Double-tap causes previous stroke to be interpreted as a gesture, holding pen barrel button (Pencept?) to indicate gesture. Up to three pens/user simultaneously (multi-touch): users could thus share selections and graphical tools.

[PenComputing95a] (*) Pen Computing Magazine "Gesture Mosaic: Newton Software Review", Pen Computing Magazine, Issue #6 August/September 1995 Review of Mosaic Input, Zone-based handwriting recognition using figure-eight overlay. Awkward to learn, vendor claims 40 words per minute input rate with practice.

[PenComputing95b] (*) Pen Computing Magazine "IBM ThinkPad 730TE: Product Review", Pen Computing Magazine, Issue #7 November/December 1995 Pen tablet PC using Wacom digitizer. Mentions "Dynapad" by Alan Kay: Mistaken reference to Dynabook? Provided with choice of PenPoint, PenDOS, Pen for OS/2 Warp, PenRight!, or Windows for Pen Computing 1.0. Uses ThinkWrite handwriting recognition instead of Microsoft MARS recognizer.

[PenComputing95c] (*) Pen Computing Magazine "Casio DT-9000 Product Review", Pen Computing Magazine, Issue #7 November/December 1995 Casio PDA: does not mention pen or handwriting input. "handy terminal" vendor description. Comparison with Panasonic JT-900PT. Includes printer.

[PenComputing95d] (*) Pen Computing Magazine "Pen Computing and Windows 95", Pen Computing Magazine, Issue #7 November/December 1995 Windows for Pen Computing version 1.0 not easily upgradable to Windows 95 -- now refereed to as pen service Windows for Pen. Windows for Pen Computing development environment: Visual Basic with version 2.0 pen services penctrl.vbx updated to pen2ctrl.vbx.

[PenComputing95e] (*) Pen Computing Magazine "Programming Visual Basic for Pen Input", Pen Computing Magazine, Issue #6 September 1995 Mentions HEDIT and BEDIT (boxed edit) handwriting input controls shipped with Visual Basic. Windows for Pen Computing development environment: Visual Basic with version VB3.0/Pro with provided HEDIT and BEDIT controls.

[PenComputing95f] (*) Pen Computing Magazine "PenRight! for Windows", Pen Computing Magazine, Issue #5 June/July 1995 PenRight by Philip Shoemaker: MSDOS, MSDOS DPMI, and MSWindows pen-enabled platforms. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

43/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Includes cross-platform support for Graffiti

[PenComputing95g] (*) Pen Computing Magazine "HOPE! Development Environment", Pen Computing Magazine, Issue #7 December 1995 HOPE! for porting applications from Visual Basic to a PDA that does not run Windows: emulated Windows user interface.

[PenComputing95h] (*) Pen Computing Magazine "First Look: Newton OS 2.0", Pen Computing Magazine, Issue #7 December 1995 Description of Newton OS NOS ("Dante") 2.0

[PenPointPress91] (*) PenPointPress "Press announcements on GO/PenPoint", (Various) Press announcement related to GO/PenPoint: business with IBM, etc.

[PenPoint91a] (*) PenPoint "PenPoint UI Design Guidelines", GO Corporation, Feb 15, 1991 User interfaces / gesture /stylus design guidlines for PenPoint OS operating system. Mentions proportional flicking gestures for scolling: longer flick gesture, scroll farther.

[PenPoint91b] (*) PenPoint "Video Demonstration, PenPoint Corporation 1991", GO Developers Summit, 1991, Jerry Kaplan Video presentation about PenPoint/GO operating system. Mentions Slate Corporation PenApps, electronic ink mark-up/annotation, ink as a datatype. Mnemonic gestures: e.g. "u" gesture to underline. Square bracket gestures to extend text selection.

[PenPoint91c] (*) PenPoint "Using Penpoint: Developer Release - Beta Edition", GO Corporation, 1991 User interfaces / gesture /stylus design guidlines for PenPoint OS operating system.

[PenPoint92] (*) PenPoint "PenPoint for the Samsung PenMaster", Samsung Part Number SPMPON, 1992 Unopened software package: PenPoint operating system with user manuals and media for Samsung Penmaster

[PenPoint92a] (*) PenPoint "PenPoint Architectural Reference Volume 1; PenPoint Architectural Reference Volume 2, 1992", GO Technical Library, Addison-Wesley Publishing, Includes long list of gestures, shown in a Font table

[PenPoint92b] (*) PenPoint "PenPoint User Interface Design Reference", GO Technical Library, Addison-Wesley Publishing, 1992 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

44/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Page 133 list of gestures, some of which are upper-case character e.g. letter B for Bold: Compare with PenCept recognition macros circa 1985. Flick gestures, compound gestures of multiple uses of the same sub-gesture strokes, with semantically similar meaning. Handles: resize handles at the coners and at the midpoint of the edges of sides of object's bounding rectangle. Selection can be extended by dragging (a handle on a bounding box?)

[PenPoint92c] (*) PenPoint "PenPoint Application Writing Guide: 1st ed. 1992; 2nd ed. 1993", GO Technical Library, Addison-Wesley Publishing, March 1992 Operating system based on Notebook metaphor rather than Desktop methaphor: Running documents are instances of application classes, visual components of anotebook, Section name and page number location combine to form a location in the OS file system. Refers to browser component (for files and other objects). File system is not separate memory, describes installation process as different from MS/DOS. User Interface UI Toolkit handles switch between landscape and portrait display orientation/rotation by adjusting horizontal and vertical coordinate layout.

[PenPoint92d] (*) PenPoint "PenPoint API Reference Volumne 1; PenPoint API Reference Volumne 2", GO Technical Library, Addison-Wesley Publishing, March 1992 Operating system using gestures based on Notebook metaphor rather than Desktop methaphor -- Class Manager, PenPoint Application Framework, ImagePoint; PenPoint UI Toolkit; File System; Text Component for text editing with gestures, System Service; PenPoint Resource Files. prOrientation: resource id for Screen orientation (display rotation) for landscape or portrait modes, also portrait and landscape reversed.

[PenPoint92e] (*) PenPoint "PenPoint Development Tools", GO Technical Library, AddisonWesley Publishing, March 1992 Operating system based on Notebook metaphor and using gestures rather than Desktop methaphor -PenPoint DB debugger, profiling, Mini-Debugger, DOS file system utilities, S-Shot Screen Capture Utility; Running PenPoint on a PC

[PenPoint92f] (*) PenPoint "The PenPoint Technical Papers", GO Technical Papers, GO Corporation, 1992 Pen-based Operating system using gestures based on Notebook metaphor rather than Desktop methaphor. Technical papers describing main features and market opportunities of mobile pen-computing in general and of PenPoint in particular

[PenPoint94a] (*) PenPoint "Video: 1994 Demo 1 PenPoint for ATT/ EO", wanderbookman.com, posted September 25 2008 on Youtube.com (three parts) 1994 Video: Demonstration of PenPoint / EO unit. Youtube comments mention direct maniupation and gesture UI, also demonstration of convertible tablet computer before Microsoft did a convertible.

[PenRight93a] (*) AST Research "PenRight! Application User's Guide", PenRight! Pro Software Development Kit for C programmers version 3.5, July 1993, AST Research, Fremont CA https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

45/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Contains chart of handwritten character shapes for discrete characters, strongly reminiscent of PenCept PenPad and CIC Handwriter. Accented characters, dieresis (umlaut), tilde. Blank is struck-through lowercase B, or underbar, not inverted "U". Boxed fields: Overstrike fields, or insert (compare with PenCept patent?): text-editing UI includes an insertion bar gesture for handwriting, line brake (compare with PenWindows and PenPoint) pop-up keyboard. All for MS-DOS.

[PenRight93b] (*) AST Research "PenRight! Pro Software Development Kit for C programmers, Version 3.5", AST Research, Fremont CA July 1993 Pen development SDK: includes floppies, documentation (6 manuals).

[PenRight93c] (*) AST Research "PenRight! Pro Tools User's Guide", PenRight! Pro Software Development Kit for C programmers version 3.5, July 1993, AST Research, Fremont CA [PenRight93d] (*) AST Research "PenRight! Pro Learning Guide", PenRight! Pro Software Development Kit for C programmers version 3.5, July 1993, AST Research, Fremont CA [PenWindows92a] (*) PenWindows: Microsoft Corporation "Microsoft Windows for Pen Computing: Programmer's Reference, Version 1 Designed to work with Windows 3.1", Microsoft Press, 1992 Pen Message Interpreter, Pen Macro Layer for gestures: does not contain list of gesture shapes. Pages 16..20, description of differences between mouse and electronic ink drivers, coalescing of mouse messages to report final position (lift) only, etc. Refers specifically to shape recognition for gestures. Uses term "enhanced pen aware" or "pen-enhanced" instead of "pen-centric" for applications designed specifically for pen/gesture/handwriting input. Page 8, difficult to point at single pixels (small targets) with stylus touchscreen accuracy.

[PenWindows92b] (*) PenWindows: Microsoft Corporation "PenWindows: Overview of the Pen API - PENAPI.HLP", Microsoft Corporation - PENAPI.HLP for PenWindows 1.0 HLP file with documentation for Pen Windows 1.0 -- 1992

[PenWindows92c] (*) Microsoft Corporation "Microsoft Windows for Pen Computing: Programmer's Reference", Microsoft Corporation, 1992 Windows for Pen Computing / Pen Windows: also known as Pen Extentions. Programming documentation for Pen Windows 1.0, for Windows 3.1.

[PenWindows95a] (*) PenWindows: Microsoft Corporation "Pen Computing and Windows 95", Pen Computing, Number 7, December 1995 Windows for Pen Computing version 1.0 versus version 2.0, boxed edit control, hedit handwriting edits Lisa Sampfli, PenFact Inc. in Boston Massachusetts

[PenWindows95b] (*) PenWindows: Microsoft Corporation "Programmer's Guide to Pen Services for Microsoft Windows95", Microsoft Press, ISBN 1-55615-835-1 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

46/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Gestures p. 61: Circle gestures with letter: Lasso: p. 481 shows list of circle gestures by shape, using mnemonic characters -- compare to "recognition macros" of PenCept; HPENDATA object holds chunks of electronic ink data, separate from mouse messages. WM_LBUTTONDOWN / IsPenEvent() / DoDefaultPenInput: electronic ink data is associated as extra data (HPENINFO) attached to a mouse event. Defines stroke pen data between two pen tip transitions, hence touching strokes and inair/proximimity strokes. (What about out of proximity?) Context menu in bedit (boxed handwriting edit) controls. Single tap and double tap on character bring up a (context) menu/list of alternative characters/words.

[Perlin93] (*) Perlin, Ken and Fox, David "An Alternative Approach to the Computer Interface", Proceedings of SIGGRAPH 93 Virtual workspace, zooming into different sections to simulate the user-interface metaphor of a large physical workspace. Refers to this as a "Pad" interface. Shows zooming into sections of a calendar: compare with Slate "DayTimer" Pen-Scheduler product from 1991 (not cited, perhaps he was not familiar with it: Bricklin patent?).

[PetzoldC92a] (*) Petzold, Charles "Programming Windows 3.1, Third Edition", Microsoft Press, 1992 Windows 3.1 UI and programming guide, 1992. Checker example shows using SendMessage to emulate mouse events from keyboard input.

[PlaisantC92a] (*) Plaisant, Catherine and Wallace, Daniel "Touchscreen Toggle Design", Proc. CHI '92, May 3-7, 1992, pp. 667-668 Touchscreen virtual toggle and slider switches: See also CHI '92 video (reference in file)

[PLDOS95] (*) www.pldos.pl "PC Dos 2000 Details", www.pldos.pl/pcdos General information on PC DOS and PenDOS: mentions "mouse emulation" in PenDos, separate from tablet/stylus driver: limited use of Gestures in pen-aware Mouse applications. (Web site partially in Polish)

[PierK92a] (*) Pier, Ken and Landay, James A. "Issues for Location-Independent Interfaces", Xerox PARC Technical Report ISTL92-4, December, 1992 Discussion of pop-up menus and gestures for UIs that are physically scalable to work on very large surface, where location of a fixed menu on the surface may be inconvenient: gestures/input should be anywhere on the surface (like Freestyle?). Notes that mouse menus with stylus not usuable. Gestures as accelerators without lifting the stylus: make an E to bring up a pie/marking menu and continue with the pie-selection stroke without the menu actually popping up. Does not mention menus built into multibutton mouse or tablet puck Mentions pie menus in X10 window system 1986 (also press-and-hold-still). X, C, circle, box, press-hold gestures. Refers to ambiguity of input as gesture/application input as "interference problem". Describes stylus button easy to use as a solution for this modality -- compare with Pencept in 1985? Windows for Pen Computing an add-on to Windows 3.1.

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

47/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[PierK94a] (*) Pier, Ken and Landay, James A. "Issues for Proximate User Interfaces", Xerox PARC Technical Report, April 19, 1994, available via internet User-interface for large surfaces needs UI without static-placed element (e.g. pull-down menus). Pop-up pie menus, hierarchical menus, pop-up handwriting recognition pads, gestures, vocal user interface. Problems studied in example of Xerox Liveobard whiteboard system. Cites pop-up menus to moveable menus of Wiseman, Xerox Alto 1976. PenPoint, GO, PenWindows, Momenta.

[Pimax95] . Primax Electronics Ltd. "DataPen User's Guide", Primax Electronics Ltd. Cited in Aries97 for optical digitizer

[PiwetzC95a] (*) Piwetz, Christian; Eiffert, Frank; Heck, Helmut; and Mueller-Clostermann, Bruno "An Adjustable User Interface Providing Transparent Access to Application Programs for the Physically Disabled", ACM SIGCAPH Newsletter, January 1995 Graphical/virtual/synthetic keyboard on-screen keyboard on Apple MacIntosh, usable with mouse without physical keyboard. Also includes predictive type-ahead. Main use is as accessiblity technology, combined with dwell-mouse for handicapped use.

[PollackA91a] (*) Pollack, Andrew "Technology: Positioning the Electronic Stylus", The New York Times, March 17, 1991 Report on tablet digitizer for the new products known as pen computers: Wacom, Scriptel, Kurta, Calcomp, Summagraphics, Numonics, Seiko, Hitachi adapting opaque digitizers, Resistive coating from Gridpad, Microtouch. Electrostatic from Scriptel. Cites Jean Renard Ward on digitizer impact on handwriting recognition accuracy.

[PollackA91b] (*) Pollack, Andrew "A Battle in Pen-Based Computers", The New York Times, January 22, 1991 Report on PenPoint from Go Corporation, plus Microsoft hot on the heels of PenPoint. Big Market expected. Mentions also Grid Systems (owned by Tandy/Radio Shack). Investors in Go include Mitch Kapor, Apple. Bill Gates following Mitch Kapor to Japan. Quotes Phillipe Kahn saying Microsoft was copying Go. Quotes Vern Rayburn of Slate, storying electronic ink image itself.

[Poyner94] (*) Poyner, Rick "Wintab Backgrounder", LCS/Telegraphics, Cambridge Massachusetts, 1994 Industry-standard driver from www.pointing.com/LCS-Telegraphics to allow all (DOS) applications to use pointing devices (mouse/tablet/touchscreen/joystick/etc.) interchangeably. Wintab/Windows/Pen Windows: mentions tablet sharing, multiple application accessing tablet at once with different services: different tablet context objects for different (concurrent) applications, tablet packets with data for a high report rate. Driver supports command-input area, WT_PACKET window messages. Wintab also mentioned in Windows95/W4PC/TabletPC documents. Also exists in version from about 2003 with minor updates from Wacom (see file)

[PRNewswire93a] (*) PRNewswire "First Newton - The MessagePad - Hits the Market", https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

48/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

PRNewswire, July 30, 1993 Newton MessagePad introduced, with wireles communications, OS/Newton to be licensed. Can send/beam documents between Newton devices.

[Quinnell95] (*) Quinnell, Richard A. "Cover Story: Touchscreen Technology", EDN Magazine, November 9, 1995. Available from http://www.end.com/archives Technology review of touchscreens: flexible resistive film (a la Elographics), Capacitive, Capacitive zone, SAW surface acoustic wave or SAW guided acoustic wave, IR infra-red touchscreens, strain gauge. Refers to problems with capacitive touchscreens. Mentions that acoustic SAW screens can sense multitouch more than one point of contact. Capacitive proximity sensing (Microtouch zones). Does not use the word tablet. Cites Scriptel/Symbios electrostatic tablet with proximity sensing. Describes fabrication expense of rear-mounted electromagnetic digitizers. Electronic ink in windows 95.

[RamanaR92a] (*) Ramana, Rao; Card, Stuart K.; Jellinek, Herbert D; Mackinlay, Jock D., and Robertson, George G. "The Information Grid: A Framework for Information Retrieval and Retrieval-Centered Applications", Proc. UIST 92, Nov 1992, pp. 23-32 X-buttons.

[RashidR93a] (*) Rashid, Richard "Speech Transcript - Rick Rashid, Microsoft Professional Developers Conference 2003, October 29, 2003", www.microsoft.com - Microsoft News Center Asserts that Tablet PC came out of work at Microsoft Cambridge research lab, Charles (Chuck) Thacker. Demo applications (from Pen Computing group at Brown University? see Andries van Dam) are Math Pad, Magic Paper (sketch recognition) by Randall Davis at MIT AI lab. (No mention of Pen Windows)

[RegisterDS95a] (*) Register, David S. "Stylus Operable Computer with Wireless Keyboard in Storage Bay", United States Patent 5,440,502, August 8, 1995 Handheld computer with slide-out/detachable keyboard: Mentions Momenta

[RheingoldH93a] (*) Rheingold, Howard "The Virtual Community: Homesteading on the Electronic Frontier", Addison-Wesley Publishing Company, Reading, MA 1993 Electronic copy only General Magic, former architests of Apple Macintosh created personal intelligent communicator, stylus based PDA similar to Apple Newton. Thrust of book is electronic democracy: world network communiication (later: blogs and email and internet) will make democratic revolutions hard to prevent.

[Robertson91a] (*) Robertson, George G., Henderson, D. Austin Jr. and Card, Stuark K. "Buttons as First Class Objects on an X Desktop", Proc. UIST 91, Nov 11-13 1991, pp. 35-44 Gesture-based buttons, actions tailorable/definable by user/designer, as for other first-class objects e.g. icons, menus, windows. Gestures mentioned include flick left/right/up/down, click, rubout, check, insert (inverted "V"?) Electronic ink ("mouse track") shows actual marking, removed after recognition. Gesture must start inside button due to X-Windows, therefore gestures such as circling/lasso not possible. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

49/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Caret/insert/edit gesture brings up gesture (actualy macro) editor to define which of standard gestures should be associated with an object, and what they should do.

[RubinSM94] (*) Rubin, Steven M. "Computer Aids for VLSI Design, Chapter 10: Human Engineering", Web reference at www.rulabinsky.com/cavd/text/chap10-6.html Bibliography only: contains reference to Ledeen Recognizer in Newman/Sproull textbook, other interactive editors (without character recognition): Application GUI using Ledeen recognizer

[Rubine91] (*) Rubine, D. "Specifying gestures by example", ACM SIGGRAPH '91 Proceedings, Computer Graphics Vol 25 No 4, 1991, pp 328-337. Trainable, unistroke/single-stroke gestures, single-stroke X and delete symbols, using hotspots, etc. Recognition of gesture on every input point "eager recognition", allows transition to direct manipulation without lifting stylus. Multi-touch gestures (LeeSK85) Cited in Lipscomb91, Arvo00. File also contains numerous reference *to* Rubine for gesture UIs, sketch understanding and recognition, etc.

[Rubine91a] (*) Rubine, D. "The Automatic Recognition of Gestures", PhD Thesis, Carnegie Mellon University, 1991, technical report CMU-CS-91-202 Gesture recognition and definition system: trainable recognizer, simple API programming language for defining semantics/operations using GRANDMA Smalltalk MVC Model/View/Controller or Model/View paradigm. Refers to single-path gestures (mouse/status) and multi-path gestures (multi-touch finger input with several fingers). Cited in Goodisman as comprehensive reference. Multi-touch input using DataGlobe, Sensor Frame, or multiple-finger touch pad. Trainable classifier/recognizer for multi-touch gestures. G-clef music score editor patterned after Buxton (but used recognition of shapes, not of directional changes?)

[Rubine91b] (*) Rubine, D. "Integrating gesture recognition and direct manipulation", Proc. of the summer '91 USENIX Technical Conference, 1991, available at http://reportsarchive.adm.cs.cmu.edu/anon/itc/CMU-ITC-100.pdf Describes mouse gestures in a trainable system; refers to "eager recognition" where recognition starts before stylus lift / end of stroke. "GRANDMA": Gesture recognition and direct manipulation in the same interface, by using sub-gestures in a direct-manipulation stroke, recognition of gestures within a stroke. Shows similar (single-stroke) gestures for moving text and moving drawing objects (taken from Buxton).

[Rubine91c] (*) Rubine, Dean Harris "The Automatic Recognition of Gestures", Ph.D. Thesis, Carnegie Mellon University, December 1991, CMU-CS-91-202 Describes mouse gestures in a trainable system; refers to "eager recognition" where recognition starts before stylus lift / end of stroke. "GRANDMA": Gesture recognition and direct manipulation in the same interface, by using sub-gestures in a direct-manipulation stroke, recognition of gestures within a stroke. Shows similar (single-stroke) gestures for moving text and moving drawing objects (taken from Buxton). Mentions 95% recognition rate means 1/20 gestures misclassified, therefore need easy access to abort and undo operations in user interface. Mentions Nakatani multi-touch device observed at Bell Labs to track up to 10 fingers simultaneously, and radio drum to sense 3-D positions of multiple styli/fingers. Brief review https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

50/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

of PenPoint with press-and-hold, and Button Box press-and-hold. Mentions multiple-finger gesture recognition via MDP software. Refers to multiple-fingure gesturs as multi-path, since more than one path/position may be traced using multiple fingers. Describes GRANDMA, a tool for building gesturebased applications using single stroke gestures (continuous lines); includes defi nition of gesture.

[Rubine92] (*) Rubine, Dean Harris "Combining Gestures and Direct Manipulation", Proc. ACM Conf. on Human Factors in Computing Systems (CHI'92) pp 659-660, May 1992 Defines gesture as handmade mark to give a command to a computer, using placement/size/orientation of mark also. Gestures terminated and recognized on dwell (gesture), user may continue input (e.g. line gesture, dwell, drag line). GDP: Single stroke (Unistroke) gestures only, for mouse-baed drawing program. GSCORE: Musical score editing. Eager recognition when user pauses, rather than at end of stroke. See also CHI Video, 1992.

[Ruggedware94] (*) RuggedWare "Using Pen on the Road", RuggedWare Ltd., Denver Colorado Sales Automation application using Windows-based pen computer. Input into "letter guides", boxed character recognition input, makes distinction between character cells which are empty, and those which contain a space. Compare with Ward patent on simulated keyboard input using handwriting input.

[RusD94a] (*) Rus, Daniela and Subramanian, Devika "Designing structure-based information agents", Report SS94-03-012, Working Notes of 1994 AAAI Spring Symposium on Software Agents, pp. 79-86", Automatic software agents recognize text, but also figures, tablet, paragraphs of interest, via detectors and add information links (actions). [SachGM95a] (*) Sach, Gary M., Bromage, Bruce K. and Purpura, Don F. "Touch Control Panel", United States Patent 5,398,045, March 14, 1995", Touch panel displaying different pop-up menus depending on where it is touched: entry is selected by separate button when desired item is displayed. [SachsE91a] (*) Sachs, E; Roberts, A; Stoops, D. "3-Draw: a tool for designing 3D shapes", IEEE CG&A, Nov 1991, Vol 11 No 6, pp. 18-26", 6 DOF 3-D digitizer, using two hand-held sensors to sketch surfaces in 3-space. Compare with Polhemus digitizer. 3D gestures? (See also earlier 1989 IEEE SMC article, same title) [Sato91] (*) Sato, Kimikatsu Sagamihara; Toyoda, Ryuichi; and Masaki, Takeshi "Pen-type Computer Input Device", United States Patent 5,027,115, June 25, 1991", Similar to PenMouse: mouse-like input device shaped like a pen, but not a tablet digitizer because it only picks up relative motion. Sensing of position is an electromagnetic (or optical pattern) pickup of a nibbed writing ball in the pen. [SaundE94a] (*) Saund, Eric and Moran, Thomas P. "A Perceptually-Supported Sketch Editor", Proc. UIST '94 (preprint) Parsing of informal structure in electronic ink sketching in an electronic blackboard (whiteboard) system.

[ScattoliniP95a] (*) Scatoolin, Patrice "Recognition of Handwritten Numerals uising Elastic Matching", Master's Thesis, Concordia Universtity, Montreal Canada, November 1995 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

51/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Elastic matching applied to OCR of handwritten numerals, after thinning and line tracing.

[SchilitBN93a] (*) Schilit, Bill N.; Adams, Norman; Gold, Rich; Tso, Michael M.; Want, Roy "The ParcTab Mobile Computing System", Proc. Fourth Workshop on Workstation Operating Systems, 1993, pp 34-39 Description of ParcTab: small networked PDA with touchscreen interface: location-aware computing (office location), ubiquitous computing (worn like an ID badge). Windows migration: X Windows applications can follow user from workstation to workstation based on position information from ParcTab. (No GPS)

[SchlosserPA92a] (*) Schlosser, Philip A. and Kable, Robert G. "Digitizer Technologies for Pen-Based Computers", Pen Computing: the 1992/92 Industry Outlook, 1992 Business whitepaper on Scriptel transparent touchscreen/digitizer technology with proximity sensing.

[SchmandtC93] (*) Schmandt, Chris "Phoneshell: the Telephone as Computer Terminal", Proc. of ACM Multimedia Conf, 1993 Telephone access to voice mail, Email, and rolodex databases using synthesized voice output

[SchneidermanR94a] (*) Schneiderman, Ron "Wirless Personal Communications: The Future of Talk", IEEE Press, 1994 Business tutorial on wireless, cellular, and other technologies: includes notes on EO/Hobbit pen computing, IBM Simon, PDAs with wireless communications

[Schomaker95] (*) Schomaker, L., Nijtmans, J., Camurri, A., Lavagetto, F. Morasso, P., Benoit, C., Guiard-Marigny, T., Le Goff, B., Robert-Ribes, J., Adjoudani A., Defee, I., Muench, S., Hartung, K., Blauert, J. "A Taxonomy of Multimodal Interaction in the Human Information Processing System: A Report of the ESPRIT Project 8579, in "Multimodal Integration for Advanced Multimedia Interfaces" (MIAMI project)", http://hwr.nici.kun.nl/~miami/taxonomy/taxonomy.html [email protected]: long bibliography of pen/handwriting input and other GUI technologies

[Scriptel92a] (*) Scriptel Corporation "Scriptel Announces Manufacturing License with SamSung", Press Release, Scriptel Corporation, November 16, 1992 Samsung licenses Scriptel electrostatic digitizer for pen-computing market: cordless stylus. File containes additional material Scriptel inks pact with apple: Pen-based computer only a year away; NCR5991 Sigature Capture / Electronic Payment terminal; Dauphin 5000 Pen-base Notebook computer (DOS/OS2).

[Scriptel92b] (*) Scriptel Corporation "Scriptel: Digitizers for Pen-Based Computers", Whitepaper, Scriptel Corporation, 1992 Cordless stylus, Sensor panel, ratiometric measurement isolates from electronic interference https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

52/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[Scriptel92c] (*) Scriptel Corporation "Rediscover the Power of the Pen: Scriptel PenWriter", Product brochure: Scriptel Corporation, 1992 separate touchscreen unit, includes display

[Scriptel92d] (*) Buckler, Grant "Scriptel to develop cordless stylus", Scriptel press release: Jan 8, 1992 cordless stylus for scriptel digitizer, with single-chip controller. Technology agreement with Apple Computer, Wang Freestyle. Battery-powered stylus with 12 months typical service life

[Scriptel95a] (*) Scriptel Corporation "WriteTouch: Digital Pen and Touch Technology Overview", Scriptel Corporation, 1995 Electrostatic/capacitive digitizer with cordless stylus or finger touch: mentions shielding between LCD and sensor (front-mounted), greater optical transmissivity due to optical properties of ITO shielding compared to touchscreens. Cordless stylus requires battery. References Windows 95 with Pen Extensions (Pen Windows). Joint product with NCR?

[SearsA91a] (*) Sears, Andrew and Shneiderman, Ben "High Precision Touchscreens: Design Strategies and Comparisons with a Mouse", Int'l. Journal of Man-Machine Studies, Vol 34 No 4, April 1991. Describes advantages of touchscreens over physical buttons, switches, and other controls. Mentions takeoff (lift up) selection with touchscreens has fewer accuracy errors, compared to click-down as with mouse.

[Sekendur95] (*) Sekendur, Oral F. "Optical position determination", United States Patent 5,477,012, December 19, 1995 Optical digitizer on "smart paper", with a (passive) pattern printed on the paper -- Compare to Anoto technology. Appears to use a something similar to a circular barcode / ringcode: provenance not given, might be interesting to find. Digitizer tablet "smart paper" that puts a printed code on paper, position is read by optical sensor in the stylus tip. Compare with technology by Anoto et al. Shows circular barcode optical target, doubled 1d Barcode target, square matrix target for "smart paper" Two styli pictured, no parallax correction (?) to optitical image in optical digitizer

[SelkerEJ94a] (*) Selker, Edwin Joseph "Tactile feedback mechanism for cursor control", European Patent Application 93120305.3, December 16, 1993 Haptic/tactile feedback to a mouse, joystick, or other pointing device based on storing the window handle or other information in the input device and generating the feedback locally: faster than basing it on the information sent to the host

[SensorFrameCorp92a] (*) Sensor Frame Corporation "The Sensor Frame Graphic Manipulator Final Report", NASA Technical Report NASA-CR-194243 / N94-70016 (unclassified), release date 5/8/92 Optical detection of two- and three-finger gestures in both 2-Space and 3-Space, using a single CCD https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

53/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

detector in front of a display.

[SerranoJA95a] (*) Serrano, J. Artur "The Use of Semantic Constraints on Diagram Editors", Proc. of VL '95, September 1995, Aarmstadt, Germany Semantic constraints may interfere during editing of diagrams / sketch editing / Visual languages, as editing may leave state inconsistent: proposes incremental validation of constraints.

[ShaferD91] (*) Shafer, Dan and Ritz, Dean A. "Practical Smalltalk: Using Smalltalk/V", Springer-Verlag, New York, 1991 Introduction to Smalltalk language and environment. (Electronic file).

[ShaferD94a] (*) Shafer, Daniel G. "The Power of Prograph CPX", Prograph International, 1994 Prograph graphical programming language.

[Sharp93] (*) Sharp Wizard Hotline "Sharp OZ-9600 Electronic Organizer", Sharp Wizard Hotline PDA-type product, somewhat similar to Apple Newton, showing electronic ink, stylus input. Electronic ink notes refered to as Scrapbook Writing. Also refers to OZ-8000/7000, YO-600/ZQ-5000 models, wireless infrard data transfer

[Sharp93b] (*) sharp.co.jp "Sharp Expert Pad Model 7000 product information", Sharp.co.jp Sharp Expert, clone/licensee of Apple Newton. File contains additional information.

[Sharp95a] (*) Sharp IQ-9200 PDA product information "Sharp.co.jp", Sharp IQ-9200 product information Sharp IQ-9200 PDA, dates approximate (1995)? has full keyboard in clamshell design, touchscreen with stylus for sketch input.

[Shenton91] (*) Shenton, Martha E.; Kikinis, Ron; McCarley, Robert W.; Metcalf, David; Tieman, James; and Jolesz, Ference A. "Application of automated MRI volumetric measurement techniques to the ventricular system in schizophrenics and normal controls", Schizophrenia Research, Vol 5, 1991, pp 103..113, Elsevier Science Publishers Cites 1985 Scriptel electrostatic digitizer used with DEC display for reading MRI / X-Rays

[ShipmanFM95a] (*) Shipmann, Frank M. III; Marshall, Catherine C; and Moran, Thomas P. "Finding and Using Implicit Structure in Homan-Organized Spatial Layouts of Information", Proc. CHI '95, pp. 346-353 "spatial parser" to attempt to recognize implicit structures in how people lay out information: example is paper notecards, organized as horizonal and vertical lists, stacks, composite (list with additional "title card"), heaps. Compare with visual languages and 2D/two-dimensional parsing of mathematical https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

54/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

expressions.

[ShneidermanB91a] (*) Shneiderman, Ben "Touchscreens now offer compelling uses", IEEE Software, Vol 8 No 2, March 1991, pp-93-94, 107 Shows ring-binder metaphor on touchscreen user interface: compare with Refalo. Mentions use of velocity and motion sensing with touchscreen to control volume, pitch, brightness, speed and other attributes/characteristics in music/graphical UI.

[ShoensK93a] (*) Shoens, K.; Luniewski, A; Schwarz, P.; Stamos, J.; and Thomas, J. "The Rufus System: Information Organization for Semi-Structured Data", Proc. 19th VLDB Conferenc,e Dublin Ireland 1993, pp 1..12 System recognizes data of interest in unformatted text, and indexes items such as proper names, words, telephone numbers and postal/ZIP codes. Methods associated with classes encapsulate actions user can take on data -- automatic generation of links/actions in text data.

[SignOnSystems92] (*) Sign-On Systems, Inc. "Sign-On pen computing", SignOnSystemsinc.com/pen.htm Software development toosl for Windows for Pen Computing, signature verification

[SinghG91a] (*) Singh, Gurminder and Green, Mark "Automating the Lexical and Syntactic Design of Graphical User Interfaces: The UofA* UIMS", ACM Trans of Graphics, Vol 10 No 3, July 1991, pp. 213-254. Also at CHI '89 UofA / University of Alberta UIMS. User can define "style sheets" or defaults for UI parameters, and adjust them?

[SinghG93a] (*) Singh, Gurminder, moderator; Linton, Mark; Myers, Brad A.; Szczur, Marti "From Research Prototypes to Usable, Useful Systems: Lessons Learned in the Trenches", Panel: UIST '93, November 3-5, 1993, pp. 139-143 Customer is not always right (specification/user requirements): if you build something useful, people will want it. Building prototypes (a useful one) can be counterproductive, often just as hard as building something real (and also useful). Usefulness of incremental development, frequent reviews (SCRUM/Agile development?)

[SinghP92a] (*) Singh, Pradeep and Weil, Lisa "Microsoft Windows for Pen Computing", Proc. IFIP 12th World Computer Congress, Madrid, September 1992, pp. 23-31 Basically an extended product announcement of Windows for Pen Computing / / Windows for Pens / PenWindows at IFIPS. USer-assignable gestures of circle "b", circle "a", etc.

[Sklarew92] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", United States Patent 5,157,737, assigned to Grid Systems Corporation Fremont, California, October 20, 1992 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

55/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Abstract refers to transparent sensing surface (tablet digitizer: touchscreen) over display, electronic ink, character recognition, and learning mode. Abstract reads almost identically to Sklarew patent 4,972,496: this one refers to "terminal disclaimer". Claims very specific to text editing with gestures: adjustment of margins, deleting font symbols, etc. Editing symbols include brackets around text, caret "gesture", etc. Refers to two editing symbols, where the second must be different from the first.

[Sklarew94a] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", United States Patent 5,297,216, assigned to AST Research, Inc., Irvine, California, March 22, 1994 Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Abstract reads almost identically to Sklarew patent 4,972,496: this one refers to "terminal disclaimer" Forms entry in handwriting recognition user interface, where a data-entry form field window pops up for entry, after entry of a pre-determined command using command/gesture symbols

[Sklarew94b] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", United States Patent 5,365,598, assigned to AST Research, Inc., Irvine, California, November 15, 1994 Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Abstract reads almost identically to Sklarew patent 4,972,496: this one refers to "terminal disclaimer" Sklarew/Grid very specific to resistive digitizer, no proximity sense (?)

[Slate91a] (*) Slate Corporation "Slate Corp. has Announced Penapps", Computer Business Review, Feb 5, 1991 Slate announces PenApps IDE for pen computing

[Slate92] (*) Slate Corporation "Delrina WinFax Pen Software User's Guide: Version 1.0 for Windows for Pen Computing", Copyright 1992 by DelRina Corporation Fax application with address book, extended for Pen-Windows, references to Slate Pen Scheduler

[Slate92a] (*) Slate Corporation "Slate PenApps Application Builder Reference Manual", Copyright 1992 by Slate Corporation PenBasic, ink data type, deferred translation, sketch fields; input targetting with "gravity" (non-sic) to allow writing outside of field boundaries, sketch fields: For both PenWindows and PenPoint. -- Compare "gravity" / input targetting with other systems, including graphical editors and CAD systems from 1980's. History slot and history gesture for recalling previously-entered items into a pop-up list: "Selecting is better than Writing". Software application and documentation, release 0.9

[Slate92b] (*) Slate Corporation "Slate PenBook Publishing Pack", Copyright 1992 by Slate Corporation DOS Authoring utility to convert PS Postscript documents to electronics books bookfiles, Windows for Pen Computing reader, and for MacIntosch Software application and documentation https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

56/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[Slate92c] (*) Slate Corporation "Slate At-Hand Spreadsheet: The powerful, portable, pencentric spreadsheet for PenPoint", Copyright 1992 by Slate Corporation Also written as @-Hand. The original PenCentric spreadsheet application announced by Dan Bricklin / Slate: makes extensive use of PenPoint and other gestures, including multiple flick gestures in the corners of cells (Dan Bricklin: Coinventor of Visicalc spreadsheet application) Software application and documentation

[Slate92d] (*) Slate Corporation "Day-Timer Pen Scheduler", Copyright 1992 by Slate Corporation Extensive use of ink editing, free-form organizer program, based on ink data type rather than text data. Included task scheduler / planner without handwriting recognition. Software application and documentation, for PenPoint and for Windows for Pen Computing (a.k.a. PenWindows)

[Slate92e] (*) Slate Corporation "JOT - Interchange format", Slate Corporation, Scottsdale Arizona Joint Microsoft/Slate/Lotus,GO,Apple/General Magic interchange format for electronic ink data: original work initiated at Slate Corporation (Ward, Bricklin, et al). Includes encoding of pressure, angle, other data, with both lossless and lossy data reductions, delta-encoded format.

[Slate92f] (*) Slate Corporation "Slate PenApps Application Builder Developer's Guide", Copyright 1992 by Slate Corporation PenBasic, ink data type, deferred translation, sketch fields; input targetting with "gravity" (non-sic) to allow writing outside of field boundaries, sketch fields: For both PenWindows and PenPoint. -- Compare "gravity" / input targetting with other systems, including graphical editors and CAD systems from 1980's. History slot and history gesture for recalling previously-entered items into a pop-up list: "Selecting is better than Writing". Software application and documentation, release 0.9. File also contains installation floppies for PenApps 0.9 for Windows 3.1.

[Slate92g] (*) Slate Corporation "Slate PenApps Application Builder Quick Reference Version 1.0 for Windows for Pen Computing / Pen Windows 1.0", Copyright 1992 by Slate Corporation PenBasic, ink data type, deferred translation, sketch fields; input targetting with "gravity" (non-sic) to allow writing outside of field boundaries, sketch fields: For both PenWindows and PenPoint. -- Compare "gravity" / input targetting with other systems, including graphical editors and CAD systems from 1980's. History slot and history gesture for recalling previously-entered items into a pop-up list: "Selecting is better than Writing". Software application and documentation, release 1.0

[SmalltalkReport91a] (*) Smalltalk Report "Momenta Demonstration", Smalltalk Report, November/December 1991 Report on demonstration of Momenta pen computer with command compass / pie-menus / marking https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

57/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

menus: development language is object-based Smalltalk with objects shared between applications, running on DOS operating system

[SmalltalkReport91b] (*) Smalltalk Report "WindowBuilder: An interface builder for Smalltalk/V Windows", Smalltalk Report, September 1991 Platform-independent GUI builder in SmallTalk

[SmithR91a] (*) Smith, Randall "The Alternate Reality Kit: User Interface Overview", CHI 91 Video Presentation. Copyright at start of video is 1987. Shows Alternate Reality Kit with simulation of physical objects, 2-D gravity. Also shows virtual switches, slide switches, slider switches for changing simulation sharacteristics.

[SmithWR94a] (*) Smith, Walter R. "The Newton Application Architecture", Proc. 39th IEEE Computer Society International Conf., Sanfrancisco 1994, pp 156-161 Description of Newton application and OS architecture: slots, packages, interpreted bytecodes, no separate address spaces for different applications.

[SmithWR94b] (*) Smith, Walter R. "SELF and the Origins of NewtonScript", PIE Developers magazine, July 1994 Discussion of NewtonScript for the Newton pen-computing PDA, based on prototype-based inheritance language SELF.

[SmithWR95a] (*) Smith, Walter R. "Using a Prototype-based Language for User Interface: The Newton Project's Experience", SIGPLAN Notices, Vol 30 No 10, Oct 1995, pp 61-72. NewtonScript prototype-based language for Newton development: describes historical antecedants

[SmootL92] (*) Smoot, Lanny S. "Light-pen System for Projected Images", United States Patent 5,115,230, May 19, 1992 Projection whiteboard with light-pen: calibration method? Quadrilateral correction? Parallax correction? Compare with optical digitizers. NOTE: No known relation to Daniel R. Smoot of National Bureau of Standards

[SochaJ94] (*) Socha, John and Hall, Devra "teach yourself ... Visual Basic 3.0", MIS Press, 1994 Tutorial on Visual Basic language and development environment

[SoftwareIndustryReport91] (*) SoftwareIndustryReport "Microsoft turns screws on tiny Go Corp. in fight for pen software market", Software Industry Report, Millin Publishing, March 4, 1991. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

58/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Refers to Microsoft lining up many manufactures to lure them away from GO

[SoftwareIndustryReport92] (*) SoftwareIndustryReport "Japanese PenPoint gets broad initial support", Software Industry Report, Millin Publishing, September 7, 1992. Available at: www.amazon.com, archived digital document [SoftwareIndustryReport95] (*) SoftwareIndustryReport "New cordless digtal pen product enables both pen and finger touch input", Software Industry Report, Millin Publishing, July 24, 1995. Available at www.allbusiness.com/technology WriteTouch electrostatic/capacitive digitizer from Scriptel supports either finger or stylus input: can do multi-touch? Announcement of cordless electrostatic digital pen using Symbios Logic mixed signal design with Scriptel.

[Sony92a] (*) Sony Corporation "Sony PalmTop product information", Sony Corporation References, Product information on Sony PalmTop handwriting-recognition / touchscreen (stylus) portable computer.

[Sony94a] (*) Sony Corporation "Sony Magic Link PIC-1000 product information", Sony Corporation References, Product information on Sony Magic Link PIC-1000 PDA "Personal Intelligent Communicator": hands-free cellphone option, touchscreen, but virtual keyboard only, no handwriting recognition. Magic Cap OS from General Magic.

[Sony94b] (*) Sony Corporation "Sony Magic Link User's Guide PIC-1000 Personal Intelligent Communicator", Sony Corporation Sony Magic Link PIC-1000 PDA "Personal Intelligent Communicator"

[SovieroMM92a] (*) Soviero, Marcell M. "Your world according to Newton", Popular Science, September 1992, pp 45-49 Newton PDA: public article about prototype. Calendar: touch a date, get exploded/zoomed information view about that date. Describes Newton automatically learning text phrases that may be embedded/trail an input, such as "fax this" or "format this". Scribble/scratch-out gesture erasing part of a drawing. Palm-top computers include HP 95LX. Sony OZ-9600 and PV-F1 Action Manager, Sony PTC-300 PalmTop peninput hand-held machines. Editorial introduction credits John Sculley at Apple for Knowledge Navigator (Newton?), Ted Nelson for Project Xanadu global databse (Google?), and Alan Kay for Dynabook (Newton? -- no handwriting recognition actually)

[Stahovich95] . Stahovich, Thomas F. "SketchIT: A Sketch Interpretation Tool for Conceptual Mechanical Design", Ph.D. thesis, Massachusetts Institute of Technology, Cambridge, Massachusetts, May 1995 Cited in Arvo00 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

59/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[StraussPS92a] (*) Strauss, Paul S. and Carey, Rikk "An Object-Oriented 3D graphics Toolkit", Computer Graphics, Vol 26, No 2, July 1992, pp 341-349 Direct manipulation toolkit for 3D scenes: picking (mouse click) along a ray to determine object pointed to. Trackball operation (rotate) mode for mouse input.

[SturmanDJ92a] (*) Sturman, David J. "Whole hand input", Ph.D. Thesis, MIT, 1992 (Copyright 1991) Whole-hand UI user interface input using VPL data-glove: direct manipulation experiment using multiple fingers and hand position to control six-legged walking device, whole-hand and hand-motion gestures. Thumb-based gestures for throttle. Distinguishes between gesture (with motion shape) and posture (static gesture). VPL DataGlove includes a gesture editor for defining gestures.

[Swaine91] (*) Swaine, Michael "A Conversation with Robert Carr", Dr. Dobb's Journal, 1991 Robert Carr, head of development at GO/Penpoint: mostly a review of the OS design, file system, objectlike message passing on PenPoint gesture GUI

[Szekely92a] (*) Szekely, Pedro; Luo, Ping; and Neches, Robert "Facilitating the Exploration of Interface Design Alternatives: The HUMANOID mdel of interface design", Proc. of SIGCHI '92, May 1992, pp. 507-515 Graphical User-interface design system, referces to slots, objects, etc. Compare with Visual Basic. Humanoid92 shows development system with slots and widgets for objects. Refers to input gestures, mentioning direct-maniuplation, mouse-based gestures: e.g. dragging gesture.

[Szekely93a] (*) Szekely, Pedro "User Interface Prototyping: Tools and Techniques", Proc. of INTERCHI'93 UI design tools: Paper and Pencil, Facade (UI with no application behind it), mentions NeXT Step, Prototype for the Macintosh, and WindowsMAKER by BlueSky.

[Takahashi91] (*) Takahashi, Toimoichi, and Kishino, Fumio "Hand Gesture Coding Based on Experiments Using a Hand Gesture Interface Device", SIGCHI Bulletin, Vol 23 No 2, April 1991, pp 67-74. DataGlove product used to read hand alphabet gestures for Japanese Kana, similar to American manual alphabets for the deaf (finger spelling?)

[TanakaD92] (*) Tanaka, David "Pen-based systems - computer innovations", Computer Dealer News, November 30, 1992 Review of pen computing 1992, distinguishes between pencentric and pen-aware approaches. Cites market studies of expected large sales. Daytimer PenScheduler from Slate, LetterExpress from PenMagic. Quotes Portia Isaacson on problems with digitizer technologies.

[Tannenbaum93] (*) Tannbenbaum, Alan R.; Zetts, John M.; An, Yu L.; Arbeitman, Gordon W.; https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

60/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Greanias, Evon C; and Verrier, Guy F. "Graphical User Interface with Gesture Recognition in a Multiapplication Environment", United States Patent 5,252,951, October 12, 1993 Gesture/voice/speech input with multiple user profiles for different commands to differnet programs Circle gesture mentioned Translation of gestures to simulated input for other, pre-exiting devices, such as keyboard and/or mouse, to maintain compatibility with pre-existing applications. Compare to Pencept CAD and other interfaces from 1985, which translated "recognition macro" gestures to defined sequences of keyboard/mouse input Recognition of gestures/voice/speech with hot spot coordinates and hot spot window, mapping to macros. If gesture not assigned meaning, user may define on the fly

[TapiaMA95a] (*) Tapia, Mark A. and Kurtenbach, gordon "Some Design Refinements and Principles on the Appearance and Behavior fo Marking Menus", Proc ACM UIST '95, pp. 189-195 Marking menus with stylus: animation feed back to user if mark (inadvertently) triggers a command gesture.

[Tappert91] () Tappert, C.C. "Speed, Accuracy, Flexibility Trade-Offs in On-Line Character Recognition", Int. J. Pattern Recognition and Artificial Intelligence, Vol. 5, pp. 79-95, June 1991, also in Character and Handwriting Recognition, P.S.P. Wang (Ed.), World Scientific, 1991, also see IBM Research Report RC13228, October 1987 Cited by Marlin Eller, Microsoft Pen Computing group

[TappertCC93a] () Tappert, C.C. and Ward, Jean Renard "Pen Computing: Fad or Revolution?", Information Display, Vol 3 no 92, pp. 14-19 Description of Pen Computing circa 1993 for SID Society for Information Display. Description of electronic ink.

[TaylorR95a] (*) Taylor, Robert "Requirements and Availability of Application Programmer's Interfaces for Virtual-Reality Systems", UNC Technical Report TR95-009, April 1995 Re-mapping of UI events (mouse button clicks) to other application events (or system events)

[Taysi92] (*) Taysi, Burak M. "Gesture System for a Graph Editor", Master of Science thesis, Washing University 1992, St. Louis Missouri. www.cs.wustl.edu/cs/techreports/1992/wucs-9235.part2.ps.Z General review of gesture commands and state of the art circa 1992, numerous references. Cites examples of proofreader marks, paper-like interface, silicon paper Comments on weak gestures of Pen Windows, contrast with PenPoint. Examples of modified "arrow" gestures, alignment (sideways "H"), others. Table of gestures for Windows for Pen Computing and for PenPoint (Lombard): graphics missing in printed copy

[TelepresenseNews92a] (*) Telepresence News "Telepresence News", Telepresense News newsletter, fetched 2011 from www.dgp.toronto.edu/tp/news/news04.html https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

61/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Cited by Buxton92a on Active Desk project, remote desktop/whiteboard

[Tognazinni92a] (*) Tognazinni, Bruce "Tog on Interface", Addison-Wesley, 1992 User-interface essays by Bruce Tognazinni. Some mention of digitizers: Data Glove, Polhemus 3-D digitizer (actually it was 6-D, it includes the angles of orientation of the stylus). No mention of handwriting recognition or gesture, or of the Newton, but does mention direct manipulation.

[Tognazinni92b] (*) Tognazinni, Bruce "Starfire: The Director's Cut", www.asktog.com, video fetched 2010 Starfire video showing anticipated developments in user instfaces and ubiquitous computing, circa 1992. Shows two-finger (multi touch) streatch/zoom gesture, tablet computer with position and geographic sensing (GPS). Also shows two-finger hold-and-move gesture to make a copy: running time 2:07, twofinger select/copy/paste gesture (off-screen) at 5:09

[Tognazinni92c] (*) Tognazinni, Bruce "Starfire: The Making Of", www.asktog.com, video fetched 2012 Bruce Tognazinni explaining background of Starfire video, two-year human factors and computer science effort.

[Tognazinni92d] (*) Tognazinni, Bruce "Starfire: The Annotated Script", www.asktog.com, fetched 2012 Annoted script for Starfire, including "pinch" gesture. Excerpted from Tognazinni's book.

[Tognazinni94a] (*) Tognazinni, Bruce "The "Starfire" Video Prototype Project: A Case History", Proc CHI '94, Boston Massachusetts, pp. 99-105 Report on Starfire video project, showing speculative multi-touch user interfaces. Primary concerned with virtual video prototyping by means of "special effects" dramatized video production, which forces one to consider actual use cases in the course of building a shooting script for a film.

[Tognazinni95a] (*) Tognazinni, Bruce "Tog on Software Design", Addison-Wesley, Pub. December 1995 Essays on user-interface design, mentions 1994 "Starfire" video speculating on future touch-input portable computers, including a demonstration of a multi-touch (bimanual/two-hand) zoom gesture. Discussion on handwriting only mentions Graffiti by Palm. On touchscreens, states that poor accuracy (or visual parallax) causes users to slow down in an attempt to be more accurate: speculates on fiber-optic coupling plate (?) to reduce visual parallax.

[Toshiba93a] (*) Toshiba Corp. "Dynapad T100X Pen Computer", Toshiba Corp., 1993 Sales brochure and additional information (press releases, hardware specifications, video links, etc.) for Toshiba Dynapad T100X pen computer, running either PenPoint OS or PenWindows / Windows 3.1 with pen extensions. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

62/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[Tow94] (*) Tow, Robert F. "Methods and Means for Embedding Machine Readable Digital Data in Halftone Images", United States Patent Patent 5,315,098, May 24, 1994 DataGlyphs: see other references. Compare to Anoto Shows square matrix optical target, with asymmetric halftone dot patterns in cells of a digital halftone image

[TriTech92] (*) TriTech Microelectronics International, Itd. "PICK: Pen Interface Controller Kit", TriTech Microelectronics International PTE Ltd, Singapore Scriptel electronics chip set for electrostatic/capacitive digitizer for pen computing [Tsuyama91] (*) Tsuyama, Chizuka and Asagaya-minami, Signami-ku "System for Use in Processing a Speech by the Use of Stenographs", United States Patent 4,985,929, January 15, 1991 Speech is converted to a set of stenographs: appears to be a claim of an automatic speech-recognition voice typewriter Mentions use in automatic transcriptions and records of proceedings, international conferences (automatic translation?) Conversion of speech to phonetic letters or symbols, such as Pitman shorthand, based on statistical methods: up, down, and curved strokes

[UboisJ92a] (*) Ubois, Jeff "Pen-based PIMs coming with Pensoft Perspective (personal information manager)", MacWEEK, Febuary 17, 1992 Pensoft Perspective and Slate PIM: mentions Rosetta pen-computing/handwriting extensions to Apple Mac, to follow release of Newton. Phone number and contact management.

[UttS93a] (*) Utt, Steven "Re-thinking the Pen-on_Display User Interface", Stanford University Program in Human-Computer Interaction, Seminar on People, Computers, and Design, April 14, 1993 Abstract only: Presentation by UI designer from Momenta Corp. which used marking menus / pie menus for pen-computing UI. States that NewCAD partners build UI and handwriting recognition software sold to Momenta Corporation in 1989.

[vanHulzenJA94] (*) van Hulzen, J.A., Chair "Annual Report of De Stichting Computer algebra Nederland 1994 ", De Stichting Computer Algebra Nederland Mentions papers and work direct manipulation / pen / stylus interfaces for mathematical input and editing.

[VenoliaD94a] (*) Venolia, Dan and Neiberg, Forrest "T-Cube: A Fast, Self-Disclosing PenBased Alphabet", Proc. CHI94, April 1994, Boston, Massachusetts. pp. 265-270 Marking menu: get a pop-up of a rotary/pid menu with letters/characters, arranged concentrically in multiple rings, or set of characters is magnified in the direction you move the stylus from the center. Hand occlusion / obscuring of menu dealt with by showing pop-up menu at an offset from pen tip. Audio feedback (clicks) on the flick gestures at start and end. Visual feedback of selected character and idealized form of the flick gesture. Target can also be displayed continually, like a floating graphical keyboard. https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

63/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[VogelL94a] (*) Vogel, Les "Newton Program T-Cube submission", Internet posting 1994: available 2010 from welovegod.org/macos_files/macos_files/Sounds_of_Music/t-cube-10.hqx.desc Installation instructions for Apple T-Cube pie-menu (unistroke handwriting) text input.

[WantR95a] (*) Want, Roy; Schilit, Bill N.; Adams, Norman I.; Gold, Rich; Petersen, Karin; Goldberg, David; Ellis, John R.; and Weiser, Mark "The PARCTAB Ubiquitous Computing Experiment", Xerox PARC Technical Report CSL-95-1, March 1995 ParcTab hand-held PDA with touchscreen and three physical buttons, designed to be held in the palm. Uses Unistroke character recognition, click/tap gestures on heirarichal menus. Tracks users by identifying location in office to a particular room via local infrared network.

[WantR95b] (*) Want, Roy; Schilit, Bill N.; Adams, Norman I.; Gold, Rich; Petersen, Karin; Goldberg, David; Ellis, John R.; and Weiser, Mark "An Overview of the ParcTab Ubiquitous Computing Experiment", Xerox PARC Technical Report CSL-95-1, March 1995 ParcTab hand-held PDA with touchscreen and three physical buttons, designed to be held in the palm. "Tab" refers to "small tablet computer" -- touchscreen computer. Uses Unistroke character recognition, click/tap gestures on heirarchical menus. Tracks users by identifying location in office to a particular room via local infrared network.

[WeimanL92a] (*) Weiman, Liza and Moran, Tom "Newton: A Step toward the Future", MacWorld, August 1992, pp. 129-131 Announcement of Newton: mentions phone dialer, user highlights phone number in text in display. Mentions handwriting recognition / pen-based X-Windows systems work by Xerox Imaging Systems. Also Tusk Super All-Terrain (ruggedized), TriCom Pen3865x, Poqet PoqetPad, PI systems Infolio, NEC UltraLite, NCR 3125, Momenta Pentop, Microslate Datalite, IBM ThinkPad (PenPoint), Grid PalmPad and PenRight, Linus WriteTop Grid GRIDPAD, DFM TravelLite, Data Entry Systems Scriptwriter. Cites to CIC but not to PenCept.

[Wellner91a] (*) Wellner, Pierre "The DigitalDesk Calculator: Tangible Manipulation on a Desk Top Display", Proceedings of UIST '91, November 11-13, 1991, pp. 27-33 Cameras view paper desktop, read paper, also project images onto the desktop on top of the paper. Refers to tangible manipulation because user is moving both electronic desktop and physical paper documents, rather than direct manipulation with a mouse. Compare with later Microsoft Surface. Cites to Krueger83 for Videodesk, and Mandala. Image differencing and object location at different scales to track finger pointing: optimized algorithm for subtracting images in real-time (approx 7 frame/second). Tap gesture feedback of actual input by displaying indicated number in projected calculator: refers to "tangible feedback", so second kind of feedback?

[Wellner91b] (*) Wellner, Pierre "The Digital Desk", Video demonstration, 1991 Cameras view paper desktop, read paper, also project images onto the desktop on top of the paper. Refers to tangible manipulation because user is moving both electronic desktop and physical paper documents, https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

64/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

rather than direct manipulationw with a mouse. Shows two-finger zoom/select gesture etc. at running time 03:27. Compare with later Microsoft Surface.

[Wellner93a] (*) Wellner, Pierre "Interacting with Paper on the DigitalDesk", Communications of the ACM, July 1993. Also EuroPARC Tech Report EPC-93-195 Mentions Freestyle, and asserts that people "like" paper compared to electronic documents. Cameras view paper desktop, read paper, also project images onto the desktop on top of the paper. Mostly a userinterface experiment in combining electronic simulation with real paper documents. Shows multi-touch gestures, e.g. two index finger selection to draw two corners of a selection rectangle.

[Wellner93b] (*) Wellner, Pierre D. "Self Calibration for the DigitalDesk", Rank Xerox Research Center, Technical Report EPC-1993-109 Digital camera over desk, functionally similar to digitizing tablet, describes calibration: quadrilateral, four-point warping, keystoning, translation, scaling, shear, non-uniform scaling, bending distortions and calibration.

[Wellner94a] (*) Wellner, Pierre David "Interacting with Paper on the DigitalDesk", Univ. of Cambridge Technical Report UCAM-CL-TR-330, ISSN 1476-2986, March 1994 Mentions Freestyle, and asserts that people "like" paper compared to electronic documents. Cameras view paper desktop, read paper, also project images onto the desktop on top of the paper. Mostly a userinterface experiment in combining electronic simulation with real paper documents. Image subtraction and motion detection to locate hands etc. (Longish discussion of problem using a standard "C" image processing library from Modula, due to garbage collection).

[WellsLK94a] (*) Wells, Lisa K. "LabVIEW Graphical Programming for Instrumentation: Student Edition User's Guide", National Instruments Corporation, 1994 LabVIEW Graphical programming language "G" for virtual instruments: has simulated mechanical action of boolean switches, both switching and latching (when pressed, when released, until released). Example of Global Switch.

[WexelblattA94a] (*) Wexelblatt, Alan "A Feature-Based Approach to Continuous-Gesture Analysis", Master's Thesis, M.I.T. School of Architecture and Planning, Cambridge Massachusetts, June, 1994 About hand and body gestures of the form "put-that-there" gesticulation, rather than handwritten gestures as part of a computer GUI: refers in contrast to pen-based gestures with hand-held objects, instead of open-hand gestures (topic of thesis)

[WexelblattA95a] (*) Wexelblatt, Alan "Bibliography of Natural-Gesture Related Research", web.media.mit.edu/~wex/home-gesture.html Bibliography of gesture recognition research: primarly about hand and body gestures of the form "putthat-there" gesticulation, rather than handwritten gestures as part of a computer GUI https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

65/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

[WexelblattA95b] (*) Wexelblatt, Alan "Summary of CHI'95 "Gesture at the User Interface" Workshop", web.media.mit.edu/~wex/CHI95-workshop-writeup.html Panel discussion on gesture recognition research: primiarly about hand and body gestures of the form "put-that-there", rather than handwritten gestures as part of a computer GUI. Edward Altman, Jelle Coutax, Sidney Fels, Wen Gao, Nobuo Hataoka, Bernard Hibbits, Volker Kuehn, Christoph Maggioni, Axel Mulder, Polly Pook, Alan Wexelblatt.

[WexelblattA95c] (*) Wexelblatt, Alan "An Approach to Natural Gesture in virtual Environments", ACM Transactions on Computer-Human Interaction, Vol 2 No 3, 1995, pp. 179200 Gesture recognition for natural gestures (whole body gesticulation, empty-handed gestures/gesticulation), rather than pen-input gestures or handwriting recognition

[WhitakerRD95a] (*) Whitaker, Randall D.; Longinow, Nicholas E.; and McNeese, Michael D. "Group Interfaces: A Profile and a Prototype", Interim Report AL/CF-TR-1995-0069, April 1995, Armstrong Laboratory, Air Force Material Command, Wirte-Patterson AFB, Ohio, Multi-user information system, to use cordless pens, simultaneous tracking of multiple pens: 2..3 users enough in ptractice. Prototype uses resistive film with corded pen. Text handwriting recognition using CIC MacHandwriter. Wall mounting of prototype more awkward than original MacHandwriter hardware with desktop tablet.

[WhittakerS94a] (*) Whittaker, Steve; Hyland, Patrick; and Wiley, Myrtle "Filochat: Handwritten notes provide access to recorded conversations ", Proc. CHI 94, pp. 271-277 Simultaneous voice and electronic ink / handwriting recording in portable device: indexing of handwritten notes to audio recording. Compare with Wang Freestyle (cited) and to Anoto SmartPen/LiveScribe (later).

[Wikipedia93a] (*) en.Wikipedia.org "NewtonScript", en.wikipedia.org/wiki/Dylan_programming_language: reference fetched in 2009 Brief history of NewtonScript, prototype-based inheritance language with persistant objects

[Wikipedia93b] (*) en.Wikipedia.org "Newton (platform)", en.wikipedia.org: reference fetched in 2009 Brief history of Newton handwriting PDA: Newton Toolkit, handwriting applications.

[Wikipedia95a] (*) en.Wikipedia.org "Dylan (programming language)", en.wikipedia.org/wiki/Dylan_programming_language: reference fetched in 2009 Competing language and IDE to NewtonScript for the Newton PDA: IDE released as technology release in 1995

[Wired94a] (*) Wired Magazine: Steven Levy "Bill and Andy's Excellent Adventure II: General Magic", Wired Magazine, 1994. Available at wired.com https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

66/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

General Magic development of pen-based PDA/pocket digital communicator, using Telescript programing language to implement software agents. Compared to Apple Newton. Bill Atkinson, Andy Hertzfeld.

[WolfCG92a] (*) Wolf, Cathering G.; Rhyne, James R.; and Brigge, Laura K. "Communication and Information Retrieval with a Pen-based Meeting Support Tool", Proc. CSCW '92, pp. 322-329 We-Met, pen-based whiteboard tool for meetings, mentions in passing indexing of electronic ink notes using ink, compare with Slate Day-Timer electronic ink note-taking tool?

[WolfeA91] (*) Wolfe, Andrew L. and Barrett, Gary L. "Edge Linearization Device for a Contact Input System", United States Patent 5,041,701, August 20, 1991 Correction of edge distortion in resistive-film digitizer using adjustment resistances / longer leads in each contact at the edges

[WolfeA95] (*) Wolfe, Andrew and Barrett, Gary L. "Touch Panel", United States Patent 5,438,168, August 1, 1995 Resistive film digitizer, voltage gradient. Correction for edge / pincushion distortion by using a variety of connectors at the edges, with resistance corrections on the connectors.

[Wroblewski94] (*) Wroblewski, David A.; Hill, William C.; McCandless, Timothy P. "Computer Display Unit with Attribute Enhanced Scroll Bar", United States Patent 5,339,391, August 16, 1994 Scrollbar display highlight marks corresponding to where text had been found in a document

[Xerox94a] (*) Xero Corporation "The Xerox PARCTAB", Available from nano.xerox.com Xerox PARCTAB palm-sized mobile computer / PDA, worn like a pager. Three function buttons and stylus user interface on display touchscreen.

[YamanamiT93] (*) Yamanami, Tsuguya; Senda, Toshiaki; and Murakami, Azuma "Coordinates Input System", United States Patent Re. 37,187, March 2, 1993 (Reissued 4,786,765, November 22, 1988) Electromagnetic Wacom tablet digitizer with cordless stylus

[ZandenBV91a] (*) Zanden, Brad Vander and Myers, Brad A. "The Lapidary Graphical Interface Design Tool", Proc. SIGCHI 91, pp. 465-466 in Garnet system papers: GUI design tool that allows for designer to make a change to a prototype object and apply it as a style change to other widges.

[ZettsJM95b] (*) Zetts, John. M "Recognizing the Cessation of Motion of a Pointing Device on a Display by Comparing a Group of Signals to an Anchor Point", United States Patent 5,404,458, April 4, 1995 https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

67/68

10.2.2015

(1991..1995) History of Pen and Gesture Computing

Recognize dwell/press-hold in stylus and distinguish between mouse / gesture / handwriting input mode.

[AhaiS93a] (*) Zhai, Shumin; Milgram, Paul; Drascic, David "An evaluation of four 6 degreeof-freedom input techniques", Proc. CHI '93 / INTERACT '93, pp. 123-125 Comparision of 6-DOF 3D Spaceball trackball, 6-DOF Ascension Bird (3D sensors similar to Polhemus) on glove, using trackball button as a clutch to disengage. Test bed was MITS (Manipulation in Three Space) virtual environment

[ZhaoR93] (*) Zhao, R. "Incremental Recognition in Gesture-Based and Syntax-Directed Diagram Editors", Proceedings of INTERCHI, April 1993, Amsterdam, pp 95-11. Diagram editing / sketch recognition with gesture/gestural user-interface for direct-manipulation, modeless interaction. Cooperative, multi-level model for diagram parsing (context information). States number of strokes varies in sketching. Notes that low-level recognizer (no context) appears to be immediate to user, but high-level recognizer (with context) has some noticiable interaction delays.

[ZhaoR95] (*) Zhao, R.; Kaufmann, H.J.; Kern, T.; and Mueller, W. "Pen-based Interfaces for Engineering Environments", Proceedings of HCI 6th Human-Computer Interaction Internaltional, Tokyo, July 9-14. Elsevier Handi: handsketch-based diagram editor in Express-G language, user-defined an pre-programmed unistroke gestures: one-stroke "T", circle, square, semicircle left/right gestures

[ZimmermanTG95a] (*) Zimmerman, Thomas G.; Smith, Joshua R.; Paradiso, Joseph A.; Allport, David; Gershenfeld, Neil "Applying Electric Field Sensing to Human-Computer Interfaces", IEEE SIG CHI May 1995 (Preprint copy) Human touch sensing on touchpad and other objects (furniture, location in room) using capacitance: field shunted to ground by human body, and field transmitted through conductive human body to stationay receivers. General remarks on capacitive sensing in general. Used to implement capacitive touchscreen ("finger-pointing mouse"). Can distinguish multiple persons (multi-touch)

       Main Reference Page       

https://web.archive.org/web/20130502021254/http://rwservices.no-ip.info:81/pens/biblio95.html

68/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio00.html

Go

11 captures

FEB MAI JUN

2

2012 2013 2014

10 Apr 08 - 2 Mai 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 1996 to 2000. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:52 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio00.html http://216.15.114.196:81/pens/biblio00.html http://rwservices.no-ip.info:81/pens/biblio00.html (Generally most up-to-date)

       Main Reference Page        [AkamatsuM96a] (*) Akamatsu, Motoyuki and MacKenzie, I. Scott "Movement characteristics using a mouse with tactile and force feedback", Int'l. Journal of HumanComputer Stides, 1996, Vol 45, pp. 483-493

Mouse with tactile and forc (haptic) feedback: slight improvement in targetting when mouse has "drag" fource in addition to touch sensing ("drag" force by magnetic coupling)

[AllardD97] (*) Allard, David J; Canova, Francis J. jr.; Johnson, Debra A.G.; Lanier, Charles S.; Lewis, James R.; Tiller, Byron K.; Villafana, William; and Yee, Raymond L. "Personal Communicator Having Improved Zoom and Pan functions for Editing Information on Touch Sensitive Display", United States Patent 5,615,384, March 25, 1997 Pan and Zoom in single gesture (with one finger, not multi-touch) with touch input on handheld

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

1/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

device

[AllInAccess00a] (*) AllInAccess.com "All in Access", allinacces.com/happ, 2010

Web site with archived files for DOS and other screen readers and accessibility software: include Hal Lite, ScreenPower, ASAP, Tinytalk, Proxy 7, Vocal Eyes. Also Speech synthesizers such as Dectalk. Contact addresses (?) [email protected], or David Holladay [email protected]

[AlphaPad00] (*) American Tel-A-Systems Inc. "About AlphaPad -- AlphaPad technical information", www.alphapad.com Full-alphabet recognition using 12-key keypad, alternative to Mosaic zone-based handwriting recognition for PDAs by the same group

[AltmanD97a] (*) Altman, Dan et al "System and Methods for Spacing, Storing, and Recognizing Electronic Representations of Handwriting, Printing and Drawing", United States Patent 5,613,019, March 18, 1997 Editing of electronic ink with automatic insertion of spaces: references van Raamsdonk

[AmantRS98a] (*) Amant, Robert St. and Dulberg, Martin S. "An Experiment with Navigation and Intelligent Assistance", Proc. IUI 98, San Franciso CA, pp. 171-178

Experiment in showing suggestions from an intelligent assitant in a tree-view / heirarchy.

[AndoH97] (*) Ando, Haru and Kitahara, Yoshinori "Display system Capable of Accepting User Commands by use of Voice and Gesture Inputs", United States Patent 5,600,765, Feb. 4, 1997 GUI using touch input with both gesture and direct manipulation: cites to Put-That-There

[Anstice96] (*) Anstice, Janice; Bell, Tim; Cockburn, Andy; and Setchell, Martin "The Design of a Pen-Based Musical Input System", Sixth Australian Conference on ComputerHuman Interaction, 24-27 November, 1996, pp 260-267. IEEE Press

Presto: Handwriting input for musical scores, including editing gestures for pop-up menus, add tails, add dots, etc. based on context of information. Scribble/scrub mark for deleting. Shows writing styles and stroke order for musical notes and stems. Notes that this is easier than normal musical writing, and faster than OCR of music using 1995 technology.

[Apple96a] (*) Apple Computer Inc. "Newton 2.0 User Interface Guidelines", Addison Wesley, 1996, ISBN 0-201-48838-8

Newton gestures and handwriting recognition pp 6-13 ff. Printed (block), cursive, mixed handwriting. Also shapes and sketches. Scrubbing (delete) gesture may be made in any orientation: delete shows animation (puff of smoke) for delete status. Gesture caret, caret plus long line,

[Apple96b] (*) Apple Computer Inc. "Newton 2.0 Programer's Guide", Addison Wesley, 1996, ISBN 0-201-48838-8

Newton gestures and handwriting recognition. Intelligent Assistant component may be used in applications (must be programmined in explicily?): automates scheduling to calendar, reminding to to-do list, mailing, faxing, printing, calling: user can write "call" "phone" "ring" or "dial" to make a phone call, extensible to new tasks (by user?). Passes current text selection or most recent text entry to assistant. Assistant attempts to associate input string templates and dictionaries that classify the words as actions, targets, or unknown: matching done by lexical dictionaries: classification includes classifying as phone number. If Assistant cannot determine intended action, Please Picker pops up offering more options. Slot "protoOrientation" allows screen/display orientation to be changed between landscape and portrait.

[Apple96c] (*) Apple Computer Inc. "Newton MessagePad 120 (physical unit)", Apple Computer Inc, 1996 Apple Newton (working unit), copyright and default text in unit indicates 1996.

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

2/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[Apple96d] (*) Apple Computer Inc. "Newton Programmer's Reference 2.0", Apple Computer Inc, 1996 Programmer's reference manual for Apple Newton software development

[Apple96e] (*) Apple Computer Inc. "The NewtonScript Programming Language", Apple Computer Inc, 1996 Software programming language for Newton: see other references to NewtonScript

[AppleNewton96d] (*) Apple Computer Inc. "Newton Press User's Guide for Windows", Apple Computer Inc, 1996 Apple Newton eBook application for windows: mentions gestures and UIs of Apple Newton, including "heavy mark"

[AppleNewton97a] (*) Apple Computer Inc. "AppGen application generator for Apple Newton", www.archive.org, Tucows Inc., April 28, 1997

Application generator for data collection applications for Apple Newton -- see also Apple file.

[AppleNewton97b] (*) Apple Computer Inc. "Newton MessagePad 2000 User's Manual", Apple Computer Inc, 1997

User's manual for Apple Newton. Handwriting recognition, gestures, "Assist" function that reads a word and selects possible actions to be performed based on what the user wrote (or at least, what the Newton *thinks* the user wrote). File contains additional materisas: newton Works Word Processor User's Manual, Connection Utilities for Windows and MacIntosh, Internet Enabler.

[AppleNewton97c] (*) Apple Computer Inc. "Newton Toolkit User's Guide for Windows", Apple Computer Inc, 1997 User's manual for Apple Newton. Mentions drag to select via "heavy mark" gesture

[AppleNewton97d] (*) Apple Computer Inc. "Apple Newton model", Apple Computer Inc, 1997 Functional Apple Newton unit

[Arai97] (*) Arai, T. et al. "PaperLink: A Technique for Hyperlinking from Real Paper to Electronic Content", CHI 97 Electronic Publications: Papers, March 22-27, 1997 (13 pages)

VideoPen: rough laboratory prototype of small video camera mounted on a pen to capture documents as they are written, or as a hand-held OCR/image capture as documents are marked up: paper states that prototype not developed enough for realistic user studies. Cited in Jared01 re Anoto and similar technologies for optical tablet digitizer

[ArnstGJ00a] (*) Arnst, G. Jeffrey "Schumer v. Laboratory for Computer Systems", July 6, 2000 Report Shumer patent on virtual tablets

[Arvo00] (*) Arvo, James and Novins, Kevin "Fluid Sketches: Continuous Recognition and Morphing of Simple Hand-Drawn Shapes", Proceedings of the 13th Annual ACM Symposium on User Interface Software and Technology, San Diego, California, November 2000

Pretty-fying of electronic ink and sketches by least-squares fit to a clean shape or line, before the pen/stylus is lifted Does not cite it, but appears similar to spline fitting of electronic ink done by Slate / GO Corporation in the PenPoint operating system: The Slate/Go process was invoked only after the pen was lifted Relies on some simple recognition of which strokes are characters, and which are sketching: also similar to Slate/GO Says that providing initial recognition results while input is still being drawn (with sketches, not characters) allows lower-quality recognition to be used, because the user can stop as soon as the correct result is displayed

[Arvo00a] (*) Arvo, James and Novins, Kevin "SmartText: A Synthesis of Recognition and https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

3/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Morphing", AAAI Spring Symposium on Smart Graphics, Standford California, March 2000, pages 140-147

Shows a UI for handwriting where handwritten characters are gradually replaced by font recognition results, and pretty-fied / normalized in position

[AtkinsCA97a] . Atkins, Charles Agee "System for the operation and management of one or more financial accounts through the use of a digital communication and computation system for exchange, investment and borrowing", United States Patent 5,644,727, July 1, 1997 Financial transactions over wireless PDA/Smartphone with video camera and touchscreen

[AtkinsonR96a] . Atkinson, Randall "Intermediate Network Authentication", United States Patent 5,511,122, April 23, 1996

Two-way digital signature exchange to authenticate both ends of an internet connection (packets): compare with SSL 1.0? File contains additional materials, contemporaneous comments by inventor regarding internet standards. See also folder for Network Signatures

[Bagley96] (*) Bagley, Steven C;, Kopec, Gary E. "Editing text in an image", United States Patent 5,548,700, August 20, 1996 Editing of (static) electronic ink without character recognition, by recognizing bounding boxes of individual characters. Did not cite van Raamsdonk, did cite Facsimile editing by Suenega

[Bagley98] (*) Bagley, Steven C. "Editing Scanned Document Images using Simple Interpretations", United States Patent 5,734,761, March 31 1998

Editing of (static) electronic ink without character recognition, by recognizing bounding boxes of individual characters. Refers to editing groups of graphical objects by pretending that they are a set of letters/words, but does not used specific character recognition, merely recognition of text-like elements

[BalakrishnanR99a] (*) Balakrishnan, Ravin and Hinckley, Ken "The Role of Kinesthetic Reference Frames in Two Handed Input Performance", Proc UIST 99, Asheville, NC, pp. 171178 Study of asymmetric two-handed / two-pointer user interface using Wacom two-puck digitizing tablet

[Barnett99] (*) Barnett, Shawn "Jeff Hawkins: The man who almost single-handledly revived the handheld computer industry", Pen Computing Magazine, 1999. Archive at www.pencomputing.com/palm/Pen323/hawkins1.html Interview with Jeff Hawkins: GridPad, Handspring, Palm, Zoomer, Newton, Graffiti

[BarrettGL98] (*) Barrett, Gary L. and Wolfe, Andrew L. "Curvilnear linearization device for touch system", United States Patent 5,736,688, April 7, 1998 Resistive/conductive ink patterns to correct non-linear distotions of resistive digitizer

[BartlettJF00a] (*) Bartlett, Joel F. "Rock 'n Scroll is Here to Stay", IEEE CGA, May/une 2000WRL Report 2000/3, Compaq Western Research Laboratory, Palo Alto

Embodied user interface: Hand-held device with accelerometer in a display: user input is by gestures moving device: pitch, roll, slosh, snapping, tapping, fanning. Device automatically changed from portrait to landscape mode based on how it was held: compare with iPhone accellerometer. Cites to earlier work on accelerometers, graspable user interfaces.

[Baudel97] (*) Baudel, T., Buxton, Fitzmaurice, G., Harrison, B., Kurtenbach, G. and Owen, R. "Clickaround tool-based graphical interface with two cursors", United States Patent 5,666,499, September 9, 1997 See also http://www.billbuxton.com

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

4/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Two-handed user interface using two input cursors or stylus, one hand positions a menu or tool with various buttons or action elements, the other operates on the tool and the object selected underneath

[BaxterLK96a] (*) Baxter, Larry K. "Capacitive Sensors: Design and Applications", IEEE Press Series on Electronics Technology, Wiley-IEEE Press, ISBN 978-0-7803-5351-0, September 1996

Reference work on capacitive sensors: chapters include Proximity Detector, Graphic input tablet, Camera positioner, Digital level. Measuring capacitance (frequency) vs. measuring impedance gives linearity effects for distance, micromachined accelerometers. Synchronous demodulation in standard components. Comparison with ultrasonic proximity sensors (6.2.4): variation of speed of sound varies with tempuratur, humidity, frequency (!), little effect from pressure.

[BedersonB96a] (*) Bederson, Benjamin B.; Hollan, James D., Perlin, Ken; Meyer, Jonathan; Bacon, David; Furnas, George "Pad++: A Zoomable Graphical Sketchpad for Exploring Alternate Interface Physics", Jnl. of Visual Language and Computing, 1996, Vol 7, pp. 3-31 Zoomable user interface, refers to "user-interface physics" to describe semantic zooming (showing more information) as contrasted to larger image (fatter pixels), see also Data Lens.

[BedersonB98a] (*) Bederson, Benjamin B. and Meyer, Jon "Implementing a Zooming User Interface: Experience Building Pad++", Software - Practice and Experience, Vol 28 No 10, Aug. 1998, pp. 1101-1135

Zoomable user interface: spatial vs. temporal indexing, user builts up a model in her or his head about thed relationships of data. For faster response while zooming or roaming, may show a lowerresolution image, and then perform "refinement" to higher resolution. Similarly, show fake "greekified" text at first, during refinement render actual text.

[Beernink97a] (*) Beernink, Ernest H., Aguste, Donna M. and Meier, John R. "Method and Apparatus for Recognizing Handwriting of Different Users of a Pen-Based Computer System", United States Patent 5,666,438, September 9, 1997, assigned to Apple computer Inc., Cupertino, California Pop-up menu/keyboard for punctuation characters and editing commands: insert, delete, etc. Improves recognition non-adaptively, by letting user input setting for spacing of words, cursive/mixed/printed, time-out for end of character, and other preference settings.

[BeerninkEH97b] (*) Beernink, Ernest H.; Foster, Gergg S.; and Capps, Stephen P. "Gesture sensitive buttons for graphical user interfaces", United States Patent 5,612,719, March 18, 1997 Gesture on a GUI button: examples are tap, check-mark, X.

[BelfioreJD97a] (*) Belfiore, Josph D. et al "Auto-Scrolling during a Drag and Drop Operation", United States Patent 5,611,060 Auto-scrolling based on speed of mouse as well as limit of scrollable distance

[BermanAH96] (*) Berman, Andrea H. and Whitmore, Mihriban "Initial Usability Testing of a Hand-held Electronic Logbook Prototype for the Human Research Facility", NASA Contractor Report NAS9-18800, April 1996, LM31992

Apple Newton hand-held pen computer very awkward to use in microgravity environment, because it was hard to write and hold either the pen computer and/or the user still at the same time. Handwriting input rated "marginal".

[BermanER98a] (*) Berman, Eric Robert et al "Methods and apparatus for interacting with data objects using action handles", United States Patent 5,760,773, June 2, 1998

Context menu for an object by clicking/tapping on a handle on the object. Tap on handle brings up

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

5/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

context menu and not press-and-hold.

[BierEA96] (*) Bier, Eric A. and Buxton, William A. S. "User interface having movable sheet with click-through tools", United States Patent 5,581,670, December 3, 1996 See also http://www.billbuxton.com Simulated keyboard user-interface, other devices, positions on a movable menu of user-interface components (simulated selector, rotator, etc.) on a virtual sheet or grid which can be positioned over the object for the action to be applied to

[BierEA97] (*) Bier, Eric A.; Buxton, William A. S. and Stone, Maureen C "User interface having click-through tools that can be composed with other tools", United States Patent 5,617,114, April 1, 1997

Variety of simulated devices on a digitizer/display: examples include simulated mouse, simulated keypad, simulated French curves or stencils (movable menu?), movable pie menus See also http://www.billbuxton.com

[BierEA99] (*) Bier, Eric A. "Customizable User Interfaces for Programmed Computer Systems", United States Patent 5,862,395, January 19, 1999

Customizable buttons Bbackground describes Apple's Hypercard system; describeds creating pop-up buttons, multi-state buttons, and radio buttons; providing feedback to show selected menu entry. Mentions GUIDE hypertext system. says "the actions performed by the buttons can refer to the contents or appearance of the button itself, and hence to any properties that the document editor supports. Thus buttons can be used to modify their own appearance or to transfer their properties to other objects in the same document editor."

[Bigelow98] (*) Bigelow, Stephone J. ""Understanding Pen Systems and Touchpads"", Chapter 34, in "Troubleshooting, Maintaining, and Repairing PCs -- a Technician's Guide", McGraw-Hill, 1998 Simple overview of resistive digitizers, capacitive pen digitizers, capacitive touchpad digitizers, electromagnetic digitizers Has listing of Gestures for Pen Windows, and for PenPoint, including pigtail gestures and other gestures not used in later Tablet PC from Microsoft

[BillinghurstM98a] (*) Billinghurst, Mark "PutThatWhere? Voice and Gesture at the Graphics Interface", Computer Graphics, Nov 1998, pp. 60-63

Cites to multi-modal voice and hand-gesture input in 1992, multi-model allows user to perform multiple tasks. Title refers to "Put That There" multimodal interface with hand and hand-pointing gestures at M.I.T. Refers to context: microtemporal, macrotemporal, and context.

[BissetSJ96] (*) Bisset, Stephen; Miller, Robert J.; Allen, Timothy P., and Steinbach, Guenter "Touch Pad Driven Handheld Computing Device", United States Patent 5,543,588, August 6, 1996 Capacitive touch-screen and display

[BissetSJ98a] (*) Bisset, Stephen and Kasser, Bernard "Multiple Fingers Contact Sensing Method for Emulating Mouse Buttons and Mouse Operations on a Touch-Sensor Pad", United States Patent 5,825,352, October 20, 1998 Capacitive touch-screen and display, limited use of multi-touch input for emulating mouse buttons. Could be interpreted as applying to gestures? Mentions human factors problems of emulating mouse clicks with single-touch digitizer without proximity sensing.

[BissetSJ99a] (*) Bisset, Stephen J.; Kasser, Bernard; Joss, Berni; Tareyev, Aleksey "Touch Sensing Method and Apparatus", United States Patent 5,920,309, July 6, 1999 Capacitive matrix touch-screen sensor for simultaneous proximity of one or more fingers

[Blickenstorfer00] (*) Blickenstorfer, Conrad "PenLab: A much faster, extensively reworked https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

6/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

pen tablet", Pen computing magazine, June 2000. Available at www.pencomputing.com

Fujitsu 3400 PenLab portable/docking pen computer, Windows 95 with Microsoft pen extensions. Mentioned design change to avoid rear-mounted electromagnetic digitizer, in favor of front-mounted resistive film digitizer. Optical plate to reduce visual parallax.

[Bloomberg99] (*) Bloomberg News "Microsoft, others sued over pen patent", CNETNews.com, April 29, 1999

Mitchell Forcier patent lawsuit against Microsoft, claims that technology missappropriated by Aha! Software and licensed to Microsoft

[BlouinF99a] (*) Blouin, Francois "Touch Pad Panel with Tactile Feedback", United States Patent 5,977,867, November 2, 1999 Adding a haptic vibrator for tactile feedback to any kind of touch input: tablet, keypad, keyboard, etc. Tactile feedback is in acoustic range: 100 to 5000 Hz.

[Bohan99] (*) Boha, Michael; Phipps, Chad A.; Chaparro, Alex; and Halcomb, Charles G. "A Psychophysical Comparison of Two Stylus-Driven Soft Keyboards", Proceedings of Graphics Interface GI'99 Comparison of QWERTY and "T9" (TegicCommunication) simulated keyboard layouts: QWERTY wins, because users can find the keys more easily. References to papers comparing performance and usability of handwriting recognizers

[Boling98] (*) Boling, Douglas "Programming Microsoft Windows CE: The definitive guide to programming the Windows CE API", Microsoft Press, 1998 Windows CE: Describes SIP Supplementary Input Panel for touch/handwritng (?) input: IsSIPInputMethod call

[Boritz98] (*) Boritz, James "The Effectiveness of Three Dimensional Interaction", Graduate Thesis, University of British Columbia Cites R.A. Bolt "Put that there" Gesture system from 1980 Primarily deals with visual feedback, human factors in three-dimensional pointing methods

[Bowyer97] (*) Bowyer, Kevin "Case Study Resources for an Ethics and Computing Course", 1997 ASEE/IEEE Frontiers in Education Conference Otto Berkes, trade-secret ethics example, lawsuit between VMI and Autodesk

[BricklinD96a] (*) Bricklin, Daniel; Johnson, Eirc E.; Friend, John; Kelley, Winslow B; and Levin, Peter H. "Graphic Indexing System", United States Patent 5,539,427, July 23, 1996 Slate pen-computing DayTimer-like calendaring and notetaking application: data shown as electronic ink, lasso gesture to select for deferred/delayed recognition for indexing. Electronic ink may be shown in multiple views/pages: Month/Day/Week/other calendar pages.

[BricklinD98a] (*) Bricklin, Daniel; Lynch, William T; and Friend, John "Method and Apparatus for Entering and Manipulating Spreadsheet Cell Data", United States Patent 5,848,187, December 8, 1998

Slate @Hand / At-Hand patent, pen-computing spreadsheet product. Targeting of ink to a cell/button that is smaller than the electronic ink gesture. Both electronic ink and recognition result are displayed and can be preserved. Refers to multi-tiered handwriting/gesture recognition.

[BricklinD98b] (*) Bricklin, Daniel; Lynch, William T; and Friend, John "Method and Apparatus for Entering and Manipulating Spreadsheet Cell Data", United States Patent 5,717,939, February 10, 1998

Slate @Hand / At-Hand spreadsheet patent. Targeting of ink to a cell/button that is smaller than the electronic ink gesture. Both electronic ink and recognition result are displayed and can be preserved. Refers to multi-tiered handwriting/gesture recognition. Original implementation on GO/PenPoint,

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

7/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

ported to Pen Windows.

[BrodersenRW99a] (*) Brodersen, Robert W. "InfoPad - past, present and futuer", ACM SIGMOBILE Mobile Computing and Communications, Vol 3 No 1, January 1999, pp. 1..7

Prototype low-power portable multimedia terman (slate format) with pen input, speech recognition

[BrownA98] (*) Brown, Andrew R. "Composing by Pen: Exploring the effectiveness of a system for writing music notation on computers via pen input", Unpublished manuscript: published on-line at at http://www.academo.qut.edu.au/music/browna/NoteWriter.htm

Tested usability of NoteWriter software by Hamel, 1988 on undergraduate music students: main objection was poor recognition performance: subjects/users did not have much time to get accustomed to the system: described Hamel specifically as a unistroke input system unistroke handwriting input for music notation

[BrownCM99a] (*) Brown, C. Marlin "Human-Computer Interface Design Guidelines", intellect, Exeter England 1999

Compendium of user-interface guidlines and principles from many reference. Sections 8.4 refers to accidental touch activation with a touchscreen: 1985 reference on switch?

[BrownH98b] (*) Brown, Heather; Harding, Robert; Lay, Steven; Robinson, Peter; Sheppard, Dan; and Watts, Richard "Active Alice - using real paper to interact with electronic text", Proceedings of 7th Internal Conference on Electronic Paper, Saint Malo, April 1998. Reprint available at www.globis.ethz.ch Abstract only Digital Desk: optical video camera determines position of writing on a desktop instead of digitizer. Compare to Richard Oed 1980's. Bibliography of other papers by Robinson on file.

[BrownH99] (*) Brown, Heather and Robinson, Peter "Integrating Paper and Digital Documents", in section 'Intelligent Paper' of "Electronic Documents, Artistic Imaging, and Digital Typography", Roger D. Hersch, Editor. Available at http://www.cl.cam.ac.uk/~pr/publications/dmf99/dmf99.pdf

Review of various work on intelligent paper: compare with Anoto (not cited?). Mentions TEI Text Encoding Initiative for encoding data in printed documents, dataglyphs, electronic ink on paper. Xlibris Active Reading Machine and Dynomite appear similar to Slate DayTimer Notebook product of approximately 1992 (not cited?)

[BrowneH00a] (*) Browne, Hilary; Bederson, Ben; Druin, Allison; Sherman, Lisa; and Westerman, Wayne "Designing a Collaborative Finger Painting Application for Children ", Univ. of Maryland Technical report HCIL-2000-17, CS-TR-4184, UMAICS-TR-2000-66, September 2000

Multi-touch finger-painting educational prototype using keyboard-sized Multi-Touch Surface (MTS). For children, gestures are too complicated, suggest template of menus / control areas along with drawing: Compare with Doster and Oed?

[Bull00a] (*) Bull Electronics Angers, France "AIX Command Reference Vol. 6, X to zcat", Bull Electronics Angers, France, Order Reference 86 A2 43JX 02, April 2000 AIX Windowing system command reference: drag-and-drop, X11 color database for color management in windows.

[Buxton98a] (*) Buxton, W. and Bier, Eric A. "User interface having simultaneously movable tools and cursor", United States Patent 5,798,752, Aug. 25, 1998

See also http://www.billbuxton.com User interface using a digitizer tablet with a puck, the puck has user input buttons on it (like a traditional digitizer puck), but also reports the rotational orientation of the puck. Puck also contains a

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

8/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

trackball.

[Buxton98b] (*) Buxton, W. and Fitzmaurice, G.W "System for editing time-based temporal digital media including a pointing device toggling between temporal and translation-rotation modes", United States Patent 5,790,769, Aug. 4, 1998

See also http://www.billbuxton.com (Six dimensions) User interface using a digitizer tablet with a puck, the puck has user input buttons on it (like a traditional digitizer puck), but also reports the rotational orientation of the puck. Mentions toggling (via button?) between temporal and positional input modes,

[Buxton99] (*) Buxton, William "Case Study 1: Touch Tablets; Chapter 5 of "Haptic Input", Draft Document", www.billbuxton.com

Short overview of touch tablets: refers to "dual pressure" sensing and infrared sensing proximity (but not touch) to simulated proximity sensing. States that touch tablets do not actually send signal that stylus is not pressing on tablet, but instead this must be infered from timing of touch tablet data (tablet stops sending) (Was he sure on this?).

[Buxton00] (*) Buxton; William A.S.; Harrison; Beverly L., Vicente; Kim J "Graphical user interface with optimal transparency thresholds for maximizing user performance and system efficiency", United States Patent 6,118,427, September 12, 2000 See also http://www.billbuxton.com

[Buxton00a] (*) Buxton; William Arthur Stewart, Bell; Jeffrey Allen "System for maintaining orientation of a user interface as a display changes orientation", United States Patent 6,115,025, September 5, 2000 See also http://www.billbuxton.com Keep user interface elements in display at constant orientation for the user, as the display itself is rotated in a multi-user system

[Buxton00b] (*) Buxton, William A.S. and Kurtenbach, Gordon P. "Graphical keyboard", United States Patent 6,094,197, July 25, 2000

Simulated keyboard on a display: however, typing action is gesture-like: tap on key for lower case, drag upwards from key for upper case, drag right for control-c, drag right-up for control-C. Diagonal stroke used for whitespace/backspace/return/delete. Describes pendown/pendrag/penstill/penup events (press-and-hold), not just mouse button up/down. See also http://www.billbuxton.com

[BuxtonWAS00a] (*) Buxton, William Arthur Stewart and Bell, Jeffery Allen "System for maintaining orientation of a user interface as a display changes orientation", United States Patent 6,115,025, September 5, 2000

As flat display rotates, re-draw image so that image does not appear to rotate to the user: useful in spinning-display 3D display?

[ByongK97] (*) Byong, K. Ko and Yang, Hyun S. "Finger mouse and gesture recognition system as a new human computer interface", Science Direct / Elsevier, pp. 551-561, September-October 1997

Finger-mouse gestures in contrast to Stylus and Mouse gesture input devices. Data capture by video image capture, not by Data Globe etc.

[Camaisa98] (*) Camaisa, Allan J.; Wadkins, E. Tracy; and Gayda, Karen M. "Interactive Visual Ordering System", United States Patent 5,845,263, December 1, 1998 Touchscreen sales terminal with menus (as in food) for restaurants

[CappsS96] (*) Capps, Stephen P. "Method for selecting objects on a computer display", United States Patent 5,523,775, assigned to Apple Computer, Inc., June 4, 1996

Recognition of a selection gesture over objects on a display: makes use of overlap, displays pen path

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

9/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

on display as electronic ink; selection can be shown before the gesture is complete and the pen stylus is lifted. Compare with lasso selection in PenPoint and Buxton?

[CappsSP96b] (*) Capps, Stephen et al "Method and apparatus for indicating a change in status of an object and its disposition using animation", United States Patent 5,544,295, August 6, 1996

Animating an icon or other object to show its change in status: e.g. crumping an object to show that is status is now as "deleted"

[CappsSP97a] (*) Capps, Stephen P. "Method and apparatus for indicating a change in status of an object and its disposition using animation", United States Patent 5,596,694 Animating an icon or other object to show its change in status: e.g. crumping an object to show that is status is now as "deleted"

[CappsSP97b] (*) Capps, Stephen P. "Graphical User Interface using Historical Lists with Field Classes", United States Patent 5,666,502 Tap on field with stylus, get recently-entered history values for that type of field to select from.

[CappsS98] (*) Capps, Stephen, Beernink, Ernest H., and Temkin, David T. "String inserter for pen-based computer systems and method for providing same", United States Patent 5,778,404, July 7, 1998, assigned to Apple computer Inc., Cupertino, California

Pop-up menu/keyboard for punctuation characters and editing commands: insert, delete, etc. Should have cited Wang patent on keyboard simulation Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??8] . Capps, Stephen et al "Interface for a computerized database having card and list views", United States Patent 5,446,882

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??9] . Capps, Stephen et al "Method and apparatus for manipulating inked objects", United States Patent 5,465,325

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??10] . Capps, Stephen et al "Method and apparatus for providing computerimplemented assistance", United States Patent 5,477,447

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??12] . Capps, Stephen et al "Method and apparatus for setting a clock in a computer system", United States Patent 5,487,054

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??13] . Capps, Stephen et al "Graphic editor user interface for a pointer-based computer system", United States Patent 5,513,309

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

10/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[CappsS9??17] . Capps, Stephen et al "Interface for a computerized database having card and list views", United States Patent 5,544,358

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??18] . Capps, Stephen et al "Resetting the case of text on a computer display", United States Patent 5,555,363

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??19] . Capps, Stephen et al "Method and apparatus for formatting a communication", United States Patent 5,579,467

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??20] . Capps, Stephen et al "Pointing gesture based computer note pad paging and scrolling interface", United States Patent 5,581,681

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??21] . Capps, Stephen et al "Method for deleting objects on a computer display", United States Patent 5,583,542

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??22] . Capps, Stephen et al "Method and apparatus for setting a clock in a computer system", United States Patent 5,583,833

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??23] . Capps, Stephen et al "Status bar for application windows", United States Patent 5,588,105

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??24] . Capps, Stephen et al "System for executing different functions associated with different contexts corresponding to different screen events based upon information stored in unified data structure", United States Patent 5,588,141

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??25] . Capps, Stephen et al "Method for manipulating notes on a computer display", United States Patent 5,590,256

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??26] . Capps, Stephen et al "Method and apparatus for computerized recognition", United States Patent 5,592,566 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

11/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??27] . Capps, Stephen et al "Method and apparatus for correcting words", United States Patent 5,594,640

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??28] . Capps, Stephen et al "System and method of reflowing ink objects", United States Patent 5,596,350

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??30] . Capps, Stephen et al "Method for routing items within a computer system", United States Patent 5,596,697

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??31] . Capps, Stephen et al "Method for deleting objects on a computer display", United States Patent 5,602,570

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??33] . Capps, Stephen et al "Method and apparatus for deducing user intent and providing computer implemented services", United States Patent 5,621,903

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??34] . Capps, Stephen et al "System and method for event parameter interdependence and adjustment with pen input", United States Patent 5,634,100

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??35] . Capps, Stephen et al "Methods and apparatus for a selectable backdrop", United States Patent 5,634,102

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??36] . Capps, Stephen et al "Method for locating and displaying information in a pointer-based computer system", United States Patent 5,644,657

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??37] . Capps, Stephen et al "Method and apparatus for providing implicit computer-implemented assistance", United States Patent 5,644,735

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

12/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[CappsS9??38] . Capps, Stephen et al "Graphical user interface using historical lists with field classes", United States Patent 5,666,502

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??39] . Capps, Stephen et al "Method and apparatus for the manipulation of text on a computer display screen", United States Patent 5,666,552

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??40] . Capps, Stephen et al "Method and apparatus for formatting paragraphs", United States Patent 5,671,438

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??41] . Capps, Stephen et al "Boxed input correction system and method for pen based computer systems", United States Patent 5,682,439

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??42] . Capps, Stephen et al "Method for correcting handwriting on a pen-based computer", United States Patent 5,710,831

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??43] . Capps, Stephen et al "Method for searching and displaying results in a penbased computer system", United States Patent 5,710,844

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??44] . Capps, Stephen et al "Method and apparatus for tab access and tab cycling in a pen-based computer system", United States Patent 5,745,716

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??45] . Capps, Stephen et al "Method for locating and displaying information in a pointer-based computer system", United States Patent 5,764,818

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??47] . Capps, Stephen et al "Rotating toy with electronic display", United States Patent 5,791,966

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??48] . Capps, Stephen et al "System for computer with interface and scripting systems cooperating in interrated fashion by sharing frame objects of common unified data structure stored in object system", United States Patent 5,805,869 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

13/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CappsS9??49] . Capps, Stephen et al "System and method for organizing recognized and unrecognized objects on a computer display", United States Patent 6,021,218

Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC?

[CardS97] (*) Card, Stuart "Information Visualization and Information Foraging", Cseriac Gateway, Volume VIII No 1, 1997, pp 9..10

Summary of talk on information visualization by Stuart Card at Xerox PARC: mentions Memex, mostly talks about zooming (including non-graphical) and linking (via Hypertext)

[CardelliL97] (*) Cardelli, Luca "Everything is an Object", Digital Equipment Corporation Systems Research Center, May 30, 1997 Presentation on prototype-based languages

[CarrollTouch96a] (*) Carrol Touch Touch Products "Touch System Programmer's Guide", Carroll Touch, August 1996

Infrared (optical) touch systems, guided wave (acoustic SAW) touch systems. Refers to "beam averaging" (interpolation?) as distinct from non-contigous (unintended second) touches, and "failed beam" on infrared touch tablet.

[Casio96a] (*) Casio Inc. "Casio NX-6000 Planeo", Casio Inc.

Product information on NX-600 touchscreen PDA / digital diary. Includes sketch input.

[Casio98a] (*) Casio Inc. "Casio PV-200 Pocket Viewer", Casio Inc.

Product information on PV-200 Pocket Viewer: touchscreen PDA. File contains additional information, including product manuals.

[Casio00a] (*) Casio Inc. "Mobile Datenerfassung: Hand-PC mit Touch-Panel und Belegdrucker IT-2000", CASIO Computer Deutschland, D-22848 Norderstedt, Germany, Dec 12 2000 Product information on IT-2000, hand-held touchscreen/pen computer for data collection.

[Casio00b] (*) Casio Inc. "IT-2000 Data Collector User's Guide, 2000", CASIO Computer Deutschland, D-22848 Norderstedt, Germany, Dec 12 2000

Product information on IT-2000, hand-held touchscreen/pen computer for data collection. Refers to stroke keys (physical buttons) and touch keys (virtual buttons): virtual buttons can show multiple user-selectable keyboard layouts.

[CERT00] (*) CERT Cordination Center "Results of the Security In ActiveX Workshop", Security in ActiveX Workshop, Pittsburgh, Pennsylvania USA, August 22-23, 2000. Published at the CERT Coordination Center, Software Engineering Institute, Carnegie Mellon University, Pittsburgh, PA 15213, December 21, 2000 Review of ActiveX security problems and measures

[ChaikenD98a] (*) Chaiken, David; Mayter, Mark; Kistler, Jay; and Redell, Dave "The Virtual Book", digital Systems Research Center, SRC Research Report 157, November 11, 1998

Letrice virtual book tablet-sized pen computer optimized for book reading: platform for Lecturn Virtual Paper viewer software for PDF and HTML documents. Implemented as keyboardless XWindows terminal. Wacom pen input. "Reminder" labels (of gesture alternative) in graphical user interface displayed next to physical buttons at edges of display. Gestures (using Graffiti or Rubine

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

14/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

recognizer) general key-input sequences. Refers to electronic ink annotations as write-on-window mode. Cites to PenPoint, Dynabook, and Stanley Kubrick. Rotation/display orientation in landscape and portrait mode, requies physical buttons to be rotationally symmetric at all four sides. Documents may include audio and video.

[ChanA96a] (*) Chan, Albert "Hypermenu: Integrating Function Access and Work Object Representation in Graphics Applications", Masters's Thesis, Univ. of Texas School of Engineering Science, 1996

Show active elements in context (in a document or graphical object) that have a pop-up menu. Has review of upll-down/linear and circular menus.

[ChanCF99a] (*) Chan, Chow Fong; Maisy, Mun Lan Ng; Ong, Eng Yue; Geng, Xia; Lim, Swee Hock Alvin "Touchpad Pen-Input and Mouse Controller", United States Patent 5,995,084, November 30, 1999

Tap, drag, tap-and-drag gestures on touchpad digitizer, with check for moving out of working area. Note: press-and-hold: tap-and-drag does *not* have a hold. Switches between pen-input and mouseinput mode. Refers to light pen.

[ChanCF99b] (*) Chan, Chow Fong; Maisy, Mun Lan Ng; Ong, Eng Yue; Geng, Xia; Lim, Swee Hock Alvin "Touchpad Pen-Input Controller", United States Patent 5,883,622, March 16, 1999 Force/pressure sensing touchpad digitizer tablet using resistive film: compare with Elographics

[ChanCF99c] (*) Chan, Chow Fong; Ong, Eng Yue; Geng, Xia; Lim, Swee Hock Alvin "Automatic Cursor Motion Control for a Touchpad Mouse", United States Patent 5,880,717, March 9, 1999

simulated velocity/momentum when scrolling when object moves outside/into work area boundary: compare with artificial reality project?

[ChanCF00a] (*) Chan, Chow Fong; Maisy, Mun Lan Ng; Ong, Eng Yue; Geng, Xia; Lim, Swee Hock Alvin "Touchpad Mouse Controller", United States Patent 6,057,830, May 2, 2000 Tap, drag, tap-and-drag gestures on touchpad digitizer, with check for moving out of working area. Note: press-and-hold: tap-and-drag does *not* have a hold.

[ChanCF00b] (*) Chan, Chow Fong; Maisy, Mun Lan Ng; Ong, Eng Yue; Geng, Xia; Lim, Swee Hock Alvin "Command Set for Touchpad Pen-Input Mouse", United States Patent 6,061,051, May 9, 2000 tap/click, move, press and drag gestures on touchpad/touchscreen digitizer.

[ChattyS96] (*) Chatty, Stephane and Lecoanet, Patrick "Pen computing for air traffic control", Proc. of SIGCHI Conference on Human factors in computing systems, Vancouver 1996, pp. 87-94

Compare with Orr68, which was not cited Cites previous work on GRIGRI by Bothorel, Baudel, Dubocq and Lepied Study of a direct-manipulation input system for air traffic control, versus previous lightpen/keyboard systems. Mentions gesture recognition error rate, suggestion for use of application object context and other factors to improve recognition and input accuracy.

[Chefalas96] (*) Chefals, Thomas E. and Tappert, Charles C. "Silent training by error correction for on-line handwriting recognition systems", United States Patent 5,544,260, August 6, 1996

"Silent" training of any trainable handwriting character recognition system by displaying possibilities to user to make corrections to the training set. User writes directly over a character shown on the display.

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

15/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[ChewCH99a] (*) Chew, Chee Heng; Konzen, Neil; Guzak, Christopher J.; Laney, Stuart T.; Pitt, George H. III; Ellison-Taylor, Ian M. and Gery, Ron O. "System Provided Child Window Controls", United States Patent 5,889,522, March 30, 1999 UI Window controls: image lists, hot keys, hot key configuration. Specification includes verbatim excerpts from Microsoft documentation for Header Controls

[CHI00a] (*) CHI 2000 "Touchscreen Toggle Design - Slider", CHI posting, dated 2000/2001 Digitization of 1992 CHI demonstration Video of "Touchscreen Toggle Design"?

[ChiuP98a] (*) Chiu, Patrick and Wilcox, Lynn "A Dynamic Grouping Technique for Ink and Audio Notes", Proc. UIST '98, 8/6/98 Dynomite prototype system: Modeless note-taking interaction for electronic ink and audio notes: mentions Apple Newton, Aha! InkWriter (Pen Windows) etc. but not Wang Freestyle. Audio delimited by periods of silence (200 msecs), electronic ink by minimum distance between strokes. Refers to whitebard and sketching systems as related topics.

[ChokSS98a] (*) Chok, Sitt Sen and Marriot, Kim "Automatic Construction of Intelligent Diagram Editor", Proc. UIST '98, San Francisco CA pp. 185-194

Sketch recognition / sketch editor /Diagram Editor: context sensitivity / syntax in graph-based visual language (mathematical notation)

[Citrin96] (*) Citrin, Wayne and Gross, Mark D. "Distributed Architecture for Pen-Based Input and Diagram Recognition", Research Report, Dept. Of Electrical and Computer Engineering, Univ. of Colorado, Boulder CO USA, http://wallstreet.colorado.edu/projects/dds/Papers/AVI96.html

PDA-based diagram/sketch recognition editor with single-stroke / unistroke gestures Co-operative drawing surface (whiteboard system using Apple Newtons). Part of SmartPad project: Electronic Cocktail Napkin

[ClarkeJ97] (*) Clarke, J. "Shorthand for the Palmpilot?", posting to newsgroup alt.comp.sys.palmtops.pilot, 09/13/1997, available at www.dejanews.com

Review of Gregg and Pitman shorthand, and the fact that all experienced practitioners use special single/uni-stroke/unistroke forms for common words, phrases, pages of text Character handwriting recognition for short-hand: refers to single-stroke / unistroke codes,Computer Aidted Transcription Mentions commercial companies by name

[CloughWA97] (*) Clough, William A.; Ouelette, Daneil; De La Sablonniere, Serge "Portable Computer with Touch Screen and Computer System Employing Same", United States Patent 5,675,362, October 7, 1997

Portable slate pen-computer using touch screen (not proximity digitizer): Microslate, Inc. of Canada. Generic claim appears to be having an automatic application generator. Refers to drop-down pick list as a "library" of answers for touch-screen selection.

[CohenPR97a] (*) Cohen, Philp R, et al "QuickSet: Multimodal Interaction for Distributed Applications", Proc. Fifth Int'l Multimedia Conference (Multimedia '97), Seattle, WA, November 1997, pp. 31-40

Multimodal simulation of combat environment: mentions use of pen-gestures, marking for military map symbols: e.g. Routes, areas, mortars, tank platoon. alpha/pigtail delete gesture. Pointing handgestures triggered by voice recognition of diectic noun phrases (e.g. "this one").

[Computerwoche98a] (*) Computerwoche "pdQ kommt 1999 - Qualcomm kombiniert PDA und Handy ", Computerwoche, 23.09.1998 First smartphone: Qualcomm pdQ combines PDA and cellphone, using Palm OS. Other vendors

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

16/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

using Symbian OS, not Windows CE.

[ComputingUnplugged99a] (*) Computing Unplugged "A first look at the Palm VII", Computing Unplugged, June 1, 1999

Palm VII PDA/cell/smartphone with touchscreen user interface: includes wireless web browsing

[Constanble97] (*) Constanble, Frederick "Xerox sues USR over patents", posting to newsgroup alt.comp.sys.palmtops.pilot, 04/30/1997, available at www.dejanews.com

Xerox sues US Robotics / Palm / Graffiti over unistroke character recognition, Goldberg patent

[Crosspad97a] (*) A.T. Cross Pen Company "Crosspad", A.T. Cross Pen Company, www.cross.com (fetched 2011) File with product information on Crosspad, stand-alone digitizer clipboard with electronic recording of notes/ note-taking in electronic ink. Appears to be addressing similar applications to Anoto LiveScribe pen. Product introduced 1997, discontinued 2001. Off-line dynamic handwriting recognition applications provided by IBM. Could be used a mouse/digitizer with additional connection to PC. [CullenJF98] (*) Cullen, J. F.; Penirs, Mark; and Hart, Peter E. "Computer User Interface for Manipulating Image Fragments, Using Drag, Drop and Merge Operations", United States Patent 5,732,230, March 24, 1998 User interface for editing image sections on a copier UI, using a touchscreen: user touches and drags, rotates.

[CutlerLD97a] (*) Culter, Lawrence D.; Froehlich, Bernd; and Hanrahan, Pat "Two-handed direct manipulation on the responsive workbench", Proc. 1997 ACM Symp. on Interactive 3D Graphics, Providence RI USA, 1997 Two-handed 3D user interface using 6DOF stylus and PINCH gloves: bimanual symmetric and bimanual asymmetric actions, virtual dissection of a human body in Responsive Workbench. for PINCH glove, user can use multi-finger gestures (pinching to pick up). Left hand positions/orients, right hand manipulates virtual tools.

[DahburaAT96a] (*) Dahbura, Anton T. "A Perspective on Ubiquitous Communications: the MoCCA Project", Slide Presentation, IEEE Boston Section, Multimedia Wireless at the turn of the centruy, October 24-25, 1996, Worcester, MA Newton MessagePad 130 as success, also Sharp Zaurus, HP OmniG 100, Casio Z-7000, USRobotics Pilot, Psion3A, but with limited communications/synchronization means. Prototype devices uses RoamAbout PC cards for wireless smartphone network. To include video capture.

[DAmicoVE99a] (*) D'Amico, Vincent E.; Gehrig, Jay J.; Surprenant, Joseph E.; and Robsky, Steven R. "Touchscreen Controller with Pen and/or Finger Inputs", United States Patent 5,956,020, September 21, 1999 Dual mode digitizer for finger input or stylus/pen input. Says "finger and pen", but only reports one, with pen/stylue getting priority. Includes built-in calibration for active area by touching two corner locations via controller commands. Capacitive film digitizer technology (refers to 4,198,539 for sensor details) https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

17/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[DammCH00a] (*) Damm, Christan Heide; Hansen, Klaus Marius; and Thomsen, Michael "Tool Support for Cooperative Object-Oriented Design: Gesture Based Modeling on an Electronic Whiteboard", Proc. CHI 2000, April 2000, pp. 518-525 Knight tool: Gesture-based multi-user whiteboard user interface. Says unfortunately no multi-touch (single users must take turns) on prototype hardware (Smart Board), unlike Xerox Liveboard (Tivoli). Gestures include sketch recognition, e.g. UML rectangle objects. Context-dependent pie menus (marking menus) for large surface. "Radar window" shows small image of entire workspace drawing. Notes that Xerox Liveboard could accept multiple pen touches at the same time.

[DanielsPT96] (*) Daniels, Peter T. and Bright, William "Shorthand", "The World's Writing Systems", pp 807-ff, Oxford University Press, 1996 Examples of many short-hand handwriting systems, including Greek (1934), Tironian (1934), Bright's. Shows Medieval short-hand systems, including single-stroke / Unistroke systems. Willis' Stenography, Unistroke characters except for one "plus"-like two stroke from for "H", 1934. Early terminology for short-hand writing included symbolicals, arbitraries, wordsigns, tachyogrphy, logographic, phonotypy

[DavisTR99] (*) Davis, Tom R. "Bibliography on Handwriting, natural, taught styles, copybooks", University of Birmingham, U.K. Shorthand, taught handwriting styles by education, single-stroke writing, Pittman

[deIpina00] (*) de Ipina, Diego Lopez "Building Components for a Distributed Sentient Framework with Python and CORBA", Unknown conference proceedings, date approximate The title is odd, but the paper makes substantial references to 2D circular barcode (ringcode) tags, and inferring the approximate location, orientation, and identifier of the tags using optical scanning / visual processing. Compare with Sekendur.

[DelBimbo97] . Del Bimbo, Alberto and Pala, Pietro "Visual image retrieval by elastic matching of user sketches", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 19 No 2, pp 121-132, February 1997 Cited in Arvo00

[DellaBonaMA98a] (*) Della Bona, Mark A.; Dorfman, Jonathan; and Hamlin, Jay F. "Method and Apparatus for Contacting a Touch-Sensitive Cursor-Controlling Input Device to Generate Button Values", United States Patent 5,764,218, June 9, 1998 Activating UI buttons from a touchscreen digitizer based on gap intervals: how long the stylus/finger is pressed, and how log it is lifted. Compare with Kaplow and with Microtouch?

[Dingledein98] (*) Dingledein, Dennis "Computer Graphics and Graphical User Interfaces", Available at http://www.zgdv.de/www.zgdv-uig/papers/gui/contents.html Informal research group on user-interface design: mentions work on single-stroke/unistroke gesture https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

18/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

recognition by Rubine, others

[Ditzik97] (*) Ditzik, Richard J. "Desktop Computer with Adjustable Flat Panel Screen", United States Patent 5,668,570, September 16, 1997 Portable computer (laptop) with fold-out screen, as contrasted to clamshell design. Mentions touchscreen input.

[DitzikRJ99a] (*) Ditzik, Richard J. "Modular notebook and PDA computer systems for personal computing and wireless communications", United States Patent 5,983,073, November 9, 1999 Electronic notebook/PDA/smartphone, stylus/touchscreen, clamshell/convertible/detachable display, wireless networking

[DouglasSA97a] (*) Douglas, Sarah A. and Mithal, Anant Kartik "The Erognomics of Computer Pointing Devices", Springer Verlag, 1997, ISBM 3-540-19986-1 (partial copy) Joystick, including velocity joystick, slower and less usable than a mouse for pointint

[DrobneS99] (*) Drobne, Samo "Prenosno in Terenski Racunalnistvo", Master's Thesis in spatial planning, University of Ljubljana, Faculty of Civil and Geodetic Engineering, 1999 Contains examples of gestures: spiral, dash/flick, square. Example of circle/lasso gestures from Handwriter for Windows by CIC Communication Intelligence Corporation, Pen Windows / Pen Extensions, Windows CE, Fujitsu 2300 pen computer

[DulbergM98] (*) Dulberg, Martin S. and St. Amant, Robert "A Flying Click Gesture for Unary Selection and Activation", Technical Report TR-98-05, Department of Computer Science, North Carolina State University Flick / Flying Click mouse gesture faster than mouse click on a button

[DulbergM99a] (*) Dulberg, Martin S.; St. Amant, Robert; and Zettlemoyer, Luke S. "An Imprecise Mouse Gesture for the Fast Activation of Controls", Proc. INTERACT '99, eight pages Mouse click and drag-and-drop gestures with mouse flick gestures: minimum number of pixels movement to distinguish mouse clicks from flicks, velocity threshold for flick and drag: mentions that with stylus selection should be on touch-down, contrasted to mouse on mouse-up event.

[Dymetman98] . Dymetman, M. and Copperman, M. "Intelligent Paper", Proceedings of EP '98, March/April 1998. Available in "Electronic Publishing, Artistic Imaging, and Digital Typography", Springer Verlag LNCS 1375, pp. 392..406 Cited along with Sekendur, Bennett, and Anoto in some bibliographies

[Dynapro97a] (*) Dynapro Systems Inc. "Dynapro Ergotouch Computer Model 3010 With Near Field Imaging Touch Screen User's Reference", Dynapro Systems Inc, Copyright 1997. www.dynapro.com https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

19/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Electrostatic/capacitive touchscreen digitizer, controller supports multiple simultaneous touches for safe operation (e.g. two simultaneous touches required to start a motor) or for mouse emulation (second touch to simulat mouse right-button activation for Windows context menus).

[Dynapro99a] (*) Dynapro Systems Inc. "Dynapro SC4 Touch Screen Controller User's Guide", Dynapro Systems Inc, Copyright 199. www.dynapro.com Electrostatic/capacitive touchscreen digitizer with eigh-wire resistive touch screen, silver ink as conductor at sides, to overcome resistance changes and drift due to aging and wear, ratio-metric conversion ofr A/D converter output.

[Dynapro00a] (*) Dynapro Systems Inc. "Dynapro NFI Near Field Imaging Touch Screen System", Dynapro Systems Inc, Copyright 2000. www.dynapro.com Electrostatic/capacitive touchscreen digitizer with patterned conductive sensor (grid matrix?)

[Elbaum99] (*) Elbaum, Sebasian and Munson, John C. "Intrusion Detection through Dynamic Software Measurement", USENIX Workshop on Intrusion Detection and Network Monitoring, April 1999, pp 41-50 Disallowed Operational Anomaly system: dynamic modeling of program behavior using execution path patterns, deny operation when program behavior diverges from learned patterns. Technical reference for Cylant.com, intrusion detection contrasted to signatures for files or SNORT network patterns

[ElectronicProducts96a] (*) Electronic Products "PCMCIA controller embodies Zoomed Video and 32-bit CardBus standards", Electronic Product, May 1, 1996 Databook Inc. PCMCIA card for use in portable computers (laptops, handhelds) to support videoconferencing.

[EllerM98] (*) Eller, Marlin and Edstrom, Jennifer "Barbarians Led by Bill Gates: Microsoft from the Inside", Owl Books, 1998 Marlin Eller's history of Microsoft tactics with GO Corporation, Pen/Windows, etc.: Contrast with "Startup" by Jerry Kaplan (of GO Corporation). Chapter "Pen Ultimate Warfare": quote describing Microsoft OS/APIs as a tax on a large market. Mentions initial contacts between GO Corporation and Microsoft prior to Pen Windows / Windows for Pen Computing.

[Em00a] (*) Em, Davic "Fujitsu Stylistic 3400", byte.com, August 18, 2000 Pen tablet computer: not Tablet PC, uses CIC PenX handwriting-recognition software (trainable), with onscreen soft keyboard. Runs modified Windows 9X / Windows98 OS

[Em00b] (*) Em, Davic "Invasions of the Pen Computers, Part I", byte.com, August 18, 2000 Pen tablet computers: not Tablet PC, mostly Windows 95 / Windows98. Aqcess Technologies QBE tablet computer. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

20/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[FingerWorks00a] (*) Fingerworks Inc. "FingerWorks - Inventor and Developer of MultiTouch Technology", Fingerworks.com, fetched Aug 17, 2000 Image of multitouch input of hand from FingerWorks input tablet Additional information in paper file

[Fishkin00] (*) Fishkin, Kenneth P.; Goldberg, David; Gujar, Anuj Uday; Harrison, Beverly L.; Mynatt, Elizabeth D; Stone, Maureen C; and Want, Roy "Zoomorphic Computer User Interface", United States Patent 6,160,540, December 12, 2000 Electronic teddy bear with various computer interactive technologies: specifically mentions tablet computer and gestures (e.g. shake) European patent also on file: same Goldberg of Unistroke

[FitzmauriceG97a] (*) Fitzmaurice, George; Baudel, Thomas; Kurtenbach, Gordon; and Buxton, Bill "A GUI Paradigm Using Tablets, Two-hands and Transparency", Proc. CHI '97, 22-27 March, 1997, Videos, pp 212-213 Puck, pen, and flipbrick on same multi-touch tablet (Wacom). Non-dominant (e.g. left) hand controls palette/tools such as rulers and french curves, dominant (e.g. right) hand holds stylus to draw. Also: Video file of related demonstration.

[FitzmauriceG99] (*) Fitzmaurice, G. and Buxton, W. "Temporal data control system", United States Patent 5,973,669, Oct. 26, 1999 "Scrubwheel": mouse with a rotational control, so that it can both be positioned (to select something, such as which video clip) and rotated (as a knob to control speed of rendering) See also http://www.billbuxton.com

[FitzpatrickGP96a] (*) Fitzpatrick, Greg P. and Haynes, Thom R. "Overriding Action Defaults in Direct Manipulation of Objets on a User Interface by Hovering a Source Object", United States Patent 5,546,527, August 13, 1996 Similar to hold/dwell gesture with stylus, only user hovers (while dwelling) over object in proximity sensing of digitizer: dwell indicates different operations from the default operations.

[FleckDC96a] (*) Fleck, David C. and Tsuchida, Yoichi "Control method of a plurality of Locators and Control Device of Same", United States Patent 5,587,559, December 24, 1996 Electromagnetic or other grid tablet modified to work with more than one stylus or puck

[FleckDC98a] (*) Fleck, David C.; Stumpf, Richard M.; and Picard, Tom "Digitizer Eraser System and Method", United States Patent 5,793,360, August 11, 1998 touchscreen stylus has an eraser input on the back end. To erase, must first have selected text, then used eraser (with approximate gesture): then the actual "erase" operation generated (simulated keystroke input) depends on what kind of window you are on. Compare to recognition macros on Pencept. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

21/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[FleckDC00a] (*) Fleck, David C. "Digitizer system with cursor shape changing as a function of pointer", United States Patent 6,160,539, December 12, 2000 Change cursor on display depending on which area of a menu strip on separate tablet a stylus is hovering over in proximity.

[FlorenceJ96a] (*) Florence, John; Hornsby, Kathleen; Egenhofer, Max "The GIS WallBoard: Interactiosn with Spatial Information on Large-Scale Displays", 7th Inter. Symposium on Spacial Data Handling (SDH '96), Delft, Netherlans, pp. 8A.1-15, August 1966 User interface for large white-board display using pop-up pie menus, data lenses. UI operations vary on user distance from wall display: arm's length (physical contact), spitting distance (gestures), within sight (external pointers and devices.) Prototype hardware is LiveBoard from Xerox

[Fonix99] (*) Fonix Corporation "Fonix and Lucent Technologies Inferno Software Solutions To Offer Fonix Handwriting Recongition Software to Information Appliance Market", Lucent Technologies Shows graffitt-like unistroke character recognition, including unistroke "X" and German "Sharp-S". Mentions Inferno Operatin System

[Forcier96] (*) Forcier, Mitchell D. "Script Character Processing Method and System with BitMapped Document Editing", United States Patent 5,590,257, December 31, 1996 Editing of handwriting/electronic ink without recognition of characters Editing of electronic ink: word-wrap, inserting spaces, editing of handwritten lines of text van Raamsdonk possible related art? ... not cited. Press reports from 1999 of Forcier accusing Microsoft of infringement

[Forcier99] (*) Forcier, Mitchell D. "Script Character Processing Method and System with BitMapped Document Editing", United States Patent 5,953,735, September 14, 1999 Editing of handwriting/electronic ink without recognition of characters Editing of electronic ink: word-wrap, inserting spaces, editing of handwritten lines of text van Raamsdonk possible related art? ... not cited. Press reports from 1999 of Forcier accusing Microsoft of infringement

[ForresterJE00a] (*) Forrester, Justin E. and Miller, Barton P. "An Empirical Study of the Robustness of Windows NT Applications Using Random Testing", Proc. 4th USENIX Windows System Symposium, August 2000, Seattle Washington Fuzz-testing (random keyboard and mouse inputs) crashes or causes to fail most Windows NT application. Continuation of similar work done on Unix in the 1990s, that few programmers write software that check input for plausibility, so unanticipated inputs cause failure.

[ForsbergA98a] (*) Forsberg, Andrew; Dieterich, Mark; and Zeleznik, Robert "The Music Notepad", Proc UIST 98, San Franciso, CA; pp. 203-210 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

22/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

handwriting recognition editor for musical notation. Uses stylus with two additional barrel buttons to select modes -- uses eraser end button of stylus for playback. Gestures similar to those of Buxton for music. Uses lasso and pigtail gestures for editing. Later ported to Microsoft Tablet PC for Microsoft. Uses length of time (press-and-hold) for shorter and longer periods to change duration of a note or to bring up editing menu. On-line videos, also for Lineogrammer (Lineogrammar?) project

[FreemanW97] (*) Freeman, William T. and Weissman, Craig D. "Hand Gesture Machine Control System", United States Patent 5,594,469, January 14, 1997 Camera facing out from large display recognizes hand gestures. Appears similar to "Put-That-There" prototype at M.I.T. Compare with iPoint device from Fraunhofer Institut.

[FreeSoftwareFoundation97a] (*) Free Software Founcation "Drag Start Distance", www.davidpilling.info/cd/DavidPilling/Maillist/1997_11.txt Technical support discussion on Drag Start Distance in open-source software. press-and-hold-and-drag distance. File contains additional discussion references to Drag Start Distance in KDE and other open-source software related to Linux O.S.

[FreeSoftwareFoundation98a] (*) Free Software Founcation "Drag Start Distance", http://140.116.2.3/Linux/CLE/CLE/devel/andrew/redhat/BUILD/kdei18n/eo/messages/kdebase/kcminput.po Documentation of Drag Start Distance in open-source software. press-and-hold-and-drag distance. File contains additional discussion references to Drag Start Distance in KDE and other open-source software related to Linux O.S.

[FreeSoftwareFoundation00a] (*) Free Software Founcation "Drag Start Distance", http://140.116.2.3/Linux/CLE/CLE/devel/andrew/redhat/BUILD/kdei18n/eo/messages/kdebase/kcminput.po Documentation of Drag Start Distance in open-source software. press-and-hold-and-drag distance. File contains additional discussion references to Drag Start Distance in KDE and other open-source software related to Linux O.S.

[Freund99] (*) Freund, Gregor "System and Methodology for Managing Internet Access on a Per Application Basis for Client Computers Connected to the Internet", United States Patent 5,987,611, November 16 1999 Zone Labs: per-application firewall. Mentions intercepting process loading (via kernel hooks?) and checking application details, such as components, version, checksum. Not adaptvie, rule-based.

[FrinkL99a] (*) Frink, Lloyd and Bishop, Bryon Dean "Method and System for Data Entry of Handwritten Symbols", United States Patent 5,946,406, August 31, 1999 Pen Windows emulation of keyboard input by placing invisible transparent handwriting input window https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

23/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

pen-palette over text-entry field, user perception is that writing is directly into the underlying text-entry field. Mouse-hook function detected stylus touch (WM_LBUTTONDOWN) in text field to start. Note: Feature appeared to be less prevalent in later versions of Pen Windows.

[FukudaR98a] (*) Fukuda, Ryoji and Harada, Takashi "Data Processing Method and Apparatus", United States Patent 5,748,926, May 5, 1998 Recognize gestures in a handwriting recognition area on a tablet/touchscreen over an LCD display: compare with PenWindows? Gestures are mostly combinations of tap/press/drag.

[FukuzakiY97a] (*) Fukuzaki, Yauhiro "Computer Sytem having Multi-Device Input System", United States Patent 5,691,748, November 25, 1997 two digitizers (position pointing devices) on same tablet: mostly about user interface methods in a CAD system. (Wacom digitizer with two styli). Input device may be made integral / integrated with a flat display.

[FuruhataT99a] (*) Furuhata, Tomotake; Hirano, Toshiki; and Sawada, Chihiro "Touch panel double-touch input method and detection apparatus", United States Patent 5,943,043, August 24, 1999 Detect multi-touch (double-touch gesture by two fingers) on resistive or other digitizer by noting shift in position from tap by second finger, then position of first finger returning after 2nd finger's tap.

[Gasch96] (*) Gasch, Scott "Alan Kay (biographical sketch)", http://ei.s.vt.edu/~history/GASCH.KAY.HTML Biographical sketch on Alan Kay: mentions Byte 91 article, Kay had seen handwriting recognition system at RAND in 1968

[GastonKR99a] (*) Gaston, Kerry R. "Electronic Book System", United States patent 6,956,048, September 21, 1999 Electronic book, with docking/charging station for downloading books. Touch input screen for making notes on displayed text or in margin, copy/digital-rights-management protection.

[GeigerFJ00a] (*) Geiger, Fred J.; Wood, William K.; and Tandon, Sonjaya T. "Automated Post Office Based Rule Analysis of E-Mail Messages and Other Data Objects for Controlled Distribution in Network Environments", United States patent 6,073,142, June 6, 2000 Spam filtering using distributed post offices / mail servers/gateways, which may apply different business/filtering rules.

[GeisslerJ98a] (*) Geissler, Joerg "Shuffle, throw or take it! Working Efficiently with an Interactive Wall", Proc. CHI '98, pp. 265-266 "Throw" object on a large whiteboard using pick-and-throw or pick-and-drop: dwell/press-and-hold gesture to pick up an object, then short connected stroke away from target, then rapid flick stroke in https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

24/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

direction of target: object is thrown distance corresponding to velocity of throw stroke

[GeneralMagic97a] (*) General Magic "DataRover 840 Getting Started Guide", General Magic, 1997 Basic user guide for DataRover 840 stylus-input PDA, using resistive touchscreen and stylus.

[GeneralMagic00a] (*) Icras, Inc. "Using Magic Cap: Magic Cap 3.1. The User's Guide for the DataRover 840", General Magic, 2000 Full user guide for DataRover 840 stylus-input PDA, using resistive touchscreen digitizer and stylus. Popup virtual keyboard. Electronic ink data annotations and drawing, no handwriting recognition. Numerous screen shots of user interface shows simulated office rooms and objects: compare with Windows "Bob"?

[GerpheideGE97a] (*) Gerpheide, George E. "Apparatus and Method for Tactile Feedback from Input Devices", PCT Patent Application WO9718546, May 22, 1997 Touch tablet with texture feedback via haptic transducer. Regions may also be hard-labeled (indicia) on tablet surface.

[Gladstone99] (*) Gladstone, Kat, and Haber, Andrew S. "Licensing opportunity for technology which may be of interest", [email protected] Discussion List, Sep 29, 1999 posting of information on US Patent 5,018,208, "Input Device for Dynamic Signature Verification". Mentions use as a biometric automobile lock, with the benefit that neuromotor effects on handwriting variability would prevent drunk drivers from using their car. Contact information is Kate Gladstone Handwriting Repair, Albany, NY

[GloorPA96] (*) Gloor, P.A. "Elements of Hpermedia Design: Techniques for Navigation and Visualization in Cyberspace", Coopers and Lybrand, Switzerland, 1996 Partial copy

[Giangrasso96] (*) Giangrasso, Dominic "Casio Planeo", Pen Computing Magagzine, # 10 1 May/June 1996, www.pencomputing.com Review of Casio Planeo color PDA: pen taps on small displayed keyboard on touchscreen, sketch function for freeform electronic ink: no reference to character recognition?

[Gillespie96] (*) Gillespie, David; Allen, Timothy P.; and Wolf, Ralph "Object Position Detector with Edge Motion Feature and Gesture Recognition", United States Patent 5,543,591, August 6, 1996. Assigned to Synaptics Incorporated Conductive digitizer responds to finger touch, plus recognition of tap, hop, zig-zag, push and dragging gestures (Unistroke?). Refers to compensating for unintended motion during gestures. Mentions multiplefinger gestures, such as tap+drag (two strokes), uses in-proximity timing, hop gesture: double-tap with distance between the two taps. Cites surface-acoustic-wave SAW digitizers as related art to conductive digitizer. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

25/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Cites Alps/Cirque GlidePoint with gesture recognition

[GillespieD99a] (*) Gillespie, David; Allen, Timothy P.; and Ferrucci, Aaron T. "Pressure Sensitive Scrollbar Feature", United States Patent 5,889,236, March 30, 1999 Capacitive touchscreen using X/Y grid, compute centroid (interpolation) of object in proximity or touching the touchscreen. Has particular algorithm for detecting tap and drag gestures. Refers briefly to multi-finger gestures because entire grid is measured, (and multiple centroids could be detected?) Scrolling speed faster if more pressure (force).

[GillickWG96a] (*) Gillick, William G and Lam, Clement C. "Roller Mouse for Implementing Scrolling in Windows Applications", United States Patent 5,530,455, June 25, 1996 Hardware user interface, roller mouse with scroll wheel, in which scrolling continues dynamically after motion has stopped. Refers to dynamic scrolling, momentum scrolling, additional scrolling input changes momemtum or speed (decrease or increase)

[Goff99] (*) Goff, Leslie "The S/360 Learning Process", ComputerWorld, Lineline News, 4/19/99, http://careers.computerworld.com/home/news.nsf/all/9904191964 Lists members of the GRAIL project at the RAND Corporation: Bill Sibley, Tom Ellis, Gabe Groner (Groener?), Mal Davis Describes deficiencies of IBM S/360 interrupt processing, and TCBs / Task Control Blocks, to capture electronic ink in real time

[GonzalesGR98a] (*) Gonzales, Gilbert Rene "Tactile communication device and method", United States Patent 5,719,561, February 17, 1998 6x4 array of tactile dots as tactile output device: compare with optacon for the blind. Doets are actuated in sequens to trace out shape of letters and numbers. Single character, example is wrist mounted.

[Goldberg97] (*) Goldberg, David "Unistrokes for Computerized Interpretation of Handwriting", United States Patent 5,596,656 assigned to Xerox Corporation, Stamford, Connecticut, January 21, 1997 Patent on "eyes-free" writing by contraining every character to a single stroke: many characters have no similarity to the customary handwriting style Subject of a patent dispute between Xerox and U.S. Robotics over the Palm Pilot character recognition "Graffiti", which used mostly single strokes Unistroke patent by Goldberg was re-examined: see file notes, numerous references to shorthand and other writing stylues for unistroke characters

[GribnauMW99a] (*) Gribnau, Maarten W. and Hennessey, James M. "Comparing Single- and Two-Handed 3D Input for a 3D Object Assembly Task", Proc. CHI '98, 18-23 April 1998, pp 233234 Mouse-like 3D input device with two buttons, and 6DOF three-dimensional electromagnetic sensor, one for each hand (bimanual) https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

26/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[Griepentrog96a] (*) Griepentrog, Scott "Pen Services 2.0 - What is Microsoft doing?", Wiki posting at: twiki.stg.net Technical note on change in gesture and handwriting interface between Windows for Pen Computing Pen Services 1.0 (for windows 3.11) and 2.0 (for Windows95) Lists gestures under Windows 3.x: directional tab for space, newline, cirlicue for cut and undo, sidewas cirlycue for copy, chevron for paste, diagonal up-down for delete and backspace, checkmark for edit text, etc. Replaced in Windows 95 Pen Windows with edit box and incomplete pop-up keyboard without arrow keys, others: some character recognition errors thus cannot be corrected.

[Griepentrog96b] (*) Griepentrog, Scott "Pen Windows Machine support page", Wiki posting at: twiki.stg.net Downloads for Windows for Pen Computing, Pen Services 1.0 drivers, also for Pen Services 2.0, WINTAB driver for NT/95, PEN DOS drivers.

[Griepentrog96c] (*) Griepentrog, Scott "We have a friend in Bill ...", Wiki posting at: twiki.stg.net 1993(?) Interview with Bill Gates of Microsoft, he mentions using (or not using) handwriting recognition on his laptop -- mentions that it (Pen Windows) does not work very well

[Griepentrog96d] (*) Griepentrog, Scott "Word for Windows 95 Pen Support", Wiki posting at: twiki.stg.net Pen Annotation feature of Word 6.0 for Pen Windows not functional in Word 7.0 for Windows 95

[Griepentrog96e] (*) Griepentrog, Scott "Pen Services for Windows 95", www.pencomputing.com Describes changes from Pen Services 1.0 to Pen Services 2.0 for Windows for Pen Computing: squiggle gestures of 1.0 replaced by under-arrow gesture, with circle around a letter, e.g. circle-S for insert a space. Macro definition of keysequence to circle-letter gesture dropped from 1.0. Alternative recognition: clicking on letter brings up display of alternative recognition results. (Note: check patent files). GRECO and MARS handwriting recognizers

[GrossM96] (*) Gross, Mark D. and Do, Ellen Yi-Luen "Ambiguous intentions: A paper-like interface for creative design", Proceedings of the 9th Annual ACM Symposium on User Interface Software and Technology, page 183-192, Seattle, Washington, 1996 Sketch/diagram recognition and editing: refers to "intelligent paper". Gesture recognition of glyphs by a positional chain code / zone recognizer algorithm using 3x3 path grids, plus detection of sharp corners. Straight lines and dots (anything small) by special-case algorithm.

[GrossM96a] (*) Gross, Mark D. and Do, Ellen Yi-Luen "Demonstrating the Electronic Cocktail Napkin: a paper-like interface for early design", Proceedings of CHI 96, available at http://depts.washington.edu/dmachine/PAPER/CHI96/demo.html https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

27/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Trainable gesture recognition of multi-stroke glyphs, use of graphical context, collaborative drawing Cites earlier work on gestures and sketch recognition back to 1991: Rubine gesture recognizer Calligraphic drawing http://wallstreet.colorado.edu/Napkin

[GrossR97] (*) Gross, Ralph "Run-On Recognition in an On-line Handwriting Recognition System", Technical Report, June 1997, Carnegie-Mellon University and University of Karlsruhe NPen++ neural net character recognizer, use of heirarchical word dictionary for HMM word matching

[HannRL97] (*) Hann, R.L. "A Conversation with Stuart Card", Cseriac Gateway, Volume VIII No 1, 1997, pp 11..12 Invention of the mouse, and introduction circa 1983: long-lived and successful, because the limitations were in eye-hand coordination, not in the mouse hardware or electronics. Compare with performance characteristics of digitizer tablets.

[HarrisonBL98a] (*) Harrison, Beverly L.; Fishkin, Kenneth P.; Gujar, Anuj; Mocon, Carlos; Want, Roy "Squeeze Me, Hold Me, Tilt Me! An Exploration of Manipulative User Interfaces", Proc. CHI 98, April 13-23, 1998, pp. 17-24 Direct manipulation interface / tactile/haptic user interface: used Casio Cassiopeia hand-held computer and Palm Pilot PDA. Page-turning gesture, grasp/squeezing gesture, compare with flick gesture.

[HendersonA97a] (*) Henderson, Austin "Tailoring Mechanisms in Three Research Technologies", Proc. of Group '97, 1997 Trillium user interface for copier interfaces (1983), Buttons as first class objects 1991, Usertailorable/definable buttons 1991.

[HertzfeldAJ97] (*) Hertzfeld, Andrew J.; Atkinson, William D.; and Kare, Susan D. "Graphic User interface for Modifying Object Characteristics using Coupon Objects", United States Patent 5,611,031, March 11, 1997 Drag and Drop of attributes (tags) from one object to another object

[Hertzmann98] (*) Hertzmann, Aaron "Painterly Rendering with Curved Brush Strokes of Multiple Sizes", Proceedings of SIGGRAPH 98 Student of Perlin: simulation (no actual stylus input) of stroke direction to simulate oil paintings

[HightowerRR98a] (*) Hightower, Ron R; Ring, Laura T.; Helfman, Jonathan I.; Bederson, Benjamin B; and Holland, James D. "Graphical Multiscale Web Histories: A Study of PadPrints", Proc. HyperText 98, Pittsburgh PA, pp. 58-65 Pad++: zoomable/zooming graphical U/I for web browser to show small tree view hierarchy of browsing history. Different sizes of thumbnails depending on depth in tree. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

28/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[HinckleyK97a] (*) Hinckley, Ken; Pausch, Randy; and Proffitt, Dennis "Attention and Visual Feedback: The Bimanual Frame of Reference", Proc. 1997 ACM ymposium on Interactive 3D Graphics, Providence, RI Experiment to show that Two-handed/bimanual input not just natural, but more productive, in part because depends less on visual feedback (prioreceptive sense?)

[HinckleyK98a] (*) Hinckley, Ken; Czerwinski, Mary; and Sinclair, Mike "Interaction and Modeling Techniques for Desktop Two-handed Input", Proc. UIST'98, pp. 45-ff. Two-handed (puck + stylus) multi-touch streatch (pinch) gesture

[HinckleyK98b] (*) Hinckley, Ken; Pausch, Randy; Proffitt, Dennis; and Kassell, Neal F. "Twohanded Virtual Manipulation", ACM Trans. on Computer-Human Interaction, Vol 5 No 3, September, 1998, pp. 260-302 Two-handed user interface for neurosurgeons. User interface uses virtual user interface props, e.g. an instrumented dolls head in one hand to maninuplate a 3-D image of a brain, and a pointing/slicing pointer in other hand to maniuplate virtual slices, plus a touch screen for command and other interactions. References to two-handed input and direct manipulation.

[HinckleyK99a] (*) Hinckley, Ken and Sinclair, Mike "Touch-Sensing Input Devices", Proc. CHI '99 Touch Trackball, Scrolling Touchmouse: used to change UI depending on what user is doing with devices

[HinckleyK00a] (*) Hinckley, Ken; Pierce, Jeff; Sinclair, Mike, and Horvitz, Eric "Sensing Techniques for Mobile Interaction", Proc. UIST '00, San Diego, CA, pp. 91-100 Add capacitive touchscreen sensor to Cassiopeia E105 Palm-sized PC, and second touch sensor for bezel. User can touch bezel for full-screen display.

[Hong00] (*) Hong, Jason I. and Landay, James A. "SATIN: A Toolkit for Informal Ink-based Applications", Proc. ACM UIST 2000, San Diego California Also mentions DENIM, sketch-based web site design tool using pen input. Makes comparisons with NewtonOS, Windows for Pen Computing, PenPoint. Describes sketch editing, and stroke simplification, examples are all the straightening of free-hand line segments in sketches and in characters

[Hu97] (*) Hu, Jianying, Rosenthal, Amy S., and Brown, Michael K. "Combining High-Level Features with Sequential Local Features for On-Line Handwriting Recognition", ICIAP (2) 1997: 647-654 [Hu98] (*) Hu, Jianying, Lim, Sok Gek, and Brown, Michael K. "HMM Based Writer Independent On-line Handwritten Character and Word Recognition", Proceeding of 6th International Workshop For Handwriting Recognition, Taejon City, Korea, August 1998 [Hu00??] (*) Hu, Jianying, Brown, Michael K., and Turin, William "Use of Segmental Features https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

29/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

in HMM Based Handwriting Recognition", (reference not known: conference proceedings?) Stochastic patten recognizer, Hidden Markov Model (HMM) URL as of 5/9/2002: http://www.research.avayalabs.com/user/jianhu/index.html States that using a sliding window in a recognizer reduces error rate by 50%, but does not give the point of comparison, or the description of how the error was computed (false positive, false negative, etc.)

[HuerstW98] (*) Huerst, Wolfgang; Yang, Jie; and Waibel, Alex "Error Repair in Human Handwriting - An Intelligent User Interface for Automatic On-Line Handwriting Recognition", IEEE International Joint Symposia on Intelligence and Systems, May 21..23, 1998, pp. 389-395 Addition of a UI for correcting handwriting recognition errors to the NPen++ handwriting recognition system: user can write over or cross out erroneous script recognition. User can write an additional character in the middle of a script-writing handwritten word. Delayed strokes (dots over lower-case i or j; cross-marks on a t) are thus also considered to be "repair" user interface.

[HughesRG96a] (*) Hughes, R.G. and Forrest, A.R. "Perceptualisation using a Tactile Mouse", IEEE Visualization 96, pp. 181-187 Mouse designs with haptic tactile feedback, equivalence of sonification (audio feedback) and touch. Use of touch feedback to convey information not associated with touch: e.g. map vegetation and map elevation. Definitions of haptic/kinesthetic/tactile feedbacks.

[HUSAT00] (*) HUSAT "HUSAT: Background to the Institute", Presentation at Human Factors 2000 Symposium: Human Sciences and Advanced Technology at Loughborough University, U.K. HUSAT presentation human factors in user-interface technologies: history to Dimond Styalator and RAND Tablet: speech and handwriting seem natural to humans, but may not be most natural for humans interacting with machines States that using a sliding window in a recognizer reduces error rate by 50%, but does not give the point of comparison, or the description of how the error was computed (false positive, false negative, etc.) URL as of 2002: www.lboro.ac.uk/research/husat/news/proj/jn_presentation.html

[Husky97] (*) Husky Computers Limited "FC-PX5 User's Guide", Husky Computers Limited, Coventry England Ruggedized pen computer using Pen Windows. Text emphasizes keyboard over gestures. "Microsoft Windows Guide to Pen Computing"

[iDial00a] (*) iDial Networks, Inc. "iDial Announces First Wireless Phone to Phone Access Service for Palm VII", Business Wire, March 27, 2000 VOIP internet network phone service on Palm VII using NetPhoneCard

[Igarashi96] . Igarashi, Takeo; Kawachiya, Sachiki; Matsuoka, Satoshi; and Tanaka, Hidehiko "A Pen-Based Constraint Drawing System Combining Dexterity and Precision", Proc. GCAD 96 (In Japanese, English-language abstract) https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

30/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

pen-based stylus-based sketch program with pie menus and sliders, beautification/sketch recognition(?) implemented on "IBM pen PC" and Xerox Liveboard

[Igarashi99a] . Igarashi, Takeo; Matsuoka, Satoshi; and Tanaka, Hidehiko "Teddy: A sketching interface for 3d freeform design", Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, pages 409-416, August 1999 Cited in Arvo00

[Igarashi99b] (*) Igarashi, Takeo "Freeform User Interfaces for Graphical Computing", Doctoral dissertation, Graduate School of Information Engineering, University of Tokyo, December 1999 Sketch-based editing of freehand drawing: dragging and pulling operations on lines and line segments: stroke-based architecture for electronic whiteboards. Refers to "predictive drawing" for sketch editing/editor. Cites Unistroke character recognition, Cirrin and Quickwriting zone-based menu picking, mentions learning problem for gestures (see Greanias?)

[Immersion00a] (*) Immersion Inc. "MicroScribe 3D Desktop Digitizing Systems: User's Guide and Set-up Instructions", Immersion Corporation, San Jose, CA, 2000 Pantographic/mechanical 3D digitizer system. Primarily used for digitizing solid objects, medical modeling: no force feedback/haptic output

[Interlink98] (*) Interlink Electronics, Inc. "New Versapad Touchpad Sensor", Interlink Electronics, Camarillo, California Thin touchpad digitizer: quotes Jeff Dao of CIC / Communications Intelligence Corporation. PenOP Esign company. CyberSign (www.cadix.com) signature verification, Sony as a customer for the PCG 505 Touchpad digitizer claims 1000 lines per axis / 200 counts per inch: implies resistive sheet digitizer

[Intermec00] (*) Intermec Technologies Corporation "6642 Pen Computer Technical Reference", Intermec Technologies Corporation, Cedar Rapids Indiana, 2000 Pen computer using Windows 95 for Pen Computing / PenWindows 2.0: Pen Services 2.0, running on Windows 98 (later than Windows 95). "Lens" field for enabling text buttons in input fields. Adjustable area/distance for double-tap distance. Pen Recognition services include also CIC PenX Recognition. Shows gesture macro editor for assigning macros to PenWindows (1.0?) circle gestures consisting of circled letters: compare to Recognition macros of Pencept PenPad series. Toolbar option for right mouse click: compare to Wang "Guide". PenX include Recognition Tuner to allow user to select which supported shapes appear in user's writing style, but not to train recognizer. Compare to recognizer in PalmOS for selection of shape prototypes. ActiveX Pen Controls, PenWindows 2.0 pop-up virtual keyboard from Start/Programs/Pen Services. Document is in two portions.

[ItoM97a] (*) Ito, Masanobu; Motohashi, Shunji; and Higuchi, Yoshinari " Video apparatus with image forming means responsive to touch sensitive display ", United States Patent 5,671,014, September 23, 1997 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

31/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Resistive touchscreen (with stylus) user interface for video camera.

[JacobRJK96a] (*) Jacob, Robert J.K. "Human-Computer Interaction: Input Devices", ACM Computing Surveys, Vol 28 No 1, March 1996 Taxonomy of user input as discrete (keyboard), continuous (some kind of relative or absolute pointing device: mouse, tablet, rotary dial, sliders, etc.), Voice, etc.

[JaegerS99] (*) Jaeger, Stefan "Recovering Dynamic Information from Static, Handwritten Word Images", Abstract only: PhD Thesis, http://isl.ira.uka.de/ISL.publications.html#phd Describes attempt to re-construct dynamic information of on-line handwriting recognition from off-line static images: mentions Traveling Salesman Problem as part of algorithm. Abstract says this would allow merging of recognition methods between off-line and on-line algorithms, but does not mention any results Full text of thesis (at end) says they do not deal with pen-lifts or segmentation, assume one character at a time

[JaegerS00a] (*) Jaeger, S., Manke, S, and Waibel, A. "NPEN++: An On-Line Handwriting Recognition System", 7th International Workshop on Frontiers in Handwriting Recongition, Amsterdam 2000, page 249-260 handwriting recognition: Mentions normalizing size, inclination, and rotation; computing baselines; also refers to general problem of resampling to make points equidistant in space, and Bezier interpolation of "missing" points; Note: removes delayed strokes (e.g. crossing of a "T"). Compare with elastic matching by Tappert?

[JaegerS00b] (*) Jaeger, S., Manke, S, Reichert, J., and Waibel, A. "On-Line Handwriting Recognition: The NPen++ Recognizer", International Journal on Document Analysis and Recognition, IJDAR'00, volume 3 No 3, p. 169-180, 2000 Handwriting recognition using very large word dictionary: claims 91.2% recognition rate using 50000 word dictionary: tree-pruning to avoid exhaustive search

[Jain97] (*) Jain, Anil K. and Zongker, Douglas "Representation and Recognition of Handwritten Digits Using Deformable Templates", IEEE PAMI, Vol 19 No 12, December 1997, pp 1386..1391 Deform outlines of bit-map templates (?) prior to computing degree of matching: compare with elastic matching by Tappert Optical recognition of handwritten digits from a 2,000 sample subset of NIST Special Database 1 of handwritten characters from ZIP codes: also mentions an IBM data collection. See also Zongker publication "Chicken Chicken"

[JosephEF86a] (*) Joseph, Eugene R. and Tractman, Michael "Computer Modelling System and Method for specifying the Behavior of Graphical Operator Interfaces", United States Patent 5,405,600, January 16, 1996 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

32/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Animation of user interface by example

[KaiT97a] (*) Kai, Tsutomu and Matsunami, Masahito "Coordinate Input Device", United States Patent 5,606,346, February 25, 1997 capacitive/electrostatic touchscreen digitizer with X and Y electrodes integrated between pixels of an LCD panel. Shows "wavy line" distortion of grid, even after double measurement to reduce. Mentions multiple measurements to get better resolution

[KamelHM00a] (*) Kamel, Hesham M. and Landay, James A. "A Study of Blind Drawing Practice: Creating Graphical Information Without the Visual Channel", Proc. ASSETS 2000, Arlington VA pp. 34-41 Visual impaired / low vision / blind can draw, but need tactile feedback to do it in a computer user interface. Grid-based model to provide audio (speech) feedback on position and features.

[KangBHA00] (*) Kang, Beng Hong Alex; and Chung, Sun-Woo "Method for providing a cue in a computer system", United States Patent 6,160,555, December 12, 2000 Handwriting recognition user interface: show different cursors (alpha/num/upper-case/etc.) in text entry before user writes, so that user only need to look at one place to see both mode and text cursor position. Note: separate writing and text area, not direct text input / direct manipulation.

[KavehC99a] (*) Kaveh, Chris "Fujitsu Pen Developer's Guide for Windows", Fujitsu Personal Systems Inc., May 1999 Programming guide for Pen computing on Windows platforms: post-Pen-Windows. PenRight! controlls, Visual Basic 4.0 and 5.0, PowerSoft Powerbuilder, VBX Pen Edit controls, (16-bit and 32-bit), 32-Bit Pen API, Pen-aware and pen-unaware applications, CIC InkTools for handwriting recognition for Windows. Microsoft Pen Extensions 1.0 for Windows 3.1, Microsoft Pen Services 2.0 for Windows95, CIC PenX for Windows NT.

[KawakamiM99a] (*) Kawakami, Masahiko; Mamiya, Masaru; Nishiki, Tomonori; Tsuii, Yoshitaka; Okamoto, Akito; Fuita, Toshihiro "A New Concept Touch-Sensitive Display Enabling Vibro-Tactile Feedback", Proc. HCI '98 on People and Computers XIII, pp. 303-312 Vibration Touch: tactile haptic feedback, both click and vibration. Different vibration patterns for different operations (vibrate, one-shot click, pull-down slow click) via solenoid mount in touchscreen.

[KayA98] (*) Kay, Alan "History of the Character Recognizer; Was: Interaction between Keyboard and Mouse", Posting to SQUEAK Mailing List November 7 1998, archived at http://minnow.cc.gatech.edu/squeak/605 Refers to early character recognition / pen-input on Dynabook, and why it was dropped from the prototype: Refers to GRAIL recognizer as "near perfect". Describes early GRAIL system as using Unistrokes, because of fluidity of user interaction, user would learn the recognizer. Describes one step beyond unistrokes, recognition before pen is lifted (compare to Jourjine unpublished demonstration at Wang 1991), said incremental recognition on the fly also done in GRAIL (see refs?) https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

33/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[KayA00] (*) Kay, Alan "Character recognition", Posting to SQUEAK Mailing List November 5 2005, archived at http://lists.squeakfoundation.org Commentary on Goldberg Unistroke patent case: asserts that much of handwriting recognition technology prior art was done in 1960's, not known to U.S. Patent Office. Cites GRAIL system by Groner as Unistroke recognition: mentions QuikWriting and Ledeen recognizer

[KeysonDV96a] (*) Keyson, Davic Victor "Virtual Workspace with User-programmable Tactile Feedback", International Patent Application WO 96/07965, march 14, 1996 Software to provide tactile feedback to match regions of a workspace or GUI, based on pre-defined characteristics, so that the tactile haptic effects match the workspace

[KimH99a] (*) Kim, H.; Gilmore, C.M.; Pique, A.; Horwitz, J.S.; Mattoussi, H.; Murata, H.; Kafafi, Z.H.; and Chrisey, D.B. "Electrical, optical, and structural properties of indium-tin-oxide (ITO) thin films for organic light-emitting devices", Journal of Applied Physics, Vol 86, No 11, 1 Dec. 1999, pp. 6451-6461 ITO deposited on glass by vapor deposition, controlling for electrical and optical properties: optical transmission, reflectance, refractive index, band gap (color/tint).

[Kinrot00] (*) Kinrot, Opher; Kinrot, Uri "Interferometry: Encoder measures motion through interferometry", Laser Focus World, March 2000 Optical Translation Measurement, motion detection, basis for OTM Technologies optical digitizer pen, development by GOU Lite Ltd for coherent encodeds for one-two- or three-dimensional motion (stepper motor? servomotor? See Teledyne/TAC file)

[KnowltonKC99a] (*) Knowlton, Kenneth Charles and Miliefsky, Gary Steven "System for the Capture and Indexing of Graphical Representations of Files, Information Sources and the Like", United States Patent 5,973,692, October 26, 1999 User-interface linking of graphical areas on one display to graphical areas in another display

[KoikeH00a] (*) Koike, Hideki; Sato, Yoichi; Kobayashi, Yshinori; Tobia, Hiroaki; Kobayashi, Motoki "Interactive Textbook and Interactive Venn Diagram: Natural and Intuitive Interfaces on Augmented Desk System", Proc. CHI '2000, Den Haag, Amsterdam, pp. 121-128 Optical tablet sensing for digital desk: describes template matching for detecting multiple fingertips and hand for multitouch.

[KrivopalB99a_] (*) Krivopal, Boris "Pressure Sensitive Ink Means and Methods of User", United States Patent 5,989,700, November 23, 199 Pressure-sensitive conductive rubber: semiconductor particles in elastic, organic polymer binder: assigned to Tekscan

[KrugerJ99] (*) Kruger, Justin "Unskilled and Unaware of It: How Difficulties in Recognizing https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

34/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

One's Own Incompetence Lead to Inflated Self-Assessments", Journal of Personality and Social Psychology, December 1999 Vol. 77 No 6, pp 1121-1134 Self-evaluation of success/skill: subjects who know more or are more skilled, recognize their own performance more conservatively than low-skilled subjects. To paraphrase: a real expert will be more cautious in claiming to know exactly what is going on, because the real expert knows about the additional factors that may come into play, and what complex interactions can happen. Whereas a person who knows less will be more likely think they have it all figured out, because that person does not know about the other things they should include in their thinking, or that there might be additional ways they could interact.

[Kurtenbach97] (*) Kurtenbach, Gordon; Fitzmaurice, George; Baudel, Thomas; and Buxton, Bill "The Design and Evaluation of a GUI Paradigm based on Tablets, Two-hands, and Transparency", ACM CHI '97, March 22-27, Atlanta Georgia, 1997 Two-handed simultaneous use of stylus and puck with a Wacom tablet: compare with multi-touch. Digitizer puck also reported rotation on surface. Prototype system called "T3" (Tablets, Two-hands, Transparency), using ToolGlass (menu moved by one hand) and drawing/touching/etc. by other hand.

[Kurtenbach97a] (*) Kurtenbach, Gordon "Methods and System of Controlling Menus with Radial and Linear Portions", United States Patent 5,689,667, November 18, 1997 Pop-up marking menus with stylus or other pointing device: linear menu displayed below hotspot, marking/pie menus displayed around rest of hotspot. Permits more menus items to be selected by a single gesture, permits multi-step marking menus.

[Kurtenbach99a] (*) Kurtenbach, Gordon P. "Display and Control of Menus with Radial and Linear Portions", United States Patent 5,926,179, July 20, 1999 Marking menus: pen-still (press-and-hold) gesture brings up menu. Flick gesture involves command without pop-up menu.

[Kurtenbach99b] (*) Kurtenbach, Gordon; Fitzmaurice, George W.; Owen, Russel N.; Baudel, Thomas "The Hotbox: Efficient Access to a large Number of Menu-items", Proc. CHI '97, Pittsburgh USA, pp 231-239 Large menus by combining menubar, accelerator keys, modal dialog, pop-up menus, radial/pie marking menus, and menubars

[Kwatinetz96] (*) Kwatinetz, Andrew "Scrolling Contents of a Window", United States Patent 5,495,566, February 27, 1996 Scroll/jump a window faster depending on how far to scroll, also depending on input: relation to flick gestures, dynamic scrolling

[Lallican00] (*) Lallican, P.M.; Viard-Gaudin, C.; and Knerr, S. "From Off-Line to On-Line HandWriting Recognition", International Workshop on Frontiers in Handwriting Recognition, IWFHR2000, September 2000, Amsterdam, Netherlands, pp 303-312 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

35/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

On-line works better than off-line, so simulate stroke order (and direction of strokes?) to recover timeorder of the handwriting. See also VisionObjects commercial development.

[Landay96] (*) Landay, James A. "Interactive Sketching for the Early Stages of User Interface Design", Ph.D. Thesis, Carnegie Mellon University, CMU-HCII-96-106 SILK User interface these: Annotated references to sketch recognition, character recognition, gesture Reference PerSketch (PenSketch?) system for editing sketches by user interface which allows multiple interpretations of input: four lines as four lines, and as a rectangle. Cited in MyersB96 for free-hand gestures and storyboards for sketching (and application generator / automatic generation) of user-interface designs.

[LandonP04a] (*) Landon, P.; Keates, S.; Clarkson, P.J.; and Robinson, P. "Using haptic feedback to enhance computer interaction for motion-impaired users", Proc. 3rd Intl Conf. Disability, Virtual Reality & Assoc. Tech., Alghero, Italy 2000, pp. 25-32 For motion-handicapped users (cerebral palsy), vibrotactile/vibrating haptic feedback not helpful, but force-feedback feedback is. Feedback prototypes use Immersion Technologies and SenseAble Technologies devices.

[Lang99] (*) Lang "GO Alumni Directory", www.apocalypse.org (no longer available) List of Alumni from GO Corporation: partial copy, original list no longer available

[LaPedus96] (*) LaPedus, Mark "Apple and Motorola will launch new products with Chinese handwriting recognition", BYTE Magazine, September 1996: also available at http://byte.com/art/9609/sec17/art7.htm Lexicus division of Motorola with Chinese handwriting recognition product: WisdomPen Other Chinese pen-computing products: Taipei GoTop; Han Wang Science and Technology in Beijing; Pen Power Technology of Taiwan; Taiwan Palmax in partnerchip with Caso, InfoRay PD-96 organizer recognizes more than 13,000 Chinese characters Quotes Derek Ling of Motorola/Lexicus that Chinese handwriting recognizers often have higher recognition rates than Roman alphabet recognizers, because Chinese is always written in the same stroke order and style by users (sic: this contradicts study done at Pencept by Salzer)

[Lazzouni97] (*) Lassouni, Mohamed; Yousaf, Mohamed; Qureshi, Rizwan A., and Nazir, Naveed A. "Pen and Paper Information Recording System using an Imaging Pen", United States Patent 5,661,506, August 26, 1997 Optical digitizer using printed pattern on paper, using squares and clusters of squares, compare with Anoto

[LCS/Telegraphics00] (*) LCS/Telegraphics "Wintab Advanced Pointing Device Management for Windowed Environments", LCS/Telegraphics, Cambridge Massachusetts, July 28, 2000 Background information on WinTab specification, originated at 1991 Autodesk conference to define vendor-neutral device driver specification for digitizing tablets https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

36/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[LeganchukA99a] (*) Leganchuck, Andrea; Zhai, Shumin; and Buxton, William "Manual and Cognitive Benefits of Two-Handed Input: An Experimental Study", ACM Trans. on ComputerHuman Interaction, Vol 5, No 4, December, 1998, pp. 326-359 Multiple-hand / multiple-touch user interface study: using two hands allows simultanous manipulation of scale and zoom and position, versus one hand with menu/tool selection. WACOM two-stylus (puck and stylus) tablet used in study prototype.

[LeopoldJL97] . Leopold, J.L. and Ambler, A.L. "Keyboardless visual programming using voice, handwriting, and gesture", Proceedings of IEEE Symposium on Visual Languages, Sep 2326, 1977, Pages 28-35 (abstract only): Voice, handwriting and gesture pen-computing user interface, using a visual programming environment: states useful for accessibility for manually or visually impaired.

[LevineSR97a] (*) Levine, Stephen R; Harui, Alex J; Hsiao, Chia-Chuan; Donaghue, Karen; and Schirpke, Michael W. "Document Annotation and Manipulation in a Data Processing Ssystem", United States Patent 5,625,833, April 29, 1997 Wang Freestyle patent: annotation (electronic ink and voice/audio) of documents in Freestyle. Mentions state-machine implementation of system.

[LewisJR96a] (*) Lewis, James R. "Reaping the benefits of modern usability evaluation: The Simon story", In Salvendy, G. and Ozok, A., (eds), Advances in Applied Ergonomics: Proceedings of the 1st International Conference on Applied Ergonomics - ICAE '96, pp. 752-757 Review of usability studies for Simon hand-held smartphone/PDA with touchscreen, circa 1993. "CGA" resolution of touchscreen, includes appointment calendar, address book, to-doo list, sketch pad, sending and receiving electronic mail and fax (pre-Internet), system settings GUI, and security.

[LewisJR99a] (*) Lewis, James R.; Allard, David J.; and Hudson, Harold D. "Predictive Keyboard Design Study: Effects of Word Populations, Number of Displayed Letters, and Number of Transitional Probability Tables", Proc. of Human Factors and Ergonomics Society 43rd Anuual Meeting, 1999, pp 429-432 Study of virtual predicive keyboard of IBM Simon marketed by BellSouth: text used for vocabulary/probability tables should be adaptive, or at least should reflect vocabulaor of user application.

[LewisJR99b] (*) Lewis, James R. "Input Rates and User Preference for Three Small-screen Input Methods: Standard Keyboard, Predictive Keyboard, and Handwriting", Proc. of Human Factors and Ergonomics Society 43rd Anuual Meeting, 1999, pp 425-428 Study of virtual predicive keyboard of IBM Simon marketed by BellSouth: showed that standard keyboard, even small, was faster than either predictive keyboard or handwriting. Cites that fast handwriting is about 25 wpm words per minute. Did not study graffiti/unistrokes or other later methods, but disadvantages were attributed to congnitive load of unfamiliar/unpracticed data input skill compared to standard keyboard. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

37/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[LiY00a] (*) Li, Yang; Guan, Zhiwei; Chen, Youdi; Dai, Guozhong "Penbuilder: Platform for the Development of Pen-Based User Interface", Proc. ICMI 00 Third Int'. Conf. on Advances in Multimodal Interfaces, pp 534..541 Pen-Book-Page-Paper stylus UI system for mobile systems, with universal gestures: research prototype in China. Cites Wintab. Partial copy

[LifchitzA00] (*) Lifchitz, Alain and Maire, Frederic "A Fast Lexically Constrained Viterbi Algorithm for On-line Handwriting Recognition", 7th International Workshop on Frontiers in Handwriting Recongition, Amsterdam 2000, page 313-322 Lexical constraint / dictionary for handwriting recognition context: uses directed acyclic word graph DAWG instead of trie tree-structure

[LinJ99a] (*) Lin, James; Newman, Mark; Hong, Jason I; Landay, James A. "DENIM: Finding a Tight Fit Between Tools and Practice for Web Site Design", UC Berkeley Technical Report UCB//CSD-99-1065, September 1999 Sketch editing with limited gestures, uses barrel button on stylus to change mode/function: compare to Recognition Macros of Pencept with AutoCad and other applications

[LongA98] (*) Long, A; Landay, J.; and Rowe, L. "PDA and Gesture Uses in Practice: Insights for Designers of Pen-based User interfaces", Report #CSD-97-976, CS Division, EECS Department, UC Berkeley, Berkeley, CA. January 1998 Study comparing pen-input gesture use on Apple Newton and early Palm Pilot: Gestures used more often on Newton than on Palm Pilot. Also studies used of Graffiti unistroke characters: noted that for Grafitti, users gave different performance ratings when asked about Graffiti than when asked about handwriting recognition although it was the same thing. Primary use of pen computers in study was note-taking during meetings.

[LongAC99a] (*) Long, Allan Christian Jr.; Landay, James A.; and Rowe, Lawrence A. "Implications For a Gesture Design Tool", Proc. CHI '99, Pittsburgh PA USA, pp. 40-47 Study of satisfaction of PDA users (Apple Newton, PalmPilot) on gestures: users preferred gestures as user interface on touch screen, want to define own gestures by example, not tolerant of recognition errors. Test recognizer uses Rubine algorithm.

[Lopresti98a] (*) Lopresti, Daniel P. and Tomkins, Andrew "Method for Locating a Penstroke Sequence in a Computer", United States Patent 5,809,498, September 15, 1998 Index retrieval of electronic ink images for a pen-based computer, by comparing a user input to each of the stored images, rather than comparing to pre-defined characters and doing handwriting recognition of text. Refers to user viewing of images as the final step in indexing and matching: compare to other methods for doing picture image search for similarity of images https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

38/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[Lopresti98b] (*) Lopresti, Daniel P. "Ink as Multimedia Data", Proceedings of the Fourth International Conference on Information, Systems, Analysis and Synthesis, July 1998, Orlando, FL, pp. 122-128 Find electronic ink in a database by comparing number of points, point sequences, feature vectors, stroke types, characters, words. References to pretty-fying of electronic ink images. Compare to Slate "deferred translation" and DayTimer indexing methods

[Louderback99a] (*) Louderback, Jim "Fujitsu PenCentra 130", ZDNet Publications: www.zdnet.com/zdtv/freshgear, May 21, 1999 Fujitsu rubberized/ruggedized pen computer running WindowsCE. Mentions pen tablets (portable handwriting computers) running Windows NT.

[Louderback99b] (*) Louderback, Jim "Qubit", ZDNet Publications: www.zdnet.com/zdtv/freshgear, March 26, 1999 Internet Access Device stand-alone touchscren/tablet computer for accessing the internet.

[Luckie98] (*) Luckie, Douglas "Newton Hall Of Fame", Biographical notes on early Apple Newton developers and personalities, http://www.msu.edu/~luckie/hallofame.htm Stepan Pachikov, Father of Newton's "Cursive Recognizer", Calligrapher handwriting recognition system: originally developed the HWR technology at ParaGraph International Larry Yaeger, Brandyn Webb and Michael Kaplan - Fathers of Newton's "Print Recognizer": neural network not enough for handwriting recognition, need character segementation, word segmentation, multiple geometric context models, language context moels, search engine, in addition to character classifier

[Machrone00] (*) Machrone, Bill "Wacom's LCD Pen Tablet: Nearly Perfect, Pricey", PC Magazine, November 1, 2000 Integrated tablet and display touchscreen from Wacom PL500, pressure sensitive (actually force-sensitive) stylus, mis-called pressure sensitive tablet, price about $3000

[MacIntyreB96a] (*) MacIntyre, Blair and Feiner, Steven "Future Multimedia User Interfaces", Multimedia Systems, Springer Verlag, 1996, Vol 4: pp. 250-269 multimedia and interactive user interfaces: one new requirement is the need for the use of multiple pens (multi-touch/multi-user) on a signle large display. In ubiquitous computing, touchscreens will be more common than mice, because of integration with real-world objects. Existing windowing systems not appropriate (location-dependent GUI needed)

[MackenzieSI99a] (*) Mackenzie, Scott I. and Chang, Larry "A performance comparision of two handwriting recognizers", Proc. Interacting with Computers 11, 1999 32-subject comparision of Microsoft (Pen Windows 2.0?) and CIC Handwriter 3.3 handwriting recognizers. Also mentions Unistroke, Graffiti (original, not CIC) and T-Cube unistroke handwriting https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

39/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

recognition: T-Cube from Apple uses pie menus. Zhao incremental recognition. Interface characteristics (subsetting, context) have significant effect on performance.

[MackenzieSI99b] (*) Mackenzie, Scott I. and Zhang, Shawn X. "The Design and Evaluation of a High-Performance Soft Keyboard", Proc. CHI 99, Pittsburgh PA USA, 15-20 May 1999, pp. 2531 Study of soft/virtual keyboard layout: QWERTY keyboard better than "optimal" keyboard layout at first (familiariy?), optimal keyboard only slightly better over time. Testing on Windows for Pen Computing / Pen Windows, WACOM integrated touchscreen and display. Also mentions Unistroke, Graffiti (original, not CIC) and T-Cube unistroke handwriting recognition: T-Cube from Apple uses pie menus. Zhao incremental recognition. Interface characteristics (subsetting, context) have significant effect on performance.

[MacLeanKE99a] (*) MakLean, Karon E. and Roderick, Jayne B. "Smart Tangible Displays in the Everyday World: A Haptic Door Knob", Proc. IEEE/ASME Intl. Conf. on Advanced Intelligent Mechatronics AIM'99, Atlanta, Sep. 1999, 6 pages Haptic feedback in doorknob (everday object): force, motion, heat/temperature, sound. Speculative uses include gestore motion on doorknob as an input password, whether inside lights are on/off, whether someone is/has been in room.

[MacNeill96] (*) MacNeill, David "What's on your Newton?", Pen Computing Magazine, Issue #11 July/August 1996 Short article on actual user use of Newton pen PDA computer: mentions Zaurus and Pilot text-based PDAs compared with Apple Newton MessagePad: Pocket Quicken, Graffiti

[MalacariaCF98a] (*) Malacaria, Charles F. "A Thing, Flexible Matrix-Based Pressure Sensor", Sensors Magazine, September 1998 Matrix pressure senstivie material with grid of conductors, covered with pressure-sensitive resistive ink on the same conductors. Rows and columns can be read independently and sequentially: 250,000 sensels per second to 50,000,000 sensels per second. Flexiforce sensors from Tekscan.

[MamiyaM97a] (*) Mamiya, Masaru; Hasegawa, Hiromasa; Sekino, Yoshio; Kawakami, Masahiko; Nishiki, Tomonori; Tsuji, Yshitaka; Okamoto, Akito; and Fujita, Toshihiro "A New Way to Overcome the Uneasy Operation of Touch-Sensitive Displays by Incorporating "Click" Mechanism CC Switch", Proc. HCI Int'l. 97, 7th Int'l. Conf. on Human-Computer Interaction, Vol 1, pp. 619-622 Touchscreen (digitizer and display) by itself uncomfortable to use because of lack of haptic feedback: add a mechanial click to touchscreen operation. Best operation is if touch sensor responds to pressure (force), so that user can trace with finger before applying sufficient force/pressur to activate switch.

[Manke96] (*) Manke, Stefan; Finke, Michael; and Waibel, Alex "A Fast Search Technique for Large Vocabulary On-Line Handwriting Recognition", International Workshop on Frontiers in https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

40/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Handwriting Recognition, University of Essex, England, Sep. 2..5, 1996 Use of a dictionary of words to aid in handwriting recognition: tree search of dictionary is faster than flat (linear) search. Word dictionary taken from "ARPA Wall Street Journal" project (for speech recognition evaluation), but no citation to the source.

[Manke00??] (*) Manke, Stefan and Bodenhausen, Ulrich "A Connectionist Recognizer for Online Cursive Handwriting Recognition", (reference not known: conference proceedings?) Dynamic time warping / Time Delay Neural Network for single-character recognition, using a 3x3 or 20x30 bitmap local image Claims 99.5% recogition writer-dependent, between 91.5% and 99.5% on writer-indepdenent: expansion to larger writer-independent database gives about 75%

[MankoffJ98a] (*) Mankoff, Jennifer and Abowd, Gregory D. "Cirrin: A word-level unistroke keyboard for pen input", Proc. of UIST 98, 1998, pp. 213-214 Large pie menu, user moves and dwells at certain characters in one compound stroke: can pop up at any location on screen

[MartinD00] (*) Martin, David A. "Projection Display System with Touch Sensing on Screen, Computer Assisted Alignment Correction and Network Conferecing", United States Patent 6,141,000 Whiteboard system using a projection display with a touch-screen digitizer. Multiple pens/stylus, eraser.

[MartinelliHK99a] (*) Martinelli, John K.; Martinelli, Robert M; Pickett, Mark C.; Ritchey, Wendell W.; and Yaniger, Stuart J. "Force Sensing Semiconductive Touchpad", United States Patent 5,943,044, August 24, 1999 Tap, Tap-Drag and other gestures for emulating mouse button gesture (click-and-drag, etc.). Touchpad using two sheets and a resistance-changing material between. Critiques indirect measure of force/pressure (capacitive area) vs. direct measuremens of force in a digitizer/touchpad for pressure/force input for scrolling and acceleration.

[Masson99] (*) Masson, Terrence "History of Computer Graphics (CG)", www.visualfx.com/milestones.htm Ken Knowlton 1950s. Primarily generation of computer graphics, mentions SketchPad with light pen, but not Styalator or Rand Tablet. Computer animation and CGI.

[MasuiT99a] (*) Masui, Toshiyuki "Text input device and method", United States Patent 6,002,390, December 14, 1999 Predictive keyboard: predicted words for auto completion are taken frmo a dictionary and displays.

[MatsushitaN97a] (*) Matsushita, Nbuyuki and Rekimoto, Jun "HoloWall: Designing a Finger, Hand, Body and Object Sensitive Wall", Proc. UIST 97, Banff Canada, pp. 209-210 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

41/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Capacitive-sensing wall/whiteboard with rear projection to create an interactive environment: compare with VideoPlace, Wellner

[MatsushitaN00a] (*) Matsushita, Nbuyuki; Ayatsuka, Yuji; and Rekimoto, Jun "Dual Touch: A Two-Handed Interface for Pen-Based PDAs", Proc. UIST '00, San Francisco, pp. 211-212 Resistive/capacitive touchscreen detecting multi-touches by shift in position. First touch (thumb) is fixed, sets one point, other touch (stylus) is other point and can be moved, for rotation and other gestures.

[McCloudSR98a] (*) McCloud, Seth R. "Apparatus and method of communicating using three digits of a hand", United States Patent 5,808,567, September 15, 1998 Multi-touch input for three fingers using 3x3 matrix of touch buttons for index finger and two larger side buttons for thumb and middle finger. Intended as very small keyboard/keypad on wrist and hand-held devices such as PDAs.

[McGeeMR99a] (*) McGee, Marilyn Rose "A haptically enhanced scrollbar: force feedback as a means of reducing the problems associated with scrolling", Proceedings for the First PHANToM Users Research Symposium (PURS'99), Heidelberg, Germany, pp. 17-20. Study of force feedback in cursor control / scrollbar: hardware was PHANToM by SensAlbe Technologies, mechanical actuators to pen-like or thimble-lik user input device.

[McCrary98] (*) McCrary, Victor, and Smith, Alyssa "Electronic Book '98 Workshop, "Turning a New Page in Knowledge Management"", NIST Conference Proceedings, NIST-IR 6372, published 2001 Mostly about E-books and document publishing, Ralph Sklarew also present

[McCrickard99] (*) McCrickard, D. Scott and Catrambone, Richard "Beyond the Scrollbar: An Evolution and valuation of Alternative List Navigation Techniques", IEEE Symposium on Visual Language, 1999, pp. 270-ff mural bar and pile bar: information about entries in lists are encoded with highlighting marks into trough of a scrollbar, compare with Russian patent by Gorvunov

[McGraw96] (*) McGraw, Gary and Hofstadter, Douglas R. "Emergent Letter Perception: Implementing the Role Hypothesis", Proceedings of the Eighteenth Annual Conference of the Cognitive Science Society, pages 621-626, July 1996 Cites early work by Blesser, Shillman, Cox et al on perceptual/cognitive basis for human letter character recognition: describes "Letter Spirit grid", similar to line-segment display, as a model for human recognition. Refers to letter vs. spirit, apparently spirit refers to an experimental model for writing/shape (not handwriting) style variability

[MeadCA96a] (*) Mead, Carver A.; Wolf, Ralph; and Allen, Timothy P. "Paintbrush Stylus for Capacitive Touch Sensor Pad", United States Patent 5,488,204, January 30, 1996 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

42/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Capacitive/electrostatic stylus with wire brush on the end, determine "paintbrush" stroke by capactive coupling to the brush, including area

[Menendez96] (*) Mendendez, Norberto; Potrebic, Peter J.; and Sharpe, Benjamin W. "Method of Creating Packets for a pointer-based Computer System", United States Patent 5,555,369, September 10, 1996 UI Development by creating icons displayed in a rectilinear grid

[MertzC96] (*) Mertz, Christophe P. and Lecoanet, Patrick "GRIGRI: Gesture Recognition on Interactive Graphical Radar Image", Proc. of Gesture Workshop '96, March 19th, 1996York, U.K. Published in Progress in Gestural Interaction, Springer Verlag GRIGRI: French vernacular for "scribble". Abstract only.

[Microsoft96a] (*) Microsoft Corporation "Problems Encountered by Some Windows 95 Applications on Windows NT", technet.microsoft.com, 749964, October 1996 Incompatibilities with Windows 95 on Windows NT, including right-click menus / popup context menus on Windows 95. File contains additional references for right-click menus on Windows95.

[Microsoft96b] (*) Microsoft Corporation "Microsoft to Acquire aha! Software", Press Release, Microsoft Corporation, April 8, 2006 Microsoft acquires Aha! software, product is InkWriter electronic-ink note-taking and editing, appears similar to van Raamsdonk. Later became Windows Journal / NoteTaker application for Tablet PC.

[Microsoft96c] (*) Microsoft Corporation "Microsoft Announces Broad Availability of Handheld PCs With Windows CE", Microsoft Corporation press release, Nov. 18 1996 Microsoft Windows CD clamshell Pocket PC with stylus and touch screen (resistive?)

[Microsoft97a] (*) Microsoft Corporation "Microsoft Visual Studio 97, Enterprise Edition", Microsoft 0197 Part Number X03-08924 Visual Studio / C++ for Windows95 / WindowsNT. Does not include developer SDKs. Does not appear to include Pen SDK/PenWindows PenAPI.hlp

[Microsoft99a] (*) Microsoft Corporation "Description of Windows for Pen Computing Pens", Microsoft Knowledge Base, 10/13/1999, KB85663 Pen/tablet drivers use special interface for higher data rate than mouse driver, special display driver for displaying electronic ink

[Microsoft99b] (*) Microsoft Corporation "Microsoft Computer Dictionary, Fourth Edition", Microsoft Press, 1999 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

43/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

General Reference

[MicroTouch98a] (*) MicroTouch Systems Inc. "TouchWare for OS/2 User's Guide", MicroTouch Systems, Inc. Methuen Mass First copyright is 1991: mentions double-click area setting required for using a touch-screen or touch-pad with a mouse driver, settings for the touch-screen affect the mouse behavior also, because it is the same driver. Desktop mode / Drawing mode / Button mode: controller uses quick touch (tap) to position the cursor, long touch to simulate mouse button behavior. See also UnMouse. Mentions Pen and Touch modes

[MicroTouch98b] (*) MicroTouch Systems Inc. "MT3000 Capacitive Controller", MicroTouch Systems, Inc. Methuen Mass Controller (with firmware) for Microtouch touchscreens, UnMouse, touch-pads: Calibration is not fourpoint or orthogonal calibration, but two-point to get size of visible display

[MicroTouch98c] (*) MicroTouch Systems Inc. "TouchWare for Macintosh (USB controllers) User's Guide", MicroTouch Systems, Inc. Methuen Mass First copyright is 1991: mentions double-click area (in TouchWare control panel) setting required for using a touch-screen or touch-pad: evidently no OS support for double-click area

[MicroTouch98d] (*) MicroTouch Systems Inc. "MicroTouch ThruGlass Touchscreen Hardware Installation Guide", MicroTouch Systems, Inc. Methuen Mass ThruGlass capactivie/electrostatic touchscreen digitizers sensitive to air gap between touchscreen and first layer of non-conductive material in mounting, and to nearby metallic objects

[MicroTouch98e] (*) MicroTouch Systems Inc. "MicroTouch Touch Controllers Reference Guide", MicroTouch Systems, Inc. Methuen Mass Command and protocols (serial and parallel interface) for Microtouch touchscreen digitizer controllers: Pen/Finger, Finger Only, Pen Only modes. Separate calibration (actually: defining scaling of active area with two points) for pen and for finger input (optical parallax?)

[MicroTouch99a] (*) MicroTouch Systems Inc. "TouchWare for Windows User's Guide", MicroTouch Systems, Inc. Methuen Mass First copyright is 1997

[MicroTouch00a] (*) MicroTouch Systems Inc. "MicroTouch ThruGlass Projected Capacitance Touchscreens", MicroTouch Systems, 2000 Electrostatic/capacitive touchscreen: states accuracy as "97%" (??), 190 points/second data rate.

[MillerRJ96a] (*) Miller, Robert J.; Bisset, Stephen; Allen, Timothy P.; and Steinbach, Guenter "Object Position and Proximity Sensor", United States Patent 5,495,077, February 27, 1996 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

44/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Capacitive touchscreen digitizer: conductive object increases capacitive coupling between two wires of X/Y grid, simultaneous measurement. Conductive foam on top of digitizer allows it to detect any object, not just conductive. One application is musical instrument played by touchings of the hands.

[MillerJ99] (*) Miller, James R.; Bonura, Thomas; Nardi, Bonnie; and Wright, David "System and Method for Performing an Action on a Structure in Computer-Generated Data", United States Patent 5,946,647, August 31, 1999 Scan displayed text with pattern matching to find phone numbers, addresses, etc., to highlight them and turn them into active links or buttons, clickable with a stylus

[MillerP97] (*) Miller, Peter "Recursive Make Considered Harmful", Available from the author: millerp-at-canb.aaug.org.au Implementation problems of recursive make.

[MillerRJ97a] (*) Miller, Robert J. and Bisset, Stephen J. "Object Position Detector", United States Patent 5,648,642, July 15, 1997 Matrix capacitive touchscreen sensor, proximity sensing: analog circuitry to find peak. Can detect multiple fingers for gestures, infer pressure from height of peak

[MillerT98a] (*) Miller, Timoth and Zeleznik, Robert "An insidious Haptic invasion: Adding force feedback to the X desktop ", Proc. UIST 98, San Francico, pp. 59-64 Add mechanical force-feedback (haptic) to X-Windows

[Minatuchi98] (*) Minatuchi, Yu; Okuyama, Satoshi; Fakue, Akiko; and Kamata, Hajime "Apparatus for Manipulating an Object Displayed on a Display Device by Using a Touch Screen", United States Patent 5,844,547, December 1, 1998 Manipulating an image in response to touch input on a touchscreen. Mentions flick, pick, push, flip, distortion of image in response to pressure touch gesture, scrolling.

[MondenA00a] (*) Monden, Akito; Iida, Hajimu; Matsumoto, Ken-ichi; Inoue, Katsuro; and Torri, Koji "A Practical Method for Watermarking Java Programs", 24th Comp. Softw and App. Conf. (compsac2000), Taipai Taiwan, Oct 2000 Watermarking / hidden signature in Java code by addind a dummy method, and recoding opcodes for arithmetic operations to represent the signature data. Cites to code obfuscators, method is robust when obfuscated.

[MoranTP97a] (*) Moran, Thomas P.; Chiu, Patrick; van Melle, William "Pen-Based Interaction Techniques For Organizing Material on an Electronic Whiteboard", Proc. UIST 97 Symposium on User Interface Software adn Techology Recognize long lines, especially vertical and horizontal, as border gestures, editing gestures to separate or aligg objects, text sketches on a whiteboard system. tap, balloon/lasso, pig-tail/pigtail, left-wedge, righthttps://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

45/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

wedge, bump gestures for editing.

[MobilePoint98b] (*) Wanderbookman (YouTube user) "iPad precursor: Penpoint's last chance: Face-to-Face SFA", http://www.youtube.com/watch?v=yINfscbeXRsa, fetched 2011 1998 video of MobilePoint electronic briefcase AKA PenPoint: appears to be porting of original (?) PenPoint code to be a pen-centric application running on Windows.

[MobilePoint99a] (*) Weimar, Clayton "The Electronic Briefcase Interactive Sales System: architecture Overview", MobilePoint 03/07/1998 Fleet sales application using Windows 95 ostensibly without Pen Windows / Pen Services -- dedicated "ecase" application, user interface metaphor looks like that of PenPoint. Refers to pen computer hardware as a Tablet PC (not same as later Microsoft use of the name), Fujitsu Stylistic 1000 with electromagnetic digitizer, small display 640x480 (portrait mode). PAGE (Paper and Gesture) metaphor: Notebook Organization Model and Gesture Command model: visual appearrance much like that of PenPoint with outlines, tabs on the right. Basic gestures are caret (insert), circle (edit), tap (turn to / go to), scratch-out (delete), checkmark (options/attributes), flick (scroll) and question mark (help). Also tap Pres, Drag to select copy move, press to select (hold), press drag (hold and drag) gestures. Swoop gesture -- single letter to move through index. Double tap gesture on electronic ink to select then circle (edit) to translate (recognize). Electronic copy only. As of 2008, MobilePoint.com platforms are Microsoft Tablet PC, as of 2011 mentions iPad.

[MoranTP99a] (*) Moran, Thomas P.; Pedersen, Elin R.; McCall, Michael K; and Halasz, Frank G. "Time-Space Object Containment for Grpahical User Interface", United States Patent 5,404,439, April 4, 1995 When selecting objects with a drag rectangle, take into account temporal/time when objects were created by user -- user mostly likely wants to select objects created together in time. Uses threshold time to determine direction of reversing motion in a "wipe" (swipe?) gesture.

[MunyanDE98a] (*) Munyan, Daniel E. "Personal Electronic Book System", United States Patent 5,761,485, June 2, 1998 Two-sided (two-page) electronic book with dual touchscreens -- compare to Reefalo, with in-app purchasing and electronic commerce, handwriting input, TV or radio video receiving

[MyersB96] (*) Myers, Brad A. "User Interface Software Technology", ACM Computing Surveys, Vol 28 No 1, March 1996, pp. 189-191 Short review of user-interface systems, User interface management systems UIMS (application generators): HP/Apollo Open-Dialog, VAPS by Virtual Prototypes; Automatic generation tools for user interface such as ITS from Baecker et al IMB Research. Refers to direct-manipulation interfaces as synonymous to GUI graphical user interface. Cites SILK, free-hand gestures and storyboards for sketching initial user-interface desings.

[MyersB98a] (*) Myers, Brad A.; Stiel, Herb; and Gargiulo, Robert "Collaboration using https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

46/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

multiple PDAs connected to a PC", Proc. CSCW 98 ACM Conference on Computer Supported Cooperative Work Remote control of a PC (mouse/keyboard) from a resistive touchscreen PDA (Palm Pilot): problems of emulating mouse buttons on touchscreen. Experimental system to have multiple users access a single collaborative/group application.

[MyersB98b] (*) Myers, Brad A. "A Brief History of Human-Computer Interaction Technology", Interactions, March+April 1998, pp. 44-54. History of windows, gesture, mouse, direct text manipulation back to approximately 1960. Traces history of WIMP/GUI interface from Windows 95 back to Macintosh, back to Xerox Park, back to SRI / Stanford Research Laboratory and M.I.T. Direct manipulation user-interface from Sketchpad. No citations before 1960. Gesture recognition in AMBIT/G at MIT Linconln Labs in 1968. Cites light pen to 1954, tousch screen. Digitizing tablet used to create movie "Hunger" in 1971. Mistakenly states that Rand tablet was the first pen-based input device. Teitelman 1964 first trainable gesture recognition, gesture input on GRAIL system in 1964. UIMS systems in 1996, interface builders (application generator) in 1979. File contains further revisions

[MyersB00] (*) Myers, Brad; Hudson, Scott E.; and Pausch, Randy "Past, Present and Future of User Interface Software Tools", ACM Trans. on Computer-Human Interaction, Vol 7 No 1, March 2000, pp 3-28 Future UIs will employ recognition-based UIs (gestures?); dissimilary of mouse-based vs. stylus vs. gesture UIs not equivalent

[Narayanaswamy96] (*) Narayanaswamy, Shankar "Pen and Speech Recognition in the User Interface for Mobile Multimedia Terminals", Ph.D. Thesis in EE/CS, University of California, Berkeley, 1996 "InfoPad" project at Berkeley. Citation to Go/PenPoint handwriting recognition with dictionary. Describes use of context areas to disambiguate gestures from handwriting. Cites problem of double-tapping (versus double-click) with stylus, because position is not the same. Cites problem of tip-switch sticking on digitizer at ends of strokes, added tails to character prototypes rather than correct them. Suggests combining digitizer/tablet for pointing/navigation with voice recognition for disabled accessibility. Mentions Pen PDAs as of 1996: Casio Z-7000, Sharp Zaurus, Amstrad PIC 700, Sony PIC-1000. PDA mentions Scriptel digitizer, term "raised strokes" for proximity detection (shake gesture of Tablet PC?)

[NationalInstruments98a] (*) National Instruments "LabVIEW User Manual", National Instruments, January 1998, Part Number 320999B-01 Visual programming language for laboratory instruments: earlier product versions exist, touchscreen and mouse input.

[Netscape99] (*) University of North Texas "Netscape Navigator 4.x and the UNT Home Page", University of North Texas, fetched from www.unt.edu/training/UNTHomePage/UNTHomePage.PDF https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

47/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Description of Netscape 4.x user interface, including back icon with press gesture

[Ng98] (*) Ng, Elizabeth; Bell, Tim; and Cockburn, Andy "Improvements to a Pen-Based Musical Input System", OzCHI '98: The Australian Conference on Computer-Human Interaction, 29 November to 4 December, 1998, pp. 230..252, IEEE Press Presto: Handwriting input for musical scores. (See earlier reference.) Additional gestures: right angles, appear simlar to those of ritePen / EverNote. Pop-up menus via gestures, one motion for selection. Cites "Schoolchildren" pen gesture application, Air-traffic control, others. Includes use of velocity in recognizing "flick" gestures, distinct from normal writing speed. Examples of delete/rubout gestures from various systems: dot, squiggle, air traffic control, Penpoint, Graffiti, Windows fro Pe Computing.

[Norand97a] (*) Norand Corporation "PenKey 6622 Pen Computer User's Guide", Norand Corporiation, Cedar Rapids, Iowa Marcy 1997 Pen/slate touchscreen computer with MS-DOS, CIC/Handwriter, PenRight application software. Onscreen virtual keyboard. Windows for Pen Computing (Windows 3.1) or Windows 95 Pen Services (pen extensions to Windows 95)

[Norrie98] (*) Norrie, Moira C. and Signer, Beat "Switching over to Paper: A New Web Channel", Proceedings of 7th Internal Conference on Electronic Paper, Saint Malo, April 1998. Reprint available at www.globis.ethz.ch Digitally encoded paper with (bar code? dataglyph? electronic paper?) information for web links. Compare to Hyperlink

[NovakJL98a] (*) Novak, James L. and Petterson, Ben "Object Locating System", United States Patent 5,764,066, June 9, 1998 Electrostatic/Mutual capacitance proximity sensor for objects: single pair of electrodes to sense distance, multiple pairs of electrodes to determine shape and location of object.

[Oracle98a] (*) Oracle Corp. "Oracle Projects User's Guide", Oracle, 1998 Web-based project management software

[OsawaN00a] (*) Osawa, Noritaka; Asai, Kikuo; and Sigimoto, Yuji Y. "Immersive graph navigation using direct manipulation and gestures", Proc. Virtual Reality Software and Technology VRST 2000, Seoul Koera pp. 147-152 Virtual reality 3-D gestures including zoom (with two fingers of one hand), spotlight (using zoom), lock and unlock gestures

[OsrOnline98] (*) OSROnline "Purpose of the Pen Driver", www.osronline.com/ddkx/w98ddk/pen_0bc1.htm Several pages on Windows 95 DDK Pen-Windows drivers, reference to Programmer's Guide to Pen Services for Microsoft Windows95. "Required Pen Driver Messages", "Other Pen Driver Messages" https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

48/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

(load/unload, configuration, etc.)

[Palm96a] (*) Palm Pilot / 3Com Corporation "Graffiti reference card", 1996 Palm Pilot personal organizer product information Unistroke character set, except for cap lock gesture

[Palm96b] (*) Kairer, Ryan "Palm Pilot 1000 Retrospective", Palminfocenter.com, fetched 2011 PalmOS 1.0, two weeks on two batteries, Graffiti alphabet on back of unit.

[Palm97a] (*) Palm Pilot / 3Com Corporation "PalmPilot Handbook", 3com Corporation, 1997, Part Number 423-0210-01B Resistive-film PDA: gesture full-screen pen stroke activates on-screen virtual keyboard. Graffiti handwriting recognition (unistroke) with separate areas for alphabetic and for numeric handwriting. Shortcut / pigtail gesture, other shortcuts pre-defined are two-letter combinations. Command gestures of single diagonal stroke (command stroke) following by mnemonic character e.g. "C" for cut. Other gesture strokes for cut, copy, next field, etc.

[Palm97b] (*) Palm Pilot / 3Com Corporation "US Robotis announces two new models of Palm Pilot", 3com Corporation, 1997 Resistive-film PDA: TCP/IP connection to desktop computer, portable snap-on (phone) modem for remote connection to desktop computer, Internet Sidekick from Starfish Software

[Palm98a] (*) Palm Pilot / 3Com Corporation "Getting Started with the Palm VII Organizer", 3com Corporation, 1998(fetched 2005) iMessenger phone organizer on Palm VII

[Palm98b] (*) Palm Pilot / 3Com Corporation "Handbook for the Palm VII Organizer", 3com Corporation, 1998 (fetched 2005) iMessenger phone organizer on Palm VII: Web browsing, wireless email.

[Palm98c] (*) Palm Pilot / 3Com Corporation "Palm Exec gives more details on new Palm VII Device", 3com Corporation, 1998(fetched 2005) Palm VII as first PDA with wireless internet connectivity without external or add/on wireless modem

[Palm00a] (*) Palm Pilot / 3Com Corporation "Handbook for the Palm VII Handheld", 3com Corporation, 2000 (fetched 2005) Resistive-film PDA with wireless email via Palm.Net wireless service (pre-smartphone). Web browsing support via webclipping.

[Palm00b] (*) Palm Pilot / 3Com Corporation "Getting Started with the the Palm VII Handheld", https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

49/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

3com Corporation, 2000 (fetched 2005) Resistive-film PDA with wireless email via Palm.Net wireless service (pre-smartphone). Web browsing support via webclipping.

[PanagrossiJ00a] (*) Panagrossi, Jerry "Data Entry Device and Method", United States Patent 6,104,317, August 15, 2000 Stroke keyboard UI: touch in center of button (e.g. phone button), stroke in different directions to get different characters

[PanditMS97a] (*) Pandit, Milind S. and Kalbag, Sameer "The Selection Recognition Agent: Instant Acces to Relevant Information and Operations", Proc. IUI 97, Orlando Florida, pp 47-52 Recognition (by patterns) of phone numbers, dates, proper names in text, which are then turned into clickable links. Cites similar features in Netscape Navigator (email text recognized), others. Highlighting of text by patterns, then clickable?

[PanditMS99a] (*) Pandit, Milind S. "Recognition Of and Operation On Text Data", United States Patent 5,849,636, January 12, 1999 Recognize text (phone numbers, dates) in text, then perform operations on those pattern instances detected: e.g. pop-up menu for Send Mail / Add to Address Book. Highlighting of text by patterns, then clickable?

[ParkinsonK97a] (*) Parkinson, Kelly "Dwell Selection Mouse Button Emulation", Senior Thesis, Ryerson College, Canada, 1997 Mouse button emulation: abstract only Summary only

[Papyrus96] (*) Papyrus Associates: Bill Kania "Recognition by Papyrus: single-stroke character recognition", Papyrus Asscociates, [email protected], www.papassoc.com Unistroke character recognition

[PenComputing96a] (*) Pen Computing Magazine "Handwriting Recognition", 1996(?), http://whiterabbit.com/amug/...PenReport/Handwriting.html Review of Unistroke recognition, PDA products and technology (HWX), mentions UNIPEN / JOT electronic-ink format, styalator Mentions graphics handwriting versus gestures, context example of circle as a drawing, as digit zero, character O, or Edit gesture (in PenPoint).

[PenComputing96b] (*) Pen Computing Magazine "Pen Services for Windows 95 Product Review", Pen Computing Magazine, August 1996, Issue No. 11 PenWindows/Windows for Pen Computing essentially off the market, available only in 2.0 version for https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

50/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

OEMs . Mentions Circle-S/S-circle gesture (for "space"), changes in other gestures

[PenComputing96c] (*) Pen Computing Magazine "Graffiti 2.0 Product Review", Pen Computing Magazine, January/February 1996, Issue No. 8 On Newton: Double-tap gesture in any text entry field to bring up Graffiti input. Mentions split of two areas for alphabetic and for numeric/digit input. Mentions that OmniGo allows input anywhere on the screen.

[PenComputing96d] (*) Pen Computing Magazine "Freestyle 1.0 Product Review", Pen Computing Magazine, January/February 1996, Issue No. 8 Not the Wang Freestyle product: CalliGrapher handwriting recognition from ParaGraph: later used by Microsoft. Comment on difficulties of using editing gestures.

[PenComputing96e] (*) Pen Computing Magazine "CIC Handwriter for Windows 95 Product Review", Pen Computing Magazine, January/February 1996, Issue No. 8 "Scribe" character recognizer for Windows for Pen Computing 2.0: YPad electronic note-taking application. Signature Sentinal uses biometric dynamic signature verification as password.

[PenComputing96f] (*) Pen Computing Magazine "Digitizer Whiteboards", Pen Computing Magazine, May/June 1996, Issue No. 10 Whiteboard digitizing tablets: Microfield Graphics SoftBoard with map-projection and medical applications; Numonics IPM Interactive Presentation Manager with cordless stylus/pen; Smart Technology SMARTboard (using resistive technology) with rear-projection

[PenWindows96a] (*) PenWindows: Microsoft Corporation "Programmer's Guide to Pen Services for Microsoft Windows 95 - PENAPI.HLP", Microsoft system documentation HLP file with documentation on Pen Windows 2.0 -- longer version of material in PenWindows95b. Also provided as part of Windows programming documentation in third-party development tools such as Delphi7. Electronic copy only

[PerkinsR97a] (*) Perkins, Rod; Ludolph, Frank; and Keller, Dan Smith "Inventing the Lisa User Interface", Interactsion, Vol 1. No 1, 1997, pp. 40-53 Desktop manager UI for Lisa Computer (predecessor of MacIntosh), mentions explicit inspiration from SmallTalk. (ACM reprint)

[Perlin98] (*) Perlin, Ken "Quikwriting: continuous Stylus-based Text Entry", Proceedings of ACM UIST '98 conference Compared with Graffitti: single-stroke / unistroke character input, recognizing motions around a circular menu without lifting the pen between strokes (rather than recognizing normal characters): cites T-cube by https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

51/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Venolia

[Perlin00] (*) Perlin, Kenneth "Method and Apparatus for Writing", United States Patent 6,031,525, Febuary 29, 2000 QuikWriting: refers specifically to it as using zones, ergo zone-based recognition, but the "writing" is not normal characters, it is a circular menu, no stylus-lift. See also press announcement "Look Ma, One Hand!" from Microsoft

[PerryTS00a] (*) Perry, Theresa Sue and Dillard, Pamela Ann "Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns", United States Patent 6,160,498, December 12, 2000 Assign vibrating alert patterns (haptic vibration) to particular calls or numbers in a cell phone

[PetzoldC96a] (*) Petzold, Charles "Programming Windows 95", Microsoft Press, 1996 Windows 95 UI and programming guide, 1996.

[PetzoldC99a] (*) Petzold, Charles "Programming Windows: Fifth Edition", Microsoft Press, 1999 Reference manual on Windows "C" Win32 API circa 1999. Described two and three-button mouse, WM_LBUTTON, WM_MBUTTON, WM_RBUTTON messages (p 275), Synchronous nature of messages in event que (p 329), system message queue

[PharesR98a] (*) Phares, Robert "Resistive Touchscreen having Multiple Selectable Regiouns for Pressure Discrimination", United States Patent 5,815,141, September 29, 1998 Resistive touchscreen digitizer with separate regions that can be turned off, e.g. for palm rejection

[Philips97a] (*) Philips Electronics "VELO1 User's Guide -- Windows CE PDA -- 1997 Edition", Philips Electronics / Microsofot, 1997 Windows CE PDA with touchscreen, adjustable properties. User gestures are tap and drag: refernece to text editing using the stylus as one would a mouse. No reference to handwriting recognition.

[Philips98a] (*) Philips Electronics "VELO1 User's Guide -- Windows CE PDA -- 1998 Edition", Philips Electronics / Microsofot, 1997 Windows CE PDA with touchscreen, adjustable properties. Windows CE applications installed from desktop PC with Windows CE Services 2.0.

[Plamondon00] (*) Plamondon, Rejean and Srihari, Sargur N. "On-line and Off-line Handwriting Recognition: A Comprehensive Survey", IEEE Trans. on Pattern Analysis and Machine Intelligence PAMI, January 2000, pp 63-84 Compare with Tappert/Suen survey articles on state-of-the-art in handwriting recognition for 1980 and https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

52/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

1990. Mentions Writer Identification (signature verification and identification), language models for incorporating grammar and dictionary models.

[PluchinoA09a] (*) Pluchino, A; Rapisarda, A.; Garofalo, C; "The Peter Principle revisited: a computational study", Presentation: Econophysics Colloquirum 2009, Centro Ettore Maiorana Erice, Italy, Oct. 25-31, 2009 Game-theory Mathematical model of overcoming Peter Principle (individuals are promoted until they reach a position they are not competent at, and then stay there: thus organizations tend to have managers who are not competent at their job) by promoting people at random. Cites also to 2010 paper with same title, Physica A 389 (2010) 467

[Poyner96] (*) Poyner, Rick "Wintab Interface Specification 1.1: 16- and 32-bit API Reference", LCS/Telegraphics, Cambridge Massachusetts, revised May 9, 1996 Industry-standard driver from www.pointing.com/LCS-Telegraphics to allow all (DOS) applications to use pointing devices (mouse/tablet/touchscreen/joystick/etc.) interchangeably. Wintab/Windows/Pen Windows: mentions tablet sharing, multiple application accessing tablet at once with different services: different tablet context objects for different (concurrent) applications, tablet packets with data for a high report rate. Driver supports command-input area, WT_PACKET window messages.

[PrinceKR96] (*) Prince, Kevin R. "Finger Mounted Computer Input Device", United States Patent 5,581,484, December 3, 1996 Finger-mounted digitizer accelleration "glove" using accellerometers and pressure-sensitive sensors in the fingertips, to detect simulated keyboard and mouse input. Describes simulating a computer text keyboard, and a musical instrument keyboard. Compare to Kaplow.

[Qualcomm98a] (*) Qualcomm Incorporated "Qualcomm Unveils pdQ CDMA Digital Smartphone", Qualcomm Incorporated, September 21, 1998 Announcement of Palm OS pdQ Smartphone / pen-based organizer with wireless internet access via CDMA

[Qualcomm98b] (*) Qualcomm Incorporated "Qualcomm Announces Software Developer's Program for the pdQ Smartphone", Qualcomm Incorporated, November 18, 1998 Announcement of Palm OS pdQ Smartphone / pen-based organizer with wireless internet access via CDMA

[Qualcomm98c] (*) Qualcomm Incorporated "Qualcomm to trial pdQ phone", Qualcomm Incorporated, September 28, 1998 Announcement of Palm OS pdQ Smartphone / flip-down keypad and touchscreen, pen-based organizer with wireless internet access via CDMA

[Qualcomm99a] (*) Qualcomm Incorporated "pdQ Applications Handbook", Qualcomm Incorporated, 1999 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

53/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Handbook for applications on Qualcomm pdQ PALM/OS smartphone: address book, calculator, call history, dialer, email, expenses, modem emulation, browser . Calibration of digitizer / touchscreen (refers to "digitizer"). Gestures using upper-case alphabetics. One-touch dialing gesture. Refers to handwriting (write) input.

[Qualcomm99b] (*) Qualcomm Incorporated "pdQ Basics Handbook", Qualcomm Incorporated, 1999 User manual for Qualcomm pdQ PALM/OS smartphone: address book, calculator, call history, dialer, email, expenses, modem emulation, browser . Calibration of digitizer / touchscreen (refers to "digitizer"). Gestures using upper-case alphabetics. One-touch dialing gesture. Refers to handwriting (write) input.

[RAND98] (*) RAND Corporation "50 Years of Looking Forward", RAND Review, Fall 1998. Available at http://www.rand.org/publications/randreview/issues/rr.fall.98/50.html In 1961, researchers create the RAND Tablet, the first two-dimensional writing surface that allows humans to commuicate instantly with computer through characters printed on a tablet.

[Redhat98a] (*) RedHat-list "Re: four button mice?", [email protected]/msg01799.html, 28 Jun 1998 Posting concerning mapping of UI events for mouse buttons to other UI events, such as keyboard input: four-button multibutton mouse.

[RegisterDS97a] (*) Register, David S. "Hand held computer with dual display screen orientation capability controlled by toggle switches having first and second non-momentary positions", United States Patent 5,661,632, August 26, 1997 Hand-held PDA or touchscreen computer with button to rotate display between landscape and portrait orientations

[RekimotoJ00a] (*) Rekimoto, Jun and Sciammarella, Eduardo "ToolStone: Effective use of the physical manipulation vocabularies of input devices", Proc. UIST '00, pp. 109-117 ToolStone: Small cube with 6 DOF 3D digitizer inside, used to simulate multiple (multi-use) input devices depending on which side is touched "down": french curve, eraser, etc. Bi-manual multi-touch input combined with stylus of Wacom tablet,

[REX98a] (*) www.starfish.com "What is REX?", www.mcmullon.com/rexreviews/whatisrex.htm, www.starfish.com, 1998 Handheld PDA product by Phillipe Kahn, Franklin Electronic Publishers, Starfish Software, and Citizen's Watch. No touchscreen interface, on-screen alphabetic keyboard accessed by physical scrolling buttons. Electronic file contains additional materials.

[ReynoldsAR96a] (*) Reynolds, Aaron R.; Adler, Dennis R.; Lipe, Ralph A.; Pedrizetti, Ray D.; Parsons, Jeffrey T.; and Arun, Rasipuram V. "Common name space for long and short filenames", United States Patent 5,579,517, November 26, 1996 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

54/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Long and short (8.3) filenames on extended version of Windows FAT file system, for backwardscompatibility with MS-DOS programs.

[RheingoldH00] (*) Rheingold, Howard "Tools for Thought, Chapter Eleven: The Birth of the Fantasy Amplifier", M.I.T. Press, 2000 History and interview with Alan Kay on Dynabook. Refers to Sketchpad electronic ink (?) graphics editing. Lengthy discussion of Dynabook, but all references are to mouse (not stylus/tablet) and keyboard, no mention of handwriting recognition.

[RichardsonFB96] (*) Richardson, Frederic B. III "System for Software Registration", United States Patent 5,490,216, Feburary 6, 1996 Copy-protection system generating a license code from information of the system on which the software will execute See also Uniloc and Bluecava for additional materials

[Rocha00] (*) Rocha, Manuel Antonio "Handwriting Template System", United States Patent 6,142,783, November 7, 2000 Physical/mechanical guide template, like those used for drfting lettering, as a guide to the correct writing of cursive script. Compare to restricted templates for doing Unistroke characters within a small mechanical box

[RojasR00a] (*) Rojas, Raul; Knipping, Lars; Raffel, Ulrich; and Friedland, Gerald; "Elektronische Kreide: Eine Java-Multimedia-Tafel für den Präsenz- und Fernunterricht", Technical Report B-17/2000, Freie Universit&aumo;t Berlin, Institut für Informatik, October 2000. Available at www.match.tu-berlin.de Research group investigating various whiteboard systems for university instruction and remote education, using commercial products. Real-time participation in class using web browser, including interactive audio and video streams.

[RosenbergLB97a] (*) Rosenberg, Louis B. and Brave, Scott B. "Method and Apparauts for providing Force Feedback for a Graphical User Interface", International Published Patent Application WO 97/21160, June 12, 1997 Add force feedback to a mouse or other input device to indicate sliders, buttons, scrollbars, windows, and other components of a GUI

[RosenbergLB00a] (*) Rosenberg, Louis B.; Schena, Bruce M.; Brave, Scott B. "Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object", United States Patent 6,078,876, June 20, 2000 Pantographic 3-D stylus digitizer, including menu input by pantographic stylus, menu in work area.

[Rosenthal97] (*) Rosenthal, Amy S., Hu, Jianying, and Brown, Michale K. "Size and Orientation Normalization of On-Line Handwriting Using Hough Transform", IEEE International https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

55/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Conference on Acoustics, Speech, and Signal Processing, April 21-24, 1997, Munich, GermanyMulti-Dimensional Signal Processing Poster Session MDSP6P.13 Vol. 4, pp. 3077 Correct for rotation, base-line drift in on-line recognition: claims 25% improvement in recognition accuracy, but does not describe recognizer or how the improvement was measured Boundary-line extraction, backtrack strokes: appears to be segmenting cursive/connected text at local Y extrema

[RuedisueliLW98] (*) Ruedisueli, Laurence, W. and Wilfong, Gordon Thomas "System and Method for Processing and Managing Electronic Copies of Handwritten Notes", United States Patent 5,838,819, November 17, 1998 Filing and archiving system for electronic-ink handwritten notes. Identifiers for each page/sheet of writing, so that pages can be recalled. Identifiers left open to be numeric, graphical icons of the page, sequential, etc.

[SalcudeanSE98a] (*) Salcudean, Septimiu Edmund, and Kelly, Allen J. "Controller", United States Patent 5,790,108, August 4, 1998 Force-feedback haptic mouse. Also see 1993 "MagicMouse: Tactile and Kinesthetic Feedback in the Human-Computer Interface using and Electromagneticlaly Actuated Input Device with Two or Three Degrees-of-Freedom" and "Electromagnetic Force-Feedback Mouse for the SUN SPARCstation: Prototype Design Document" (1992)

[SanemitsuY98a] (*) Sanemitsu, Yoshikado "IC Card Having Camera, Microphone and Modem for use in Information Processors", United States Patent 5,708,853, January 13, 1998 IC card (PCMCIA?) with video and microphone for wireless teleconferencing: shows use in portable laptop. Camera and microphone can be integral to housing, or external. Cites to 1995 proposed standards for PCMCIA video cards.

[Sarkar98] (*) Sarkar, Sudeep "Case of Vermont Microsystems Inc. vs. Autodesk", Available at http://courses.cs.vt.edu/~cs3604 Case study in course on ethics: Prepared during NSF Workshop on Teaching Ethics and Computing. Otto Berkes, later director of Origami / UMPC project at Microsoft, trade-secret lawsuit between VMI and Autodesk on misappropriation of proprietary information

[SchifferS98f] (*) Schiffer, Stefan "Visuelle Programmierung: Grundlagen und Einsatzmoeglichkeiten", Addison-Wesley, Munich, 1998 Publication of Ph.D. dissertation on visual programming: Shows virtual slide switch from LabView from 1994

[SchilitBN98a] (*) Schilit, Bill N.; Golovchinsky, Gene; and Price, Morgan N. "Beyond Paper: Supporting Active Reading with Free Form Digital Ink Annotations", Proc. CHI 98, Los Angeles, CA, pp. 249-256 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

56/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

XLibris: Electronic ink mark-up of documents shown in commerical pen-tablet display as a "Reader's Notebook", permitting search on annotation text -- compare with later developments on Microsoft Tablet PC, earlier work by Slate on DayTimer. Distinguishes between annotations related to book text, and notes which are not related. Gestures more convenient than barrel button. Uses Muto pen/tablet display tethered to Windows 95 PC -- no mention of W4PC/PenWindows? Press-and-hold: Dwell gesture instead of barrel button, barrel button is mouse 2nd button?

[SchmidtA99a] (*) Schmidt, Albrecht; Beigl, Michael; and Gellersen, Hans-Werner "Sensorbased adaptive mobile user interfaces", Proc. HCI '99, pp. 251-255 Smartphone, PDA other devices adapt UI user interface to context of environment or user action: sensor for orientation change orientation of display (orientation-aware), ambient light for contrast, etc. Shows screen orientation of Apple Newton, but notes that it was not much used by users.

[SchneidermanR97a] (*) Schneiderman, Ron "Future Talk: The Changing Wireless Game", IEEE Press, 1997 Review of Wirelesscommunication standards 1997, slightly pre-smartphone (although post-IBM-Simon, etc.) Includes glossary/definitions of telecommunications terms

[SchneidermanR99a] (*) Schneiderman, Ron "A Manager's Guide to Wireless Communications", American Management Association Press, 1999 Review of Wireless/smartphone communication circa 1999, including wireless internet access, wireless teleconferencing including web browser by DEC Mobile Computing and Communications Appliance, and Deutsch Telekom. Front cover: stylus/pen smartphone -- IBM Simon?

[SchoedlA97] (*) Schoedl, Arno "The NewtonScript Programming Language", www.cc.gatech.edu, source notes for CS 6751, Fall 1997 Description of NewtonScript programming language, includes discussion of slots and dual inheritance through both prototypes and parent class heirarchy

[SchoeningJ09a] (*) Schoening, Johannes; Krueger, Antonio; and Olivier, Patrick "Multi-touch is dead; Long live multi-touch", Proc. CHI 2009, April 2009, Boston Opinion piece on multi-touch having a 25 years history before Jeff Han and the iPhone from Apple, many designs not taking into account 25 years of HCI lessons learned (esp. Buxton)

[Schomaker96] (*) Schomaker, L. "The NICI stroke-based recognizer of on-line handwriting", Available at http://hwr.nici.kun.nl/recog/nici-stroke-based-recognizer.html Velocity-based stroke: uses changes in stroke velocity to recognize the segmentation of characters: does not work with children's handwriting or handwriting with tremor. Makes use of UNIPEN software, refers to "Papyrus" project from 1990. Refers to other paper on handwriting recognition system based on human motor system. Points out some of the factors making it hard to judge recognition accuracy: count accuracy by letters or words, selection of test data, diversity in background of writer subjects, confusion of training and test sets, etc. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

57/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[Schumer98] (*) Schumer, Alfred L. "Digitizer Interface", United States Patent 5,768,492, June 16, 1998 Subdivide digitizer tablet into virtual tablet areas in different parts of the tablet surface: patent is to software, but disclosure is to hardware implementation only. See files on Schumer and LCS/Telegraphics.

[SciammarellaE00a] (*) Sciammarella, Eduardo "Interactive control of audio outputs on a display screen", United States Patent 6,081,266, June 27, 2000 Touchscreen user interface for audio outputs: make icon larger for louder, move graphical object to change balance. Compare with Buxton audio control panel?

[Scribens99] (*) Scribens Research Laboratory of Ecole Polytechnique Montreal "Bibliography of publications", Available at http://www.scribens.polymtl.ca/publications.html Lists publications and patents by Plamondon, Privitera, Guerfali, Djezire, Nouboud, Barriere, Parizeau, Clergeau-de-Tournemire, Leclerc, Sabourin, Beaumier, Brault, Yergeau, Suen, Chouinard, Lorette, Clement, Stelmach, Schomaker, Baron, Beauregard, Gagne, Robillard, Poussart, etc. Signature verification, electronic ink data compression formats, Human recognition accuracy, Fuzzy syntax for script recognition, normalization of handwritten characters, more

[Scriptel97a] (*) Scriptel Holding "Scriptel Holding annual report (10-K)", Scriptel Holding, available at sec.edgar-online.com, Marcy 27 1997 Scriptel electrostatic/capacitive digitizer can sense touch and proximity and is durable, unlike directo contact touch screen technology; is less subject to noise than electromagnetic digitizer in a lyare, and more robust and higher resolution than membrane pressure-sensitive digitizer touchscreen.

[Sekendur98] (*) Sekendur, Oral F. "Absolute Optical Position Determination", United States Patent 5,852,434 Digitizer tablet "smart paper" that puts a printed code on paper, position is read by optical sensor in the stylus tip. Compare with technology by Anoto et al.

[Selker99] (*) Selker, Ted "Style and Function of Graphic Tools", Graphics Interface GI'99 Online Papers: www.graphicsinterface.org Essay reviewing graphical user interfaces, including position input, no mention of gestures or handwriting recognition

[SensorySoftware99a] (*) Sensory Software Inc. "HandsOff: on-screen keyboard", Sensor Software, 1999 On-screen keyboard, rectangular grid display, intended for severely handicapped users. Any pointing device may be used -- e.g. head-mounted pointer, does select on "dwell" gestures as substitute for touch or mouse click.

[ServanSchreiberF99a] (*) Servan-Schreiber, Franklin "Display of multiple images based on a https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

58/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

temporal relationship among them with various operations available to a user as a function of each displayed image size", United States Patent 5,973,691, October 26, 1999 User interface for photographs, more recent images are larger and in front. User can tap/select images. Larger images have more options available for labeling and editing. Mouse input.

[ShneidermanB00a] (*) Shneiderman, Ben; Kang, Hunmo "Direct Annotation: A Drag-and-Drop Strategy for Labeling Photos", Proc. IV '00, Intl. Conf. on Information Visualisation, Wash. DC 2000 IEEE Computer Society Annotate/label personal photo collections by drag/drop of names onto correct part of image, and into list boxes on sides, etc. Mouse or touch screen (direct manipulation), text values only ever entered first time of use via keyboard.

[Sklarew99a] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", United States Patent 6,002,799 assigned to AST Research, Inc., Irvine, California, December 14, 1999 Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Abstract reads almost identically to Sklarew patent 4,972,496: this one refers to "terminal disclaimer" Very long list of prior art

[Sklarew99b] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", United States Patent 5,933,526, assigned to AST Research, Inc., Irvine, California, August 3, 1999 Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Abstract reads almost identically to Sklarew patent 4,972,496: this one refers to "terminal disclaimer" Specific to learning mode where adaptive recognition must be taught from initial state

[Sklarew00] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", United States Patent 6,064,766, May 16, 2000 Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Abstract reads almost identically to Sklarew patent 4,972,496: this one refers to "terminal disclaimer" actions are confirmed specifically by reverse-video of the field operated upon

[SmailagicA99a] (*) Smailagic, Asim; Siewiorek, Dan; Iannucci, Bob; Dahbura, Anton, and Bass, Len "MoCCA: A Mobile Communication and Computing Architecture", Mobile Computing and Communications Review, Vol 3, No 4, 1999, pp. 39-45 Early smartphone/communicator prototype, included web server and servles, pcAnywhere, Phone dialer (OTS software), browser for wireless communications. Display video, touchscreen interface.

[SmithDC98a] (*) Smith, David Canfield and Irby, Charles H. "Xerox Star Live Demonstration", CHI 98, p. 17, 18-23 April 1998 (Demonstrations) Xerox Star (1970s) had very few discrete named command or menus items: presentation on consistency https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

59/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

and context. gestures? File contains poster paper, not the video

[SmithiesCPK98] (*) Smithies, ChristopherPaul Kenneth; and Newman, Jeremy Mark "Document And Signature Verification System and Method", United States Patent 5,818,955, October 6, 1998 signature verification system, primarily about the use of a data envelope that includes identity information, and a record of the "gravity prompt" message displayed to user to inform user about the seriousness of signing. Also claims use of signed checksum on document.

[SmithiesS99] (*) Smithies, Steve, Novins, Kevin, and Arvo, James "A handwriting-based equation editor", Proceedings of Graphics Interface '99, pages 84-91, Kingston, Ontario, June 1999 Two-dimensional input with handwriting recognition for mathematics: features include showing parsing in real-time, with an eight stroke delay, showing bounding boxes on all characters/groupings as an aid to user understanding parsing. User can edit strokes, select alternate recognition results, and edit grouping/parsing of strokes.

[Spiegel99a] (*) Der Spiegel "Der Palm VII - der erste "Online Palm"", Der Spiegel, 17 Nov. 1999 Review of early 1999 release of Palm VII, with live internet connections: email, multimedia, WAP-handy (cellphone)

[StewartJ99a] (*) Steward, Jason; Bederson, Benajamin B.; and Drui, Allison "Single Display Groupware: A Model for Co-present Collaboration", Proc. ACM CHI'99 Conf., May 15-20, 1999, pp. 286-293 Multiple users sharing single display (whiteboard), but from separate workstations/PDAs with touchscreen. Asks question about accessibility using audio output for the blind/visually impaired for groupware/whiteboard.

[StrickonJ98a] (*) Strickon, Joshua and Paradiso, Joseph "Tracking Hands Above Large Interactive Surfaces with a Low-Cost Scanning Laser Rangefinder", Proc. ACM CHI'98 Conf., Paris 21-23 1998, Los Angeles Multipoint touchscreen interface using video shadow projection: shadowing of one hand by another resolved by adding inertia / extrapolating motion of hidden hand.

[Subrahmonia00] (*) Subrahmonia, Jayashree and Zimmerman, Thomas "Pen Computing: Challenges and Applications", Proceedings of ICPR 2000 (pre-print) Short overview of pen-computing: refers to ultrasonic/acoustic digitizer, also barcodes like that of Anoto but different Gives limiting factors for acoustic/sonic digitizer, at 50 dpi due to air currents, etc. Optical pattern digitizer building up mosaic of images from normal paper: not clear that they ever actually evaluated such a device https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

60/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[SymbolTechnologies96] (*) Symbol Technologiess "PPT 4600 Software Development Kit and Getting Started for DOS and Windows", Symbol Technologies Inc., One Symbol Plaza, Holtsville, New York Cross-development tools for low-end embedded pen computers: Support for DOS and Windows. Appearts to be a third-party package (Windows for Pen computing / Pen-Windows, and MSDOS). Hardware is a ruggedized single-hand (large, but with strap) unit with built in scanner for barcodes (two-dimensional bar codes PDF417).

[Synaptics97a] (*) Synaptics Inc. "Synaptics TouchPad C++ API, Revision 1.5", Synaptics.com, 1997 API for Synaptics capacitive touchpad/digitizer, sensing both position and contact area (force/pressure). Includes virtual scroll bar in separate area of TouchPad surface, scrolling by edge pressure at edge of surface. Includes press gesture (press-and-hold?): drag, draglock, tap gestures (started in separate area of tablet?) Includes proximity sensing. Supports connecting multiple tablets.

[TacTex00a] (*) TacTex Controls Inc. "MTC Express Guide multitouch touchpad: Owner's and Developer's Guide, Version 1.1", TacTex Controls Inc., April 20, 2000 optical-fiber multi-touch controller, shows map of fingertip images for five fingers as part of installation verification. Normalization process to calibrate touch response (taxel == touch pixel) with interpolation for higher resolution. "C" API reference.

[TakahashiT99a] (*) Takahashi, Tomoichi and Kuzuya, Mikio "3-D Input Device Using a Ball Rotation Interface", Proc. 8th Int'l. Conf. on Human-Computer Interaction, Munich Germany, Aug 22-26, 1999, Vol. 1 pp 397-401 3D three-dimensional input, using trackball (3D orientation) on top of joystick (X/Y) and up/down buttons (Z position)

[TarrC00a] (*) Tarr, Christopher; Salisbury, J. Kenneth Jr.; Massie, Thomas Harold; and Avilies, Walter A. "Method and apparatus for generating and interfacing with a haptic virtual reality environment", United States Patent 6,084,578, July 4, 2000 Interfacing a haptic device/display with a virtual reality environment, using a model of the compound objects of the virtual reality environment. Many references.

[TaylorAG97a] (*) Taylor, Ashley George "WIMP Interfaces: CS6751 Tpicv Report: Winter '97", www.cc.gatech.edu Review of WIMP user interfaces: cites to Smalltalk visual lanaguage in early 1970s. and Sketchpad from 1963. Mentions metaphors of buttons and controls resembling those on a video editing deck,

[TaylorS96] (*) Taylor, Scott "Pen for OS/2 Update", Pen Computing Magazine, Issue #8 January/February 1996 Review of WARP, Pen extensions to OS/2. Mentions desktop Pen PC using external tablet. Cursor change https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

61/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

to indicate in user interface when over a handwriting free-form input field.

[TisueS98a] (*) Tisue, Seth "Indie Version History: New Stuff, 26 Jun 1998", Internet posting June 26, 1998, available at www.cs.northwestern.edu/~riesbeck/indie/versions.html Minimum movement threshold of five pixels to initiate a drag to prevent problem of inadvertently moving/dragging an object (widget) when user's intent is to select or edit the object.

[Tou96] (*) Tou, Frederich N. and Capps, Stephen P. "Method and apparatus for inserting text on a pen-based computer system", United States Patent 5,528,743, assigned to Apple Computer, Inc., June 18, 1996 Automatic recognition of handwritten text in the context of paragraphs: text is either placed into the appropriate place in an existing paragraph, or starts a new paragraph Shows use of writing baseline

[Tou96a] (*) Tou, Frederich N. and Capps, Stephen "Method and apparatus for inserting text on a pen-based computer system", United States Patent 5,528,743, assigned to Apple Computer, Inc., June 18, 1996 Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990. Compare to van Raamsdonk, Pencept, and CIC? Text-editing, determining whether input is text, and location/targetting in relation to an existing paragraph. (Compare with Slate?)

[TreeseW00a] (*) Treese, Win "Putting it Together: Going Wireless", netWorker, June 2000, pp. 9-12 Overview of wireless smartphones circa 2000: OmniSky Palm Vx with NovAtel wireless modem, Palm VII, Spring PCS Wireless Web, NeoPoint 1000 RIM 950 Wireless handheld. Some use touchscreen but not cited in article.

[Trinder99] (*) Trinder, Michael "The computer's role in sketch design: a transparent sketching medium", in Computers in Building: Proceedings of the CAAD Futures 99 Conference, Kluwer Academic Publishers, Boston 1999 Includes overview/survey of sketch input systems: electronic cocktail napkin, Bill Buxton. Compares mouse to drawing with a brick, pressure-sensitive tablet and use of tilt in user interface.

[TrumanTE98a] (*) Truman, Thomas E.; Pering, Trevor; Doering, Roger; and Brodersen, Robert W. "The InfoPad Multimedia Terminal: A Portable Device for Wireless Information Access", IEEE Trans. on Computers, Vol 47, No 10, October 1998, pp. 1073..1087 InfoPad: prototype portable wireless device for Video, PDA, text. Presumes pen/touch user interface, and speech recognition via a server, instead of keyboard. Focus is on low power hardware circuitry and components. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

62/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[TurkM99] (*) Turk, Mathew "Chapter 10: Gesture Recognition", Draft manuscript for "Handbook" project: Available at vehand.engr.ucf.edu/handbook Gesture recognition, but primarily about hand and body gestures, not tablet/stylus gesture recognition for a computer GUI. One review section on Pen-based Gesture Recognition. PenPoint/GO is notable by not being mentioned: author 's address is at Microsoft Research. Only citation before 1991 is to Sketchpad.

[UKA99] (*) Interactive Systems Labs, CMU and Uni Karsruhe "Publications on Neural Nets, Speech, Multimodal and Natural Language Processing", http://isl.ira.uka.de/ISL.publications.html Source of Jaeger abstracts on handwriting recognition: lip-reading, speech recognition and UIs mostly.

[UllmerB97a] (*) Ullber, Brygg and Ishii, Hiroshi "The metaDESK: Models and Prototypes for Tangible User Interfaces", Proc. UIST 97, Banff, Alberta, Canada, pp. 223-232 Combine physical objects ("phicons" -- physical icdons) and graphical objects ("icons") in one user interface. Two-hand (multi-touch) zoom/rootate using physical bar with two sensor pucks. Most objects tracked optically.

[UlrichRR96a] (*) Ulrich, Robert R. "Method and Apparatus for a Recognition Editor and Routine Interface for a Computer System", United States Patent 5,566,248, October 15, 1996 Pen input area with text recognition (on Newton?)

[Unigraphics00] (*) Unigraphics User Museum "Miscellaneous Junk", http://www.uguser.org/home/museum/hall/Misc_junk.htm Collection of early Unigraphics tablet/pointing devices: Textronix Data Tablet, Spaceball threedimensional joystick/pointing device, UGDD Unigraphics Detail Drafting tablet overlay, showing menus for keystroke macros (CAD UI menus on tablet digitizer) or GRIP programs, McDonnel Douglas

[UreMJ99a] (*) Ure, Michael J. "Touch-sensitive keyboard mouse", United States Patent 6,982,302, November 9, 1999 multiple simultaneous touches used for touch-sensitive keyboard with chording: one-handed keyboard using multiple key depressions -- touch-tone keyboard layout, or for one-hand PDA-type device. Any kind of multi-touch sensor may be used. Automatic registration of fingers by having space (most frequent character) be all four fingers.

[UreMJ00a] (*) Ure, Michael J. "Touch-sensitive keyboard mouse and computing device using the same", United States Patent 6,107,997, August 22, 2000 multiple simultaneous touches used for touch-sensitive keyboard with chording: one-handed keyboard using multiple key depressions -- touch-tone keyboard layout, or for one-hand PDA-type device. Touch sensor shows images of fingertips. Any kind of multi-touch sensor may be used.

[vanCruyningenI98a] (*) van Cruyningen, Izak "Popup Menus with Directional Gestures", United States Patent 5,805,167, September 8, 1998 https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

63/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Mentions marking menus / pop up context menus. When a menu pops up in response to a gesture, user can move stylus to selected item from the menu without lifting the pen beforehand. Popup menus include Japanese katakana, icons, numeric keypad/keyboard.

[Videotile99] (*) Videotile: AT&T Laboratories "The Videotile", AT&T Laboratories, Cambridge Massachusetts Tablet digitizer and display, refers to sending raw analog video to the device rather than processing the video stream in the terminal: mentions Papyrus Associates and Allegro handwriting recognition. Recognition algorithms execute on separate server processor, not in local firmware

[VincentN00] (*) Vicent, N. and Dorizzi, B. "A Fractal Justivication of the Normalization Step for Online Handwriting Recognition", Proc. 7th International Workshop on Frontiers in handwriting Recognition, pp. 535-540 Cites to REMUS recognition software: handwriting recognition, application of fractal models to determine charactertistics which do not vary based on tablet resolution, writing speed, or writing size. Automatic scaling of sizes?

[VirtualInk97] (*) Virtual Ink corporation "Virtual Ink Corporation: The Company & The Product", entrepeneurship.mit.edu/15975/VirtualInk_CompanyProduct.pdf Business Plan and profile for the epen / e*pen product, an electromagnetic digitizer to retrofit to a large existing whiteboard, bundled with remote whiteboarding application software

[Wacom97a] (*) WACOM Company Ltd. "WACOM PenPartner User's Manual for Windows", Wacom Company, May 21, 1997 PenPartner digitizing tablet with UltraPen for Window 3.1, Windows95 and Windows NT 4.0. Forcesensing (pressure-sensitive) stylus with side button, and eraser tip on back end of stylus (similar to Wang Freestyle). Tablet/Mouse driver. Shows using stylus to erase text (with eraser cursor/icon) in WordPad. Both absolute positioning and relative (mouse) positioning motion, user selectable. Side button programmable to simulate keyboard modifier keys for size, drag, etc.

[WagnerK99] (*) Wagner, Kirsten "Informations- und Wissensorganisation anhand raeumlicher Ordnungsmodelle: Das "Spatial Data-Management System" der "Achitecture Machine Group" als Fallbeispiel", Position Statement, Internationale Zeitschrift fuer Theorie und Wissenschaft der Architektur, ISSN 1439-8363, Wolkenkuckucksheim, 1999 Review of data-access models using graphical representations: shows Memex system of Vannevar Bush, showing stylus input (with digitizer tablet? Telautograph?) for hand-written electronic ink, possibly handwriting recognition to insert "code symbols" as annotation and linking information on a document. Photograph of Sketchpad by Sutherland, 1963.

[WalrathK99a] (*) Walrath, Kathy and Campione, Mary "The JFC Swing Tutorial: A Guide to Constructing GUIs", Sun Microsystems, 1999 Java Swing: Layout Managers for positioning GUI elements at runtime (not an IDE), Limited support fo https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

64/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

Accesibility API com.sun.java.accesibility.util and AccessibleJComponent base class, documentation for accessibility on included CD-ROM.

[WalshN99a] (*) Walsh, Nancy "Learning Perl/Tk", O'Reily & Associates, 1999 Mapping between UI events and mouse buttons in Perl

[Wanderley00] (*) Wanderley, M.M. and Battier, M, eds. "General Bibliography on Gestural Control in Music", Reprint from "Trends in Gestural Control of Music", 2000, Ircam - Centre Pompidou Very long bibliography: mostly about gestures of music conductors, but contains some references to written gesture recognition with stylus and digitizer. Also contains references to recognition of American Sign Language gestures.

[WardJR96] (*) Ward, Jean Renard, Barret, David M., Martin, Patricia A., and Mokoski, Christopher D. "User Interface having Simulated Devices", United States Patent 5,491,495, assigned to Wang Laboratories, Lowell, Massachusetss, February 13, 1996 Simulated virtual soft keyboard, handwriting recognition, simulated mouse input, in a GUI implemented in a separate processor from the main processor.

[WeimerC98a] (*) Weimer, Clay "The Story of MobilePoint", www.allaboutcocoa.com/golucent/storyofmo.doc, fetched July 6, 2011 History of MobilePoint through approximately 1998. MobilePoint spin-off/spin-out from GO/PenPoint, field sales force application, user interface and features reminiscent of PenPoint's notebook metaphor. MobilePoint acquired other GO/PenPoint third-party application provides in pen computing. Mentions history of PenPoint/Windows for Pen Computing/Microsoft PenWindows. State Farm used 5000 pen computers (PenPoint) with field representatives. IBM took over maintenance of PenPoint code for ThinkPad 730T pen computer. Claims first use of Smart PHone as product name, PenPoint documentation went to unknown third party. Source code for Numero and MagicScript acquired from PenMagic/Pivotal, Gnosis from Deskin.

[WellsND99a] (*) Wells, Nichola D. "Teach Yourself KDE 1.2 in 24 hours", SAMS Publishing, 1999 Guide for KDE window manager for Linux/Unix: Describes configuration UI for mouse, thresholds for acceleration on movement, and threshold for minimum distance in a short period of time for mouse draggesture movement to go into accellerated speed: compare with flick gesture? KDE 2.0 also has minimum drag distance, minimum number of pixels movement before a drag is started.

[WestermanW99a] (*) Westerman, Wayne "Hand Tracking, Finger Identification, and Chordic Manipulation on a multi-touch surface", Ph.D. dissertation, U. Delaware, Spring 1999 Refers to hotscroll continuous scrolling on OS/2 by Samual Audet, and Autoscroll (scrolling momentum) by a four-finger gesture without decelerating. Multi-touch gestures Partial printed copy, full electronic copy. https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

65/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[Wikipedia97a] (*) Wikipedia.org "PalmPilot", wikipedia.org, fetched 2011 History of Palm Pilot touchscreen PDA with Graffiti/unistroke handwriting character recognition, Memo Pad, To Do List, two scroll buttons.

[WilcoxLD97a] (*) Wilcox, Lynn D.; Schilit, Bill N.; and Sawhney, Nitin "Nick" "Dynomite: A Dynamically Oranganized Ink and Audio Notebook", Proc CHI 97, March 1997, pp. 186-193 Ink and Audio annotation system similar to Freestyle, but with a number of gestures: drag-rectangle to select, tap to select, horizontal line for new page, etc.

[Willey97] (*) Willey, Mark "Design and Implementation of a Stroke Interface Library", Technical report, Department of Electrical and Computer Engineering, Purdue University, March 24, 1997 Simple zone-based (here called "bins") single/uni-stroke recognition for command input: compare specifically to PenCept "Recognition Macros" of 1985

[WilsonAD00] (*) Wilson, Andrew David "Adaptive Models for the Recognition of Human Gesture", Ph.D. Thesis, M.I.T, Feburary 2000 Gesture recognition (hand and body gesture) for interactive demonstration "Swamped!". Gesture of hand inside a puppet.

[WindowsSystemJournal98a] (*) Windows System Journal "Microsoft Windows CE 2.0: It's Not Just for Handheld PCs Any More", Windows System Journal, May 1998: available at http://www.microsoft.com/msj/0598/wince.aspx Windows CE on Handheld PC (with physical keyboard), Palm-size PC (with handwriting recognition or pop-up virtual keyboard), Auto PC (for automobile touchscreen), Pocket Explorer. Palm-size PC (P/PC) include Casio Cassiopeia E-10, www.casiohpc.com with MIPS processor (not Intel)

[WinogradT99a] (*) Winograd, Terry and Guimbretiere, Francois "Visual Instruments for an interactive Mural", Proc. CHI 99, 15-20 May, 1999, pp. 234-235 Optically-tracked laser pointer digitizer: both a stationary click (turn on laser while close) and marking menu by sweeping laster pointer across an action bar (side of octagon for pie menu). Five gestures like Xerox STAR menu items (cut, copy, paste, undo gestures: sweep gesture across action bar. Universal menu gesture can be used anyplace for large-size display: press-and-hold? it refers to pie menus and Kurtenbach

[WolfeA00] . Wolfe, Andrew Lawrence and Barrett, Gary Lloyd "Multi-modal touch sensitive peripheral device", United States Patent 6,037,930, March 14,2000 Resistive film digitizer used to implement various virtual devices: joystick mode, mouse mode, absolute mode, keypad mode Compare to Kaplow? https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

66/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

[Yaeger98] (*) Yaeger, Larry S., Webb, Brandyn, J. and Lyon, Richard F. "Combining Neural Networks and Context-Driven Search for On-Line, Printed Handwriting Recognition in the Newton", Preprint from AAAI "AI" Magazine, Spring 1998. Available at www.beanblossom.in.us/larryy/ANHR.html Newton "hand-printing" (versus the "cursive") recognition: character classifiers, integrated multiple representations, normalized output error, negative traigning, stroke warping (elastic matching?), frequency balancing, error emphasis, quantized weights Mentions extension to cursive as a "challenge" -- which implies that it didn't work?

[Yaeger98a] (*) Yaeger, Larry S. "Neural networks provide robust character recognition for Newton PDAs", IEEE Expert, 1998(?) Copy on file does not give date: also available at http://www.beanblossom.in.us/larryy/ANHR.IEEEExpert.html Mentions use of dictionaries, special contructs for dates, time, phone numbers, and ability to write words that are outside the dictionaries: general use of context information Separate references look like patents were pending on several of these features Frequency balancing/weighting in ANN / Adaptive Neural Networks: under-represented writing styles are a problem, such as a three-stroke "5" variant

[YuW00a] (*) Yu, Wai; Ramloll, Ramesh; and Brewster, Stephen "Haptic Graphs for Blind Computer Users", Proc. 1st Intl. Workshop on Haptic Human-Computer Interaction, pp. 41-51 Three-dimensional 3D force-feedback electromechanical digitizer for visualizing simple graphs and 3D surfaces for the blind and visually impaired. Adding auditory feedback and texturing aids in the perception of the surface: compare with SciAm article on multi-sensate integration.

[ZDNet98a] . ZDNet.com "Palm VII ist auf Draht", ZDNet / News, 3. December, 1998 Announcements of Palm VII by 3Com, including wireless network, browser (Netscape), eMail. Palm V with similar features previously announced.

[Zeleznik96] . Zeleznik, Robert C., Herndon, Kenneth P., and Hughes, John F. "SKETCH: An interface for sketching 3D scenes", In Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, page 163-170, August 1996 Cited in Arvo00

[ZeleznikRC97a] (*) Zeleznik, Robert C., Forsberg, Andrew S; Strauss, Paul S. "Two Pointer Input for 3D Interaction", 1997 Symposium on Interactive 3D Graphics, Providence RI, pp. 115120 Two-handed user interface using two independent cursors: prototype using Wacom tablet with simultaneous touch and stylus

[ZettsJM99a] (*) Zetts, John Mark and Desrosiers, Maurice Roger "Distinguishing gestures from handwriting in a pen based computer by size discrimination ", United States Patent 5,862,256, https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

67/68

10.2.2015

(1996..2000) History of Pen and Gesture Computing

January 19, 1999 Size/dimension threshold for tap gesture is smaller if character recognition is also enabled, to allow user to use both tap and small characters like periods

[ZettsJM99b] (*) Zetts, John Mark and Desrosiers, Maurice Roger "Distinguishing gestures from handwriting in a pen based computer by stroke analysis", United States Patent 5,864,635, January 26, 1999 Bounding rectangles to segment strokes into likely words: use this information plus size to distinguish writing from gestures.

[ZettsJM00a] (*) Zetts, John Mark and Desrosiers, Maurice Roger "Method of and System for Facilitating User Input into a Small GUI Window Using a Stylus", United States Patent 6,049,329, April 11, 2000 When user starts writing on text field, bring up larger rectangle to write in. If just tap in text field, select it.

       Main Reference Page       

https://web.archive.org/web/20130502040444/http://rwservices.no-ip.info:81/pens/biblio00.html

68/68

10.2.2015

(2001..2005) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio05.html

Go

45 captures

JAN MAI SEP

2

2012 2013 2014

6 Apr 08 - 5 Nov 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 2001 to 2005. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:53 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio05.html http://216.15.114.196:81/pens/biblio05.html http://rwservices.no-ip.info:81/pens/biblio05.html (Generally most up-to-date)

       Main Reference Page        [AdvancedRecognitionTechnologies02] (*) Advanced Recognition Technologies "smARTspeak NG, simpliWrite, smARTWriter product descriptions", http://www.artcomp.com, 43 Brodezky Street, POB 39918, Tel-Aviv, 61398, Israel

Product literature on 'Noise Robust', handwriting and speech recognition products. Mentions special support for left-handed handwriting input. Says special writing areas and gestures are not required, but also mentions support for macro gestures. Appears to be the former ParaGraph recognition technology. Speech recognition in TI/Texas Instruments C55x DSP chips. Multilingual handwriting recognition, Roman/Chinese/special symbols. Presents user with a recognition result at the end of every character: similar technique used in Wang Freestyle laptop with simulated devices in 1987 (see Martin/Ward/et-al patent: though not mentioned there).

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

1/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[AlbinssonPA03a] (*) Albinsson, Par-Anders and Zhai, Shumin "High Precision Touch Screen Interaction", Proc. CHI 2003, April5-10, 2003, Ft. Lauderdale, USA

Touchscreens advantageous over physical keys and switches because control surface is overlaid on display. Mentions targeting accuracy limits of fingers, especially small targets. Suggests zooming, and second-stage fine adjustment of location by cursor keys (may be virtual) or cross-hairs, or selecting on finger lift: selection on finger lift enhanced by displaying a "precision handle" to let user adjust fine position before lifting.

[AllanRA01a] (*) Allan, Roy A. "A history of the personal computer: the people and the technology", Allan Publishing, London, Ontario, Canada, 2001

Mentions Sidekick phone dialer for DOS by Borland Internationa, 1984. On-screen highlighting of phone numbers for dialing.

[AlvaradoCJ04a] (*) Alvarado, Christine J. "Multi-domain Sketch Understanding", Ph.D. Thsis, M.I.T, Dept. of EECS, August 19, 2004

domain-flexible recognition systems for sketch recognition: recognize components such as line, vertex (high curvature, low speed motion), ellipse, arc, polyline via a primitive recognizer/fragmeter (parse), match to shape descriptons for shapes of domain (Electronics, architecture, etc.) using contraint-based pattern matching.

[AlvaradoC04b] (*) Alvarado, Christine and Davis, Randall "SketchREAD: a multi-domain Sketch Recognition Engine", Proc. UIST 2004, pp 23-32 Pen-based UI: examples of bottom-up and top-down semantic context aiding sketch recognition, discovery of gestures and sysmbols: family tree diagrams, circuit diagrams.

[AmentoB02a] (*) Amento, Brian; Hill, Will; Terveen, Loren "The Sound of One Hand: A Wrist-mounted Bio-acoustic Fingertip Gesture Interface", Proc. CHI 2002, pp. 724-725 Hand gestures picked up by sound/acoustic sensor on wrist via bone conduction: finger-tapping, rubbing, flicking, detected by sound

[AmroHY01a] (*) Amro, Hatim Yousef and Dodson, John Paul "Touch screen with random finger placement and rolling on screen to control", United States Patent 6,278,443, August 21, 2001

Rolling gesture: roll fingertip or stylus on touchscreen tablet, such as to scroll for fine positioning. Finger tip *not* placed over cursor. May also scroll whole image on screen. Not clear how rolling is detecting: small vector? pressure? (Resistive-film digitizer)

[AMUG02] (*) AMUG "AMUG's Newton Page", http://www.amug.org/amug/sigs/newton

List of links to Newton pen-computing software, long list of Newton applications and companies

[Anoto03a] (*) Anoto AB "Anoto Software Development Kit: Development Guide for Services Enabled by Anoto Functionality", Anoto AB, Sweden: [email protected] Applications software development kit for Anoto "smart paper" patterned optical digitizer technology. File contains additional (and more recent) materials.

[Anoto03b] (*) Anoto AB "Equipment/Device: Logitech and other vendor Anoto pens, with pattern paper ca. 2003", Anoto AB Physical devices in collection: Optical digitizer using "smart paper" patterned optical digitizer technology.

[Anoto04a] (*) Anoto AB "Press Release: Anoto won US patent case", Anoto AB Anoto/Sekendur litigation

[Ard02] (*) Ard, Scott "Tablet PC's troubled heritage", CNET news.com.com, November 7, 2002 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

2/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Review of some history of pen-computing: does not mention Pencept or CIC/Handwriter of mid1980s. T.L. Dimon Stylator, RAND tablet Grafacon. Cites Alan Kay dynabook (however it did *not* include handwriting input).

[AriService04] (*) ari-service.com "AST Computer Information Web: ARI Service", ww.ariservice.com, fetched March 2010

Support site with downloadable files for AST product, such as GRiDPad. Includes: PenCell Working Modek, PenCell Help file; On-Screen Keyboard for GridPAD, Pen-based mouse Driver for DOS Apps, Unsupported PenRight! development tools, GRID 4025 BIOS, Win4PEN Drivers, PenRight! Driver for GRiDPAD. CD with some of the files in files: Web site says it would be taken down in 2009

[BabitskyS02a] (*) Babitsky, Steven and Mangraviti, James J. jr. "Writing and Defending your Expert Report: The Step-by-Step Guide with Models", SEAK, Inc. 2002 Guide to writing expert reports for internal purposes, accidents, medical, etc.

[Baecker03] (*) Baecker, Ron "KMDB1001F: Interacting with Knowledge Media", Lecture/course notes

Refers to videos of "Gestures as Data", Genesys, Baecker, 1968, and "Gestures as commands", Kurtenbach/Buxton, 1987

[BalakrishnanR02a] (*) Balakrishnan, Ravin and Hinckley, Ken "Symmetric Bimanual Interaction", Proc. ACM CHI2002, CHI Letters 2(1), pp. 33-40

Study of two-handed manipulation, degree of paralellism using two cursors (styli) in two hands to track/dock two objects. Two pens (styli) on a single Wacom Intuos digitizing tablet.

[BalakrishnanR04a] (*) Balakrishnan, Ravin ""Beating" Fitt's law: virtual enhancements for pointing facilitation", Int'l. Journal of Human-Computer Studies, Vols 61, pp 857-874, 2004. Fitts' law on pointing with a stylus/pointer can be "beat" by making target area larger, snapping-to the target, area cursors, etc. But this cannot be applied when there are lots of targets. File contains additional citations by Balakrishnan with other authors.

[BallareDE01a] (*) Ballare, Daniel E. "Supplemental Mouse Button Emulation System, Method and Apparatus for a Coordinate Input Device", United States Patent 6,208,329, March 27, 2001 Mouse emulation on tablet touchscreen: one finger touch is left button, two finger touch is right button, detects double finger by getting strong signal. Other method is double-tap for right button. Cites to Freestyle patent for mouse emulation.

[BarrettGL03] (*) Barrett, Gary L. "Light Transmission and Touch Panels", Touch International, www.touchinternational.com

Whitepaper on light transmission through touch panels: 40%, versus 95% for window glass. Describes light transmission for resistive, capacitive, SAW Surface acoustic wave, and infrared touch panel digitizers

[BarrientosFA02] (*) Barrientos, Francesca A., and Canny, John F. "Controlling expressive avatar gesture using pen gesture", Proc. 4th Intl. Conf. on Collaborative Virtual Environments, Bonn, Germany, 2002, pp. 113-119. Using pen gestures -- not recognized shapes, but motion to control joints of simulated avatar -- for a virtual reality system. Tailored to hand-held displays, with voice input and one-handed input to control avatar. Users required practice to be able to do pen gestures and interact at the same time.

[BaudischP02a] (*) Baudisch, Patrick; Bederson, Benjamin B.; and Zierlinger, Alexander "Drag-and-Pop: Accellerating Drag-and-Drop on Large Screens", Proc. UIST 2002

Drag-and-drop is direct manipulation, eliminates interaction with (hidden) clipboard for cut-and-past or copy-and-paste. Xerox Liveboard, SmartTech.com Smartboard whiteboard systems. Multi-display

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

3/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

whiteboard systems such as DynaWall. Drag-and-pop rubber bands extend towards object from possible targets, only need to drop on nearest rubber band instead of far distance.

[BaudischP03a] (*) Baudisch, Patrick; Cutrell, Edward; Robbins, Dan; Czerwinski, Mary; Tandler, Peter; Bederson, Benjamin; and Zierlinger, Alex "Drag-and-Pop and Drag-and-Pick: techniques for accessing remote screen content on touch- and pen-operated systems", Proc. INTERACT 2003, pp. 57-64

user-interface on a large whiteboard touchscreen: when user picks a menu item or icon for an action, automatically move possible targets temporarily towards the stylus/pen so that they user can reach them more easily. Also: electronic video file of demonstration.

[BaudischP04a] (*) Baudisch, Patrick; Pruitt, John; Ball, Steve "Flat Volume Control: Improving Usability by Hiding the Volume Control Hierarchy in the User Interface", Proc. CHI 2004, April 24-29, Vienna, Austria slider/toggle controls in graphical user interface (touchscreen)

[Bechtel04] (*) Bechtel, J. Scott; Blanc, Arthur; Black, Gerald R. and Gustin, Jeffery L. "Developing The World's First Biometric Writing Instrument", Purdue University Innovation Realization Laboratory White Paper, January 30, 2004

See also Pen-One, Incorporated, www.pen-one.com. Several patent references for Gerald R. Black: United States Patent 6,307,956, etc. Fingerprint Sensor Pen: Writing pen with fingerprint sensor built-in: appears not to be biometric signature verification.

[BedersonB03a] (*) Bederson, Benjamin B.; Clamage, Aaron; Czerwinski, Mary P.; and Robertson, George G. "A Fisheye Calendar Interface for PDAs: Providing Overview for Small Displays", CHI 2003 Demonstration papers, April 5-10, Ft. Lauderdale Florida, pp. 618-619 Zoom (figuratively) into region or information of interest in a small display: e.g. tap on a date in a calendar month view, get the day information with the rest of the calendar month pushed out to the sides. Mentions work on DataLens and fish-eye techniques back to 1982.

[BedersonB04a] (*) Bederson, Benjamin B.; Clamage, Aaron; Czerwinski, Mary P.; and Robertson, George G. "DateLens: A Fisheye Calendar Interface for PDAs", ACM Trans. on Computer-Human Interaction, Vol 11 No 1, March 2004, pp. 90-119

Windows Pocket PC: Zoom user interface into region of interest / degree of interest or information of interest in a small display: e.g. tap on a date in a calendar month view, get the day information with the rest of the calendar month pushed out to the sides. Mentions work on DataLens and fish-eye menu techniques back to 1982.

[BedersonB04b] (*) Bederson, Benjamin B.; Grosjean, Jesse; and Meyer, Jon "Toolkit Design for Interactive Structured Graphics", IEEE Trans. on Softw. Eng, Vol 30 No 8, August 2004 GUI toolkit using run-time composition of objects, rather than compile-time class heirarchy. Example is photomesa using Zoomable User Interface and Jazz. Zoomable user interface zoomes by showing more semantic informatio and reducing other semantic information, rather than simply magnifying.

[BeezerJL05a] (*) Beezer, John L. et al "Method and Apparatus for Capturing and Rendering Annotations for Non-Modifiable Electronic Content", United States Patent 6,957,233, October 18, 2005 Storing annotation separate from document with link back to location in document: numerous citations, but compare with Anoto, Slate and InkWriter

[BellG04] (*) Bell, Gordon "A Time and Place for Standards", VoiP Magazine, Vol 2, No 6, September 2004 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

4/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Essay on positive/negative role of technical standards in promoting or impeding innovation, quotes "Better is the Enemy of Good Enough". Quote from Stewart Alsop regarding PenPoint vs. PenWindows: "If GO had ever been given the chance, they would have succeeded.\".

[BerqueD01a] (*) Berque, Dave A.; Johnson, David K; and Jovanovic, Larry "Teaching theory of computation using pen-based computers and an electronic whiteboard", ACM SIGCSE (Computer Science Education) Bulletin, Vol 33, no 3, pp 196-172, 2001

Use of Wacom or Smart Technologies whiteboard in groupware application with network of penbased computers. Original works cites to 1993.

[BiD01a] (*) Bi, Depeng; Cohen, Gary Steven; Cortopassi, Michael; George, Jose T.; Gladwin, S. Christopher; Hsiung, Harry; Lim, Peng; Parham, John Allan; Soucy, Alan Joseph; Voegeli, Derick W.; and Wilson, James Y. "Mouse Emulation with a Passive Pen", United States Patent 6,262,719, July 17, 2001 Emulate two button mouse with single stylus/pen: toggle icon to change state of switch tip from left mouse button emulation to right mouse button operation. Includes displaying on-screen keyboard.

[BiagiottiL05a] (*) Biagiotti, Luigi; Borghesan, Gianni; and Melchiorri, Claudio "A Multimodal Haptic Mouse for Visually Impaired People", Proc. ENACTIVE05, 2nd Int'l. Conf. on Enactive Interfaces, Genoa Italy November 17-18, 2005, 7 pages

Force-feedback haptic mouse for the blind: used pantographic tablet with force transducers. User can "feel" graphical objects (square, circle) by simulated potential-energy force.

[Billinghurst02] . Billinghurst, Mark and Buxton, William "Gesture based Interaction: Chapter 14 of "Haptic Input" Draft Documents", www.billbuxton.com

Gesture as hand gesture, not as handwriting gesture for pen-computing. Mentions Theremin as gesture-input device (non-computer): File also contains 2009 Draft

[BlaskoG04a] (*) Blasko, Gabor and Feiner, Steven "Single-Handed Interaction Techniques for Multiple Pressure-Sensitive Strips", Proc. CHI 2004, pp. 1461-1464

Using Synaptics TM41P-200 capacitance-basec TouchPad, reliably detect multiple (up to fourteen?) simultaneous finger touch inputs (multi-touch) in simulated sliders, in user interface to control multiple audio or other parameters at the same time. Pressing harder (pressure-sensing) gives access to secondary pop-through virtual slider. Synaptics touchpad has output bit to indicate two-finger (wide) input. No electronic modifications to Synaptics touchpad. Compare with Buxton sliders?

[Blickenstorfer02] (*) Blickenstorfer, Conrad H. "Commentary by Pen Computing Magazine's editor-in-chief", Pen Computing Magazine, Issue 47, December 2002 Refers to new generation (2002) of Tablet PCs using ink, not handwriting recognition: compare to Slate note on "deferred recognition" and "ink as a data type" from 1992.

[Blickenstorfer03] (*) Blickenstorfer, Conrad H. "Commentary by Pen Computing Magazine's editor-in-chief", Pen Computing Magazine, Issue 50, 2003 Historical summary of pen computing: cites 1914 and 1938 patents, may have been taken from Jean Renard Ward on-line information on "History of Pen Computing": mentions Pen Service 2.0 for Windows95, successor to Windows for Pen Computing

[BobrowDG01a] (*) Bobrow, Daniel G; Everett, John O.; and Virros, Andrew "Paper intermedium: using paper to support interactive educational experiences", IEEE Computer, 2001, March, Vol 34 No 3, pp. 52-53

Part of larger article by Hecht on Dataglyph patterns hidden in printed material to encode information. Include data collection or links to further information in the information encoded in the pattern. Compare with Anoto and LiveScribe pen pattern.

[Bodnar01] (*) Bodnar, Eric O; Lee, Jennifer J; Kahn, Philippe R.; Feague, Roy W; https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

5/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Jorgensen, David E.; and Liu, Gwhoho H. "User interface methodology supprting light data entry for microprocessor device having limited user input", United States Patent 6,232,970, May 15, 2001

six-button menu input system for limited input, by giving most recently used options first: compare to pop-up menus.

[Boesen04] (*) Boesen, Peter V. and Mann, Thomas J. "Method and Medium for Computer Readable Keyboard Display Incapable of User Termination", United States Patent 6,784,783, August 31, 2004 Touchscreen simulated/virtual keyboard in a portable device (shown using stylus with cord). Compare with Kaplow?

[BookAndComputer05] (*) Book and the Computer, The "The Dynabook Revisited: A Conversation with Alan Kay", http://www.honco.net/os/kay.html

Interview with Alan Kay on history of Dynabook as educational tool: cited elsewhere as mentioning pen computing

[Breidenbach03] (*) Breidenbach, Jeff "GlyphChess: What is GlyphChess?", Available at http://www2.parc.com/asd/memebers/jbreiden/glyphchess.html Test application using printed Xerox glyphchess pattern on the bottom of chess pieces: pieces' position can be read with chess pieces on top of a flatbed scanner.

[BrewsterS01] (*) Brewster, Stephen "Overcoming the Lack of Screen Space on Mobile Computers", Technical Report TR-2001-87, Department of Computing Science, University of Glasgow. Also Personal and Ubiquitous Computing, Vol 6 No 3, May 2002, pp 188-205. Targeting action on small touch screens, lack of tactile feedback on simulated buttons, use auditory sound feedback in the user interface instead to ensure accuracy.

[Bricklin01] (*) Bricklin, Dan "Look to the Past to Envision the Future", Communication of the ACM, March 2001, Vol 44 No 3, page 44.

Essay that IT technology / human interface components are are already developed (like the wheel), but the systems of the future will apply them in substantially more sophisticated way.

[Bricklin02] (*) Bricklin, Dan "About Tablet Computing Old and New", Available at http://www.bricklin.com/tabletcomputing.htm

Historical essay of pen-computing development from about 1990 onward: Slate Corporation, GO Corporation, Microsoft Pen-Windows. Pen-centric UI (term coined by Slate), deferred translation of recognition rather than handwriting recognition in real time. Slate pen-computing applications: AtHand, PenPower, Day-Timer Pen Scheduler, LooseLeaf Notetaker, PenApps, PenBasic. Mentions Pensoft, Aha!, digital ink, Windows Journal program. Cites Wang Freestyle (syncronized voice and ink recording, no handwriting recognition or gestures) as "totally major", even without handwriting recognition or gestures.

[Bricklin03a] (*) Bricklin, Dan "Tablet PC: First Impressions", Available at http://www.danbricklin.com/log/tabletpc.htm

States that Tablet PC, "tablet" implies a pen, therefore relating to pen computers / pen computing. Mentions problems of over-filtering / over-smoothing of electronic ink data in pen drivers.

[BrighthandNews03] (*) Brighthand News "Graffiti's Dead, Long Live Graffiti 2", www.brighthand.com, January 13, 2003

Press article on replacement of Graffiti with Jot recognition from CIC/Handwritier. Mentions that Grafitti handwriting recognition had to be in special area of screen, Jot/Graffiti2 can be anywhere on screen. Cites Palm/Xerox patent lawsuit

[BrownL05] (*) Brown, Lorna "An Investigation into the Design of Structured Vibrotactile https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

6/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Messages for Non Visual Information Display", University of Glasgow, 2005: www.dcs.gla.ac.uk/~eve/tactonsWebsite/vibro.html

Vibrating Transdusers for haptic vibrotactile/electrotactile touch input with human computer interaction: www.eaiinfo.com Enginering Acoustic C2 Tactor.

[Buxton01a] . Buxton, W. and Fitzmaurice, G.W. "User interface system and method for controlling playback time-based temporal digital media", United States Patent 6,191,784, Feb. 20, 2001 See also http://www.billbuxton.com

[Buxton04] (*) Buxton, W. "Marking Interfaces: Chapter 13 (draft)", http://www.billbuxton.com/input13.markup.pdf

Marking interfaces: Buxton's term for for paper-like and pen-based interfaces, gestural / gesturebased user interfaces; line recognition as synonym for sketch recognition Describes character recognition as a "black hole" for pen-computing interfaces Early 1969 animation system Genesys for gesture input Review of numerous paper-like application products from 1980's and 1990's: Newton MessagePad 2000, Liveworks Liveboard, Wang Freestyle, CompuThink Paperless Office, Winfax PRO, CrossPad, etc. Alto User's Handbook (1976) InkWriter by Aha!: recognition of handwritten paragraphs, not of characters QuickWriting unistroke / single-stroke characters Papyrus Allegro unistroke / single-stroke characters Casio AT-550 character recognition watch with finger tracing 1980, Casioc DBC-150-1 Databank watch, PF-8000 calculator First shorthand / unistroke: 63 BC, Marcus Tullius, "notae Tironianae" File also contains 2010 draft.

[Buxton04a] (*) Buxton, W. "Resource Page on Early HCI Research of the Lincoln Lab TX-2 Group (beta)", http://www.billbuxton.com/Lincoln.html Mentions sources for videos for Sketchpad, Graphical Programming, Genesys, inteviews with early researchers before 1966.

[Buxton05] (*) Buxton, William (organizer); Henderson, Austin (Discussant); Baecker, Ron; Clark, Wesley; Richardson, Fontaine;, Sutherland, Ivan;, Sutherland W.R "Interaction at Lincoln Laboratory in the 1960's: Looking Forward - Looking Back", Panel Discussion, CHI 2005, April 2-7, 2005, Portland, Oregon

Video and presentation of Sketchpad; very early work on whiteboard "chalk talk" systems by Baecker; early gesture-recognition system by Richardson (?) and Curry (?) at Applicon and Lincoln Labs

[Caldwell04] (*) Caldwell, Alex "Handwriting Word Recognizer", Posted to http://wiki.tcl.tk/9094

Describes modification of "Mouse-stroke character recognizer" by Mike All, which in turn borrows code from other sources. Recognizes cursive words written as a single stroke: crossing of T's, etc. not supported.

[CampbellV05] (*) Campbell, Virginia "Why Johnniac Can Read: The first big step in handwriting recognition came 40 years ago", American Heritage of Invention and Technology, Summer 2005 Historical article on RAND digital tablet in 1964, "not the first, but the first that was practical". Dimond, GRAIL, Groner Recognition as soon as stylus was lifted, slashed Z and 0 required versus O and 2. Ink was not quite real time, displayed only after stroke lift. Quotes Leonard (Leonid) Kitainik of Paragraph, Apple

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

7/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Newton, penandinternet.com, www.evernote.com

[CaoX04a] (*) Cao, Xiang "An Exploration of Gesture-Based Interaction", Master's Thesis, Dept of computer Science, University of Toronto, 2004

Optical (tracking camera) recognition of gestures made with handl-held want: pointing, tilt, tap, parallel-tap, push, pull, rotate, flip gestures. Multiple-user input (or two handed input?) with more than one wang, six-segment pie menus. Adaptive recognition of gestures mostly based on unistroke character shapes, plus pig-tail.

[CappsS01] (*) Capps, Stephen et al "Tactile character input in computer-based devices", United States Patent 6,326,947, December 4, 2001, Assigned to Microsoft Corporation

"Tactile" character recognition, user moves finger or stylus across raised guides that are similar to 7segment or 17-segment character displays Stephen Capps is listed in over 50 patents for pen-computing user-interface features, mostly from the Apple Newton. Patents cite little or no prior art before 1990: citations to van Rammsdonck, Pencept, and CIC may have been appropriate

[Casio01] (*) Casio "Casio E-Pen: Handschrift fuer den Computer: Kugelschreiber fuer die Direkteingabe von Schrift auf dem PC", www.plugged.de/news/computing/a1005556375.shtml, dated 12.11.2001

Infrared digitizing pen, infrared transmitter in pen, receiver unit plugs into USB port, resolution 0.25 mm at 200 points/second, handles up to A4 size paper. Handwriting recognition from various packages: Lexicus, PenPower, Paragraph. For use with Casio Pocket PC and Cassiopaia Fiva Subnotebook

[Casio02a_VDB5000] (*) Casio "Casio VDB-1000 wristwatch, detail page", Collection from Pocket Computing Museum, http://cdecas.free.fr/computers/pocket/vdb1000.htm, 2002 Casio Wristwatch with touchscreen input

[Casio02b_VDB5000] (*) Casio "Casio VDB-1000 wristwatch, technical details", Collection from Pocket Computing Museum, http://cdecas.free.fr/computers/pocket/vdb1000/index.html, 2002 Casio VDB-100 Wristwatch with touchscreen input circa 1991: shows touch screen of menus, no character recognition. File contains additional materials.

[Casio05_VDB5000] (*) Casio "Casio VDB-1000 wristwatch", Collection from Pocket Computing Museum, 200, available at http://www.integra.fr/dreamteam/caz/computers/pocket/collection.htm

2005: New URL appears to be http://cdecas.free.fr/computers/pocket/if8000.php Wristwatch with touchscreen input Same reference includes Casio NX-6000 / Planeo keyboard-less organizer; Sharp IQ-9200 touchscreen organizer; Casio Z7000 Zoomer PDA, like Apple Newton; Apple Newton Message Pad 110

[Caz04] (*) Caz Pocket Computers Collection "Caz Pocket Computers Collection", http://cdecas.free.fr/computers/pocket/if8000.php

Images of various pocket and pen-tablet computers: Ricoh RCD i-700, Sharp MI-10, Casio IF-8000, Sharp IQ-9200, Casio VDB-1000 wristwatch with touch screen (but not handwriting recognition), Kyocera Refalo.

[CertCo02] (*) CertCo, Inc. "CertSigner (TM) FAQs", Available at http://www.certco.com/apki/shtml

Description of Agreement-based / Account-based / Acceptance-based PKI model for CertSigner, a web-forms signing and automatic credentialing product

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

8/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[ChattyS01] (*) Chatty, Stephane et al "DigiStrips and related projects / DigiStrips: humaniser les interfaces", http://www.tls.cena.fr/divisions/PII/digistrips/index_e.html, 2001 Part of GRIGRI project: electronic flight progress strips for air traffic control, using touchscreens, limited gesture recognition.

[ChenTHT03a] (*) Chen, Timothy T.H.; Fels, Sidney; Min, Saehee Sarah "FlowField and beyond: applying pressure-sensitive multi-point touchpad interaction", Proc. 2003 Int. Conf. on Multimedia and Expo, ICME'03, July 2003, pp. 49-52 UI using pressure-sensitive multitouch touchpad digitizer (MTC Express). Details of interpolation and image processing of Taxels (touch pixels): bilinear, bicubic, Gauusian, nearest-neighbor interpolation to get higher resolution than sensors. Other hardware include Lee multi-touch, FingerWorks TouchStream, optical vision tracking, SmartSkin. Multi-touch interactive art installastions.

[ChewCH03a] (*) Chew, Chee h.; Bastiaanse, Elizabeth A.; Blum, Jeffrey R.; Keyse, Greg A.; Lui, Charlton E.; Parker, Kathryn L.; Sharpe, Timoth D.; and Zuberec, Sarah E. "Method and Apparatus for providing context menus on a pen-based device", United States Patent 6,664,991, December 16, 2003

pop-up a menu based on a context gesture (any kind of gesture) rather than tapping or clicking on a handle. Cites to Buxton and Agulnick.

[Chip03a] (*) Chip Magazine "Testsieger: Sony Ericsson P800", Chip Magazin, 31.10.2003 Sony smartphone/PDA with camera and touch-screen interface.

[ChrisC03] (*) ChrisC(?) "From Whence It All Began", www.whatisnew.com/article1130.html

Various quotes from about 2002/2003 about the history/origin of pen computing, by Bill Gates and others. Imply that original Dynabook was a tablet PC pen computer: note that original sources do not really back this up.

[ChrysochoosM05a] (*) Chrysochoos, Michael and Kosinski II, John T. "Radio system with Touch Pad Interface", United States Patent Application 2005/0003851, January 6, 2005 Using gestures on a touchpad to control a mobile radio. Gestures are letters and digits: T for tune, etc. "U" Gesture to unlock, "L" gesture to lock user interface from other input.

[CIC04] (*) CIC Communications Intelligence Corporation "Jot for Palm OS Version 2.1: Help", www.cic.com

Documentation on JOT (a.k.a. Graffiti2 for Palm OS) handwriting recognition and neography by CIC. FAQ states that JOT is not a Unistroke character set. Includes reference chart for non-English European characters, Scandinavian, German, special gestures for newline/enter, etc.

[CMC05] (*) CMC Electronics "CT-1000G Electronic Flight-Deck Organizer with JeppView electronic charts", CMC Electronics, Ville Saint-Laurent, Quebec Canada H4M 2S9 Windows 98 Pen computer for private aircraft, with GPS, mountable on steering controls

[CNET02a] (*) CNET News.com "Tablet PC: Scribbling into the future", CNET News.com, November 8, 2002, available at http://news.com.com Magazines to public on Tablet PC, Brief history of pen computing to 1957 patent, citing interview with tablet visionary Alan Kay (Dynabook)

[CohenPR04] (*) Cohen, Philip R. and McGee, David R. "Tangible Multimodal Interface for Safety-Critical Applications", Communications of the ACM, Vol 47 No 1, January 2004, pp 41-46 tablet and PC user interfaces distract too much by focusing user attention on the desktop/computer, not on the task at hand

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

9/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Review of "Smart paper"/"Digital pen" in actual use (Rasa: military battle operations) using Anoto technology and other technologies: one key is maintaining operation using the physical ink when the electronic system is non-operational / deliberately crashed Natural Interaction Systems LLC: compare with VIPDATA? Use of combined voice and electronic ink annotation for "mutual disambiguation": compare with Freestyle system at Wang, 1992 (not cited?) Digital Desk by Wellner, 1992, tangible paper system using computer vision

[ColoradoBar04] (*) Colorado Bar Association "JurisNotes: Patent containing mere germ of an idea invalid for lack of enablement", Colorado Bar Association Intellectual Property Section Newsletter, Volum 8 Number 8, November 2004, p. 3 Anoto AB v. Sekendur, patent dispute on optical pattern digitizer. Turn of phrase: plaintiff "miserably failed"

[ComputerMuseum03] (*) Computer Museum / Mark Greenia "The History of Computing: Encyclopedia of the Peopl and Machines that Made Computer History", http://www.computermuseum.li/Testpage/0000WELCOME.htm

Toshiba Dynapad T100X Tablet computer / pen computer (1992), ran Microsoft Windows for Pen Computing, or PenPoint / GO, retail price $3500.

[ConferWA02a] (*) Confer, William and Chapman, Richard "Handwritten Character Recognition for Cheap Devices", Technical Report CSSE02-06, Auburn University, Alabama, November 18, 2002 Small, trainable handwriting recognition using chain codes and angles

[ConferWA05a] (*) Confer, William James "The Activity Metric for Low Resource, On-Line Character Recognition", Ph.D. Thesis, Auburn Universtiy, Alabama, 16 December 2005

Trainable handwriting/gesture recognition using histograms (?) / activity parameters, intended as algorithm for use on very low power processors. Describes Graffiti (CIC) recognition as a variant of Unistroke (Xeox) recognition algorithms.Discussion of T-Cube pie-menu unistroke writing (sic) from Apple. Testing done with Kassel collection of handwriting samples.

[Congdon03] (*) Congdon, Bob "Gesture Recognizer", Available at http://www.bobcongdon.net/blog/2003_09_01_congdon_archive.html

Describes early Applicon Ledeen/Teitelman character recognizer of 1973: single-stroke Z as a gesture using the bounds to for a Zoom area -- compare with Recognition Macro gestures of Pencept?

[CouturierJM02a] (*) Couturier, Jean-Michel "A Scanned Syntheis virtual intstrument", Proc. NIME-02, 2002 Conf. on New Instruments for Musical Expression, Dublin Ireland, May 2002 virtual musical instrument (like plucked strings) using Wacom tablet, gestures on pressure-sensitive multi-touch surface (Tactex), and keypad (for chords).

[CouturierJM03a] (*) Couturier, Jean-Michel, and Arfib, Daniel "Pointing Fingers: Using Multiple Direct Interactions with Visual Objects to Perform Music", Proc. NIME-03, 2003 Conf. on New Instruments for Musical Expression, Montreal, 2003, pp 184-187

virtual musical instrument using Pointing Fingers (multi-touch trackers), but any multi-touch input device on the screen may be used (SmartSkin, etc.)

[Couvreur03] (*) Couvreur, Julien "Curiosity is bliss: Pen stroke recognition", http://blog.monstuff.com/archies/000012.html

Commentary on Rubine as early Unistroke alphabet character recognizer, chain codes, Graffiti implementation in C# programming language

[CrooksCE04] (*) Crooks, Clayton E. II "Developing Tablet PC Applications", Charles River Media, 2004. ISBM 1-58450-252-5 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

10/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Includes example of using stylus angle for implementing a Joystick UI user interface. Chapter 18 cites to Graffiti for UI for a media player for Video and Audio, using gestures on Tablet PC including arrow gestures. Annotation (handwriting ink) on videos: compare with Freestyle at Wang.

[deHerreraC02a] (*) de Herrera, Chris "Digitizer and Styli - Differentiating the Tablet PC", www.tabletpctalk.com, November 10, 2002

Notes that TabletPC can support multiple digitizers at the same time: reference to integrated resistive touchscreen and electromagnetic digitizer tablet from FinePoint, versus Wacom?

[deHerreraC05a] (*) de Herrera, Chris "Tablet PC Hardware Comparison - 2004", www.tabletpctalk.com, revised Januare 2, 2005

Hardware comparison of Tablet PCs' announced since September 1, 2003: essentially all vendors using electromagnetic digitizers by Wacom, a couple of resistive-film touchscreens

[DeAmicisR02a] (*) De Amicis, R; Bruno, F., Stork, A., and Luchi, M.L. "The Eraser Pen: A New Interaction Paradigm for Curve Sketching in 3D", Int'l. Design Conference DESIGN 2002, Dubrovnik, May 14-17, 2002 six degree-of-freedom DOF digitizer for sketching 3D surfaces, using stereoscopic display and 3D digitizer. Permits erasing/deleting of portions of surfaces/lines while sketching (3D erase gesture?) by moving backwards along curve just drawn, integration of editing and creation phases. Earlier references back to 1999. 2D input allows for extruded curves. Accuracy of curve affected by velocity/speed of drawing/sketching motion (slower motion, more control points for the curve to be fitted.)

[DemartinesP03a] (*) Demartines, Pierre and Seni, Giovanni "Automatically scrolling handwritten input user interface for personal digital assitants and the like", United States Patent 6,661,409, December 9, 2003 Automatic scrolling of handwriting ink in a handwriting area during handwriting recognition: compare with Freestyle?

[Denoue05] (*) Denoue, Laurent and Foote, Jonathan T. "Force-Feedback Stylus and Applications to Freeform Ink", United States Patent Application US 2005/0243072 A1, November 3, 2005

Haptic force-generating stylus which allows the user to feel a force generated electromagnetically; contrasted with other haptic devices, which are able to generate vibration but not actual force feedback to the user. Compare with force-feedback devices developed at M.I.T. A.I. lab by Margaret Minski (?) et al around 1980, which used mechanical linkages

[DentPW02a] (*) Dent, Paul W. "Wireless Subscriber Terminal using Java Control Code", United Statest Patent 6,418,310, July 9, 2002 Communications device (e.g. smart phone) with Java: keyboard and mouse

[DesturaG04] (*) Destura, Galileo; van Berkel, Cees; Cirkel, Peter A. "Touch Sensitive Display Device", European Patent Publication WO/2004/066136

Touchscreen digitizer using a touch sensitive layer between two optical layers. Uses QTC quantum tunneling composit or piezo-resistive material as the pressure/force-sensitive sensor, to be embedded between the pixels on an LCD display.

[DeviM01a] (*) Devi, Prof.M "Basic Windows: Message Queue Events", Available at http://comsci.liu.edu/~murali/win32gui/BasicWindows.htm, fetched 2011

Shows action of WM_RBUTTONUP as posting WM_QUIT to exit current window (as contrasted to other right-click behaviors)

[DiazMarinoR04a] (*) Diaz-Marino, Roberto Arturo; Tse, Edward; and Greenberg, Saul "The Grouplab DiamondTouch Toolkit - The Video", Video Proceedings of ACM CSCW Conf. on https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

11/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Computer Supported Cooperative Work, Nov 2004

Video Demonstration of UI Toolkit applications using DiamondTouch multi-touch (multi-user) touch tablet: multi-user/multi-touch drawing application, multi-user memory game, soundmanipulation art

[Digibarn04] (*) Digibarn Computer Museum "PenPoint tablet pen computer by GO Corporation", Available at http://www.digibarn.com/collections/systems/go

"Lombard" hardware prototype from GO Corporation, manuals, documentation, photographs. Several manual pages shown in readable photographs. Recorded interviews with donor Gary Downing .

[DigitalInk04] (*) Digital Ink, Inc. "Company contact information: Digital Ink, Inc.", Digital Ink, Inc., 2113 Wells Branch Parkway, Auston, TX 78750 Gary L. Barrett Pointers, touch-pads, touchscreens, resistive film (?), integrated with LCD display

[DietzP01a] (*) Dietz, Paul and Leigh, Darren "DiamondTouch: A Multi-User Touch Technology", Proc. UIST '01, November 11-14, 2001 pp. 219-226

Multi-touch digitizer on a table (compare with Entertaible), using separate capacitive coupling for each human user, so that you can tell which user/stylus corresponds to which input. Mentions Human-Guided Simple Search as a prototype groupware application (whiteboard). Also: electronic video file of 2001 demonstration.

[DietzP03] (*) Dietz, Paul and Leigh, Darren "DiamondTouch: A Multi-User Touch Technology", Mitsubishi Electric Research Laboratories Technical Report TR-2003-125, October 2003. Available at www.merl.com

Multi-touch digitizer on a table (compare with Entertaible), using separate capacitive coupling for each human user, so that you can tell which user/stylus corresponds to which input. Mentions Human-Guided Simple Search as a prototype groupware application (whiteboard)

[DietzPH05a] (*) Dietz, Paul H. Leigh, Darren L.; Yerazunis, William S.; and Lee, Johnny Chung "Hand-held Haptic Stylus", United States Patent Application 2005/0248549, Nov. 10, 2005 Haptic stylus with solenoid actuator in top of pen stylus, feedback effect is along axis of stylus

[DirectMobile02] (*) DirectMobile.com "Refurbished Pen Computers", http://www.directmobile.com/DHHome/Fujitsu Pen.htm; http://www.directmobile.com/DHHome/Refurb_Nonfujitsu.htm; 2002. Telephone 1-800-687-6543 x 27 (Chris Cole) See also http://www.cadigitial.com/1000.htm

parent company, Surplus Technology Group, purchased assets of Grid System Inc. After running out of Grid units, went with Fujitsu Personal Systems Inc. product: Ricoh G1200 Windows 95 pen-computer with CD tray product: IBM 730 T Windows 95 pen-computer product: Kalidor K2000 Windows 3.1 (!) pen-computer, waterproof product: Fujitsu Stylistic LT Windows 98 pen-computer product: Fujitsu Stylistic 500 Windows 3.1/95 pen-computer product: Fujitsu Stylistic 1000 Windows 3.1/95 pen-computer product: Fujitsu Stylistic 2300 Windows 95/98/NT pen-computer product: Fujitsu Point 1600 Windows 95/98/NT pen-computer product: Fujitsu Stylistic 1200 Windows 95/98/NT pen-computer product: Fujitsu Point 510 Windows 95/98/NT pen-computer product: Fujitsu PenCentra CD WindowsCE pen-computer

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

12/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[Dodge05] (*) Dodge, Steve "Reflowable Ink: Simple Reflow", Microsoft Corporation, MSDN documentation, January 2005, Tablet PC Technical Articles Word-wrapping functionality with Tablet PC for editing ink: compare with van Raamsdonk

[DolceTechnica03a] (*) DolceTechnica.com "Peter on Tech: An early look at Windows XP Tablet PC Edition 2004, codename "Lonestar"", DolceTechnical.com, Nov. 17 2003

Public demonstration of Tablet PC 2004: context-sensitive syntax rules for recognition of URLs and other formatted text in input fields, electronic ink in Web Browser input through web controls, Inplace TIP (Tablet PC Input Panel) with writing pad mode, write-anywhere: see also Microsoft file.

[DraperGM03] (*) Draper, Geoffery M. and Egbert, Parris K. "A Gestural Interface to FreeForm Deformation", Proc. of Graphics Interface, Canada 2003, pp 113..120 Gestures for shaping drawings (streatch, twist, size, etc.)

[Dresevic05] (*) Dresevic, Bodin "Natural Input on Mobile PC Systems", Powerpoint presentation at WinHEC 2005 on Tablet PC "sneak peek"

Microsoft WinHEC presentation on Tablet PC additions in Windows Vista/Longhorn: flick gestures, vistual feedback on system gestures/shell gestures, change in checkbox behavior for stylus/gesture input. Short mention of n-trig touch+stylus electrostatic digitizer, but says "for best recognition accuracy use a high-resolution EM (electromagnetic) digitizer" with coil in pen. Finger-Touch input.

[DRSTacticalSystems05] (*) DRS Tactical Systems "DRS Technologies Acquires Walkabout Computers", Press release, June 27, 2005, available at www.drs-ts.com Ruggedized tablet PCs with integrated tablet and display: product line originally from Walkabout, acquired by DRS Tactical Systems

[DSInternational05] (*) DSInternational "DigiMemo Digital Writing Pad", Fentek Industries, Cottonwood AZ: www.fentek-ind.com/digimemo.htm Clipboard-styled digitizer with internal storage for electronic ink -- no built-in display

[Dynapro01a] (*) Dynapro Systems Inc. "Dynapro Near Field Imaging Touch Screen System integration guide", Dynapro Systems, Inc. Copyright 2001, www.dynapro.com Electrostatic/capacitive touchscreen digitizer, NFI

[EChalk03a] (*) Freie Universitaet Berlin "The E-Chalk Project: Electronic Chalk for the Classroom", http://kazan.inf.fu-berlin.de/echalk/docs/2003-brochure.pdf Freestyle-like electronic whiteboard for university teaching: records/streams audio, whiteboard image, video, and any slides etc. for university lectures.

[E-Ink05a] (*) E-Ink Corporation "World's First Electronic Paper Watch Demonstrated", Press Release: www.eink.com E-Ink electronic ink product: digital wristwatch with Seiko Watch Corporation

[ElbingKE01a] (*) Elbing, Kristofer E. and Foote, Jonathan T. "Tactie Computer Interface", United States patent 6,219,034, April 17, 2001 Software to map touch regions of the screen to tactile signals in an actuator in a pointing device (mouse, touch tablet, etc.) based on a profile definition.

[Em03a] (*) Em, Davic "Beyond the Tablet PC", byte.com, June 16, 2003

Fujitsu Lifebook P1000: Windows XP Home edition rather than Tablet PC edition: integrated touchscreen, not proximity tablet. Apparently touchscreen used as best alternative to mouse (versus touchpad) to get very small form factor.

[Ericson01] (*) Ericson, Petter and Edsoe, Tomas "Identification of a virtual raster pattern", WIPO International Patent WO 01/75783 A1, 11 October 2001 Describes Anoto technology for an optical "smart paper" digitizer, using modified virtual raster pattern marks: position determination using fourier analysys

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

13/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[EverNote04] (*) EverNote.com "EverNote - ritePen product information", www.evernote.com

Successor to Paragraph handwriting character recognition for Pen-Windows: Full-screen writing, floating toolbar, editing gestures for capitalization, any Windows application ritePen and riteScript handwriting recognition technology for unconstrained handwriting recognition riteForm forms input with context-sensitive recognition with templates and dictionaries : compare with field types and subsets in PenCept, CIC, GridPAD. gestures for text editing, word menu, pop-up punctuation pane, cut/paste, on-line dictionary on-line demo of recognition using mouse: Javascript? Java? OCX?

[EveryMac04] (*) EveryMac.com "Newton MessagePad Series", www.everymac.com

Technical specifications on Apple Newton MessagePad 130: textured display to give a more paperlike writing surface Newton OS attempted to recognize natural handwriting. Artificial intelligence to tie / link relevant information together

[EverythingPen05] (*) EverythingPen.com "Service Companies", www.everythingpen.com List of service companies working with Anoto technology: includes www.digipen.de, www.changing-tides.co.za, NetPen UK netb2b2.com, www.penvision.de

[FaaborgAJ02] (*) Faaborg, Alexander J. "Using Neural Networks to Create and Adaptive Character Recognition System", Research Report, Cornerll University, ithaca NY, May 14, 2002

Report on back-propogation neural network: performance recognition accuracy went down when more than 12 characters were in the handwriting test set. Handwriting styles had drastic effects on recognition accuracy. Somewhat unencouraging about neural networks: training of a neural network can be laborious.

[FabritiusH05a] (*) Fabritius, Henna "Changing an Orientation of a User Interface via a Course of Motion", United States Patent Application 2005/0114788, May 26, 2005

Diagonal stroke gesture rotates display 180%, stroke along edged of display rotates 90% in the direction of the stroke Later US patent 7,814,419

[FASgroup05] (*) FAS Group "Forms Automation System", www.fasgroup.net

Consortium of companies developing applications using "smart paper" or "digital paper" (see Anoto), no separate tablet, data capture occurs in real time on patterned paper Datasheet, Forms Automation System 1.2, Digital Pen and Paper

[FeichtingerA04a] (*) Feichtinger, A. "Dokumentation/Beschreibung Usability Tests Paper Prototyping", Fachhochschule Joanneum Informationsmanagement, d.4. Dezember 2004

Outline of project for paper prototyping of interactive mapping user interface. Paper user interface designs for touchscreen PDA, Wizard of Oz simulation of computer interaction. Has additional references.

[Fingerworks03] (*) FingerWorks Inc. "iGesture Game Mode Guide", www.fingerworks.com Multi-touch Touchpad digitizer tablet with built-in gesture recognition. Gestures for electronic games multiple gestures. Additional materials in paper file

[Fingerworks03b] (*) ExtremeTech.com "Typing With Gestures on the TouchStream ST", www.extremetech.com, 2003 Review of Fingerworks multi-touch "TouchStream ST" keyboard

[Fingerworks03c] (*) FingerWorks Inc. "Multitouch Overview: Frequently Asked Questions", www.fingerworks.com, fetched Feb 15, 2003 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

14/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Multitouch surface from FingerWorks: multiple-finger gestures, zero-force. Proprietary technology.

[Fingerworks05] (*) FingerWorks Inc. "MyGesture Editor", www.fingerworks.com

File of materials from Fingerworks web site before it went off-line. Documentation on types of gestures, gesture editor, hardware products. Multi-touch Touchpad digitizer tablet with built-in gesture recognition. Fingerworks includes: Mouse Emulation - Gesture Guide; Typing With Gestures on the TouchStream ST _ ExtremeTech; MyGesture Editor; XWinder -- The Future of Window Management; XWinder for Mac OS X and Windows XP; RightHand_GestureMap; TouchStream_QuickGuides; TouchStream Booklet; iGesture withKeys Booklet; MyGesture Editor; The Only Touchpads with Ergonomic Full-Hand Resting and Relaxation; Frequently Asked Questions; TouchStreamLPQWERTYSupplement; TouchStreamLPQWERTYManual; Tips_Tricks; iGesture_QuickGuides; iGesturePad_Installation_Operation; iGesturewithKeysBooklet; TouchStreamBooklet; ThirdParty Cypress_sensor_an2233a, TouchStreamLongCable Yechiam_Erev_Yehene_Gopher, multi-touch-CHI-DC, multifcursors-gi2006, JTSdefense1; Advantages of MultiTouch Technology -- The First Seamless Integration of Pointing, Typing, and Hand Gestures

[Fingold03] (*) Fingold, Jonathan "Persisting Ink with Attached Recognition Data", Microsoft Corporation, MSDN documentation, April 2003. compare with deferred recognition by Slate

[Fischetti01] (*) Fischetti, Mark "Working Knowledge - Touchscreens", Scientific American, April 2001, pp. 102-103 Mentions Elographics resistive-film design 1977, Infrared touchscreen used underwater: cites advantages of touchscreen technologies for electronic voting, but does not mention other security considerations.

[FishDE02a] (*) Fish, Daniel E. "Force feedback computer input and output device with coordinated haptic elements", United States Patent 6,377,678, 2002 (see also 6,819,312, November 16, 2004)

Combined touch tablet sensor and haptic pixels "haptels". Can show textures, and since combined with touch sensor, only needs to actuate haptel actuators where there is a touch. Compare display portion with opticon? Cites to Kaplow, 4,202,041. Also cites to active multi-touch input surface (AMTIS) by Fish. See also RE42,064.

[FitzmauriceG03a] (*) Fitzmaurice, George; Khan, Azam; Pieke, Robert; Buxton, Bill; and Kurtenbach, Gordon "Tracking Menus", Proc. UIST '03, Vancouver BC, Canada, 2003, pp.7179 Point-and-press with stylus/pen tip: Pop-up tracking menus that follow cursor/stylus, compare with earlier work on marking menus: avoids tool palette round trips to a menu button at a particular location.. Bull's-eye menus. Dwell behavior optional (gesture).

[Flaherty03] (*) Flaherty, Gopi "Gesture Toolkits", Technical Presentation April 15, 2003

Overview of gesture-based interfaces: Describes retro-fitted gesture interfaces on exiting applications a "Boring Gesture Systems", gesture-based user interfaces will require new forms of interaction: PenInputPanel of Microsoft TabletPC Ambiguity of recognition, and of segmentation of handwriting/sketch strokes

[FleckDC02a] (*) Fleck, David C. "Digitizer system with on screen cue indicative of stylus position", United States Patent 6,473,073, October 29, 2002 Change cursor to indicate where a stylus is in "hover" over a fixed menu on a hardware tablet surface (versus displayed menu)

[FleckDC04a] (*) Fleck, David C. "Digitizer system with cursor shape changing as function https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

15/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

of pointer location on a menu strip and/or physical structure on tablet surface indicating menu strip location", United States Patent 6,689,965, February 10, 2004 Change cursor to indicate where a stylus is in "hover" over a fixed menu on a hardware tablet surface (versus displayed menu)

[FleischmannM04a] (*) Fleischmann, Monika; Straus, Wolfgang; Li, Yinlin; Groenegress, Christoph "Gesture-based input device for a user interface of a computer", European Patent EP1457863, September 15, 2004

Hardware patent (but is labeled "Software Patent") on electrostatic/capacitive non-contact digitizer, similar in principle to a theremin, to sense in-air gestures. Hardware for iPoint device from Fraunhofer Institut?

[ForlinesC05a] (*) Forlines, Clifton; Shen, Chia; and Buston, Bill "GLIMPSE: A novel input model for multi-level devices", Mitsubishi Electric Research Laboratories Report TR2005024, May, 2005 Use three-level force/pressure sensor to "preview" the effects of a change, as better alternative to Undo operation in a user interface. Similar to bounce at end of scroll?

[FriedlandG01] (*) Friedland, Gerald; Knipping, Lars; Rojas, Raul "E-Chalk Technical Description", Technical Report, Freie Universitaet Berlin, Institut fuer Informatik, August 28, 2001. Available at www.match.tu-berlin.de

Research group investigating various whiteboard systems for university instruction and remote education, using commercial products. Points out useful things of traditional chalkboard/whiteboard: high contrast, large size, easy to use. Handwriting recognition to enter mathematical equations for plotting easier than keyboard during a lecture. Termination of handwriting is a down-left gesture / new-line symbol. Clients software is java-enabled browser (downloaded Java client.) Mimio (from Virtual Ink) ultrasonic digitizer pen not usuable due to delays (from filtering to remove digitizer jitter). Wacom tablet with LCD projector: disadvantage is visual parallax with rear-mounted digitizer. Numonics and Hitachi digitizer whiteboards best. Cites Xerox Park Ubiquitious Computing whiteboard; Zombieboard (camera reading whiteboard, electronically subtract image of human). M.I.T. Trasnboard: electronic ink for collaboration without handwriting recognition. Electronic whiteboard with voice (similar to WANG Freestyle, but real-time?) by Thomas Ottman of U. Freiburg "Extended Whiteboard". eBeam whiteboard similar to Mimeo, but records voice.

[FriedI02] (*) Fried, Ian "Microsoft turns a new page on Mira tablet", ZDNet News, march 13, 2002 Mira tablet: display with touchscreen/digitizer, wireless link to PC -- not a Tablet PC, separate hardware. Demonstrated by Bill Gates at Consumer Electronics Show

[FroebaB02] . Froeba, B. and Kueblbeck, C. "Rapid hand gesture detection for human computer interface", CGIM: Proc. IASTED International Conference on Computer Graphics and Imaging, Anaheim, California 2002 Fraunhofer Institute (abstract only): video recognition of hand gestures are pointing (by moving a mouse cursor) and simulating mouse clicks. Thus would be compatible with standard computer.

[Fraunhofer01a] (*) Fraunhofer-Institut fuer Rechnerarchitektur und Softwaretechnik "Fraunhofer-Institute Jahresbericht 2001: Touchglobe und Touchpad", Fraunhofer-Institut, Berlin

Touchglobe and Touchpad: multi-touch input devices using sensor skin of piezo-electric polymers that can be formed on any surface: voltage potential from pressure detected by grid-structured foil

[Fraunhofer04a] (*) Fraunhofer-Institut fuer Rechnerarchitektur und Softwaretechnik "Fraunhofer-Institute: Touchglobe 3-D-Eingabegeraet auf Polymer-Basis", Fraunhoferhttps://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

16/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Institut, Berlin

Touchglobe:multi-touch input device using sensor skin of piezo-electric polymers: pressure-sensitive and multi-touch capable.

[Fraunhofer05] (*) Fraunhofer-Gesellschaft "Projekte und Themen - GestureID", www.melodiesuche.de/de/projekte_themen/gestureid.htm

In-air hand gestures based on visual processing to remove a known background and detect handgesture visually.

[Fujitsu02] (*) Fujitsu PC Corporation "Fujitsu and the Tablet PC", www.fujitsupc.com, 2002 Position paper by Fujitsu on Microsoft's Tablet PC initiative: handwriting recognition accuracy barely improved since 1989 and first pen tablets (sic). Compares Tablet PC hardware compatibility requirements with pre-existing Fujitsu pen tablets: "hover"/delectromagnetic digitizer versus resistive "passive" digitizer tablet. Notes Microsoft's emphasis on electronic ink / digital ink instead of handwriting recognition. Overall cautious about Tablet PC initiative.

[FukumotoM01a] (*) Fukumoto, Masaaki and Sugimura, Toshiaki "Active Click: Tactile Feedback for Touch Panels", Proc AHI 2001, 31 March, 2001, pp. 121-122

Haptic transducer for adding click/vibration haptic feel to a touchscreen or touch panel digitizer. Refers to UnMouse by MicroTouch as using whole touch panel as a large push switch that can be added to any touch panel/touschscreen. Physical click sensation (versus vibration) particularly helpful in noisy environments, where a simulated audible click cannot be heard. Mounting transducer on rear of hand-held PDA reduces power used, because tactile feedback conveyed to contact position of grasping hand.

[Gaca02] (*) Gaca, Christian "Virtuelle Maus und Tastatur", Article published at www.philipkdick.de, October 2002

Citation to Fingerworks multi-touch input as similar to in-air gestures shown in movie "Minority Report", based on Philip K. Dick novel

[GeaghanBO03a] (*) Geaghan, Bernard O. Moshrefzadeh, Robert S. Cordeiro, Craig A. Hagermoser, Edward S.; Hart, James J.; Hatin, Paul M.; Hauck, Karl P.; Peterson, Richard A. Jr.; Schulz, Stephen C.; and Taylor, Gordon F. "Touch Panel System and Method for Distinguishing Multiple Touch Inputs", United States Patent Application 2003/0063073 A1, April 3, 2003 On a single-touch touchpanel (e.g. resistive, acoustic, etc.) determine two touches (double multitouch) by infering the position and timing of the overlapping second touch by the rate of change of the input.

[GerpheideGE02a] (*) Gerpheide, George E. "Aparatus and Method for Tactile Feedback from Input Device", United States Patent 6,473,069, October 29, 2002

Haptic feedback output to touch-sensitive tablet surface indicating where user is touching on the surface, so that user need not look at the display. Drag-extend gesture using different portions of the display.

[GibsonR04] (*) Gibson, Rich "Introduction to the Gumstix tiny linux computer", www.oreilly.com

Tiny computer with Linux and XScale processor, on a USB drive. Can be used to re-boot Windows computers? Similar concept to "Stunt Box" of approximately 1977.

[Gocinski04] (*) Gocinski, Frank "Tablet 101 Column 3: Strokes and Recognition", Microsoft Corporation MSDN documentation, December 2004, TabletPC Edition Development Kit 1.7 Term: passive/resistive digitizer versus active/electromagnetic digitizer: 40 points/sec versus 100 points sec, .25 mm versus better

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

17/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

"Building ink chat" instant messaging using eletronic ink: compare with Telautograph Specific reference to arrow-left, circle, and check gestures

[GoertzM04a] (*) Goertz, Magus "User Interface", United States Patent Application 2004/0109013 A1, June 10, 2004

PDA touchscreen user interface: separate menu and display areas, slide/swipe motions (not to scale) in menu area as gestures to select functions in lists, etc.

[GoodL02a] (*) Good, Lance and Bederson, Benjamin B. "Zoomable User Interfaces as a Medium for Slide Show Presentations", Information Visualization Vol 2002, No 2, pp. 35-49 PhotoMesa semantically zoomable user infterface (ZUI) for viewing photographs on small-format PDA display. Cites to Pad++ etc.

[GoldbergA04] (*) Goldberg, Arin "Developing Tablet PC Software by Using the Windows XP Tablet PC Edition 2005 Recognition Pack", Microsoft MSDN, October 2004

Microsoft documentation, describes how to install Tablet PC SDK 1.7 recognizers on non-Tablet PC versions of Windows for development purposes only, external/separate tablet is still not supported. Tablet data rate is much higher than mouse, mouse not for recognition accuracy.

[GoldbergD02] (*) Goldberg, David; Want, Roy; Weiser, Mark D. "Rotationally Desensitized Unistroke Handwriting Recognition", United States Patent 6,366,697 B1, April 2, 2002 Unistroke single-stroke character recognition. Cites Gabelsberger Shorthand and Organk PenPut character recognition. Has very long recitation of other publications, which appear to be taken from this bibliography. Also cites responses in Xerox v. 3Com patent lawsuit: the Unistroke case concerning Palm? Earlier filings from 1993 abandoned?

[Golem03] (*) Golem.de "Gestenbasierter PointScreen nutzt Koerper als Eingabemedium", www.golem.de/0310/27910.html Gesture-based PointScreen uses human body as input medium / device Gesture input whiteboard from Fraunhofer Institute, technology similar to Theremin electrostatic device

[Golem05] (*) Golem.de "Wacom stellt elektronischen Stift fuer PDAs vor", www.golem.de/0507/39388.html

Wacom instroduces electronic stylus for PDAs. Super Slim Pen from Wacom, intended for PDA market. Mentions screen / electromagnetic digitizer of 4.3 inches size or smaller. Mentions use of proximity sense, rear-mounting of digitizer to display, asserts better visual clarity and physical robustness (no scratches?)

[GoyinsGS01a] (*) Goyins, Gregg S. and Resman, Mark F. "Palm Pressure Rejection Method and Apparatus for Touchscreens", United States Patent 6,246,395, June 12, 2001

Divide touch-senstivie tablet into zones, so can do palm rejection. Detect touches in different zones simultaneously for multiple simultaneous activiation points: sort them out by actual activation time to determine which inputs were unintended. Dividing into zones can be done algorithmically by only scanning a portion of the tablet.

[Grid05] (*) GSCS Inc., formerly GRiD "GRiDCASE Data Sheets and Product Information", www.pd.com, www.grid.com Technical specifications on 2005 models of GRiD Computers: ruggedized portables, pen input optional

[Groklaw05] (*) Groklaw "A New Antitrust Lawsuit - GO Corp. v. Microsoft", www.groklaw.com, July 4, 2005

News article on filing by Jerold Kaplan, former GO CEO, against Microsoft and certain vendors: numerous reader comments

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

18/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Photocopy of NDA between GO Corporation and Microsoft, Signed by Bill Gates 7/8/88. See also "GO/Microsoft" file.

[GuhaA02] (*) Guha, Angshuman, Haluptzok, Patrick M., and Pittman, James A. "Handwriting and Speech Recognizer using Neural Network with Separate Start and Continuation Output Scores", United States Patent 6,393,395, May 21, 2002

Time-delayed neural network TDNN for handwriting/gesture and speech recognition. Refers to dynamic time warpining applied to lexicon dictionary, looking for least-cost / highest-probability (plausibility) path through a set of words. Important feature is points with high change in derivative of position i.e. points of high curvature (corners): compare with feature extraction of systems such as CIC and PenPad, IBM elastic matching. Some reference to the segmentation problem (cutting electronic/digital ink into strokes).

[GuhaA05] (*) Guha, Angshuman "Feature Extraction for Real-Time Pattern Recognition Using Single Curve per Pattern Analysis", United States Patent 6,898,315, May 24, 2005

Feature extraction in handwriting/gesture recognition, Chebyshev polynomials, also aspect ratio and center of gravity. Mentions using tip force (a.k.a. pressure) from stylus as a Z value in gesture/handwriting recognition.

[GuimbretiereF01a] (*) Guimbretiere, Francois; Stone, Maureen; and Winograd, Terry "Stick it on the Wall: A Metaphor for Interaction with Large Displays", Submitted to SIGGRAPH 2001, available from the authors on-line

FlowMenu, variation on pop-up pie menus / marking menus on a large wall display, flowmenu brought up by barrel button on chalk/stylus: menu selections can be mutiple passes through section of single pie menu. Describes large display with marking (pie) menus as "digital wallpaper". Hierarchical menu effectively done in one stroke. Handwriting recognition on graphical sheets, electronic tracing paper for drawing. Items on display (desktop) may be minimized by moving to top of display, where they become thumbnails but remain active.

[HalseyE02a] (*) Halsey, Eugene IV and Getz, Catherine A. "Reduced contrast improved transmission conductively coated transparent substrate", United States Patent Application Publication 2002/0086188

Tranparent conductive grid tablet digitizer. Silicon dioxode covers non-conducting areas to reduce visibility of pattern.

[HammondT04a] . Hammond, Tracy and Davis, Randall "SHADY: A Shape Description Debugger for Use in Sketch Recognition", AAAI 2004 Fall Symposium on Making Pen-Based Interaction Intelligent and Natural, pp.71-77.

Debugging techniques for LADDER: sketch recognition language defining sketch recognition constraints. Constraint definitions automagically transformed into shape recognizers, editing recognizers, and shape displayers. Works by user sketching a shape the definition should recognized, and debugger displays what contraint(s) were not matched.

[HammondT05a] . Hammond, Tracy and Davis, Randall "LADDER, a sketching language for user interface developers", Computers and Graphics, Vol 29, pp. 518-532. Elsevier.com, 2005 LADDER: sketch recognition language defining sketch recognition constraints. Sketch recognition techniques for multiple problem domains: class diagrams, GUI design, web page design, stick figures, etc. Sketch interfaces becoming common as pen-based input systems become common.

[Han05] . Han, Jeff "Low-Cost Multi-Touch Sensing through Frustrated Total Internal Reflection", Proceedings of 18th Annual ACM Symposium on User Interface Software and Techology

Fingertip Touching on internal illuminated glass causes partial internal reflection, detected by optical

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

19/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

sensors. Cited elsewhere (iPhone) as multi-touch reference. Mentions "Minority Report" gesture user interface in three dimensions, bi-manual two hands. See also Fingerworks reference, FTIR (Frustrated Total internal Reflection) Files mention LED Touch display, touching on a grid of LED diodes, the LEDs also act as photodiodes and detect contact reflection, as digitizer / touchscreen

[Handtops04] (*) Handtops.Com Handtop Computers "OQO's Wacom Penabled screen", www.handtops.com, September 28, 2004

OQO using Wacom electromagnetic digitizer: refers to Sony U50/ U70 using a "passive" digitizer, as contrasted to a Wacom "active" digitizer -- reference to proximity sensing, higher data rate, and higher resolution than a PDA touchscreen at 40 points/sec instead of 130 points/sec

[HansenJP03a] (*) Hansen, John Paulin; Johansen, Anders Sewerin; Hansen, Dan Witzner; Itoh, Kenji; and Mashino, Satoru "Command Without a Click: Dwell Time Typing by Mouse and Gaze Selections", Proc. INTERACT '03, pp. 121-128 Dwell time using human gaze/eye-tracking (accessibility) compared with mouse clicking using an on-screen predictive keyboard. Mentions adaptive dwell time, shorter time for more skilled users

[HaraK03a] (*) Hara, Kenji "GTEdit: A Gesture-based Visual Programming Environment for Teaching Lisp", Senior thesis, U. Tokyo, Department of Information Science, February 12, 2003 Handwriting/gesture recognition by nearest-destance template matching -- compare with elastic matching? Editing of Lisp programs by editing node/tree structure of program (LISP): compare with Plamondon? GTEdit: Gesture-based Tree Editor.

[HaradaT03a] (*) Harada, Tomoki "Input Processing Method and Input Processing Device for Implementing Same", United States Patent 6,657,615, December 2, 2003

Different mouse input operations simulated based on touching time on a touch panel. Direction of scrolling depending on press-and-hold time.

[Harrison01] . Harrison, B., Buxton, W., and Zhai, S. "Graphical user interface with antiinterference outlines for enhanced variably-transparent applications", United States Patent 6,317,128, November 13, 2001 See also http://www.billbuxton.com

[HaskellB04a] (*) Haskell, Bert "Portable Electronics Product Design and Development", McGraw-Hill publishers, 2004

Palm-top PID and other defices Fig. 1.11, Contains references to 1991 Kyocera Refalo and 1987 Casio IF-8000, Fig 10.1, IBM Simon 1994. 1997 Nokia 9000 Communicator. HP Journada Smart Phone / PDA with touch screen input. Section 4.5 pen input / stylus input via ITO resistive film sheets. Display may be integrated by making top surface of LCD glass be lower later of two ITO sheets.

[Hawkins01] (*) Hawkins, Jeffrey Charles "Keynote Address, Comdex 2001", www.waystation.net/stillman/ComDexReporting/Comdex2001

Cites tablet computer as starting in 1989, focus includes portability, not just handwriting. WinPad as Microsoft effort *after* Windows for Pen Computing

[Hawkins02] (*) Hawkins, Jeffrey Charles; Sipher, Joseph Kahn; Marianetti II, Ron "Multiple pen stroke character set and handwriting recongition systme with immediate response", United States Patent 6,493,464, Decmeber 10, 2002 Refers to single stroke glyphs used as modifiers to characters already recognized, or to next stroke: e.g. to make be recognized as a punctuation mark; presented as alternative to Unistroke recognition, especially for single-character (palmtop) input with limited writing area -- Unistroke, Graffiti Has extensive bibliography, including at least one reference to an internal/non-public (Litvin?):

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

20/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

appears to have numerous references taken from this bibliography. Cites to PenDOS, Linus, Blatt gestures for spreadsheets at Wang in 1989. File has notes on Unistroke.

[Hawkins05] (*) Hawkins, Jeffrey C.; Rees, William B.; Chyi, Debbie O.; Haitani, Robert Y. "Interface for Processing of an Alternate Symbol in a Computer Device", United States Patent 6,975,304, December 13, 2005 User interface pop-up display of alternate characters for a main character: e.g. Accented versions of "E" for the letter "E", alternate currency symbols (Pound, Yen) for currency symbol. Mainly to reduce size of keyboard or simulated keyboard in a palm/PDA device, or to simplify handwriting recognition. Has extensive bibliography, numerous references.

[HayesJJ01a] (*) Hayes, John Joseph jr. and Thornson, Curtis Waynes "Radiotelephones having contact-sensitive user interfaces and methods operating same", United States Patent 6,278,888, August 21, 2001

Smartphone with graphical objects activated by input via contact-sensitive transducer (resistive, electrostatic, or acoustic touchscreen digitizer, or touch strip), momentary number of contacts during time inverval (e.g. double-tap?), moving contact (for scrolling)

[Hecht01] (*) Hecht, David L. "Printed Embedded Data Graphical User Interfaces", IEEE Computer, March 2001, pp 47-55

DataGlyphs: PEDGUI (Printed embedded data graphical user interfaces). Information encoded on the pixels in a passive printed -- or also active -- display can be read by a stylus optical sensor. Refers specifically to "address codes" embedded in a pattern, such that the sensor can read position (like a digitizer?) from the pattern underneath: uses term "address carpets": contrast with Sekendur, Anoto. "paper intermedium" by Bobrow et al

[Heisei05] (*) Heisei Electronics Col. Ltd. "Come-Book Palmtop/Handeld PC", www.computex.biz/heisei

small Tablet-PC like product, resistive touch-screen digitizer, OS is Windows CE / Windows Mobile (?), might be considered a large-format Windows Mobile / Pocket PC device

[Heller05] (*) Heller, Martin "Programming for the Tablet PC", byte.com, January 10, 2005 Mentions addition of dictionary/context/linguistic information to specific dialog windows of nonPen application using Context Tagging tool: compare with JAWS scripts for accessiblity aids for screen readers for the blind

[HeutschiT02a] (*) Heutschi, Theodor "Electronic Device, Preferably and Electronic Book", United States Patent 6,335,678, January 1, 2002 Electronic book / tablet computer / laptop (?) with touchscreen or stylus input, wireless access and video camera

[HinckleyK02a] (*) Hinckley, Ken "Input technologies and techniques", "The humancomputer interaction handbook", pp. 151-168, 1992, ISBN 0-8058-3838-4 Survey of input technologies: includes multi-touch, touchscreen, gestures.

[HinckleyK03a] (*) Hinckley, Ken "Synchronous Gestures for Multiple Persons and Computers", Proceedings of UIST 2003 Symposium on User Interface Software and Technology

Gesture of tapping two tablets (Tablet PCs) with accellerometers togther to join them into one extended virtual display: synchronous gesture refers to gesture involving two separate devices

[HinckleyK04a] (*) Hinckley, Ken; Ramos, Gonzalo; Guimbretiere, Frencois; Baudisch, Patrick; Smith, Marc "Stitching: pen gestures that span multiple displays", Proceedings of AVI '04, working conference on Advanced Visual Interfaces https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

21/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

interpolate drag gesture from one tablet/screen to a second one; opening document in one tablet/screen that are selected in another

[HinckleyK05a] (*) Hinckley, Ken; Baudisch, Patrick; Ramos, Gonzalo; Guimbretiere, Frencois "Design and Analysis of Delimiters for Selection-Action Pen Gesture Phrases in Scriboli", Proceedings of CHI 2005, April 2-7, Portland, Oregon, pp. 451..460

Selection actions with pen gestures: lasso combined with pig-tail gesture, timeout without motion and without lifting pen resulting in pie/flick gesture menu, clicking on separate button.

[History.Handy.Ru01] (*) History.Handy.Ru "AT&T EO Communicator 400/880", http://history.handy.ru/museum/eo.html Museum article on PenPoint, EO Personal Communicator from 1991, 1993 (in Russian)

[HolmanD05A] (*) Holman, David; Vertegall, Roel; Altosaar, Mark; Troje, Nikolaus; and Johns, Derek "PaperWindows: Interaction Techniques for Digital Paper", Proc. CHI 2005, pp 591-599 Optical/visual motion capturing to recognize gestures on paper ("augmented paper"), such as rubbing to transfer image from paper to electronic touchscreen, two-handed pointing, single-hand pointing.

[Hopkins03] (*) Hopkins, Mark "Disabling Press and Hold in Applications Written for Tablet PC", msdn.microsoft.com remove property MicrosoftTabletPenServiceProperty from dialog window on Tablet PC to disable press-and-hold gesture, because it can be confused with mouse hold on button, such as for audio recording -- example of conflict between mouse and stylus input

[Hopkins05] (*) Hopinks, Mark "Mobile Ink Jots 6: Using Gestures in Tablet PC Applications", msdn.microsoft.com

Tablet PC SystemGestures: gestures DoubleTap, RightTap, Tap, Drag, RightDrag, HoldEnter, HoldLeave, HoverEnter, etc. gestures. Defines "gesture" as an ink stroke or pen movement that matches the set of glyphs defined by a recognizer. See also "Integrating Application Gestures": "a glyph defines the shape traced by the gesture".

[HP02a] (*) Hewlett-Packard "hp Jornada 920 series wireless digital assistant user's guide", hp.com, fetched 2010 Windows Mobile PAD and cell phone

[Huang04] (*) Huang, Gregory T. "Microsoft's Magic Pen", MIT Technology Review magazine, May 2004

Article on a optical digitizer technology at Microsoft's research lab in China, using a printed pattern on paper for regular documents Compare with Anoto, Sekendur, and Silverbrook

[HudsonSE04a] (*) Hudson, Scott E. "Using Light Emitting Diode Arrays as Touch-Sensitive Input and Output Devices", Proc. UIST '04, October 24-27, 2004, Santa Fe, USA pp 287-290 Array of bidirectional LEDs used as photo sensors as well as display light sources: one LED used as light source, adjacent LED used as sensor for light passing through partially-translucent human finger. Includes optical (display) press feedback.

[Hullender03] (*) Hullender, Gregory and Gounares, Alexander "Ink Gestures", European Patent Application EP 1335272, United States Patent 6,938,222 B2 August 30 2005

Ink gestures recognized using Chebychev Polynomials and Bayes net. Refers to an ink gesture being included in a stroke: gesture is part of a larger stroke? Examples include gestures similar to PenPoint "flick" gestures. Claims specific to Chebychev polynomials used in recognition.

[Hullender03a] (*) Hullender, Gregory and Gounares, Alexander "Ink Gestures", United https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

22/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

States Patent Application 2003/0156145/A1

Ink gestures recognized using Chebychev Polynomials and Bayes net Refers to an ink gesture being included in a stroke: gesture is part of a larger stroke?

[Hullender05a] (*) Hullender, Gregory and Gounares, Alexander "Ink Gestures", United States Patent 6,938,222, August 30, 2005

Ink gestures recognized using Chebychev Polynomials and Bayes net Refers to an ink gesture being included in a stroke: gesture is part of a larger stroke? In description, lists example gestures and their semantics: e.g. braces (discontinuous selection), circle-tap, , flick (scroll), double-right-flick for scroll to end, double-left-flick, triple-up-flick, etc. Appears to be same basic set of gestures as Microsoft "Unimplemented Glyphs". Compare with GO/PenPoint flick and other gestures

[Hyperlabel05] (*) Hyperlabel.com "Hyperlabel product information", www.hyperlabel.com

hidden optical printed pattern on labels allows for encoding of digital signatures, for tracking of product through the distribution chain. Does not refer to tracking the provenance of manufacturing, or to security documents. Mentions encoding of web hyperlinks. Compare with Anoto, and with Digimark filing "Protection of Identification Documents using Open Cryptography" WardJR04

[IBM01a] (*) IBM "Ink Manager SDK for ThinkPad TransNote "tablet pc"", http://www.ibm.com

Announcement of ink-manager SDK in Java and C++ for electronic ink time-stamped ink stroes, ink annotation, character/handwriting recognition. Was announced about the time of PenWindows, PenPoint, before PenDOS from CIC. Note that "ThinkPad"in 1991 refered to pen PCs, not to generic laptops.

[IBM01b] (*) IBM "ThinkPad TransNote", http://www.ibm.com

ThinkScribe digital notepad: separate digitizer, combined with ThinkPad Tablet PC, sold as TransNote product. Thus two digitizer tablets?

[IBM01c] (*) International Business Machines "Ink Manager Pro 1.0 and ThinkScribe Digital Notepad User's Guide", IBM Corp. Electronic ink / ink editing applications: My Ink Files, Ink Viewer, Ink Clipboard, note-taking with Lotus Notes and Microsoft Outlook. Mentions Graphics Tablet Mode, operates as absolute-position mouse input for pen-enabling via mouse emulation. Uses separate TransNote/ThinkScribe digital notepad for capturing ink and later transfering to PC -- compare with Anoto application.

[Iggers02] (*) Iggers, Bryan / Bryan's Tech Corner "Bryan's Tech Corner for the T100X", http://www.geocities.com/SiliconValley/Vista/4927/t100x_bigs.html Technical information, software, support on 1997 Toshiba T100X pen-windows pen-computing tablet computer

[IlinskiR03a] (*) Ilinski, Roman "Interface with pre-typing visual feedback for touch-sensitive keyboard", Proc. CHI 2003, April 5-10, 2003, Ft. Lauderdale, pp. 750-751 (short talk) Touch-sensitive (touchpad) keyboard cover, cover is touch-sensitive but shaped/contoured for the separate character "keys"

[Immersion02a] (*) Immersion Corporation "MicroScribe G@ User's Guide", Immersion Corporation, San Jose, California, 2002 Electromechanical 3D digitizer, desktop sized. Software drivers for DOS and Windows.

[InksterRD04a] (*) Inkster, Robert D. "Touch pad using a non-electrical deformable pressure sensor", United States Patent 6,788,295, September 7, 2004 Pressure touchpad using optical pressure sensors. Can detect multi-touch input by independent sensing of multiple indentors (buttons).

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

23/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[InoueH01a] (*) Inoue, Hisashi; Nagayama, Keiji; and Yatsugi, Tomishige "Apparatus for Recording and Reproducing Digital Image and Speech", United States Patent 6,226,449 B1, May 1, 2001 Recording and displaying videos and speech on a hand-held device.

[Inovatech05] (*) Inovatech "Toshiba T200CS als Webpad einsetzen", http://T200.html

Technical information, software, support on converting Toshiba T200CS Dynapad pen computer (early 90s) as a web-pad unit for internet access with a stylus computer Refers to PenPad software from Toshiba: same name used for hardware handwriting recognition product by Pencept in 1980's Links to Dynapaedia for same topic

[Intel02] (*) Intel Corporation "Intel Mobile Platform Vision Guide for 2003", Intel Corporation technical document, September 2002

Refers to Slates and Handled devices using stylus-based input (pen-computing), but not covered in this guide

[IPen4You05] (*) IPen4You "i-Pen - Presentation Digital Pen / Optical Pen Mouse", www.ipen4you.com

Optical digitizer pen, similar to Anoto / Microsoft? Talks about writing on any surface, also writing on any screen. Include RitePen handwriting recognition software, annotation applications

[IRex05] (*) IRex Technologies "Electronic Reader ER 0100 "iliad"", www.irextechnologies.com

EInk display electronic book: 1024x768 display resolution. Includes stylus for adding electronic ink text and scribbling, OS not certain, not a Pen Computer: USB port, support PDF XHTML Mp3 other formats. Internal storage is 256 MB Flash. See also www.eink.com, electrophoretic display technology

[IwamuraR02a] (*) Iwamura, Ryuichi "Motion sensing interface", United States Patent 6,498,628, December 24, 2002 Eyes-front gesture user interface using image detection of hand and fingers

[IzadiS03a] (*) Izadi, Shahram; Brignull, Harry; Rodden, Tom; Rogers, Yvonne; and Underwood, Mia "Dynamo: A public interactive surface supporting the cooperative sharing and exchange of media", Proc. UIST '03, CHI Letters Vol 5 No 2, 2003, pp. 159-168

Multi-user shared tabletop display with multiple users: each user uses separate mouse and keyboard, or remote connection.

[Kairer05] (*) Kairer, Ryan "palmOne LifeDrive Review", www.palminfocenter.com, May 22nd 2005 Review of Palm LifeDrive / Palm Pilot PDA: same digitizer as Palm T3

[KarlsonAK05a] (*) Karlson, Amy K. and Bederson, Benjamin B. "AppLens and LaunchTile: Two Designs for One-Handed Thumb Use on Small Devices", Proc. CHI 2005, April 2-7, Portland, Oregon pp. 201-210 User-interface: Informational fish-eye magnified view of data when thumb is over UI element. Notification zoom, context zoom, Full zoom levels of information at appropiate detail.

[Karpenko02] (*) Karpenko, Olga; Hughes, John F., and Raskar, Ramesh "Free-form Sketching with Variational Implicit Surfaces", Eurographics 2002, Volume 21, Number 3. Also availabe as Technical Report TR2002-27, Misubishi Electric Research Laboratories, June 2002 Three-dimensional solid-form drawing using two-dimensional input from a mouse, using a projected silhouette of the two-dimensional input. www.merl.com

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

24/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[KayeS05] (*) Kaye, Stephen T.; Timmons, David Eric; Eckert, Brad; Doubrava, Dana; and Jacobs, Wesley "Collaborative Input System", United States Patent 6,930,673, August 16, 2005

Multiple-user whiteboard system. Using multiple untethered/wireless digitizer tablets to allow several users to annotate a drawing or document. Primarily discusses hardware. Schumer patent cited as prior art. See also eInstruction file.

[KayeS05b] (*) Kaye, Stephen T. "A Brief History of the Wireless Tablet in Classroom Instruction", Product whitepaper: www.einstruction.com

Multiple-user whiteboard system using untethered electromagnetic digitizers and a central projection display. Using multiple untethered/wireless digitizer tablets to allow several users to annotate a drawing or document. Includes educational software for presenting images and annotation: can subdivide display area into multiple virtual tablet displays for multiple student's work. Refers to dualinput digitizer whiteboard: wireless and USB/wired?

[KeelyB05] (*) Keely, Bert "Full Client Usability in the Highly Mobile Market", Powerpoint presentation at WinHEC 2005 on Tablet PC "sneak peek"

Microsoft WinHEC presentation on Tablet PC additions in Windows Vista/Longhorn. Mentions Ntrig transparent digitizer as thinner/lighter than electromagnetic (Wacom). Microsoft patent on "direct hinge" alternative to clamshell, license included with Windows OEM agreement. Also mentions spatial audio on microphone array with Tablet PC. Changes to display to reduce parallax by thinner protective layer.

[KeelyLB02a] (*) Keely, Leroy Bertrand Jr.; Young, Douglas Alan; Palay, Andrew James "Pen-Based Interface for a Notepad Computer", United States Patent 6,337,698, January 8, 2002

Higlight/fade-in image of a tool in proximity of a stylus, depending on height in proximity. Or when stylus is in proximity, bring up a pie-menu (pop-up marking menu).

[KeelyL04] (*) Keely, Leroy; Jones, David F; Switzer, David; Tsang, Michael Hin-cheung; and Vong, William Hong "Simulating Gestures of a Pointing Device using a Stylus and Providing Feedback Thereto", United States Patent 6,791,536, September 14, 2004

Tap, Press, press-and-hold with stylus for left-click, right-click, and left-mouse-button drag gestures. Refers to mouse click as a gesture

[KeelyL05] (*) Keely, Leroy; Lui, Charlton E; Jones, F. David; Cukierman, Ryan Edward; Cazzanti, Susanne Alysisa Clark; Iwema, Marieke; and Jarrett, Robert "High Level Active Pen Matrix", United States Patent 6,897,853, May 24, 2005 Tap, Press, press-and-hold with stylus for left-click, right-click, and left-mouse-button drag gestures. Refers to mouse click as a gesture

[KeelyL05b] (*) Keely, Leroy B.; Iwema, Marieke; and Cazzanti, Susanne Alysisa Clark "Selection Handles in Editing Electronic Documents", United States Patent 6,891,551, May 10, 2005

Text-editing user-interface with a stylus: when text is selected, also show manipulation handles for dragging/moving/resizing text, handles are easier to target. Handle for rotating also.

[KellogW05] (*) Kellog, Wendy "A Conversation with Ray Ozzie: Cooperate, Communicate, Collaborate", ACM QUEUE, November 2005, pp 18 ff. Inventor of Lotus notes, currently CTO of Microsoft. "Cornucopia of the commons" attributed to Dan Bricklin, benefits of open-source collaboration and development.

[KhellaA04a] (*) Khella, Amir and Bederson, Benjamin B. "Pocket PhotoMesa: A Zoomable Image Browser for PDAs", Proc. MUM 2004, Oct. 27-29, 2004, College Park, Md, pp. 19-24 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

25/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Browse photos not by uniform thumbnails, but by (smoothly/animated) zoomable display (semantic zoom) of photos at different scales. Stylus touchscreen interface more limited than mouse because of lack of additional buttons, and of scroll wheel. (Does not consider multi-touch, even for side-tap of 2nd finger)

[Kheog01] (*) Kheog, John Michael "Circular Transportation Facilitation Device", Australian Innovation Office, Innovation Patent AU 2001100012 A4, Application Date 2001.05.24 Patent (under Australian IP law) for the Wheel. Patent application made to point out difficulties in examination standards of new Australian patent law. Granted, later retracted. Inventor, along with the Australian Patent Office, received an IgNobel award for this patent.

[Klaehn05] (*) Klaehn, Martin and Schulthes, Stefan "OCR Optical Character Recognition", Semesterbericht im Rahmen der Veranstaltung Kuenstliche Intelligenz bei Prof. Dr. Eduard Heindl, Fachhochschule Furtwangen, Wintersemester 2004/2005, Germany

contains historical notes on optical character recognition, citing back to unidentified US patent from 1800, also to Gismo system by David Shepard in 1951: Gismo could read up to 23 different letters and speak them out loud, as well as recognizing Morse Code. Example experiment of character recognition with neural nets.

[KlatzkyRL03a] (*) Klatzky, Roberta L.; Lederma, Susan J. and Langseth, Sara "Watching a Cursor Distorts Haptically Guided Reproduction of Mouse Movement", Journal of Exp. Psych: Applied, Vol 9 No 4, 2003, pp. 228-235

If visual feedback in cursor movement does not match haptic feedback/feel, it throws user dragging performance off, even with practice, even if users are forewarned

[Knerr05] (*) Knerr, Stefan "MyScript and Vision Objects handwriting recognition technology", 1eres Recontres XAange Capital, Paris, March 23, 2005

Description of Vision Objects application development for Anoto digital/smart paper: interactive educational input for children using handwriting recognition

[KnippingL05a] (*) Knipping, Lars "An Electronic Chalkboard for Classroom and Distance Teaching", Ph.D. Thesis, Free Universtiy of Berlin, 14 February 2005 Whiteboard system for distance teaching. Includes use of pie (marking) pop-up menus on whiteboard. Numerous references to uses of pen- and tablet-computers in education for whiteboarding. Further information from www.echalk.de in paper file. See also FriedlandG.

[Koblentz05] (*) Koblentz, Evan "The Evolution of the PDA, 1975-1995", Computer Collector Newsletter, www.snarc.net/pda/pda-treatise.htm

Side-reference that the history of handwriting recognition is old, and thus a bit unclear, but history of PDA hand-held device is simpler. Historical reference Isaac Asimov "Pocket Terminal" and PocketSec" for pen computing Photograph: 1980 Casio PF-8000 with character recognition Section on Linus Technologies WriteTop with Ralph Sklarew First hand-held pen/stylus computer: Litton Data Systems "handheld terminal unit", approximately 1977

[KrugerR04] (*) Kruger, Russell; Carpendale, Sheelagh; Scott, Stacey D.; and Greenberg, Saul "Roles of Orientation in Tabletop collaboration: Compreshension, coordination and Communication", Computer Supported Cooperative Work, Vol 13, No. 5-6, pp. 501-537, Dec. 2004 (Abstract only) In Tabletop UIs for multiple users, orientation with respect to a given user is not best, users orient graphical objects in various ways to share. Observational study.

[KurtenbachG02a] (*) Kurtenbach, Gordon and Fitzmaurice, George W. "System for https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

26/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Accessing a Large Number of Menu Items using a Zoned Menu Bar", United States Patent 6,414,700, July 2, 2002

Pop-up context menus (variation on pie menus and marking menus), menu is brought up by pointing with cursor and pressing space bar or other key on keyboard. Avoids used of press and hold.

[KurtenbachGP03a] (*) Kurtenbach, Gordon P. "Method and Apparatus for Producing, Controlling, and Displaying Menus", United States Patent 6,618,063, September 9, 2003

Pop-up radial marking menu combined with linear menu, menu is brought up by pointing with cursor and pressing space bar or other key on keyboard. Avoids used of press and hold.

[JacobsS02a] (*) Jacobs, Steve "The Electronic Curb-Cut Effect: Disability and Development", www.icdri.org Nov 22, 2002: fetched 2011

International Center for Disability Resources on the Internet. Disability/Accessibility design often useful to other users in other ways. First PDA intended for the deaf (US Pat. 3746793), W3C Web Content Accessibility Guidelines.

[JaegerS03] (*) Jaeger, Stefan and Nakagawa, Masaki "The Callpaper Concept: Turning Paper into Computer Terminals", Abstract only: Seventh International Conference on Document Analysis and Recognition Vol II p. 1065, Aug 03-06, 2003 Edinburgh Scotland Presents concept (?) for using pen and paper as interface to computer.

[Jaimes05] (*) Jaimes, Alejandro and Sebe, Nico "Multimodal Human Computer Interaction: A Survey", IEEE International Workshop on Human Computer Interaction, in conjunction with ICCV 2005, Beijing China October 2005 handwriting recognition, gesture, facial gesture recognition, voice input

[JaredD01] (*) Jared, David A.; Florws, L. Noah; Hecht, David L.; Stearns, Richard G.; and Chang, Kenneth H.P. "Methods and apparatus for robust decoding of glyph address carpets", United States Patent 6,208,771, March 27, 2001

Use of patterned data glyphs/ two-dimensional address codes, printed on paper to encode position information, first examining the pattern to determine the orientation of the paper, and then to again analysing to determine the position. Compare to Anoto in particular, also to similar Microsoft patent.

[JarrettR03] (*) Jarrett, Rob and Su, Philip "Building Tablet PC Applications", Microsoft Press, 2003

Chapter 2 discusses digitizer technologies, classifies them as resistive, electrostatic (which can determine tilt angle of the pen???), electromagnetic. Discusses nonlinearity distortions in digitizer due to ferrous metal and nearby electronic components. Discusses visual parallax due to refraction from protective glass, not from front-mounting of digitizer tablet over the display. Special problems of double-clicking versus double-tapping gesture, hand motion during pointing and hovering in proximity. Mentions barrel buttons on pen. Section "Tablet Computing Comes of Age" quote Kaplan book on dramatic history of GO and Microsoft on PenPoint and pen computing, but gives no mention to Marlin Eller book on same history.

[JhaveriN03a] (*) Jhaveri, Natalie "Two Characters per Stroke - A Novel Pen-Based Text Input Techniques", Proc. New Interaction Techniques '03, Spring 2003, Univ. of Tampere, Finland

Text entry similar to QuikWriting: user touches on key on virtual keyboard, gets pop-up pie-menu for next chartacter (e.g. vowels after consonants)

[JungT02a] (*) Jung, Thomas "Haptische Systeme ("Haptic Systems")", Lecture notes 27.06.2002, "Entwicklung von Multimediasystemen", Sommersemester 2002, Hochschule fuer Technik und Wirtschaft Berlin (in German) Lecture notes on haptic and multimedia input systems. Devices without computer-

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

27/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

generated feedback include mmouse, pressure-sensitive tables, and touchpads (multi-touch) with gestures. Cites 3-D force mouse, Logitech ultrasonic mouse with 6 DOF degrees of freedom. MTC Express/Tactex multi-touch devise with interpolated values of taxels (touch pixels). Describes haptic-somatic systems using somatic sensing of body position as the "feedback". Dataglobes include Cyberglove, Cybergrasp, Cyberforce products. Motion tracking, nueronal implants.

[Lake01] (*) Lake, Matt "Lifting the Cover of those Ubiquitous Touch Screens", New York Times, Thursday March 15, 2001, page G7 top Resistive overlay screens, capacitive overlay digitizers, scanning infrared touch screens, surface acoustic wave SAW

[LandayJA01a] (*) Landay, James A. and Myers, Brad A. "Sketching Interfaces: Toward More Human Interface Design", IEEE Computer, March 2001, pp. 56-64

Overview of Sketch recognition systems for designing UIs: SILK (Sketching Interfaces Like Krazy), Electronic Cocktail Napkin, Etchapad. Unprocessed electronic ink images can be animated to try out the interactions of the user interface. Silk: rub-out/squiggle, lasso/group, unistroke X, spiral and caret gestures.

[Lapstun04a] (*) Lapstun, Paul and Silverbrook, Kia "Sensing Device for Coded Electronic Ink Surface", United States Patent 6,724,374, April 20, 2004

Australian development. Pen digitizer, using printed pattern on same surface as electronic ink. Refers to detecting regions via a printed code: compare with dataglyphs. Refers to detecting motion of sensor, rather than position of sensor. Refers to Memjet and Netpage, printing of forms. Bennett and Sekendur patents as prior art. Compare also to "Protection of Identification Documents using Open Cryptography", WardJRW04.

[Lapstun04b] (*) Lapstun, Paul; Silverbrook, Kia; and Lapstun, Anne "Method and System for Note Taking using Processing Sensor", United States Patent 6,829,387, December 7, 2004 Austrailian development. Pen digitizer, using printed pattern on same surface as electronic ink. Refers to detecting regions via a printed code: compare with dataglyphs. Refers to detecting motion of sensor, rather than position of sensor. Refers to Memjet and Netpage, printing of forms. Bennett and Sekendur patents as prior art. Compare also to "Protection of Identification Documents using Open Cryptography", WardJRW04.

[Lapstun05] (*) Lapstun, Paul and Silverbrook, Kia "Hand-Drawing Capture via Interface Surface Having Coded Marks", United States Patent 6,947,027, September 20, 2005 Optical Digitizer and intelligent paper, combined with encoded information in a particular writing/drawing field. Cites Sekendur95, Bennett91, and Ward96. Uses term netpage.

[LaViola04] (*) LaViola, Joseph J. Jr. and Zeleznik, Robert C. "MathPad(2): a system for the creation and exploration of mathematical sketches", ACM Transactions on Graphics, Volume 23, Issue 3, August 2004; Proceedings of the 2004 SIGGRAPH Converence, Session: Identifying and sketching the future

Abstract and references only Several citations to recognition/editing of mathematical expressions, but no citations to 1970's work, anything prior to 1990s

[LaViola05] (*) LaViola, Joseph J. Jr. "Mathematical Sketching: A New Approach to Creating and Exploring Dynamic Illustrations", Ph. D. Thesis, Brown University, May 2005 recognition/editing of mathematical expressions: mentions gestures for equation editing

[Leapfrog05] (*) Leapfrog Enterprizes Inc. "Instruction Manual: FLY PenTop computer", www.leapfrog.com Educational toy device: Anoto pen optical paper digitizer tablet, with educational games. One

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

28/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

example is drawing a calculator on paper, then using the calculator. Unclear what recognition technologies (if any) used.

[LeeJC01a] (*) Lee, Jin-chul "Software Keyboard System Using Trace of Stylus on a Touch Screen and Method for Recognizing Key Code Using the Same", United States patent 6,292,179, September 18, 2001 Virtual keyboard using strokes to select different characters

[LeeJC04a] (*) Lee, Johnny C.; Dietz, Paul H.; Leigh, Darren; Yerazunis, William S.; and Hudson, Scott E. "Haptic Pen: A Tactile Feedback Stylus for Touch Screens", Proc. UIST '04, October 2004, Santa Fe NM, pp. 291-294

Haptic stylus for touch screens, with pressure (tip force) sensor, using solenioid in top of pen stylus, so that it can simulat button-like forces along the axis of the touch stylus. Cites to Anoto as a passive pen touchscreen technology.

[Lemelson04] (*) Lemelson, Samuel (subject) "Lemelson's Legacy: Great Inventor or Patent Hoarder?", www.wweek.com, www.cognex.com, www.techdirt.com, other sources Articles on Samual Lemelson "submarine patents", Cognex lawsuit to invalidate, Lemelson foundation funding projects for small inventors at M.I.T., etc.

[Leszynski01a] (*) Leszynski Group "Summaries of Recent Projects: Tablet PC PowerToys / Snipping Tool", Leszynski Group, www.leszynski.com

Snipping Tool applet for Tablet PC of Microsoft: clips desktop image (or window) and allows it to be annotated with electronic ink. Compare with Freestyle. Also InkShortcut (compare with PenCept recognition macros) mapping gestures to application's custom action, shape and symbol recognition, electronic ink indexing based on "perceptual" similarity of shapes: Emotive shape guides (e.g. write a sad or happy face mark)

[LiJ05a] (*) Li, Junfeng; Zhang, Xiwen; Ao, Xiang; Dai, Guozhong "Sketch Recognition with Continuous Feedback Based On Incremental Intention Extraction", Proc. IUI '05, January 2005, San Diego, pp. 145-150 Sketch recognition in real time, primarly for arcs and straight lines and connected multi-lines, not domain-specific objects or shapes.

[LiY05a] (*) Li, Yang; Hinckley, Ken; Guan, Zhiwei; Landay, James A. "Experimental Analysis of Mode Switching Techniques in Pen-based User Interfaces", Proc. CHI 2005, Paril 2-7, Portland, Oregon, USA, pp. 461-470 Modes for switching between electronic ink input and gestures: did not like pressure mode of digitizer, preferred switching with other (non-preferred) hand. Barrel-button (compare with Pencept recognition macros: may depend on design of barrel button?), press-and-hold (says this was the worst), eraser end of pen/stylus.

[LinJ05a] (*) Lin, Jaoching "Sensing an Object with a Plurality of Conductors", United States Patent 6,891,531, May 20, 2005 Electrostatic/capacitive grid touch tablet

[LinjamaJ04a] (*) Linjama, Jukka and Kaaresoja, Topi "Novel, minimalist haptic gesture interaction for mobile devices", Proc. NoriCHI '04, October 2004, Tampere, Finland, pp. 457458

Tactile haptic feedback in handheld device using vibrating DC motor with counterweight. Effects include bouncing of ball, centering spring, and damping. Feedback synchronous with graphic and tactile events (tap, kick), combined with 2-D accelleration sensor. Cites to Immersion in cell phones.

[Logitech04] (*) Logitech Inc. "Logitech io2 Digital Writing System, Logitech io Digital Pen", www.logitech.com https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

29/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Logitech version of Anoto digital pens: applications include handwritten notes, handwriting recognition. MyScript notes by Vision Objects with shape recognition. Background handwriting recognition for indexing documents.

[LohbihlerA04a] (*) Lohbihler, Andrew and Jaeger, Denny "Method and apparatus for powering detecting and locating multiple touch devices on a touch screen", United State Patent Application Publication 2004/0056849, March 25, 2004

Transparent CDMA (capacitive?) digitizer with two styli, styli are powered from an EM standing wave generated in a layer of the tablet

[LokhorstDM04a] (*) Lokhorst, David M. and Alexander, Sathya R. "Pressure Sensitive Surfaces", United States Patent 6,715,359, April 6, 2004

Tactex: touch digitizer with pressure sensitive sensors (in a grid), membrane or surface that distributes force across adjacent sensors, interpolate pressure/force image to determine accurate fine position. Protrusions over the sensors under the covering membrane to focus force on sensors. Resistive, optical, piezo force sensors. Membrance can have fine structure (holes, etc.) to focus force.

[LongAC01a] (*) Long, A. Chris; Landay, James A; and Rowe, Lawrence A. "quill: A Gesture Design Tool for Pen-Based User Interfaces", Paper submitted for publication, based on PhD dissertation with same title at UC Berkely, 2001

User-defined/trainable gestures, with automatic system to tell defining user when gestures are similar/confusable, or may have other problems such as poor training set. Cites to other gesture system (Sensiva, KGesture, Opera web browser) for use with applications that are not gesture-aware: compare with PenCept recognition macros. Only single-stroke/unistroke gestures.

[LongAC01b] (*) Long, A. Chris; Landay, James A; and Rowe, Lawrence A. ""Those Look Similar!" Issues in Automating Gesture Design Advice", Proc. PUI 2001, Orlando, Florida pp. 1..6 User-defined/trainable gestures, with automatic system to tell defining user when gestures are similar/confusable, or may have other problems such as poor training set. Cut/CopyPaste gestures like caret, insert and pig-tail. Refers to gestures as location-indepedent user interface components (whiteboard?).

[LuJ03a] (*) Lu, Jin "Multi-point Touch Pad", United States Patent Application US 2003/0085882 A1, May 8, 2003

Array/matrix of strain gauges for multi-touch touchpad, asserts that arrays of touch sensors alone will register nothing if the point of contact is between the touch sensors (not true for capacitive sensors in general).

[Luckman01] (*) Luckman, Coling G; Hecht, David L; Petrie, Glen W; and Kaplan, Ronald M. "Method and apparatus for embedding translation information in text-based imaged data", European Patent Application 1217537, publication date 200-06-26 Xerox Data Glyphs -- optical tablet/location pattern: see also Giumbretiere

[Luff04] (*) Luff, Paul; Heath, Christian; Norrie, Moira; Signer, Beat; and Herdman, Peter "Only touching the surface: creating affinities between digital content and paper", Proc. 2004 ACM conference on Computer Supported Co-operative Work, Chicago Illinois Abstract only Giumbretiere: Paper augmented digital documents Grasso/Karsenty/Susani: Augmenting paper to enhance community information sharing

[LuiCE03a] (*) Lui, Charlton E.; Chew, Chee, and Altman, Dan W. "Adaptive auto-scrolling merge for hand written input", United States Patent 6,559,869, May 6, 2003 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

30/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Automatic scrolling/positioning of electronic ink in a small display to simulate longer paper

[LuiCE03b] (*) Lui, Charlton E., Parker, Kathryn L. and Altman, Dan W. "System and method for automatically switching between writing and text input modes", United States Patent 6,552,719 April 22, 2003

SIP Soft input panel for handwriting input switches input to text / handwriting recognition mode, versus writing/drawing or ink-editing/gesture mode: says automatic, but user must switch modes by clicking/tapping on SIP input mode icon.

[LuiCE04] (*) Lui, Charlton E., Altman, Dan; Smith, Anthony Scott; Tee, Cynthia; and Pichalah, Shenbagalakshmi "System and Method for Scaling and Repositioning Drawings", United States Patent Application 20040205624

Automatic rescaling and repositioning of drawing images when the font size is changed in a document, or text is move. Automatic adjustment if this causes two drawing images to overlap in the laid-out layout page.

[Lu-Porter04] (*) Lu-Porter, Li, and Helfrich, Antje "Handwriting Recognition Improvements in Microsoft Windows XP Tablet PC Edition Service Pack 2", MSDN documentation, Microsoft Corporation, March 2004

Remove unusual words from lexicon dictionary, improve recognition of umlauts and other diacritical marks, getter support for delayed strokes: quotation marks, etc.

[MacLeanKE02a] (*) MacLean, Karon E.; Shaver, Michale J.; Pai, Dinesh K. "Handheld Haptics: A USB Media Controller with Force Sensing", Proc. HAPTICS 02, 10th Symp. on Haptic Interfaces for Virtual Environment and Teleoperator Systems Hand-held haptic "display", accelerometer and sideways thumb-wheel input, single actuator for output, with USB interface. Initial experimental systems include video editing, visual browsing.

[MacLovers02] (*) MacLovers.com "Apple Antiquariato", www.maclovers.com/anitquariato/hello29.htm (in Italian)

Apple Knowledge Navigator: cited by Ard02 as part of pen-computing history. Apple Newton 1993, Apple Message Pad 1996, Apple eMate (no tablet/handwriting recognition?)

[Maentyjaervi04] (*) Maentyjaervi, Jani; Kybergh, Kjell; Himberg, Johan; and Hjelt, Kari "Touch Detection System for Mobile Terminals", Proc. MobileHCI 2004, LNCS 3160, pp. 331-336, 2004

Impedance measurements (resistive?) touch-screen touch detection system for mobile phones: Recognizes/detects touch of different objects such as cases and cotton trouser pockets, not just finger touch

[MalikS04] (*) Malik, Shahzad and Laszlo, Joe "Visual Touchpad: A Two-handed Gestural Input Device", Proc. 6th International Conference on Multimodel Interfaces, State College, Pennsylvania, 2004, pp. 289-296 Optical touchpad digitizer (intended to simulate a multi-touch touchpad) using optical camera to read hand positions over a desktop surface, and finger orientation/directions. Mentions advantage over actual touchscreens, because screen is not obscured by hand. Cites Enhanced Desk, 4D Touchpad.

[MalikS05] (*) Malik, Shahzad; Ranja, Abhishek; and Balakrishnan, Ravin "Interacting with large Displays from a Distance with Vision-tracked Multi-Finger Gestural Input", Proc. UIST '05, October 25-37, Seattle, USA pp 43-51

Multi-user multi-hand tracking system: uses optical tracking of hands over black touch surface, able to read all fingers and entire hand, not just points of contact. Gestures by hand/fist posture: e.g. pointing, double pointing, open hand. Compare with "Put that there"

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

31/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[MarkoffJ04] (*) Markoff, John "Newly Released Documents Shed Light on Microsoft Tactics", New York Times, March 24, 2004

Minnesota antitrust lawsuit v. Microsoft. Jerry Kaplan of GO/PenPoint, also cites Marlin Eller book "Barbarians led by Gates" on PenWindows was intended to stop GO from doing business with Intel.

[MartinD02] (*) Martin, David A. "Projection Display System with Pressure Sensing at Screen, and Computer Assisted Alignment Implemented by Applying Pressure at Displayed Calibration Marks", United States Patent 6,337,681

Whiteboard system using a projection display with a touch-screen digitizer. Multiple pens/stylus, eraser. Describes four-point quadrilateral calibration for projected image with digitizer to compensate for projection distortion (keystone), same method used by PenCept and CIC for aligning paper to digitizer Correct for misalignment of digitizer and image

[MathewsCF03a] (*) Mathews, Craig Forrest "Absolute Beginner's Guide to Tablet PCs", Que Publishing, 2003

Extended guild to using Microsoft Tablet PC: mentions barrel button / side switch and eraser buttons on stylus, and controls to disable. press and hold behavior can be disabled if awkward for user, or user can select side switch or press and hold. Refers to cross-functional pen styly that can also leave ink: compare with Summargraphics in 1970s. SIP Start Input Panel gesture is "shake" in proximity. Backspace (left), space (right), enter (down right), tab (up riight), scratch-out gestures. Denim sketch recognition for designing web sites from Berkeley Instititute for Design. Gesture shortcuts (compare with PenCept recognition macros) via Sensiva Symbol Commander -- special gesture set reminiscent of Jot/Unistroke. (Note: Leszynski.com did Tablet PC Power Toys in 2002) and other third-party products, e.g. sheet music editing with gestures, journal. Electronic copy only

[MathewsJE05] (*) Mathews, James E., Thacker, Charles Patrick; and Tsang, Michael Hincheung "In-air Gestures for Electromagnetic Coordinate Digitizers", United States Patent 6,903,730 B2, June 7, 2005. Assigned to Microsoft Corporation In-air gesture (a.k.a. "shake"), stylus must stop moving to indicate completion. Does not mention Polhemius. Spike motion is basis for gestures. Proximity position sensing. Does not refer back to Windows for Pen Computing, which may have had some of the same gestures.

[MayerM03a] (*) Mayer, Matthias and Bederson, Benjamin B. "Browsing Icons: A Taskbased Approach for a Visual Web History", University of Maryland Dept. of Comp. Sci, Report CS-TR-4308, 2009

Show web browsing history as directed graph ("animation") of all pages visited, not just a single path.

[McGeeD01] (*) McGee, David R. and Cohen, Philip R. "Creating Tangible Interfaces by Augmenting Physical Objects with Multimodal Language", Proc. IUI '01, January 14-17, 2001, Sante Fe, new Mexico

Military command office with expensive electronic whiteboards and information display systems: in actual crisis, staff preferred to use large wall map with post-it notes, because the interfaces were tangible. One factor is that the tangible/physical tools are robust: continued to work when computer systems were not operational.

[McGeeD02] (*) McGee, David R.; Cohen, Philip R.; Wesson, R. Matthews; and Horman, Sheilah "Comparing paper and tangible, multimodal tools", SIGCHI, Minneapolis Mn, pp. 407-414 (Abstract only): In military command posts, officers prefer paper maps, post-it notes, and hand-

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

32/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

written annotations to electronic systems. Rasa adds electronic support to existing paper: paper is robust.

[McVey05] (*) McVey, J. "Telautography", www.jmcvey.net/cable/elements/telautograph1.htm

History of the Telautograph, precursor both to the Fax/facsimile machine, and to digitizing tablets. First invention by Elisha Gray 1981, other early patents by George S. Tiffany and Foster Ritchie. See also "Dead Media Project"

[MetzgerR02a] (*) Metzger, Ram "Pointing Method", United States Patent Application 2002/0190946, December 19, 2002

Point to a location on a screen and enter data there, by typing, voice or other means. Pointing may be by speech input, describing objects on the screen that are then located. Fine positioning by "bouncing" to a kind of object nearly based on input. Coordination of pointing and text cursors.

[Meunier03] (*) Meunier, Jean-Luc, Dymetman, Marc, and Ferrnstrom, Christer "Encoded Sheet Material and System for Processing", United States Patent 6,585,163, July 1, 2003

Printing bar codes or other encoded information on the edges of stacks of paper: cites Dataglyphs as related art

[Meunier03b] (*) Meunier, Jean-Luc "Coding Scheme for Encoded Sheet Material", United States Patent 6,637,666, October 28, 2003

Printing bar codes or other encoded information on the edges of stacks of paper: cites Dataglyphs as related art

[Microsoft01a] (*) Microsoft Corporation "Remarks by Bill Gates", www.microsoft.com, March 26 2001

Announcements by Bill Gates at WinHEC 2001: tablet PC is large potential hardware market, tablet PC is breakthrough large market.

[Microsoft01b] (*) Microsoft Corporation "Microsoft Windows User Experience -- Official Guidelines for User Interface Developers and Designers", www.microsoft.com, May 3, 2001 User interface guidelines for Windows UI. Mentions pen-and-paper mock-ups for UI design. References both press and also hold as mouse actions: pressing is positioning over an object, and then pressing mouse button. TTM_GETDELAYTIME for pop-up context-sensitive windows.

[Microsoft02a] (*) Microsoft Corporation "Building Ink Chat", msdn.microsoft.com, MSDN, April 2002

Programming example for TabletPC: instant-messaging communications application, appears to be a TabletPC software version of the Telautograph. Compare to whiteboard systems. Electronic ink renders to GIF if electronic ink support not available on the receiving system.

[Microsoft02b] (*) Microsoft Corporation "MSDN: SDK Documentation for Windows Mibile-Based Pocket PCs: Mobile Device Hardware Review", msdn.microsoft.com, MSDN, April 2002

Hardware description for Pocket PC: resistive touch-panel digitizer. States that touch-panel input is mouse messages, 100 Pts/sec digitizer rate

[Microsoft02c] (*) Microsoft Corporation "Die Geschichte des Pen Computing", Microsoft Corporation press release, November 11, 2002, available at https://www.microsoft.com/germany/presseservice

Mentions RAND-tablet (Grafacon) and Ivan Sutherland "Sketchpad" as first pen computers Hewette Crane 1964 input styluse (which see: without tablet, used accellerometer). Mentions Dynabook, but does not assert handwriting recognition for it. Also Grid Computing, Momenta. Attributes pencentric computing to Hew Crane. Cites GO and PenPoint as the first operating system developed

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

33/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

specifically for pen computing.

[Microsoft02d] (*) Microsoft Corporation "Start Tablet PC Input Panel with a Gesture", www.microsoft.com/windowsxp/using/tabletpc/learnmore/inputpanel.mspxa, November 7, 2002 Shake gesture to start TIP/SIP Tablet PC Input Panel on Tablet PC

[Microsoft02e] (*) Microsoft Corporation "Windows XP Tablet PC Edition: Tablet PC: An Overview", msdn.microsoft.com, June, 2002

Electronic ink / gesture integration with Microsoft Office: specifically states that Tablet PCs use an electromagnetic digitizer (with proximity) and not a resistive-touch screen: mentions palm-rest problem of resistive touch screens Two versions (?) of this, 2002 and 2004.

[Microsoft02f] (*) Microsoft Corporation "Pointer Ballistics for Windows XP", msdn.microsoft.com, Update October 31, 2002

Precision pointer / accelleration algorithms for mouse input, states that it achieves smoother pointer movements. Does not discuss digitizer/touchscreen input with absolute position input, only relativemovement mouse.

[Microsoft03a] (*) Microsoft Corporation "Using Gestures", msdn.microsoft.com, MSDN, January 15, 2003 3:17 p.m.

Tablet PC SDK documentation from MSDN, sections include Application Gestures, CollectionMode, InkCollector; InkAndGesture and GestureOnly modes Section "Application Gestures and Semantic Behavior" : defined gestures include scratch-out/erase, Triangle/insert, Check-off, Curlicue/fixed (compare with proofreader's marks), DoubleCurlicue/copy, double-circle/paste, left-semicircle/undo, right-semicircle/redo, Caret gesture/paste, Inverted-caret/insert, flick left / backspace, flick right / space (compare with GO flick gestures), left/right/up/down corners with directional gestures. See also 2008 version of same reference.

[Microsoft03b] (*) Microsoft Corporation "ApplicationGesture Enumeration -SystemGesture Enumeration", www.microsoft.com

List of Application gestures and system gestures for Microsft Tablet PC. Lists Tap and DoubleTap as gestures that work for both, cites modal confusion with exclamation point gesture. Notable that exclamation is used both as a gesture and as a handwriting character. Gestures include curlycue similar to proofreaders cut/delete mark, doublecurlicue Dated Jan 15 2003. Cites additional gestures to be supported: see "Unimplemented Glyphs".

[Microsoft03c] (*) Microsoft Corporation "Microsoft Tablet PC - Windows XP Tablet PC Edition", msdn.microsoft.com, January 15, 2003

Hand obscures view of display, targets should be larger. Default alignment of menus is switched to left, because predominantly right-handed users of stylus/tablet versus mouse. Windows Mouse GUI is modified for stylus input. Targeting more difficult with stylus than with mouse. Double-tap has motion with stylus. Notes differences between double-tap gesture with a stylus/digitizer tablet and double-click with mouse, tool-tips different for mouse and tablet gestures because of difficulty targetting a single pixel with accuracy with a stylus, and double-tap hard to do on the same pixel (as with a mouse).

[Microsoft03d] (*) Microsoft Corporation "Microsoft Knowledge Base: Cannot See Writing with Pen Pointing Device and Super VGA, KB111569", msdn.microsoft.com, 10/14/2003 Reference to modified display drivers to show ink data in conjunction with tablet/pen driver in Windows for Pen computing 1.0 (from 1992)

[Microsoft03e] (*) Microsoft Corporation "Microsoft Tablet PC - System Events and Mouse Messages", msdn.microsoft.com, January 15, 2003 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

34/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Tablet PC generates both mouse events and system events (gesture messages), regardless. Mentions difference between ISG_TAP tap gesture sent when pen/stylus is lifted, and WM_LBUTTON_DOWN message sent on mouse click. No mouse GUI equivalent to HOVER gesture of tablet GUI. Mouse messages useful for pointing, pen events for real-time ink.

[Microsoft03f] (*) Microsoft Corporation "Microsoft Tablet PC - Timeline of Mouse Messages and System Events", msdn.microsoft.com, January 15, 2003

Mentions separation of system events / Gestures from mouse input: ISG_Tap events are processed instantaneously, whereas mouse WM_ messages and mouse clicks are delayed by windows messageing service queue. DoubleTap gesture not accurate, longer time between click-like events compared to mouse. Sequence of ISG_DBLTAP and WM_DBLLBUTTON messages indeterminate.

[Microsoft03g] (*) Microsoft Corporation "Microsoft Tablet PC - Unimplemented Glyphs", msdn.microsoft.com, January 15, 2003

Tablet PC gestures appear to be nearly identical list of gestures to Hullender patent. Gestures include Circle-Circle, DiagonalLeftUp, DoubleDown, all alphanumerics, TripleDown, QuadrupleTap, etc. Infinity gesture to switch in and out of gesture mode.

[Microsoft03h] (*) Microsoft Corporation "Microsoft Tablet PC - General Threading Considerations", msdn.microsoft.com, January 15, 2003

MouseDown and CursorDown (mouse vs. tablet/stylus) events occur on different threads, for reasons of rendering electronic ink

[Microsoft03i] (*) Microsoft Corporation "Developing Applications Using your Tablet PC", msdn.microsoft.com, Microsoft TechNet, May 13, 2003

Arign Goldberg, Cory Linton presentation on Tablet PC. Soft Input Panel and also Tablet PC Input Panel: can be bound to input fields in dialogs as part of application programming. Discussion of differences in electronic ink APIs and functionality between Windows Mobile / Pocket PC and Tablet PC, touch screen and proximity digitizer. Newsgroup microsoft.public.tabletpc.developernewsgroup on msnews.microsoft.com

[Microsoft03j] (*) Microsoft Corporation "Microsoft Tablet PC - Design Recommendations", msdn.microsoft.com Pen as Pointing and Input Device; Designing for the Use of Handwriting Recognition; Interoperability of Ink Data; Readability; external monitors on Tablet PC; Accessibility. See also 2006 version.

[Microsoft03k] (*) Microsoft Corporation "DOC: Pen Documentation in Windows Resource Kit Incorrect", support.microsoft.com, Article Q86031 Re-publication of 1992(?) Notice about Windows for Pen computing 1.0, on sample tablet drivers for WACOM and Scriptel tablets being included with Pen OAK separatly from version 3.1 of Windows SDK.

[Microsoft03l] (*) Microsoft Corporation "Mcrosoft Announces the Next Version of the Tablet PC Operating System", www.microsoft.com, November 17, 2003

Windows XP Tablet PC Edition 2004 with OneNote and Jounal note taker applications with editing of electronic ink, electronic ink annotation in ExCel spreadsheets

[Microsoft04a] (*) Microsoft Corporation "Windows XP Tablet PC Edition: Tablet PC: An Overview", msdn.microsoft.com, August 25, 2004

Electronic ink / gesture integration with Microsoft Office: specifically states that Tablet PCs use an electromagnetic digitizer (with proximity) and not a resistive-touch screen: mentions palm-rest problem of resistive touch screens

[Microsoft04b] (*) Microsoft Corporation "Issues that may occur with mobile devices that use https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

35/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Outlook Mobile Access and the Windows Mobile operating system or the Pocket PC 2003 operating system", msdn.microsoft.com, KB871185, 7/21/2004 Failure to support extended (non-ASCII7) characters in Pocket PC OS: explicit reference to Windows Mobile Operating System, Pocket PC operating system.

[Microsoft04c] (*) Microsoft Corporation "WISPTIS.EXE running on Terminal Server", Google Groups: microsoft.public.windows.terminal_services, June 28, 2004

WISPTIS.EXE Windows Ink Services for Pen, Tablet Input Subsystem: installed automatically by Adobe Acrobat 6 and other application even if not originally present on Windows XP Operating System, not just Tablet PC.

[Microsoft04d] (*) Microsoft Corporation "Deploying Microsoft Windows XP TabletPC Edition 2005", www.microsoft.com/technet: updated August 5, 2004

Automated installation scripting for Tablet PC: notes that Tablet PC must have additional hardware buttons for changing orientation of the display, CTL-ALT-DEL reboot. TabTip.exe, tpa.exe, wisptis.exe services. Linearity Data in system registry for correction of position accuracy errors in the particular digitizer tablet.

[Microsoft05a] (*) Microsoft Corporation "Die Geschichte des Pen Computing", www.microsoft.com

Microsoft press note on the history of pen computing: factual errors include statement of RAND Tablet Grafacon as the first digitzing tablet. Mentions Hewlette Crane at Stanford Research Institute with 1964 patent, but not earlier work. Also omits later references to CIC, only to SRI. Alan Kay Dynabook: does not specifically repeat assertion that the Dynabook "vision" included handwriting recognition or pen/tablet computing

[Microsoft05b] (*) Microsoft Corporation "Microsoft Tablet PC - Ink Data", msdn.microsoft.com

Defines stroke as pen-down/pen-move/pen-up. Stroke data consists of packets of X/Y co-ordinates and other PacketDescription data: pressure (tip-force), angle, etc. "Cusps" changed by Bezier processing (filtering/pre-processing) into loops. Describes cusps as parse points for erasing electronic ink, without regard to handwriting recognition.

[Microsoft05c] (*) Microsoft Corporation "Microsoft Knowledge Base: Drag-and-Drop Editing not Functional with Pen Windows", msdn.microsoft.com, 5/20/2005, KB110398 Notes conflict between behaviors of mouse GUI and tablet PC GUI (mostly likely PressHold gesture?) in Windows for Pen Computing 1.0

[Microsoft05d] (*) Microsoft Corporation "Platform Builder for Microsoft Windows CE 5.0: Debugging Resources Overview", msdn.microsoft.com Debugging/development tools for Windows Mobile 5.0: reference to Windows Mobile OS, Windows Mobile 5.0 as an OS

[Microsoft05e] (*) Microsoft Corporation "Windows Mobile Version 5.0 SDK: Code Samples", msdn.microsoft.com Explicit reference to Windows Mobile OS Dvorak Soft Input Panel / SIP / simulated/virtual keyboard on Windows Mobile

[Microsoft05f] (*) Microsoft Corporation "Microsoft Tablet PC - Ink Analysis", msdn.microsoft.com

Ink Analysis has Divider and DivisionResult processing to segment ink for electronic ink editing, compare to van Raamsdonk.

[Microsoft05g] (*) Microsoft Corporation "Natural Input on Mobile PC Systems: Full client Usability for the Highly mobile Market", msdn.microsoft.com WinHEC 2005: List of Tracks https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

36/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

and Sessions

Discussion of pen-enabled and voice-enabled system for Tablet PC.

[Microsoft05h] (*) Microsoft Corporation "How to Buy a Tablet PC / How to buy the right Tablet PC", www.microsoft.com, 2005 List of hardware vendors for Tablet PC

[MihaelescuP03a] (*) Mihaelescu, Patrik "MAE: A Mobile Agent Environment for Resource Limited Devices", Ph. D. Thesis, Monash University, January 2003

Mobile agent: software that moves itself to a host computer to continue executing on behalf of user when user turns off a portable computer /PDA. Original concept was General Magic with Telescript language, current (2003) technoloyg is mostly Java. Thesis pre-dates Apple iPad/iPhone. Mentions Newton. Development platform for project was PalmOS.

[Milekic05] (*) Milekic, Slavoljub "User Interface for Removing an Object from a Display", United States Patent 6,920,619, July 19, 2005

User interface via direct manipulation on a touchscreen: in particular a gesture-like flick (rapid motion) results in object being "thrown away" / deleted rather than being moved around: the recognition of the feature is based on the velocity only, not on shape. Appears to refer to directional gestures with different meanings, but apparently does not describe a recognizer of shapes per se. Other disclosures are about proximity sensing, using multi-finger (two-user) behaviors of touch input. Include two-user/two-finger "transfer/share" gesture for resistive-sheet touchscreen.

[Mimio04] (*) Mimio / Virtual Ink "Mimio Interactive Whiteboards, by Virtual Ink", http://www.mimio.com wireless digitizer tablet, also works with laptop computer

[MinS02a] (*) Min, Saehee Sarah "Caressing Sound and Image", EECE 496 Final Project Report, Univ. of British Columbia, Canada, Project Code SSF3, April 5, 2002

MTC Express Multi-Touch controller with multipoint pressures (multitouch force-sensitive) using image processing interpolation to recover actual shape. Mostly about image interpolation algorithms (Pythagorean and pre-calculated sinc interpolation) for multi-touch sensor: compare with Rekimoto?

[Mitsubishi04a] (*) Mitsubishi Electric Research Laboratories "Freehand Touch Gestures", Available at www.merl.com multi-touch hand gestures on an interactive tabletop. Compare with Entertaible.

[Mitsubishi04b] (*) Mitsubishi Electric Research Laboratories "DiamondTouch", Mitsubishi Electric Research Laboratories Press Release: November 25, 2004. Available at http://www.merl.com Digitizer tablet using electrostatic/capacitive sensing in a table-top display surface. Multi-touch. Compare with Entertaible.

[Mitsubishi05a] (*) Mitsubishi Electric Research Laboratories "Haptic Stylus", Mitsubishi Electric Research Laboratories Press Release: July 14, 2005. Available at http://www.merl.com Part of DiamondTouch project: solenoid vibrator in a handheld stylus to give different tactile feedback when stylus of digitizer is over a particular icon or object in proximity

[MoranTP01a] (*) Moran, Thomas P.; van Melle, William J.; Kurtenbach, Gordon P.; Chiu, Patrick "Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activies", United States Patent 6,332,147, November 3, 1995 Electronic whiteboard: Record and play back synchronized electronic ink and audio: compare with Wang Freestyle?

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

37/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[Morton03] (*) Morton, J, Kevin "Disability Law Blog: MyIE2: Super Drag and Drop and Mouse Gestures", www.jkevinmorgon.com Mouse Gestures with web browser

[MoscovichT05a] (*) Moscovich, Tomer; Igarashi, Takeo; Rekimoto, Jun; Fukuchi, Kentaro; and Huges, John F. "A Multi-finger Interface for Performance Animation of Deformable Drawings", Paper and demonstration (video on YouTube) from UIST '05, User Interface Software and Technology, October 2005 "Dragimation": video shows using multiple fingertips (up to 5, with two hands) to animate cartoon images of flying bats, crawling snakes, etc. Includes demo of finger sensing image on SmartSkin touchscreen digitizer.

[Motif01a] (*) Fountain, Antony and Fergusun, Paula "Motif Reference Manual for Motif 2.1 Volume 6b The Definitive Guide to the X Windows System", O'Reilly and Associates, 2001. Copyright 1998, 2000, 2001. moveThreshold of class MoveThreshold: minimum distance for drag. Also XmNselectThreshold, minimum distance to move to select next character in text/drag selection.

[Motorola03a] (*) Motorola Corporation "Creating Device Configurations: White Paper", www.motorola.com

IDE development emulator for Motorola smartphones, using Java and CodeWarrior debugger. Simulation image of virtual Motorola smartphone (similar to T720) in J2ME SDK. Mouse emulation / mouse events in smartphone.

[Motorola04a] (*) Motorola Corporation "Motorola MPx product information", www.motorola.com

Touschscreen (stylus) cell phone with dual hinge: can open as flip-phone or in portrait orientation using Windows Mobile 2003 OS. Handwriting recognition in separate areas for lowercase, uppercase, and numeric characters. File contains additional materials

[Motorola05] (*) Motorola Corporation "Finger Writing", www.motorola.com

capacitive digitizer for determining center position of finger writing on a normal push-button keypad, Motorola Shanghai Human Interaction Research; Compare to Casio 8000 hand-PDA calculator unit from 1980's, which had handwriting input on pressure-membrange keypad

[Motwani03] (*) Motwani, Mukesh "Colocated Dataglyphs: Master's Thesis Proposal", University of Nevada, Reno, Computer Science Department, 2003 Dataglyph: extension of error-correcting and tamper-evident properties to multiple pages

[MoyleM03a] (*) Moyle, Michael and Cockburn, Andy "A Flick in the Right Direction: An Evaluation of Simple Gesture Based Controls", http://www.cosc.canterbury.ac.nz/andrew.cockburn/papers/moyle-cockburn.pdf, also presented (in part) at Fourth Australasian User Interface Conference AUIC03, Adelaide Australia, and in Behaviour and Information Technology. 24(4): 275--288. Taylor and Francis. 2005 Also published under similar title (?): A Flick in the Right Direction: a case study of gestural input: Behavior and Information Technology, Vol 24, Number 4, July 2005, pp 275-288. Comparison of flick gestures (with a stylus) with dragging to scroll web pages, also comparison with mouse input, in PDAs. Flick gestures win. Cites study of Graffiti Unistroke alphabet (not Graffiti2/JOT) Contains references to Unistroke gestures from various authors

[MoyleM03b] (*) Moyle, Michael and Cockburn, Andy "The Design and Evaluation of a Flick Gesture for 'Back' and 'Forward" in Web Browsers", Fourth Australasian User Interface https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

38/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Conference AUIC03, Adelaide Australia

Flick forward and flick back gestures based on marking menus.

[Mueller-Prove02] (*) Müller-Prove, Matthias "Vision and Reality of Hypertext and Graphical User Interfaces", Report 237, Fachbereich Informatik, Universitaet Hamburg, Germany, February 2002, (Master's Thesis)

Has review of Memex by Vannevar Bush, Sketchpad by Sutherland, Flex machine and Dynabook. Shows Flex Machine with separate digitizing tablet (proposal) in 1969. Shows Parallel Textface with multi-touch (?) touchscreen in Xanadu system, 1972.

[MulliganRC05a] (*) Mulligan, Roger C.; Badaye, Massoud; Wong, Alex K.; and Lim, Brian G. "Lattice touch-sensing system", United States Patent 6,970,160, November 29, 2005 Cross-conductor capacitive grid for touchscreen digitizer, senses multiple touches for gaming application, or for rejecting multiple touches

[MunsonJC01] (*) Munson, John C. and Wimer, Scott "Watcher: The Missing Piece of the Security Puzzle", ACSAC 2001 Conference Proceedings, New Orleans 11-14 December 2001, pp 230-239 Disallowed Operational Anomaly system: dynamic modeling of program behavior using execution path patterns, deny operation when program behavior diverges from learned patterns. Technical reference for Cylant.com, intrusion detection contrasted to signatures for files or SNORT network patterns

[MunsonJC02a] (*) Munson, John C. "Method and System for Simplifying the Structure of Dynamic Execution Profiles", United States Patent Application 2002/0138753, September 26, 2002 Real-time detection of injected unauthorized code on a computer system by pattern matching to execution profiles for usual paths of code-path execution. Refers to instrumentation points, arbitrary metric points (usually branches) in code execution

[MunsonJC03a] (*) Munson, John C. "Method and System for Establishing Normal Software System Behavior and Departures from Normal Behavior", United States Patent Application 2003/0200462, October 23, 2003 Real-time detection of injected unauthorized code on a computer system by pattern matching to execution profiles for usual paths of code-path execution. Suggests mapping programs with highly correlated behavior (?) into one model.

[MunsonJC04a] (*) Munson, John C. and Elbaum, Sebastian G. "Dynamic Software System Intrusion Detection", United States Patent 6,681,331, January 20, 2004 Real-time detection of injected unauthorized code on a computer system by pattern matching to execution profiles for usual paths of code-path execution. Assigned to Cylant

[MunsonJC05a] (*) Munson, John C. and Elbaum, Sebastian G. "Method of and System for Detecting an Anaomalous Operation of a Computer System", United States Patent 6,963,983, November 8, 2005 Real-time detection of injected unauthorized code on a computer system by pattern matching to execution profiles for usual paths of code-path execution. Assigned to Cylant

[Mutoh05] (*) Mutoh EasySIGN 4.5 Power Pack for Mutoh "Drawing/editing program for ink and text (?)", http://www.mutoh.be Editing electronic ink and text: compare with van Raamsdonck?

[MyersRL02a] (*) Myers, Robert L. "Display Interfaces - Fundamentals and Standards", Wiley-SID Series in Display Technology, Society for Information Display, 2002

Reference on displays, image standards and formats, display output interface standards, types of

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

39/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

displays (analog/digital etc.) Very little on input (touchscreens, etc.)

[NakamuraS04a] (*) Nakamura, Shuji; Hayama, Masanobu; and Koike, Tamotsu "Mouse", United States Patent 6,677,930, January 13, 2004

Mouse with touch-sensitive surface instead of buttons, responds to degree of force and timing of taps on areas of mouse (instead of buttons)

[NashelA03a] (*) Nashel, Andre and Razzaque, Sharif "Tactile Virtual Buttons for Mobile Devices", ProcCHI 2003, Short Talk: Haptic Interfaces, pp 854-855

Haptic/tactil feedback on touchscreen buttons by vibrating display when user's finger is over button image. Click on edge of button, mild vibration while on button. As user presses harder, vibrate at higher frequency. If touchscreen is not pressure sensitive, use dwell time. Cites to Immersion Technologies TouchSense tactile mouse.

[NationalFederationOfTheBlind02a] (*) National Federation of the Blind "Blindness Related Computer Files", http://www.nfbnet.org/download/blind.htm Download an installation files for screen reader ASAP Automatic Screen Access Program, Access Technologies: main index links are not valid, must to go diectory page. ASAP versions back to 1992.

[Neonode03a] (*) Neonode.com "Neonode N1 released", http://www.neonode.com Cellphone with optical touch screen. Sweep/flick gestures: slide-to-unlock?

[Neonode04a] (*) Neonode.com "Neonode N1 Quick Start Guide", http://www.neonode.com

Cellphone with optical touch screen. Right/left sweep/flick gesture for open/close tabs, up and down flick/sweep gestures for other functions. May be similar to marking menus?

[NeuroScript05] (*) NeuroScript "Handwriting links", http://www.neuroscript.net

Bibliography, Web links to numerous patents, applications, papers on handwriting motor measturement, character and gesture recognition, other discussion forums

[NewmanMW03a] (*) Newman, Mark W.; Lin, James; Hong, Jason I.; and Landay, James A. "DENIM: An Informal Web Site Design Tool Inspired by Observations of Practice", HumanComputer Interaction, 2003, Vol 18, pp. 259-324

DENIM: Design Environment for Navigation and Information Models. Prototyping tool for web pages. Includes sketch recognition (square, rectable, etc.) with editing with gestures, includes barrel button of stylus, handwriting recognition, gestures, pie-menus (tap with barrel button on stylus depressed). Gestures include Cut, Copy, Paste, Undo, Redo, Insert Text, several Pan/flick gestures. Hold (press-and-hold) selects object, tap draws dot. Cites to Rubine 91 gesture recognizer and gdt/SATIN.

[NewYorktimes02a] (*) New York Times "TECHNOLOGY: Silicon Valley's Dream Tablet, from Microsoft", http://select.nytimes.com Abstract only: Announcement of Tablet PC on Windows XP by Bill Gates,

[NielsenM03a] (*) Nielsen, Michael; Stoerring, Moritz; Moeslund, thomas B; and Granum, Erik "A Procedure for Development Intuitive and Ergonomic Gesture Interfaces for ManMachine Interaction", Technical Report CVMT03-01, ISSN 1601-3646, Aalborg University, March 2003 hand-gesture user interfaces: refers to static/positional gestures of the hands, dynamic moving gestures, and spatio-temporal gestures. menu gesture with flat hand.

[Nokia05] (*) Nokia "Nokia 770 Internet Tablet", www.nokia.de

Small-format Internet Tablet / WebPad similar to Tablet PC, base OS is Linux

[Norrie03] (*) Norrie, Moira C. and Signer, Beat "Web-Based Integration of Printed and Digital Information", Proceedings of DIWeb'02, Toronto Canada May 2002 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

40/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Digitally encoded paper with (bar code? dataglyph? electronic paper?) information for web links. Compare to Hyperlink "digitally augmented paper", references to Digital Desk, Anoto

[NovakC05] (*) Novak, Chris J. "Housing for a Computing Device", United States Patent 6,933,929, August 23, 2005 Housing for hand-held touch-pad/touchscreen device with palm rest: compare with MicroPad?

[Noyes02] (*) Noyes, Jan "Talking and writing - How natural in human-machine interaction", International Journal of Human-Computer Studies, Vol 55 No 4, October 2001 Short essay on use of handwriting and speech recognition: refers to speech recognition system in 1952, "Automatic recognition of spoken digits"

[OberteufferJA02] (*) Obersteuffer, John A.; Wilbanks, John; Loken-Kim, Kyung-Ho; and Kania, William "Processing Handwritten and Hand-Drawn Input and Speech Input", United States Patent 6,438,523, August 20, 2002

Combined multi-modal user interface for pen-computing gestures and voice commands. Illustration shows gesture interface as a touch interface (finger). Notes that with speech input / speech/voice recognition, screen or graphical navigation is awkward, hence use of a stylus/digitizer.

[ObradovichML03a] (*) Obradovich, Michael L. "Positional Camera and GPS Data Interface Device", United States Patent 6,525,768, Feb 25, 2003 Cellphone (handheld personal communication device PCD) with GPS receiver and camera and touchscreen, user requests maps and geo-tagged data for the map to be displayed

[ObradovichML03b] (*) Obradovich, Michael L.; Dinkel, John; Kent, Michael "Personal Communication System for Communicating Voice Data Positioning Information", United States Patent 6,529,824, March 4, 2003

Server responds to GPS / map data from cellphone with GPS and touchscreen by sending map and geotagged data

[ObradovichML03c] (*) Obradovich, Michael L.; Pirtle, John D.; and Schebesch, Steven W. "Technique for Effective Navigation based on User Preferences", United States Patent 6,542,812, April 1, 2003 Server responds to GPS/routing request from a cellphone with GPS and touchscreen, sends back route and favorites, based on preferences in a user profile

[ObradovichML08a] (*) Obradovich, Michael L. "GPS Publication Application Server", United States Patent 7,343,165, March 11, 2008

Server receives GPS and other data from a personal device, displays location on a web homepage accessible to selected users

[ObradovichML09a] (*) Obradovich, Michael L.; Pirtle, John D.; Schebesch, Steven W. "Technique for Effective Navigation based on User Preferences", United States Patent 7,522,992, April 21, 2009

Server responds to GPS/routing request from a cellphone with GPS and touchscreen, sends back map with points of interest, based on preferences in a user profile

[ObradovichML09b] (*) Obradovich, Michael L.; Pirtle, John D.; Schebesch, Steven W. "Technique for Effective Navigation based on User Preferences", United States Patent 7,593,812, September 22, 2009

Server responds to GPS/routing request from a cellphone with GPS and touchscreen, sends back map with points of interest, receives a user touch input, on a point of interest, establishes communications to it

[ObradovichML10a] (*) Obradovich, Michael L.; Pirtle, John D.; Schebesch, Steven W. https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

41/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

"Technique for Effective Navigation based on User Preferences", United States Patent 7,650,234 January 19, 2010

Server responds to GPS/routing request from a cellphone with GPS and touchscreen, sends back map with points of interest, computs a route based on traffic and/or weather

[ObradovichML10b] (*) Obradovich, Michael L.; Pirtle, John D.; Schebesch, Steven W. "Personal Communication System to Send and Receive Voice Data Positioning Information", United States Patent 7,702,455, April 20, 2010

for a hand-held device with a touchscreen, server requests traffic data, and computes a route to avoid traffic problems

[ObradovichML10c] (*) Obradovich, Michael L.; Pirtle, John D.; Schebesch, Steven W. "Technique for Effective Navigation based on User Preferences", United States Patent 7,739,039, June 15, 2010

Server responds to GPS/routing request from a cellphone with GPS and touchscreen, sends back route with areas to avoid and points of interest

[OhJC01a] (*) Oh, Jae-Choeul, and Park, Chong-Yok "Portable Computer having Touch Pad Input Control Function", United States Patent 6,266,050, July 24, 2001 portable computer with touchscreen does not turn on until a particular pattern (gesture) is traced on the touchscreen or touchpad

[OkoK02a] (*) Oko, Kenji; Stao. Yopichi; and Koike, Hideki "Real-Time Fingertip Tracking and Gesture Recognition", IEEE CGA, November/December 2002, pp 64-71 Optical tracking of multi-touch fingertips with one camera, top view. Single and double-finger gestures, hand-position (e.g. closed thumb) gestures: circle, triangle, rectangle; forward and reverse direction, not just shape.

[Olsson03a] (*) Olsson, Andreas "Processing of Digital Images", WIPO International Patent WO 03/001450 A1, 3 January 2003 Describes first-cut optical processing for Anoto technology, optical digitizer pattern

[Olsson03b] (*) Olsson, Andreas "Method and Device for Data Decoding", WIPO International Patent WO 03/001441 A1, 3 January 2003 Describes coding pattern for Anoto technology of displaced dots

[Olsson03c] (*) Olsson, Andreas "An Optical Sensor Device and a Method Of Controlling Its Exposure Time", WIPO International Patent WO 03/030082 A1, 10 April 2003 Describes optical sensor for Anoto

[Olsson03d] (*) Olsson, Andreas "Method and a Hand-held Device for Identifying Objects in a Sequence of Digital Images by Creating Binarized Images based on a Adaptive Threshold Value", WIPO International Patent WO 03/044740 A1, 30 May 2003 Image processing for Anoto

[Origami05] (*) Origami WinHEC Product Announcements "Small Form-Factor Devices to Take Center Stage at WinHEC", www.microsoft-watch.com April 25, 2005 WinHEC preview of Origami small tablet PC, formerly code-named Haiku

[OTM05] (*) OTM Technologies "VPen Product Information", OTM Technologies, Inc.

Optical digitizer pen, somewhat similar to Anoto, does not require pre-printed pattern. Claims 90% handwriting accuracy build into the pen. Actual size is like that of a fist-held highlighter Mentions integration with a cell phone, both as drawing and as handwriting recognition input three-dimensional motion digitizer, one dimension is pressure sensor? Included mode button in side of pen, similar? to PenCept (1986) mode button for recognition mode / digitizer mode

[PaceMR02a] (*) Pace, Mark Raymond and Talley, Brooks Cash "Distributed Content https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

42/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Identification System", United States Patent 6,460,050

Spam and virus filtering by sending an identifier or characteristic (e.g. hash) of the file to a central server for comparison with similar identifiers or characteristics. compare with Cylant technology.

[Palm02] (*) Palm Pilot "Graffiti documentation, character set", 2002 Palm Pilot personal organizer product information Unistroke character set, except for cap lock gesture. single tap gesture, showing punctuation shift, write in separate area to get capitals

[Palm05a] (*) PalmOne Press Release "palmOne Wins Summary Judgement Invalidating Xerox's Unistroke Patent", pressroom.palmone.com, May 21 2004 [Palm05b] (*) palmOne "palmOne LifeDrive User Manual", palmOne Inc. Vertical upwards stroke as mode-shift gesture to enable/select punctuation recognition

[PalmInfocenter03a] (*) PalmInfocenter.com "Howto: Replace Graffiti 2 with Original Graffiti", http://PalmInfocenter.com Mentions Graffiti 2 as CIC JOT recognizer

[PalmInfocenter05a] (*) PalmInfocenter.com "Top 10 PDA "Failures" named", http://PalmInfocenter.com Comment on PenPoint as a failure / non-failure?

[PalmInfocenter05b] (*) LegoDude522 (sic) "Opening Palm Screen [Zire 72 and now T|C]", www.palminfocenter.com

Series of photographs showing disassembly and reassembly of a Palm handheld PDA showing LCD display, digitizer

[PalmSource03a] (*) PalmSource, Inc. "(misc technical documentation)", PalmSource (in bulk files)

[PalmSource04a] (*) PalmSource, Inc. "Palm Powered Products", PalmSource

List of various products using Palm OS: Treo smartphone by palmOne, Sony CLIE PEG-UX50 with full keyboard, Data Wireless by AlphaSmart with full keyboard and handwriting

[PalmSource05a] (*) PalmSource, Inc. "Palm OS Developer Suite 1.2 Data Sheet", www.palmsource.com

Palm OS debuggers, compilers, simulators, SDKs, and related tools: mentions web browser

[PaperPlusPlus05] (*) Paper++ "Beyond the Classroom Computer: Innovative Technologies, Learning and Education", paperplusplus.com Applications of optical digitizer smart paper in education: augmented story-telling book, autmented maths text book, using augmented paper Compare to Anoto and Sekendur technology: illustration of pattern in materials is cross-hatch pattern

[Parc03] (*) Xerox Palo Alto Research Center "DataGlyphs: Embedding Digital Data", http://www.parc.com/research/asd/projects/dataglyphs

Barcode-like pattern is printed very small as the pixels in a printed image: optical stylus can read the Glyphtones, and thus read what part of the image, or what functional "hot-spot" you are over in the image. Compare to Anoto and Sekendur technology Says double the data density of Barcode standard PDF417

[Parc03a] (*) Xerox Palo Alto Research Center "DataGlyphs Frequently Asked Questions", http://www.parc.com/research/asd/projects/dataglyphs/faq.html

Barcode-like pattern is printed very small as the pixels in a printed image: optical stylus can read the Glyphtones, and thus read what part of the image, or what functional "hot-spot" you are over in the image.

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

43/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Compare to Anoto and Sekendur technology Business and technical discussion, including print resolution

[PartridgeK02a] (*) Partridge, Kurt; Chatterjee, Sauray; and Want, Roy "TiltType: Accelerometer-Supported Text Entry for Very Small Devices", Proc. UIST '02, October 2730, 2002, Paris. pp 201-204

TiltTyping, similar to EdgeWriting/QuikWriting and Unigesture, but using tilt. References to other wearable keyboards, devices for text entry.

[PCMagazine02] (*) PC Magazine "Tablet Timeline", www.PCMag.com

Historial timeline of certain pen-computing devices: mentions AT&T EO, but no mention of GO/PenPoint/Lombard. Focus on portable product. 1956 Rand tablet digitizer Grafacon (photograph), 1983 Tandy Model 100 stylus PDA, 1975 Apple Knowledge Navigator, 1989 GRiD GRiDPad, 1991 NCR System 3125 with Windows for Pen Computing / Pen Windows, 1992 Momenta, 1993 Apple Newton Messagepad, 1995 Zenith CruisePAD, 1996 Palm Pilot 1000, 1998 Vadem Clio, 1998 Sharp Mobilon, 1999 Aqcess Qbe, 2001 ThinkPad TransNote, 2001 Microsoft Tablet PC, 2001 AirSpeak Flair, 2002 Microsoft Mira Technologies, 2001 Sony SlipTop, Amstrad PenPad. No mention of Pencept or CIC/Handwriter.

[PenAndInternet03] (*) Pen and Internet LLC "Quick Start Guide - ritePen for Windows", www.penandinternet.com/piweb/ritePenwin-qug/index.asp, Copyright 2003

ritePen and riteScript handwriting recognition application for Tablet PC or Windows XP. Uses basic gestures with input, appears to make use of screen reader accessibility technology to detect input fields in applications. Dual modes of operation in user interface for handwriting and pointing/mouse input.

[PenComputing01a] (*) Pen Computing Magazine "The Microsoft Tablet PC: A detailed look at Microsoft's Proposed Tablet PC", July 2001 issue, available at www.pencomputing.com Microsoft announced their own tablet "for computing, communicating and reading electronics books" in 1999, prototype demonstrated June 2000. Points out that Microsoft's presentation ommitted mentioning 10 previous years of pen computing industry. Refers to 1991, Pen Windows (Pen Services for Windows), Pen Windows 2.0.

[PenComputing03] (*) Pen Computing Magazine "Pen Computing Buyer's Guide 2003", August (?) 2003, available at www.pencomputing.com

Product review of Tablet PC laptops/slatetops for 2003: Acer Travelmate, Electrovaya Scribbler, FIC (First International computer Inc.) SlateVision, Fujitsu Styluistic, HP Compaq PC TC1000, Intermec CT60 Rugged Tablet PC, Panasonic GoBook, Motion Computing, Panasonic Toughbook, NEC Versa Litepad, PaceBlade Technologies Pacebook, Tatung Tablet PC, Toshiba Portege, ViewSonic Tablet PC V1100, Xplore Technologies

[PenOne04] (*) Pen-One, Incorporated "Fingerprint Sensor Pen", Pen-One, Incorporated, www.pen-one.com Writing pen with fingerprint sensor built-in: appears not to be biometric signature verification.

[PenWindows05] (*) Microsoft Corporation "PENWIN.H", Microsoft Visual Studio 2005, Microsoft Corporation

PenWin.h include file: gives definitions for both Pen Windows Pen Services 2.0, and Pen Services 1.0. Last copyright date in file is 1995.

[Pentel05] (*) Pentel Co. Ltd. "AirPen Storage Notebook product information, PC NoteTaker", www.pegatech.com

AirPen: Notebook/filofax with built-in ultrasonic/acoustic digitizer and pen, storage of handwritten notes as electronic ink, transfer to PC later Descriptions in Japanese and English: Developed by Pegasus Technology of Israel, manufactored by

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

44/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Pentl Co. Lt. of Japan: www.airpen.jp PC NoteTaker: ultrasonic/acoustic digitizer to be mounted on normal clipboard tablet Compare with Polhemus, Science Accessories acoustic/sonar digitizers, providing 3D position information.

[Pegasus05] (*) Pegasus Inc. "PC NoteTaker digitizer / Pegasus USB PC compact notetaker", www.rapserv.com/au/prod5454.htm Sonic digitizer, 100 DPI, intended as a portable product. Joint marking in a Refalo-style notebook, no OS built in, mentions interface to PenTel character recognition

[PenpointMuseum05] (*) Penpoint Museum "The PenPoint Museum", http://www.ojisan.com/penpoint/index.shtml

In Japanese: On-line museum for PenPoint. Images of documentation in Japanese

[Pettersson03a] (*) Petterson, Mats Petter "Method and Device for Decoding a PositionCoding Pattern", WIPI International Patent WO 03/038741 A1, 8 May 2003 Anoto position calculation: optical digitizer based on pattern of displaced dots

[Pettersson03b] (*) Petterson, Mats Petter "Reconstruction of Virtual Raster", WIPI International Patent WO 03/049023 A1, 12 June 2003 Anoto rasterization pattern and encoding

[Pettersson03c] (*) Petterson, Mats Petter and Bjoerklund, Andreas "Position Code", United States Patent 6,667,695, December 23, 2003

Anoto optical digitizer technology for "smart paper", refers specifically to not needing much pattern memory to realize the encoding of information that is larger than the writing surface Specificially refers to determining rotation

[PhatWare05] (*) PhatWare Corporation "CalliGrapher 7.5 for Pocet PCs", Available at www.phatware.com

Handwriting recognition software for Windows CE: multiple/separate versions for European/Roman languages, includes pop-up keyboards, other GUI features, single-character mode, PenCommander mode (like recognition macros?)

[Picasoft02a] (*) PicaSoft SA "PicaSoft User manual: Handy Scan", PicaSoft SA, France, 2002

Desktop 3D three-dimensional electromchanical digitizer. Has multiple kinds of stylus tips (round, pointed, flat, etc.) for "scanning" different types of object in 3D, depending on the detail and minutiae of the surface. Windows drivers.

[Picsel02a] (*) Picsel Inc. "Picsel Viewer for CLIE", picsel.com, 2002

Picsel CLIE Photo and image viewer for Palm OS, has flick/scroll-page gestures. Tap+Press-holddrag for zoom/unzoom (up and down), internal scroll "throw" gesture. Thumbnails of images age out and go away after a period of time to save memory resources.

[Pinard03] (*) Pinar, Debbie and Oddy, Douglas "Telephone with Handwriting Recognition", United States Patent 6,522,729, February 18, 2003

Signature verification for cell phone access using a writing touchpad: uses a separate touchpad, not a stylus or pen built into the phone, as some other technologies do

[PocketComputing02] (*) Pocket Computing Museum "Welcome to the Pocket Computing Museum", http://cdecas.free.fr/computers/pocket/museum.htm

product: Epson RC-20 writewatch with 2000 Bytes (!) storage, handwriting recognition similar to unistroke. product: Kycoera Refalo 1991 double ring binder portable computer, handwriting recognition product: Casio IF-8000, showing user writing "meeting" on the screen, handwriting calculator, 1980's

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

45/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

product: Sony Magic Link running General Magic MAGIC-CAP OS, office-level metaphor product: EO Personnal communicator, 1994, with phone, fax, etc. product: IBM Simon concept in 1994, personal computer and phone product: Sharp Power Sarus multimedia hand-held computer with digital camera product: Sharp MCG-1 communicator (date late 1990s?), includes sketch input, PIM.

[Polyvision05] (*) Polyvision Corporation "TS Series Interactive Whiteboards", www.polyvision.com

Interactive whiteboards: touch-sensitive projection screen, software to capture annotations on the projected image

[PookS01a] (*) Pook, Stuart "Interaction and Context in Zoomable User Interfaces", Doctoral Thesis, Ecole Nationale Superieure des Telecommunications, Paris, France, 15 June 2001 Zoomit project. Pop-up/radial context menus. Mentions command compass menus of Momenta.

[PorrasPA02a] (*) Porras, Phillip Andrew and Valdes, Alfonso "Hierarchical Event Monitoring and Analysis", United States Patent 6,484,203, November 19, 2002

Network intrusion detection by analyzing network traffic, including network errors and packet inspection. Refers to statistical analysis: Compare with invariant condition analysis of Cylant?

[PorrasPA04a] (*) Porras, Phillip Andrew and Valdes, Alfonso "Network Surveillance", United States Patent 6,711,615, March 23, 2004 Network intrusion detection by analyzing network traffic, including network errors and packet inspection. Refers to neural network analysis: compare with Cylant?

[PoupyrevI03a] (*) Poupyrev, Ivan; and Maruyama, Shigeaki "Tactile Interface for Small Touch Screens", Proc UIST '03, Vancouver, BC, Canada, pp. 217-220

Tactile/haptic feedback to button presses on touchscreen: actuator is only on screen itself, not on whole device, so that actions on simulated buttons feel more like actual buttons, etc. Click, touch, takes into account "lift-off" outside of button as a form of Undo gesture.

[PoupyrevI04a] (*) Poupyrev, Ivan; Okabe, Makoto; and Maruyama, Shigeaki "Haptic Feedback for Pen Computing: Directions and Strategies", Proc CHI 2004, April 24-29, 2004, Viena, Austria Pen (stylus) similar to touchscreens, but faster and more fluid for drawing or small PDA displays. References to work on haptic mice. Important that haptic feedback not provide too much detail. Tactile/haptic feedback very useful in improving drawing/targeting precision by highlighting position of target. Haptic feedback not useful/noticed on tap/click, may be more useful on slow careful targeting of small targets.

[QualiLife02] (*) QualiLife SA "QualiEye User's Manual", www.qualilife.com

Pointing device using head motion: assistive technology device to replace mouse/tablet. Compare with Don Drumm "Orb" device which used head tilt and simple speaking tube for mouse clicks, rather than head rotation for both position and clicks

[RamosG04a] (*) Ramos, Gonzalo; Boulos, Matthew; Balakrishnan, Ravin "Pressure Widgets", Proc. CHI 2004, April 24..29 2004, Vienna, Austria, pp. 487-494

Investigation of uses for pressure-sensitive touchscreen/tablet input: Wacom Intuos tablet, Rekimoto SmartSkin, and Mitsubishi DiamondTouch. Four gestures: Click/Tap, Dwell/press-and-hold, quick release, and stroke, recognized by pressure profile over time.

[RaymondSA05] (*) Radmon, Stephen A. "Source Documents on Handheld Devices for Clinical Trials", SBIR Contract NIMH N44MH22051 for PHS-2001-1 (026), "Electronic Source Documents"

SBIR report on project to put psychological questionaires on Tablet PCs: minimal use of electronic

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

46/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

ink capture

[ReadJC03] (*) Read, Janet C.; MacFarlane, Stuart; and Casey, Chris ""Good enough for what?" Acceptance of Handwriting Recognition Errors by Child Users", Proc. 2003 Conf. on Interactive Design for Children, poster paper, page 155. Wizard-of-Oz study (simulated recognition): brighter children were concistently less satisfied with the same recognition performance than less-bright children. Acceptable performance seemed to be around 91%. Contrast with LaLomia study for adults.

[Rekimoto02] (*) Rekimoto, Jun "SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces", Proc. CHI 2002, April 20-25, 2002, Minneapolis Minnesota Multi-touch touchpad capacitive digitizer in a table surface, uses both position and distance of hand to surface to simulate manipulation of objects projected visually from overhead (e.g. playing cards). Hand-gesture recognition, bimanual (haptic) interface

[ResmanMF02a] (*) Resman, Mark F. "Touch-Sensitive Input Screen having Regional Sensitvity and Resolution Properties", United States Patent 6,459,424, October 1, 2002

Resistive (?) touch screen that is less sensitive at edges, to achieve palm rejection. Or less sensitive at edges, used as scrolling area

[RingelM04a] (*) Ringel, Meredith; Ryall, Katy; Shen, Chia; Forlines, Clifton; and Vernier, Frederic "Release, Relocate, Reorient, Resize: Fluid Techniques for Document Sharing on Multi-User Interactive Tables", Proc. CHI 2004, April 24-29 2004, Vienna, Austria, pp. 14411444 Usability study of multi-user / multi-touch user interfaces for sharing documents: compare twofinger/two-user "release" double-touch gester with Milekic share/transfer gesture. Uses DiamondTouch touch table with identification of users.

[RobbinsSJ01a] (*) Robbins, Steven John "Display Method for selectively rotating windows on a computer display", United States Patent 6,326,978, December 4, 2001 Rotate a GUI window that has a frame

[RobothamJS02a] (*) Robotham, John S. and Johnson, Charles Lee "Gesture-Based User Interface to Multi-Level and Multi-Modal Sets of Bit-Maps", United States Patent Application 2002/0015064, Published Feburary 7, 2002 Mouse emulation using stylus gestures dependent on time

[RosenbergLB01a] (*) Rosenberg, Louis B. and Brave, Scott B. "Method for providing force feedback to a User of an Interface Device based on Interactions of a Controlled Cursor with Graphical Elements in a Graphical User Interface", United States Patent 6,219,032, issued April 17, 2001 Active haptic feedback in a touchpad.

[RosenbergLB02a] (*) Rosenberg, Louis B. and Riegel, R. "Haptic Feedback for Touchpads and Other Touch Controls", United States Patent 6,429,846 B2, issued August 6, 2002 Active haptic feedback in a touchpad. Vibration and pulse feedback

[RowleyH02] (*) Rowley, Henry; Bennett, John; Goyal, Manish "The Effect of Large Training Set Sizes on Online Japanese Kanji and English Cursive Recognizers", Eighth Int'l Workshop on Frontiers in Handwriting Recognition IWFHR '02, June 13, 2002, pp 26-ff

Larger training sets results in better recognition. Training set was hand-tuned, so that infrequentlyused letters were not undertrained.

[RowleyH04] (*) Rowley, Henry; Bennett, John; Abdulkader, Ahmad; and Slavik, Peter "Reducing and Controlling sizes of Prototype-Based Recognizers", United States Patent Application 2004/0002986 A1, January 1, 2004 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

47/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

For a training-based (handwriting) recognizer using fixed prototypes, method of determining the prototype which has the greatest contribution to error, and reducing the training set size by removing that prototype. Further reduction by removing prototypes with the least increase in error when they are removed.

[RowleyH05] (*) Rowley, Henry; Bennett, John; Abdulkader, Ahmad; and Slavik, Peter "Reducing and Controlling sizes of Prototype-Based Recognizers", United States Patent 6,970,882 B2, November 29, 2005

For a training-based (handwriting) recognizer using fixed prototypes, method of determining the prototype which has the greatest contribution to error, and reducing the training set size by removing that prototype. Further reduction by removing prototypes with the least increase in error when they are removed.

[SandburgB04] (*) Sandburg, Brenda "Judge Torpedoes Dead Inventor's Patent Claims", Available at www.law.com Cognex lawsuit against Jerome Lemelson "submarine patents" on machine vision from 1950's.

[Sattler05] (*) Sattler, Michael "Newton: The Dawn of PDAs", www.GeekTimes.com/michael/techno/computing/hardware/products/apple/newton/index.html Personal history of past work at GO/Penpoint, Newton PDA MessagePad, MessagePad 2000 / MP2K development manager Sandy Bennett,

[Sazawal02] (*) Sazawal, Vibha, Want, Roy, and Borriello, Gaetano "The Unigesture Approach: One-Handed Text Entry for Small Devices", Proceedings of the 4th International Symposium on Mobile Human-Computer Interaction

Tilt-to-write: not writing with a stylus, but tilt hand-held unit (e.g. PDA, phone) to select character from circular menus in zones: compare to Quikwriting, etc. Intended for use in one-hand hand-held devices, not for writing.

[ScanlanT01a] (*) Scanlan, Timothy "Background Paper on Pen-Based Computing", Available at www.ring-writer.com, published 2001

Background to ring-writer : Expectations for pen-computing starting with PenPoint and Pen Windows not realized. Mentions EO, Active Book, Newton PDA. Apple iBook (clamshell PC). PenWindows gave pen-computing a bad reputation, after elegant PenPoint. Proposes that mobile (hand-held) computrers fail because neither handwriting recognition nor voice (speech) recognition will work well enough: Linear-X writing system of ring-writer: pie menu where user draws sequentially though three-letter segments (like phone keypad), software recognizes words from dictionary.

[Schaerli01] (*) Schaerli, Nathaniel "Genie - An Introduction", www.iam.unibe.ch/~schaerli/smalltalk/genie/genieIntroduction.htm

Gesture and handwriting character recognition in Smalltalk, for the Squeak project coordinated by Alan Kay. Does not give samples of gesture shapes or symbols. Description of symbol dictionaries, but no graphics. 2005 Author moves to Google R&D Lab in Zuerich.

[Scherotter01] (*) Scherotter, Michael S. "The Charette Project", http://home/attbi.com/~mscherotter/RightPane.html

"Is There a Need for a Sketch Tablet?" proposal for sketch tablet for architecture applications

[Schomaker01] (*) Schomaker, L. "From handwriting analysis to pen-computer application", Electronics And Communications Engineering Journal, June 1998, pp. 93..102 Good Overview article on the problems of pen-computing development, though not specific on applications development. Pen-and-paper not a good metaphor for pen-computing electronic ink applications.

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

48/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Electronic ink as a (neglected) datatype in its own right: does not mention JOT standard of 1991. Refers to early research efforts (but not commercial efforts) in 1980s as focusing on booklet/portable units, pen gestures. States that Alan Kay's Dynabook had electronic paper in 1968. Claims pencomputing and communications in same unit first demonstrated by EO in 1993. Notes that training to 5,000,000 characters in the Unipen database is not enough to achieve good character recognition. Mentions pen gestures.

[Schomaker01b] (*) Schomaker, L. "The UNIPEN Project History", Internet posting: http://unipen.nici.kun.nl/unipen-history.html

Description of the UNIPEN format (similar to JOT) for a large data collection of handwriting samples for research into recognition, handwriting dynamics, etc.

[Schomaker02] (*) Schomaker, L. "Pen & Mobile Computing: resources", Internet posting: http://hwr.nici.kun.nl/pen-computing/pen-computing-container.html User Interface in Pen Computing; handwriting history; InfoPad; Pen Linux; Paragraph

[SchneidermanR02a] (*) Schneiderman, Ron "The Mobile Technology Question and Answer book: A Survival Guide for Business Managers", American Management Association, 2002 Business tutorial on wireless, cellular, and other technologies: includes location-based services, Software-defined radio, Smart cards, 3G, wireless PKI

[SchneidermanR03a] (*) Schneiderman, Ron "Technology Lost: Hpe and Reality in the Digital Age -- Your guide to making better personal and high-tech investment decisions", Prentice-Hall, 2003

Business tutorial on investment "busts": HDTV, LEO (Low Earth Orbit) telecommunications, home networks, DSL, Voice Recognition, e-books (before Kindle and iPad), smart cards.

[Schumer02] (*) Schumer, Alfred J. "Schumer vs. LCS/Telegraphics and Wacom", Appellate decision in Schumer vs. LCS/Telegraphics (a.k.a. pointing.com) and WACOM

WinTab tablet driver with rotation and transformation of virtual tablets, and demultiplexing of input. Compare with Foley 1990 on Windows Input Event Handling. (Additional references also in file.)

[SchwesigC04a] (*) Schwesig, Carsten; Poupyrev, Ivan; and Mori, Eijiro "Gummi: A Bendable Computer", Proc. CHI 2004, April 24-29, Vienna, Austria

Graspable user interface UI with flexible tablet and 2-D two-dimensionsal digitizer touch sensor on back side. Graspable/organic user interfaces.

[Sedaker01] (*) Sedaker, Steve "WACOM FID Presentation: Tablet PC: Pen input is back!", Flat Information Displays Conference, Stanford Resources, Monterey, California December 12, 2001 Techology/history review of resistive-film, electrostatic/capacitive, ultrasonic, and electromagnetic digitizers integrated with displays. Asserts that inductive (electromagnetic) digitizer required for hover/proximity (although Scriptel electrostatic did it, perhaps references is restricted to COTS components). Special section on integration problems of electromagnetic digitizer (rear-mounted) with display: inverter noise/EMI shielding, power supply coil on motherboard, edge effects from metal frame. Special laboratory to re-calibrate digitizers incorporated with each display design. Mentions that Tablet PC spec requires proximity.

[Sekendur02] (*) Sekendur, Oral F. "Optical Position Determination on Plain Paper", United States Patent Application Publication US2002/0158848 A1, October 31, 2002

Similar to Anoto / Bennett / Sekendur, except does not use pre-printed pattern. Instead a CCD camera captures images of the surface as-it-is, and builds up a map of the image of the surface to use instead of the pre-printed pattern. CCD camera for optical digitizer is mounted on a gymbal / universal joint (sic), so as to be able to

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

49/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

view the entire surface

[Sekendur02a] (*) Sekendur, Oral F. "Optical Position Determination on Any Surface Paper", United States Patent Application Publication US2002/0163511 A1, November 7, 2002

Similar to Anoto / Bennett / Sekendur, except does not use pre-printed pattern. Instead a CCD camera captures images of the surface as-it-is, and builds up a map of the image of the surface to use instead of the pre-printed pattern. Specifically refers to the surface being the screen on a cell phone. CCD camera for optical digitizer is mounted on a gymbal / universal joint (sic), so as to be able to view the entire surface

[SharpJL05a] (*) Sharp, Jeffrey L. "Touch Sensor System to detect Multiple Touch Events", United States Patent 6,856,259, February 15, 2005 Detect multiple touches overlapping in time (simultaneous) by comparing with known actual touch events

[ShellSR02a] (*) Shell, Scott R.; Shields, Kevin Timothy; and Kitowitz, Anthony "Loading Status in a Hypermedia Browser Having a Limited Available Display Area", United States Patent 6,339,780, January 15, 2002 Showing a busy/loading animation while web-browser content is loading

[ShenC04a] (*) Shen, Chia; Vernier, Frederic D.; Forlines, Clifton; and Ringel, Meredith "DiamondSpin: An Extensible Toolkit for Around-the-Tablet Interaction", Proc. CHI 2004, 24-29 April 2004, Vienna, Austria, pp. 167-174

Software tookit for multi-touch multi-user interaction on a multi-touch tabletop (e.g. DiamondTouch table). Shows simulated documents/papers stacked: compare with Wang Freestyle (which was single-user)? Can display Java Swing windows at any rotation by rotated frame of reference. Also: electronic video file of demonstration.

[ShneidermanB03a] (*) Shneiderman, Ben "Promoting Universal Usability with Multi-Layer interface Design", Proc. CUU '03, November 10-11, 2003, Vancouver, Canada Design user interfaces with "layers" of menu/gesture option: simple features, intermediate, advanced. Useful to include show-me animations. Example on US Census map data.

[Sklarew01] (*) Sklarew, Ralph "Handwritten Keyboardless Entry Computer System", United States Patent 6,212,297, April 3, 2001 Abstract refers to transparent sensing surface over display, electronik ink, character recognition, and learning mode Abstract reads almost identically to Sklarew patent 4,972,496: this one refers to "terminal disclaimer" Long list of prior art

[SignerB06a] (*) Signer, Beat "Fundamental Concepts for Interactive Paper and Cross-Media Information Spaces", Ph.D. Thesis, ETH Disseration 16218, Switzerland, 2005

Thesis on general topic of electronic paper / digitally augmented paper / smart paper: Paper++ pen technology: also Seiko InkLink acoustic (sonic) digitizer, WACOM two-stylus multi-touch tablet, SmartDesk multi-hand project, Bar Code grid (compare with Anoto) using inductive pen. Notes that Microsoft Universal Pen (u-Pen) similar to Anoto, interactive books (Sony LIBRIe, LeapPad)

[Silberman04] (*) Silberman, Steve "The Hot New Medium: Paper. How the oldest interface in the book is redrawing the map of the networked world.", Wired.com, April 2001, archive at www.wired.com

Tomas Edso and Mats-Petter Petterson devised dot-displacement pattern, Hugosson used larger and smaller dots Business model was to be a charge on all transactions that involved Anoto paper pattern, not directly on the licensing of technology

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

50/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Interview about Anoto with Christer Faehraeus, mentions comparison with Microsoft Tablet PC, which overshadowed their introduction at ComDex

[Silverbrook04] (*) Silverbrook Research "Press reports related to Silverbrook Research, Australia", (various) Kia Silverbrook: Past association with Canon until 1994.

[Silverbrook04a] (*) Silverbrook, Kia, Lapstun, Paul, and Lapstun, Jacqueline Anne "Method and System for Accessing the Internet", United States Patent 6,813,039 B1, November 2, 2004 Optical digitizer for handwriting connecting directly to a Web page on the internet: web page with links would be printed, not displayed dynamically

[SingerM02a] (*) Singer, Michael "Text Display with User-Defined Appearance an Automatic Scrolling", United States Patent Application 20020130891, September 19, 2002 Automatic scrolling of text so that user does not have to scroll the text manually through a document, in a special window

[SinghM02a] (*) Singh, Mona and Lands, Robert M. "display Control for Hand-held Data Processing Devices", United States Patent 6,400,376, June 4, 2002 Scroll/pan a virtual page using a simulated button (area) on a touchscreen digitizer -- also with position sensor of device. Compare with Freestyle "Guide"?

[SmartTech03a] (*) SMART Technologies Inc. "SMART Board 3000 interactive whiteboard", www.smarttech.com

SMART board interactive whiteboard digitizer: has separate physical button on Pen Tray for right mouse button. DViT (Digital Vision Touch) -- optical sensor for touchscreen?

[SmartTech04a] (*) SMART Technologies Inc. "Actalyst digital signage touchscreens", www.smarttech.com (In German): DViT (Digital Vision Touch) overlay touchscreen for large displays, optical touchscreen using high-precision cameras in frame.

[Smart05] (*) SMART Technologies "SMART digitizer product information", www.smarttech.com

SMART board interactive whiteboard digitizer; Sympodium interactive pen display tablets; AirLiner wireless slate table (relabeled Wacom product?) Includes software (Bridgit) for live annotation of displayed documents, PowerPoint presentations

[Smart05b] (*) SMART Technologies "Bridgit Conferencing Software User's Guide", www.smarttech.com

Whiteboard conferencing software for the Smart Whiteboard product. WebCam image shown on the desktop via the overlaying whiteboard/conferencing software

[SnyderC01a] (*) Snyder, Carolyn "Paper prototyping", Web posting, 1 November 2001, snyderconsulting.net

Paper prototyping: sketch out user interface and interactions with users using literal paper, scissors, and sticky notes. Contains references to papers on usability testing, low- and high-fidelity prototyping systems, and accessibility (handicapped) resource centers at IBM.

[SnyderC03a] (*) Snyder, Carolyn "Paper prototyping: The Fast and Easy Way to Design and Refine User Interfaces", Excerpt from book of this title, Morgan Kaufmann, pubs. 2003 Paper prototyping: sketch out user interface and interactions with users using literal paper, scissors, and sticky notes. Traces history to physical mock-ups on paper back to early 1970s, for usability stidies on mail sorting devices, etc.

[SuGM03a] (*) Su, Guan-Ming; Wu, Min; Liu, K.J. Ray " TabletPC Programming: ENEE408G Multimedia Signal Processing, Pen Computing and Tablet PC Programming https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

51/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Manual, Using Microsoft Visual Studio.NET C# and Tablet PC Platform SDK", Course Notes October 7, 2003, Dept. Elec. and Comp. Eng., U. of Maryland at College Park Show Tablet PC ink objects and ink fields: compare with PenPoint and with PenApps of Slate.

[SuhB02a] (*) Suh, Bongwon and Bederson, Benjamin B. "OZONE: A Zoomable Interface for Navigating Ontology Information", Proc. AVI 2002, Trento, Itally, pp. 139-143

zooming in/out: double-click gesture zooms object/document to original size and moves to center of screen. Animation of zooming provides context. Semantic zooming: when object is zoomed small, be smart about showing less text but font still at readable size.

[SwigartS05a] (*) Swigart, Scott "Easily Write Custom Gesture Recognizers for Your Tablet PC Applications", www.microsoft.com, publication date November 2005 Writing custom recognizer for gestures for Windows XP Tablet PC edition SDK. Refers to opensource SIGER (Simple Gesture Recognition Library) from sourceforge.net. Gestures include Microsoft Tablet PC gestures: cirlicue, circle, square, star, gesture, plust left and right bracket gestures. Includes unit testing against canned gesture input. Recognition apparently based on chain codes of vector increments, complete strokes only.

[Synaptics01] (*) Synaptics Incorporated "New Touch Screens Improve Handheld Human Interface", Synaptics White Paper WP-12, P/N 507-000003, Rev A. Synaptics Incorporated, San Jose California

Resistive touch-screens use PET polyethylene terephthalate film with ITO Indium Tin Oxide resistive film. Reference to spacer dots/bumps, similar to Elographics. Capacitive sensing can be front-mounted, but fewer layers than resistive touchscreen tablet digitizer. ClearPad (capacitive) and Spiral (inductive) digitizer tablets. Vague reference to proximity/hover sensing with ClearPad capacitive digitizer. States that capacitive film has proximity sensing. Defines touchscreen, ITO, PET Polyethylene terephthalate

[Synaptics04] (*) Synaptics Incorporated "Transparent Capacitive Position Sensing", Synaptics Incorporated, San Jose California

Descriptions of Capacitive, Inductive, and resistive tablet technologies from Synaptics. Describes combining capacitive (finger-touch) and inductive (stylus) to work with both, or to work with resistive: proximity sensing capacitive digitizer for pen computing

[Synaptics05] (*) Synaptics Incorporated "Capacitive Position Sensing", Synaptics Incorporated, San Jose California

Descriptions of Capacitive, Inductive, and resistive tablet technologies from Synaptics. Describes combining capacitive (finger-touch) and inductive (stylus) to work with both, or to work with resistive SPIRAL (TM) Pen, powered via induction from tablet

[TabletPC01] (*) TabletPC "Bill Gates announcement of Tablet PC as keynote speech at Comdex 2001", Press Reports TabletPC first announced in 2001, for availability in 2002

[TabletQuestions04] (*) TabletQuestions discussion list "Lack of Pen Gesture Applications", www.tabletquestions.com, May 26, 2004

Posting that so few TabletPC applications "think in ink" (a.k.a. pen-centric). Mentions Corel Grafigo and Wavefront as exceptions, because they took the whole application from the TabletPC Perspective

[TacTex01a] (*) TacTex Inc. "Express multi-touch pressure-sensitive touchpad", www.tactex.com, 2001

TacTex Kinotex Smart Fabric: MTC-Express mouse-pad sized multi-touch pressure (force) sensing controller.

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

52/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

File contains multiple references.

[Tactiva05a] (*) Tactiva.com "Tactiva Tactapad Technology", www.tactiva.com, fetched 2005

Effectively transparent touchscreen by having multi-touch surface on desktop with small camera above, shadow images of hands/fingers are shown on display. Multi-touch tablet digitizer includes point-addressable tactile output what provides haptic feedback only where surface is being touched. See also Fish, D.E.

[Tactiva05b] (*) Tactiva.com "Tactiva TactaDraw Introduction to the TactaPad", www.tactiva.com, fetched 2005

Video demonstration of Tactapad technology. Effectively transparent touchscreen by having multitouch surface on desktop with small camera above, shadow images of hands/fingers are shown on display. Multi-touch tablet digitizer includes point-addressable tactile output what provides haptic feedback only where surface is being touched. Not only multi-touch: shows pinch and stretch gestures, also simultaneous use of multiple tools with multiple fingers. Because of one-to-one mapping of touch tablet to display, and shadow image of fingers, tools/menus are at same physical position on touch surface, and have tactile feedback about location, selection, detent, etc. See also Fish, D.E.

[Tactons05a] (*) Tactons Website "Tactons: an investigation of multimodal interaction with tactile displays", www.dcs.gla.ac.uk/~eve/TactonsWebsite/tactons.html University of Glasgow: research group on haptic (touch-based) human-computer intrraction using tactile cues combined with auditory (cross-modal) input, vibrotactile transducers, pin arrays (compare with Braille dipsplay and Opticon aid for visually impaired)

[TandlerP01a] (*) Tandler, Peter and Prante, Thorsten "Using Incremental Gesture Recognition to Provide Immediate Feedback while Drawing Pen Gestures", Proc. UIST 2001 Recognition of pen gestures is error-prone: recognize gestures as they are made, if gesture can no longer fit any recognition template, stop recognizing and treat as electronic ink (scribble gesture): mentions audio feedback on recognition of pen gestures

[Tappert01] (*) Tappert, Charles C. and Mosley, Pauline H. "Recent Advances in Pen Computing", Technical Report Number 166, August 2001, Schole of Computer Science and Information Systems, Pace Univserity, While Plains, New York

Virtual Reality (?) via Whiteboard project "Flatland" at Xerox PARC, Kumon Machine project for teaching mathematics via pen computing. List of pen computer / tablet PC / PDA products as of 2000: Handspring, PalmTop, Pen*KEY from Intermec, Sharp ZR-3500X, Casio Cassiopeia. Pencomputing games

[Tay01] (*) Tay, Yong Haur; Khalid, Marzuki; Lallican, Pierre Michel; Knerr, Stefan; ViardGaudin, Christian "An Analytical Handwritten Word Recognition System with Word-level Discriminant Training", Proceedings of ICDAR 2001, pp 726-730 Hidden Markov Model HMM for optical recognition of handwriting; points out need to include "junk" data (things that can be mistaken for characters) as well as "good" data in training set

[Tealpoint01] (*) Tealpoint, Inc. "TealScript User's Manual", http://www.tealpoint.com, 2001 Replacement for Graffiti unistroke character/stroke recognizer: trainable recognition, for the Palm Pilot PDA Refers to matching system, using a match-percentage and squelch values for character recognition; mentions recognition/stroke/character macros, up to seven characters

[TedescoDE02] (*) Tedesco, Daniel E.; Walker, Jay S.; and Kessman, Marc D. "Method and Appratus for Performing Supplemental Searches over a Network", United States Patent https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

53/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

6,349,295 B1, Feburary 19, 200

Asyncronous search of remote (network) database on another thread from a word-processing program

[Tekscan05a] (*) Tekscan, Inc. "Tekscan FlexiForce Force Sensors User Manual", Tekscan Inc, South Boston, Massachusetts, 2005

Force/pressure sensing touch matrix (pad or tablet) using matrix of conductors and force-sensitive conducting ink

[Telautograph05] (*) Telautograph: Wikipedia Encyclopedia "Telautograph", en.wikipedia.org/wiki/Telautograph

History of the Telautograph, 1890 precursor to Fax/Facsimile device and to digitizing tablets: Elisha Gray

[TheAge05] (*) The Age / Fairfax digital "Go files anti-trust suit against Microsoft", www.theage.com.au

Press article in Australia on GO / Microsoft anti-trust lawsuit: quotes Bill Gates and Jerrold Kaplan

[Thom-Santelli04a] (*) Thom-Santelli, Jennifer "Effects of a Multitouch Keyboard on Wrist posture Typing performance and Comfort", Master's Thesis, Cornell University NY, 2004 Ergonomics evaluation of MultiTouch Keyless Keyboard from Fingerworks (human factors)

[ThomasEA03a] (*) Thomas, Eric Anthony "Methods apparatus and computer program products for providing user input to an application using a contact-sensitive surface", United States Patent 6,624,832

Touchscreen/digitizer with double-ended stylus, determined by number of contact points on end of the stylus: compare with Freestyle double-ended stylus. Uses SAW digitizer that can determine multiple points of contact. Cited to Agulnick patent.

[ThornerC02a] (*) Thorner, Craig and Heilman, Paul M. III "Universal tactile feedback system for computer video games and simulations", United States Patent 6,422,941, July 23, 2002

Haptic feedback vibrator seat or vest. (Compare "butt-tickler). Can be retrofit (host-independent) to an existing game by responding to the sounds output by the electronic game, or can be controlled by commands (host-dependent) from the computer. Effects include crashes.

[TognazinniB04a] (*) Tognazinni, Bruce "Make Your Tungsten T3 Palm a Monster Machine", www.asktog.com, August 2004

Review of Tungsten Palm T3 hand-held computer: with Graffiti handwriting recognition: suggests kinetic scroll, faster stroke scrolls farther.

[TokiokaM01a] (*) Tokioka, Masaki; Tanaka, Atsuhi; Yoshimura, Yuichiro; Yanagisawa, Ryozo; Kobayashi, Katsuyuki; and Sato, Hajime "Coordinate Detecting Device for Outputting Coordinate Data when Two Points are Simultaneously Depressed", United States Patent 6,255,604, July 3, 2001 multi-touch (two points) on resistive film digitizer: Additional current from two points of contact indicates two points, rather than one, firmware uses most recent single point and second point.

[Tomitsch03] (*) Tomitsch, Martin "Trends and Evolution of Window Interfaces: Discussion on Interfaces and Interaction Techniques for Window Management", Master's Thesis, University of Technology, Vienna, December 2003

Review of Windows interfaces, mentions post-WIMP (see van Dam) gesture UI user-interfaces: piemenu "marks" (marking menus) or quick gestures with mouse -- direction is easier to do with mouse than distance or position for a pop-up menu. Zomit navigation menus for mouse. Bruce Tognazzini on gesture input (from Tog's Blog, 2003), including hand gestures and other input. Gestures on

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

54/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

whiteboard systems. Task Gallery project included audible (musical?) feedback on correctlyrecognized gestures.

[TomsHardware03] (*) TomsHardware.com "The Digital Writing Pad: Tablet PCs", http://www.tomshardware.com

Review of Tablet PCs, mentions Paceblade Pacebook Tablet PC. Uses term digitizer display to refer to a digitizer integrated with a flat display.

[TomsHardware05] (*) TomsHardware.com "Wacom stellt besonders kleinen Pen fuer PDA und Smartphones vor", http://www.tomshardware.com Wacom Super Slim Pen, very small form-factor penabled (Wacom term) electromagnetic digitizer for PDA and Smartphones market. Refers to "Flight Point" functionality for moving the cursor without touching the screen (proximity sensing) a.k.a. hover

[TouchInternational05] (*) Touch International, Inc. "Touch International Inc.", http://www.touchinternational.com

touchscreen digitizer "Digital Ink" -- successor to Electronic Ink?. Capacitive and resistive digitizer in one unit for both finger and stylus tablet input

[Topeka05] (*) Topeka Computing Museum "The Topeka Computing Museum", http://www.gateman.com/museum/t3.html

Has functional Pencept Penpad "white board" digitizing tablet with handwriting recognition from 1986

[TseE05] (*) Tse, Edward; Shen, Chia; Greenberg, Saul; and Forlines, Clifton "Enabling Interaction with Single User Applications through Speech and Gestures on a Multi-user Tabletop", Mitsubishi Electric Research Laboratories Report TR2005-130, December, 2005

Multi-touch desktop extended to multiple users, touch input can identify particular user. Case studies are Googel Earth and Warcraft III. Incorporates speech and gesture input.

[TsukadaY02a] (*) Tsukada, Yujin and Hoshino, Takeshi "Layered Touch Panel: the Input Device with Two Touch Panel Layers", Proc. CHI 2002, April 20-25, 2002, Minneapolis, pp. 584-585 IR infra-red optical touch sensor over contact-screen touch digitizer: essentially giving you proximity sensing when finger interrupts IR optical beams before touch. gestures include pick and drop, rollover gesture.

[UDelaware02] (*) University of Delaware "UD researchers develop revolutionary computer interface technology", University of Delaware Press Release, September 27, 2002 Fingerworks multi-touch technology by Wayne Westerman and John Elias, company later acquired by Apple for the iPhone. Mentions simulated devices on a touch-screen -- compare with Kaplow?

[UedaT03a] (*) Ueda, Tsutomu and Ooue, Toshikazu "Pressure-sensitive conductive ink composition", United Stated Patent 6,555,024, April 29, 2003

Pressure-sensitive ink, like conductive rubber: curable ink material with conductive filler (small particles?). Example of matrix/grid pressure/touch sensor

[UllmerB01] (*) Ullmer, Brygg and Ishii, Hiroshi "Emerging Frameworks for Tangible User Interfaces", "Human-computer Interaction in the New Millenium", Addison-Wesley, August 2001, pp. 579-601

Review article on tangible user interfaces, and augmented physical/tangible objects: cites to Buxton and Shneiderman among others.

[UlrichRR01a] (*) Uncapher, Kieth W. "Pattern and Color Abstration in a Graphical User Interface", United States Patent 6,239.795, May 29, 2001

Color/style schemes in windows-based UI (Apple MacIntosh): theme style also can change shape of

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

55/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

windows (rounded corners, etc.) not just colors, by changing the presentation layers for userinterface objects.

[Uncapher02] (*) Uncapher, Kieth W. "Biographical information for Kieth W. Uncapher, Senior Vice President, CNRI", http://www.cnri.reston.va.us/bios/Uncapher.html: CNRI, 1895 Preston White Drive, Suite 100, Reston, Virginia 20191-5434 He managed ... the RAND Tablet project which included real time recognition of hand printed characters using a tablet and stylus, in 1961

[VaeaenaenenJ02a] (*) Vaeaenaenen, J. "Method and device for browsing information on a display", United States Patent Application 2002/0175896, November 28, 2002 Scroll/browse by tilt of handheld device: scroll to position of tilt (absolute), not in direction of tilt (relative)

[Valdes01] (*) Valdes, Ray "DDJ Handprinting Recognition Context Wrap-up", Dr. Dobb's Journal, July 22, 2001. Available at www.ddj.com Review of handprint recognition systems provided by readers. Most recognizers were "ad-hoc" (rule-based), less than 2000 lines of code.

[VanNess05] (*) VanNess, Shawn and Wakeam, Jamie "Windows Vista Tablet PC: Tablet Enabled Applications", downloads.microsoft.com Powerpoint presentation: PRS 315 from PDC05 conference (?): describes Ink Analysis API as superset of handwriting text recognition. Ink data types and stylus input in WinFX Windows Presentation Foundation WPF. Mentions handwriting / ink input annotation over video

[VanWestJ02a] . Van West, Jeff "Tablet PC Quick Reference", Microsoft Publishing, November 6 2002

TOC only: Input Panel options, Send as Text vs. Send as Ink, Journal and Notes note-taking applications for electronic ink

[VassalloK04] (*) Vassallo, Ken "Tablet PC Software Design Considerations", Microsoft Tech-Ed Presentation, Microsoft Mobile Design Conference MPC 331, Feburary 25, 2004

UI User Interface guidelines for tablet PC developent: Hand Obstruction of menus and scrollbars; use electronic/digital ink as data type (ink-centric) instead of handwriting recognition; editing of ink with Windows ink edit control can be awkward; targeting/positioning with stylus/pen is imprecise; describes difference between mouse click/double-click and gesture tap/double-tap; digitizer performance affected by EMI electromagnetic interference, and accuracy bad at edge of screen/tablet; mentions visual parallax error

[VijayaKittu03] (*) Vijaya Kittu M. "Keep a Tab on the Tablet PC / What makes the Tablet PC Tick / The Tablet PC Arrives", Information Technology, January 2003 pp 45..50, 59..61, December 2002 pp 14..16

Refers to Tablet PC as a "Slate Computer", but does not mention Slate Corporation. Overview of Input Panel for handwriting recognition input, gestures, Windows Journal, Sticky Notes. Mentions ISF Ink Serialized Format (similar to JOT format standard for electronic ink?). Text Services framework for handwriting recognition adds dictionary alternatives, using "factoids" for type of input: field tyep EMAIL, DIGIT, TELEPHONE, POSTCODE.

[VIPDATA05] (*) VIPDATA "VIPDATA/VPen Product Information", www.eu-vipdata.com

VPEN product: Virtual Input Pen: cell phone with built-in optical digitizer pen, reads differential image of surface: contrast with Anoto? Mentions use in multimodal user interface for military users: compare with Cohen reference (Natural Interaction Systems LLC)

[Vitis02] (*) Vitis, Pavel "Gestures: mouse stroke controlling system", https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

56/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

lsg.euweb.cz/show.php3?f=gestures/README, fetched 2002

Description of Gestures, simple mouse stroke controlling system as used in Opera browser, but works on whole system: stroke gesture recognition for mouse input

[vonHagen05] (*) von Hagen, Bill "Bill von Hagen's Computer Collection: ... life in the past lane ...", www.computermuseumofpa.com Collection include Pen-based computers/PDAs/calculators Apple Newton, Casio Z-7000, EO 440/880, GO Corporation Hyde(286)/Lombard(386), others

[VogtF04a] (*) Vogt, Florian; Chen, Timothy; Hoskinson, Reynald; and Fels, Sidney "A Malleable Surface Touch Interface", Proc. SIGGRAPH '04, p. 36

Proposes flexible/malleable/bendable touch membrane, which would allow true streatch in the input surface: provide passive haptic feedback Mentions Smartskin, Fingerworks, and MTC Express as possible multi-touch technologies.

[VongW02a] (*) Vong, William and Schwitters, Chad "Handheld computing device with external notification system", United States Patent 6,374,276, April 16, 2002

On/Off or deactivation button for alarm with built-in LED light on hand-held PC with a touchscreen. Similar appearance to IBM Simon.

[vonWrede04a] (*) von Wrede, Caspar and Laskov, Pavel "Using classification to determine the number of finger strokes on a multi-touch tactile device", Proc. 12th Euro. Symp. on Artif. Neural Networks, Bruges, April 2004, pp. 459-555 Describes limitations of ambiguity (?) of Synaptics touchpas for multi-touch, better commercial solutions from Tactext Controls and Fingerworks, which are stated to have more complex hardware and lower spatial resolution (?). Algorithms for disambiguatin multiple touches, by processing and interpolating images from grid of touch sensors.

[Voorhees04] (*) Voorhees, Mark "Go Fish: How Fish and Richardson has climbed to the top of our annual list of most active IP practices", American Lawyer, May 2004 Review of patent law firm growth by acquisition: Fish and Richardson: Microsoft client

[Voy05] (*) Voy Wiederhold "Personal Digital Assistants (PDAs) Timeline", wwweb.stanford.edu/pub/voy/museum/pictures/display/0-2-PDAs.htm

Photos of Penpoint GO/Lombard unit, Palm units from Gates Computer Science building, Stanford University

[Vuurpijl01] (*) Vurrpijl, Louis and Schomaker, Lambert "dScript: an agent-based handwriting recognition demo", hrw.nici.kun.nk/recog/dscript multiple simple classifiers/recognizers for handwriting, in a multiple-agent architecture

[W3C03a] (*) W3C www.w3.org "Requirements for the Ink Markup Language", W3C Note 22 January 2003, version www.w3.org/TR/2003/NOTE-inkreqs-20030122/, www.w3.org/TR/inkreqs

Exchange format requirements for electronic ink data interchange: handwriting and gesture recognizers, signature verifiers, ink-aware (pen-aware?) applications on Web. Includes pen angle, pen tip force (pressure), sampling mode, sampling rate, screen context. Compare with JOT standard.

[W3C04a] (*) W3C www.w3.org "Ink Markup Language", W3C Working Draft 28 September 2004, version www.w3.org/TR/2004/WD-InkML-20040928 www.w3.org/TR/inkML

XML Exchange format specification for electronic ink data interchange: handwriting and gesture recognizers, signature verifiers, ink-aware (pen-aware?) applications on Web. Includes pen angle, pen tip force (pressure), sampling mode, sampling rate, screen context. Compare with JOT binary standard.

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

57/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[Wacom04a] (*) WACOM Europe "OQO setzt Penenabled-Technologie von Wacom in neuem leistungsfaehigen Personal Computer im Taschenformat ein", www.wacomeurope.com Press release on OQO using Wacom electromagnetic digitizer

[Wacom05a] (*) WACOM Europe "The History of WACOM", www.wacom-europe.com

History of Wacom: 1983 CAD Tablets later pressure-sensitive tablets for graphics and pre-press, desktop publishing, GO/PenPoint

[Wacom05b] (*) WACOM Co., Ltd. "Annual Report 2005, Wacom Co. Ltd.", www.wacom.co.jp

Wacom Annual report 2005: mentions products for electromagnetic digitizer for the PDA market: W8802 Pen-sensor chip for mobile phones, Smartphones, PDAs and digital cameras, in addition to Tablet PC market. Super Slim Pen for PDAs introducted in April 2005. Wacom Penabled refers to custom-engineered digitizer components.

[Wacom05c] (*) WACOM Co., Ltd. "Wintab cursor macros example program, WinTab backgrounder, WinTab specification 1.1", www.wacomeng.com API Description of WinTab tablet digitizer / window management with virtual table frames. Relevant to Schumer.

[Wakeam03] (*) Wakeam, Jamie "Ink Analysis with the Tablet PC SDK", Microsoft MSDN, May 2003 API and structures for Divider object to add segmentation manually to electronic ink, such as for strokes the developer assigns algorithmically to characters, to words, or to sketches

[WalkerG01] (*) Walker, Geoff "The Tablet PC", Pen Computing Magazine, July 2001

General review of June 2000 and COMDEX November 2000 Bill Gate's demonstrations of Tablet PC prototypes. TabletPC announced by Microsoft without reference to previous Windows for Pen Computing or previous decade of portablet pen-computing products. Microsoft Notebook ink notetaking application for Tablet PC: acquired from Aha Software: InkWriter. Describes moving ink words as though they were text: compare with van Raamsdonk. Delayed or background recognition: compare with Slate deferred recognition. Windows Pen Services 1.0 "MARS" handwriting Recognizer, Pen Services 2.0 used GRECO recognizer, Windows CE 2.0 used CIC's Jot recognizer at the last minute, 1999 purchase of Calligrapher non-exclusive handwriting recognizer, combined with in-house gesture recognizer (?). Term "reco fusion" for combining multiple recognizers. Prototype used Finepoint Innovations digitizer.

[WalkerG01b] (*) Walker, Geoff "Microsoft Tablet PC History: A detailed look at Microsoft's proposed Tablet PC (2001)", RuggedPCReview.com, 2001 Extensive review of history of Tablet PC from Microsoft, comparision with Windows for Pen Computing / PenWindows history. Electromagnetic digitizer ("active" tablet/touchscreen).

[WalkerG02a] (*) Walker, Geoff "Tablet PC Update", Pen Computing Magazine, Spring 2002

Review of Tablet PC, announced by Alex Loeb at WinHEC2001. Questions from Geoff Walker to Alex Loeb, comparing GO / PenPoint pencentric approach to Windows for Pen Computing / Tablet PC adding pen/stylus/gesture functionality to mouse-centric OS.

[WalkerG02b] (*) Walker, Geoff "Tablet Taxonomy: Special Report: WebPads", Pen Computing Magazine, January 2002, available at www.pencomputing.com

Taxonomy of pen-computing digitizer tablet pen computers: Internet Appliance (Compaq Internet Appliance, Sony eVilla, Virgin WebPlayer, Gateway TouchPad, Compaq IA-2), Thin Client

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

58/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

(terminal: AirSpeak Flair, NCD ThinSTAR), WebPad (Windows CE, QNX, Midori Mobil Linux, CE Tablet (Fujitsu PenCentra), Pen Tablet (SONICblue ProGear, Tablet PC. Says Tablet PC hardware will not ship until 2002.

[WalkerG03a] (*) Walker, Geoff, editied by Purdy, J. Gerry "Tablet PC Report", MobileTrax Enterprise IT Service, Cupertino, CA, August 2003 Business review of Microsoft Tablet PC system. OneNote replaces Windows Journal -- describes use of ink notes an annotations in Microsoft Office: Word, Excel. "Active Digitizer" providing hover/proximity sensors (Wacom digitizer) and FinePoint innovations. Credits Fujitsu with originally creating Pen Tablet market in 1993. Detailed list of application vendors and hardware vendors.

[WanBo02] (*) Wan, Bo and Watt, Stephen "An Interactive Matchematical Handwriting Recognizer for the Pocket PC", ML conference 2002, Presentation Papers

Two-dimensional parsing of mathematical expressions: assumes symbols are written left to right; no references to work before 1998

[WangJ03] (*) Wang, Jintao "Online Handwriting Recognition Technology -- State of the Art", Presentation notes. Group for User Interface Research, [email protected]

Primarily about hand-held devices since 1997, several references to Chinese/Asian product with handwriting recognition States that classifier/recogniizer is not the most infuential factor on recognition accuracy, but does not state what. mentions Lexicus, Paragraph (licensed to Microsoft), DragonPen, PenPower

[WardDR01] (*) Ward, Daniel R; Wood, Robert P.; Harel, Jacob; Holtzman, Rafi "Pen Positioning System", United States Patent 6,184,873 B1, February 6, 2001

Electronics for Imaging: ultrasonic/acoustic transducers in the pen, mentions pressure-sensitive tip also using ultrasonics: cites Blesser/Philbin/Philips patent for spatial filters, apparently as prior art for tilt, height, and parallax correction

[WardJR03] (*) Ward, Jean Renard "System and method for ad hoc management of credential, trust relationship, and and trust history in computing environments", United States Patent Patent Application Filing 20030163686, August 28, 2003 Community-based electronic credentialing using non-CA PKI. Non-heirarchical alternative to traditional PKI, making use of a management system separate from a CA Certifying Authority (a.k.a. Certification Authority) for credentials from multiple sources.

[WardJR05a] (*) Ward, Jean Renard "Protection of Identification Documents using Open Cryptography", United States Patent Provisional Filing 20050132194, June 5, 2005

Attaching cryptographic signature or other signature means to a document or manufactured item to identify the provenance, and thus the manufacturing station etc. of the document or item

[WardJR05b] (*) Ward, Jean Renard "Detection of system compromise by correlation of information objects", United States Patent Provisional Patent Filing, Cylant.com, filed September 22 2005. [WebPad01] (*) WebPad "Die Web-Pads kommen!", c't magazine, number 16, 2001, page 120 Review of stylus or touchscreen digitizer notebooks with wireless web access: mostly running WindowsCE, mentions TabletPC in 2001

[Westerman01a] (*) Westerman, Wayne and Elias, John G. "Multi-Touch: A New Tactile 2-D Gesture Interface for Human-Computer Interaction", Proc. of Human Factors and Ergonomics Society, 2001, pp. 623-636 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

59/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Multi-touch surface using capacitive sensor array, used to recognize multi-finger gestures for graphical manipulation. Gesture examples detect up to four finger touches, plus pointing input like a mouse. Cites to educational studies with children. Also cites Lee, Buxton, and other earlier multitouch devices. Chord gestures are recognized, then user can continue with pointing or other input without a separate action (button) for mode switch between typing and pointing, etc.

[Westerman01b] (*) Westerman, Wayne and Elias, John G. "Method and Apparatus for Integrating Manual Input", United States Patent 6,323,846, November 27, 2001

Multi-touch digitizer, electrostatic/capacitive. Uses an X/Y grid of capacitive sensor points. The touchscreen sensor technology later used in the Apple iPhone.

[WestermanWC03a] (*) Westerman, Wayne Carl and Elias, John Greer "Multi-touch System and Method for Emulating Modifier Keys via Fingertip Chords", United States Patent 6,570,557, May 27, 2003

multi-touch surface (MTS) touchpad used for chorded input in a touch-sensitive keyboard, up to four fingers simultaneously. Thumb input stops key input, so that hand can be left rested, thus reducing palm-rejection problem. By using multi-touch gestures, need not regard absolute position of a virtual keyboard.

[WestermanWC04a] (*) Westerman, Wayne Carl "System and method for recognizing touch typing under limited tactile feedback conditions", United States Patent 6,677,932, January 13, 2004

multi-touch surface (MTS) touchpad used for full-keyboard (QWERTY) input, where finger touches do not need to be at exact position of the button locations on the touchpad. Hypothesizes home row key locations based on touches, uses best match.

[WestermanW05a] (*) Westerman, Wayne and Elias, John G. "Method and apparatus for integrating manual input", United States Patent 6,888,536, May 2, 2005

Multi-touch multi-finger gestures: two/three/four/five finger zoom/scale/rotate, pinch/anti-pinch, finger-chord gestures

[Wikipedia02a] (*) Wikipedia.com "Sony Ericsson P800", Wikipedia.com, fetched 2012 Sony smartphone/PDA with touchscreen interface: Symbian operation system

[Wikipedia03a] (*) Wikipedia.com "Sony Ericsson P900", Wikipedia.com, fetched 2012 Sony smartphone/PDA with touchscreen interface: Symbian operation system

[Williamson05a] (*) Williamson, Peter H.; Lui, Charlton E.; and Altman, Dan W. "Method and System of Handling the Selection of alternates for Recognized words", United States Patent Application US 2005/0096914 A1, May 5, 2005

For low-confidence matches on handwriting recognition, display menu list with the various matches to user when the confidence score for the result is not high. User may set confidence threshhold. User is shown ink image of the ambiguous word along with the alternates, makes selection. Compare with Chinese/Kanji input which shows alternate choices for the same input characters or strokes

[Williamson05b] (*) Williamson, Peter H.; Hawley, Nina; and Lu-Porter, Li "Implementing Handwritten Shorthand in a Computer System", United States Patent Application US 2005/0180633 A1, August 18, 2005

Handwriting recognition partically adaptive, in that user can define character text abbreviations to be expanded to larger text or to invoke an applications program or function. Interpreter sensitive to context of writing (e.g. which application/input it was written in?). No apparent relation to recognition of Pittman or Gregg shorthand, etc.

[WilsonAD05] (*) Wilson, Andrew D. "PlayAnywhere: A compact Interactive Tabletop https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

60/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Projection-Vision System", UIST '05, October 23-27, 2005, Seattle, Washington, USA

Tabletop digitizer tablet, comparing to interactive table and whiteboard wall imaging touch screens. Optical finger tracking using the endpoints of the figures in a camera image. Touch is detected by heuristics that when in touch, finger will obscure its own shadow, so can also detect hover/proximity. Describes gesture of two hands moving apart to make an image large by zoom. Cites earlier work on TouchLight. Includes video (in file).

[Wimmer04] (*) Wimmer, Raphael; Holleis, Paul; Kranz, Matthias; and Schmidt, Albrecht "Thracker - Using Capacitive Sensing for Gesture Recognition", Proc. 6th International Workshop on Smart Applications and Wearable Computing, Lisbon Portutal, July 2004

Electrostatic/capacitive digitizer to recognize 3D gestures, hand movement gestures in front of a display in proximity: zooming, scrolling, and a "pick up" pinching gesture with the fingers for direct manipulation

[Winograd05] (*) Winograd, Terry and Verplank, Bill "HCI at Stanford University", ACM Interactions, Vol 12. No 5, September and October, 2005

Description of courses for master's program in human-computer interaction at Stanford: mentions haptic interaction

[WirtgenJ04a] (*) Wirtgen, Joerg "Nacserviert: Microsofts Tablet PC Edition Version 2002", www.heise.de, September 28, 2004 Tablet PC Service Pack 2 (2002?), context-sensitive syntax rules for recognition of URLs and other formatted text in input fields, electronic ink in Web Browser input through web controls, In-place TIP (Tablet PC Input Panel) with writing pad mode, write-anywhere: see also Microsoft file. Remote-control RDP extended so that recognition on Tablet PC as controller may be used with remote system that does not have Tablet PC input, instead of just accepting stylus as mouse replacement. Input fields in applications aumatically (?) extended with tap icon to bring up TIP for handwriting recognition input.

[WIPTE05] (*) WIPTE "Call for papers, WIPTE 2006, First Workshop on the Impact of Penbased Technology on Education", www.purdue.edu/wipte Mentions direct support by Microsoft Research for Tablet PC to education. Corporate Sponsors include Thomson Corporation, www.thomson.com

[WobbrockJO03a] (*) Wobbrock, Jacob O.; Myers, Brad A.; and Hudson, Scott E. "Exploring Edge-Based Input Techniques for Handheld Text Entry", Proc. ICDCSW 03, 23rd In'l. Conf. on Distributed Computing Systems, pp. 280-282 Edge Keyboard / EdgeWrite unistroke alphabetic handwriting, user moves to corners and sides of small hand-held touchscreen with a frame: recognition depends only on order of corners, not on continuous contact. Intended for difficulties of writing while holding a small device.

[WobbrockJO04b] (*) Wobbrock, Jacob O.; Myers, Brad A.; Aung, Htet Htet; and LoPresi, Edmund F. "Text Entry from Power Wheelchairs: EdgeWrite for Joysticks and Touchpads", Proc. ASSETS '04, October 18-20, 2004, Atlanta. pp. 110-117

Edge Keyboard / EdgeWrite unistroke alphabetic handwriting using joystick or touchpad, user moves to corners and sides of small hand-held touchscreen with a frame: recognition depends only on order of corners, not on continuous contact. Intended for one-handed handwriting input, for persons with disabilities (wheelchair, use same joystick as wheelchair control)

[WobbrockJO05a] (*) Wobbrock, Jacob O. and Myers, Brad A. "EdgeWrite: A New Text Entry Technique Designed for Stability", Proc. Rehabilitation Egineering RESNA 28th Intl'l Annual Conference, Atalanta Georgia, June 23-27, 2005 https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

61/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

Edge Keyboard / EdgeWrite unistroke alphabetic handwriting using joystick or touchpad, user moves to corners and sides of small hand-held touchscreen with a frame: recognition depends only on order of corners, not on continuous contact. Intended for one-handed handwriting input, for persons with disabilities (wheelchair, use same joystick as wheelchair control)

[WobbrockJO05b] (*) Wobbrock, Jacob O.; Aung, Htet Htet; Myers, Brad A.; and LoPresi, Edmund F. "Integrated Text Entry from Power Wheelchairs", Behavior and Information Technology, Vol 24, No 3, pp. 187-203, May 1 2005

Edge Keyboard / EdgeWrite unistroke alphabetic handwriting using joystick or touchpad, user moves to corners and sides of small hand-held touchscreen with a frame (Synaptics Touchpad, with side buttons): recognition depends only on order of corners, not on continuous contact. Intended for one-handed handwriting input, for persons with disabilities (wheelchair, use same joystick as wheelchair control)

[Wohn05] (*) Wohn, Kwang Yun "Inside the Light Pen / Gun", Course notes for CS480, Korea Advanced Institute of Science and Technology Design and characteristics of light pens

[WuM03a] (*) Wu, Mike and Balakrishnan, Ravin "Multi-finger and whole hand gestural interaction techniques for multi-user tabletop displays", Proc. UIST '03, Vancouver, Canada, pp. 193-202, CHI Letters Vol 5 No 2, 2003 RoomPlanner: prototype toom furniture layout application. Multi-finger/Multi-hand interaction techniques with focus on whiteboard application. Prototype with DiamndTouch multi-touch table, identifies users by coupling. Gesture include tap, double-tap, press-and-hold (?), horizontal and vertical hands, open/flat hand, two corner-shaped hands, two vertical hands

[WuM05] (*) Wu, Mike; Shen, Chia; Ryall, Kathy; Forlines, Clifton; Balakrishnan, Ravin "Gesture Registration, Relaxation, and Reuse for Multi-Point direct-Touch Surfaces", Mitsubishi Electric Research laboratories (MERL) Technical Report TR2005-109, October, 2005 Two-handed (bimanual) continuous gestures: multi-touch

[WuX04] (*) Wu, Xiaojie "Achieving Interoperability of Pen Computing with Heterogeneous Devices and Digital Ink Formats", Master's Thesis, University of Western Ontario, London, Ontario, Canada, 2004 JOT, UniPen, W3C Ink Markup Language, electronic ink formats. Mentions Pen computing APIs: IBM CrossPad API and Microsoft Tablet PC API. IBM C++ Ink Manager SDK, 2001. Document model of electronic ink, Walker Pattern.

[YaegerL02] (*) Yaeger, Larry "TabletPC: Add Support For Digital Ink to your Windows Applications", MSDN Magazine, December 2004, Vol 19 No 12, pp. 42..54

Tablet PC API for electronic ink: InkCollector class, stroke data, InkEdit controls: mentions TicTac-Toe game which used electronic ink images rather than handwriting recognition.

[YagerT02] (*) Yager, Terry "Agnes: The Pen is Mighter Than ...", www.vintagecomputer.com

Review of Toshiba T200 Pen-Pc running Pen Services 2.0 on Windows 3.1. States that gestures (in version Win4Pen Windows for Pen Computing 1.0) were easier to use than the pen-enabled toolbar of Windows 95 for backspace, undo, delete, new-line, etc.

[YanoT01a] (*) Yano, Takashi; Tanaka, Makoto; Tsuda, Kunikazu "Write point detecting circuit to detect multiple write points", United States Patent 6,229,529, May 8, 2001

In a SAW or optical-beam touchscreen, can detect more than one point of touching. Disambiguate which one is a write point (stylus) by it being closer to where the stylus was on the previous sample.

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

62/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

[YaoP02a] (*) Yao, Paul "Email correspondence, "Re: Publications on handwriting/cursive baseline"", Email note to [email protected], April 2, 2002

Assertion that estimation of handwriting baseline prior to recognition, instead of making it part of handwriting recognition, can *hurt* recognition success

[YaoP04a] (*) Yao, Paul "Add Support for Digital Ink to your Windows Applications", MSDN Magazine, 2004

Tutorial article on electronic ink/stroke colleciton in Windows Tablet PC APIs. Lists components for handwriting/gesture recognition: Input Panel Keyboard, Input Panel Writing Pad, Input Panel Character Pad, Pen Input Panel (TIP Tablet Input Panel: compare PenWindows), InkEdit control, Ink-Enabled Window.

[Yang04] . Yang, Ma; Leedham, Graham; Higgins, Colin; Htwe, Swe Myo "Segmentation and Recognition of Phonetic Features In Handwritten Pitman shorthand", Pattern Recognition. [Abstract, refereed journal article accepted Dec 2004, 35 pages] See file folder for Higgins

[YfantidisG05a] . Yfantidis, Georgios "Blind Interaction Technique for Touchscreens: "A full keyboard under the fingertip"", M.Sc Thesis, Univ. of Tampere, Finland, April 2005 Single-finger touchscreen digitizer gesture/writing input for the blind: Gesture Driven Software Button GDSB -- pop-up pie menus (marking menu) with characters, tap and slide (press and hold) gesture on a set of pie menus combined with adaptive press-and-hold/dwell time to transition to a further menu to get a full character set: dwell time is adative/changable. Some gesture input combined with key input on keyboard (left and right arrow keys). EdgeWrite and unistroke constrained handwriting. Note: pie menu and GUI user interface need not be visible, as this is an input technique for the blind. Extensive review of earlier work on blind input on touchscreens, in particular for mobile devices such as Palm PDAs and cell phones: Unistroke, Unigesture, touchscreen typing and constrained handwriting, auditory feedback, keyboad/menu layouts using frequency of characters (such as on IBM Simon). No reference to screenreaders such as VoiceOver or JAWS, nor to Milekic.

[YocumT02a] . Yocum, Todd and Peurach, Thomas M. "Haptic device attribute control", United States Patent 6,433,771, August 13, 2002

Haptic Force feedback on mechanical maniuplators, adjustable for amplitute, phase, frequency, and spring gain constant

[Zanibbi01] . Zanibbi, Richard, Novins, Kevin, Zannibi, Katherine, and Arvo, James "Aiding Manipulation of Handwritten Mathematical Expressions through Style-Preserving Morphs", Graphics Interface 2001, June 2001, pp 127-134 Cleans up / pretty-fies handwritten mathematical electronic ink by applying some normalization of the electronic ink, making use of some heuristics of mathematical syntax, but not full character/symbol recognition, including use of writing baseline

[ZeleznikR01a] (*) Zeleznik, Robert; Miller, Timothy; and Forsberg, Andrew "Pop Through Mouse Buttons: A Simple Hardware Change and its Software UI Impact", Proc. UIST '01, ACM 2001, pp. 195-199 Add force sensor to mouse button to allow user to press and hold harder for pop-through menus: unlike double-click does not require user to hold mouse without moving.

[ZimmermanJ04a] (*) Zimmerman, John and Martino, Jacquely Annette "Touch-Screen Image Scrolling System and Method", United States Patent 6,690,387, February 10, 2004

Dynamic scrolling of lists or information based on speed of scrolling: list continues scrolling (momentum/internia), user can stop scrolling by pressing and holding, or select with a click while

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

63/64

10.2.2015

(2001..2005) History of Pen and Gesture Computing

list is scrolling ("touch-marking" known in scrolled display technology) while scrolling is coasting to a stop

[Zizzi01] (*) Zizzi, Stephen "Method of Transparent Encryption and Decryption for an Electronic Document Management System", United States Patent 6,185,691, February 6, 2001

Encrypt automatically when saving a file, decrypt when opening: claims all cryptographic functions, which would probably include digital signatures. Re-issued with new claims. Subject of press reports on patents needing re-review.

[Zloter05] (*) Zloter, Yitzhak and Shenholz, Gideon "Digitizer Pen", United States Patent 6,876,356 B2, April 5, 2005

Mechanical design of the Pegasus digital pen: mentions ultrasonic/acoustic digital transducers pen. Mentions "disappearing ink" in disclosures, as means to eliminate problem of permanent marks from ink that is required for human reading of marks while writing

[Zoebisch03] (*) Zoebisch, F. and Vielhauer, C. "A Test Tool to support Brute-Force Online and Offline Signature Forgery Tests on Mobile Devices", IEEE International Conference on Multimedia and Expo 2003 (ICME), 2003

Signature verification/ handwriting verification / biometrics on Palm PDAs, and on Windows using Wacom tablet. Primarily about training users to produce forgeries, based on giving users only the clear-text, low-force where users see static image of writing only, and brute-force where users see dynamic display of writing.

[Zongker02] (*) Zongker, Doug "Chicken Chicken Chicken: Chicken Chicken", PoCSi 02: Potentially Computer Science Conference May 2002, U. Washington. Available at http://isotropic.com Chicken chicken chicken chicken chicken chicken chicken chicken chicken: chicken chicken chicken. (Geek humor In English)

       Main Reference Page       

https://web.archive.org/web/20130502040448/http://rwservices.no-ip.info:81/pens/biblio05.html

64/64

10.2.2015

(2006..2007) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio07.html

Go

7 captures

FEB MAI SEP

2

2012 2013 2014

21 Jul 11 - 29 Sep 13

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 2006 to 2007. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:53 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio07.html http://216.15.114.196:81/pens/biblio07.html http://rwservices.no-ip.info:81/pens/biblio07.html (Generally most up-to-date)

       Main Reference Page        [AckermanD07a] (*) Ackerman, Dan "Asus R2H Ultramobile PC", reviews.cnet.com, Jan 29, 2007 Asus R2H UMPC: compared with OQO and Sony VAIO UX Premium, UMPC with no tablet or handwriting input, and not physical keyboard (on-screen keyboard only)

[AckermanD07b] (*) Ackerman, Dan "Band of the Hand; UMPCs reviewed", crave.cnet.com

Sony VAIO UX390 UMPC: Note: runs Windows Vista, with Tablet PC software expecting proximity sense, but device has a resistive-film touchscreen digitizer: Shake / Tablet PC Input Panel gesture thus does not work. Lack of proximity cursor makes poor registration accuracy of touchscreen more of a problem. OQO Model 2: UMPC running Tablet PC. Comments that for UMPC small tablet PC, a 1.5" touch-pad is a better pointing device than a

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

1/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

touchscreen or digitizer.

[Adesso06] (*) Addeso Inc. "Cyberpad Digital Notepad and Graphics Tablet", www.adesso.com

Digitizer built into clipboard-style device, capture handwriting notes with real ink as electronic ink, notes can be uploaded to computer at later time. Compare with Anoto. mentions riteMail, handwriting recognition with riteShape and riteScript for shape recognition (rectangle, circles, etc.) Automatic data entry using paper forms. inkNote, note-taking with electronic ink, "intelligent page break" (compare to Raamsdonk?)

[Argarawala06] (*) Agarawala, Anand and Balakrishnan, Ravin "Keepin' it Real: Pushing the Desktop Metaphor with Physics, Piles and the Pen", Proc of CHI 2006, pp 1283-1292 Touch-sensitive (or pen-digitizer) desktop GUI "BumpTop": simulating physics of actual cards, showing 3-D icons being placed in a three-dimensional space. Limited use of gestures: Lasso, which then brings up pie-chart menu. Pressure/tip-force on stylus selects different functionality in operations. Lasso-and-cross: drag through a "widget" which affects what operation is performed when stylus is lifted. Piles of simulated papers and cards: compare with Freestyle at Wang.

[AgrawalSC06] (*) Agrawal, Subhash C.; Wimer, Scott M.; Young, Jonathan H. "Method and System for Detecting Intrusive Anomalous Use of a Software System using Multiple Detection Algorithms", United States Patent Application 2006/0085854, April 20, 2006 Cylant detection mechanism for software infection, combining multiple examination methods/models in the analysis. Describes the system call interceptor and "clicks" as datums. Previous Munson work used arbitrary code execution points, rather than system calls.

[AlvaradoC07a] (*) Alvarado, Christin and Davis, Randall "Sketch-Based interfaces: Techniques and Applications -- Multi-Domain Sketch Understanding", Presentation slides, SIGGRAPH 2007

domain-flexible recognition systems for sketch recognition: recognize components such as line, vertex (high curvature, low speed motion), ellipse, arc, polyline via a primitive recognizer/fragmeter (parse), match to shape descriptons for shapes of domain (Electronics, architecture, etc.) using contraint-based pattern matching.

[Amazon07] (*) Amazon.com "Kindle: Amazon's New Wireless Reading Device", www.amazon.com, November 10, 2007 Electronic book using e-ink display, no stylus or digitizer, small keyboard buttons only

[AmesB06] (*) Ames, Ben "Palm pays Xerox $22.5 million in Patent suit", MacWorld, June 28, 2006. Available at www.macworld.com Unistroke lawsuit between Xerox and Palm / US Robotics / 3Com / ACCESS Co. / PalmSource

[AndersonR07] (*) Anderson, Richard; Anderson, Ruth; Davis, Peter; Linnell, Natalie; Prince, Craig; Razmov, Valentin; and Video, Fred "Classroom Presenter: Enhancine Interactive Education with Digital Ink", IEEE Computer, September 2007, Vol 40 Number 9 pp. 56..60 Whiteboard system for use during lectures using Digital Ink (Microsoft term for Electronic Ink). Teacher and students can mark-up comments submitted by student in electronic form. Using notetacking application from Microsoft on Tablet PC. See also Tront.

[Answers06a] (*) Answers.com "Technology: Graphics Tablet", www.answers.com/topic/graphics-tablet.html

Reference to stylus versus puck for tablet: actual source is Computer Desktop Encyclopedia, (c) 1998 The Computer Language Co. Inc. See also topic "mouse - technology": cites mouse data as relative motion only, tablet is absolute.

[Answers06b] (*) Answers.com "Technology: 1988", www.answers.com https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

2/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Scriptel digitizer in 1988

[AppleInsider07a] (*) AppleInsider "Touch sensor firm issues legal warning to Apple over iPhone", AppleInsider, February 20, 2007: available at forums.appleinsider.com Quantum Research threatens infringement patent lawsuit for Apple iPhone. Not clear whether Quantum's UI patens, or multi-touch digitizer technology was involved. See file on Quantum.

[AppleInsider07b] (*) AppleInsider "Apple developing configurable multi-touch gesture dictionary", AppleInsider, August 2, 2007: available at forums.appleinsider.com

Apple iPhone patent application for a dictionary of multi-touch gesture/chord input. Compare with chorded keyboard of Buxton?

[AssureTec06] (*) AssureTec Systems, Inc. "AssureTec System: Inovating Technologies", www.assuretec.com Indentification products: mentions Ted Kuklinski/Pencept/Penpad

[AtwoodM06a] (*) Atwood, Margaret "LongPen", Margaret Atwood, 2006

Collection of press references to LongPen: remote signing station for signing books, including live video and audio chat for interaction with fans who want their books signed by the author

[BarrettGL06] (*) Barrett, Gary L. "Curriculum Vitae for Gary L. Barrett", Gary L. Barrett Touch International: reviewer for Agulnick patent

[Bateson06] (*) Bateson, Melissa; Nettle, Daniel; and Roberts, Gilbert "Cues of being watched enhance cooperation in a real-world setting", Biology Letters, FirstCite Earl Online Publishing, 2006. Available at www.journals.royalsoc.ac.uk Psychological impact: pictures of eyes over an "honor system" payment box result in greater compliance with social standard to pay

[BellD07] (*) Bell, Donald "Apple iPod Touch - product review", reviews.cnet.com, September 14, 2007 Review of iPod Touch. Few mentions of multi-touch gestures from iPhone.

[BenkoH06] (*) Benko, Hrvoje; wilson, Andrew D.; and Baudisch, Patrick "Precise Selection Techniques for Multi-Touch Screens", Proc. CHI 2006, April 22-27, 2006, Montreal, Quebec, Canada Two-finger precise positioning by using slider or streatch gestures in multi-touch display. Contrasts with WIMP interfaces. Cites to Buxton early work on two-handed input. Simulates proximity sensing by detecting area of contact (Simulated Pressing SimPress) of fingertip. Dual-finger midpoint to generate an offset cursor, so that finger does not obscure display. Dual finger stretch, one finger points, the other zooms. Also: video file of demonstration.

[BennetD07] (*) Bennet, Drake "Patently Obvious", Boston Globe, Sunday, May 6, 2007, page E1 History of standards for granting of patents, refers to "Hindsight bias" on obviousness

[Berrnier07] (*) Berrnier, Marc "Adventures in Cybersound: Vannevar Bush", Available at www.acmi.net.au Memex *did* reprsesent Hyptertext, but description is not clear. Voder device for speech recognition (concept)

[Blickenstorfer07a] (*) Blickenstorfer, Conrad H. "Dell Latitude XT: Dell finally release a Tablet PC convertible", www.ruggedpcreview.com/3_slates_dell_latitude_xt.html, December 2007 Announcement of Dell Tablet PC using transparent digitizer tablet component from N-trig

[Blickenstorfer07b] (*) Blickenstorfer, Conrad H. "Motion leapfrogs competition again", www.ruggedpcreview.com, March 26, 2007 https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

3/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Motion Computing LE1700 tablet PC using electrostatic WriteTouch N-Trig digitizer instead of Wacom electromagnetic

[BostonGlobe06] (*) Boston Globe "Business Notebook: Brighter outlook", The Boston Globe, Wednesday, October 4, 2006 Page E2 Nintendo DS hand-held game machine with digitizing tablet

[BostonGlobe07a] (*) Boston Globe (from Bloomberg News) "Microsoft get $1.5b verdict tossed: US judge negates Alcatel-Lucent win in MP3 patent case", The Boston Globe, Tuesday August 7, 2007, page D2

Lucent/Microsoft patent dispute concerning MP3 patent licensing. Court rules after jury verdict that Microsoft had a license due to a chain of earlier corporate acquisitions by various parties (Fraunhofer Institute).

[BostonGlobe07b] (*) Boston Globe (from Associated Press) "Amazon.com launches its own e-book reader", The Boston Globe, Tuesday, November 20, 2007 Page C2 E-ink electronic ink e-book product Kindle. Allows mark-up, but no notation about digitizer or stylus.

[BoulletM06] (*) Boullet, Marc "Mozilla Firefox Extensions: All-in-One Gesture Extension", perso.wanadoo.fr/marc.boullet

Mouse gesture plug-in for Mozilla Firefox web browser. Includes additional mouse extensions using alternative mouse buttons, mouse scrollwheel. Subsumes Mouse Genturs by Optimoz, Rocker navigation, Autoscrolling. Allows for mouse-gesture customization -- gesture macro definitions?

[BreedDS06a] (*) Breed, David S. "Interactive Vehicle Display System", United States Patent 7,126,583, October 24, 2006 Touchscreen user interface in automobile, functions are enabled when user selects a functions group using the touchscreen

[BrewsterR07a] (*) Brewster, Hon. Rudi M. "Order granting summary adjudication of no infringement of U.S. Patent No. 5,347,295", United States District Court, Southern District of California, Civil Action No 02CV2060-B(CAB), March 7, 2007 Patent ruling that use of gestures on a touchscreen is not covered by patent on gestures in an operating system when gestures are made using a digitizer. Distinguishes between touchscreen and digitizer for purposes of the patent.

[BrewsterR07b] (*) Brewster, Hon. Rudi M. "Order granting-in-part and denying-in-part motion for summary judgment of no indirect infringement of U.S. Patent No. 5,347,295", United States District Court, Southern District of California, Civil Action No 02CV2060B(CAB), March 21, 2007

Patent ruling that use of gestures on a touchscreen is not covered by patent on gestures in an operating system when gestures are made using a digitizer. Distinguishes between touchscreen and digitizer for purposes of the patent.

[Bricklin07a] (*) Bricklin, Dan "Gesture, the iPhone, and Standards: A Developer's Questions", www.bricklin.com/gestures.htm, 24 October 2007

Essay by Dan Bricklin on standardization of gestures in pen-computing. Describes special considerations on shape of Tap gesture. Mentions accessibility problems of iPhone and other systems to visually impaired. Flick gestures in PenPoint and on Iphone -- no mention of Microsoft Tablet PC flick gestures. Intellectual property/patent positions on gesture and multi-touch input, including speculation about Bill Buxton and Microsoft on "Multi-touch systems I have known and loved" position on prior art.

[BuisineS07a] (*) Buisine, Stephanie; Besacier, Guillaume; Najm, Marianne; Aoussat, https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

4/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Ameziane; and Vernier, Frederic "Computer-Supported Creativity: Evaluation of a Tabletop Mind-Map Application", Springer Verlag, August 24, 2007 Multi-touch multi-user collaborative desktop digitizer user interface: Mentions UI user-interface direct-manipulation gestures of peeling and and piling of simulated documents -- peeling by bouncing virtual document against an edge to show the virtual other side of the document; putting documents into virtual slots (like mail slots) to send them (via email, to a copier, etc.), tearing/streatching and regeneration to copy.

[BusinessWire07] (*) Business Wire / Gale Group "N-trig Opens Taiwan Office", BNET.com, August 20, 2007 N-trig multi-touch transparent electrostatic tablet digitizer, producting office started in Taiwan

[Buxton06] (*) Buxton, William "Directory of Sources for Input Technologies/Manufacturers Addresses", www.billbuxton.com Adaptive/Assistive technologies, character recognition, Pens, Digitizing Tablets, Eye and Head Movement Trackers, Joysticks, Lightpens, Mice, Stylus Devices, Touch Screen, Haptic Force Feedback devices, etc.

[Buxton07] (*) Buxton, William "Multi-Touch Systems that I have Known and Loved", www.billbuxton.com

Apparently prompted by recent developments, such as the iPhone, with multi-touch capabilities. Bill Buxton had done earlier work on two-handed input (see other references). Mentions that touchscreens are not accessible to the blind or visually impaired. (NOTE: Not so: consider VoiceOver accessibility features of all iPhones, iDevices.) Finger on touchscreen obscures more of the view than would a stylus. Cites N-Key rollover in typewriters at multi-touch. First multi-touch system by Nimish Metha using optical digitizer with frosted-glass surface in 1982, "Flexible Machine Interface". Cites 1983 Soft Machines at Bell Labs, but not earlier 1973(?) work by Kaplow, Buxton's own multi-touch tablet 1985, Wacom 1992 tablet that could use both a puck and a stylus.

[ChaudhriI06] (*) Chaudhri, Imruan; Christie, Greg; Ording, Bas "Virtual Input Device Placement on a Touch Screen User Interface", United States Patent Application, 2006/0033724 A1, February 16, 2006

Simulated Devices displayed on a multi-touch touch screen: keyboard, video, folders, etc. Compare with Kaplow, Buxton, or Wang Freestyle portable. Sound mixer / music mixer using touchscreen: Apple Gesture recogition for zoom, pan, rotate, scroll, page turn. Confused in some press reports with FTIR / Frustrated Internal Reflection multi-touch input tablet, which came out about the same time from a different group

[CherubiniM07a] (*) Cherubini, Mauro: Venolia, Gina; and Ko, Andrew K. "Let's Go to the Whiteboard: How and Why Software Developers Use Drawings", Proc. CHI 2007, May 2007, pp. 557-566 Not sketch recognition, but study of the human communication in sketches in verious technical subjects: one point is that sketches are beneficial because they are abstract, semantics not precise, leads to additional ideas. Sketches not saved as documentation / documentation lost. implementations mentioned include "Tablet PC" (Microsoft)

[Chesnut06] (*) Chesnut, Casey "tabletStrator", www.mperfect.net/tabletStrator

Prototype of gesture commands for controlling video player, and electronic ink annotation on video, Windows Media Player on Tablet PC. Gestures include square, left and right semi-circle mentions electonic ink to speech translation

[ChiuYC07] (*) Chiu, Yen-Chang; Yeh, Ting-Hao; Chien, Yung-Lieh; and Lin, Shih-Chi "Capacitive Touchpad Integrated with Key and Handwriting Functions", United States Patent 7,274,353, September 25, 2007 https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

5/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Capacitive/electrostatic touchpad with zone-based handwriting/gesture recognition on a (simulated) keypad, mouse control. Compare with Reefalo and calculator?

[CIC06] (*) CIC Corporation "CIC Company Information", www.cic.com

Company information on CIC/Communications Intelligence Corporation: mentions sale of CIC Jot handwriting recognition to PalmSource in 2002 as Graffiti-2

[ClarityConsulting07a] (*) Clairty Consulting "There's something about WPF: Iphone like unlock screen", blogs.calrity.con, 2007 Posting about implementation of kinetic scrolling / flick list (a.k.a. touch panning)

[CravottaR07a] (*) Cravotta, Robert "Recognizing Gestures: Blurring hte Line Between Humans and Machines", EDN Magazine, August 16, 2007, pp. 44-ff

Review of gesture (hand-gesture) user interfaces in products. HP India GKB (gest5ure keyboard) for Devanagari and Tamil handwriting scripts/alphabets. Six-degrees-of-freedom Wacom digitizer tablet. Cites IBM Simon as forerunner of predictive keyboard entry in a touchscreen PDA to iPhone.

[DavisR07a] (*) Davis, Randall "Magic Paper: Sketch-Understanding Research", IEEE Computer, September 2007, pp. 34-41

Sketch recognition: not just prettying, but draw objects (e.g. wheels, attachment points) and animate them automatically. Speaks of fragile properties e.g. verticality of a line: slight tilt makes it no longer be perceived as having verticality.

[Decuma07] (*) Decuma "Decuma: Capturing your hand", www.oresundit.com

Press information on Decuma handwriting character recognition for Japanese and Chines, using Geometrical Invariant Technology, GIT See note on Hermansson. Character recognition for Tablet PCs, PDAs, mobile phones

[Dell07a] (*) Dell Inc. "Dell Latitude XT Tablet", www.dell.com

Lap top / slate computer with dual-mode (electrostatic/capacitive) digitizer: for stylus/pen or finger touch, with proximity sensing. Press reports mention need to add touch-input GUI to Windows.

[Divecha06] (*) Divecha, Vic "The World of Smartboards, Sympodiums is about to change", mblog.lib.umich.edu/~rdivecha

Commentary on user-interface multi-touch tablet digitizer using FTIR / frustrated internal reflection: Video demonstration Some comments are skeptical of utility of multi-touch input

[DRSTacticalSystems07] (*) DRS Tactical Systems "Hammerhead rugged tablet computers", Product literature on Walkabout ruggedized tablet computers, available at www.drs-ts.com Ruggedized tablet PCs with integrated tablet and display: product line originally from Walkabout. Models include both a Pen Tablet PC version (proximity sensing, two-button stylus, electromagnetic?) and touchscreen version (no proximity sense)

[E-Ink06a] (*) E-Ink Corporation "High Resolution Displays", Product Information: www.eink.com

E-Ink electronic ink product: paper-like display at 170 pixels/inch, not a digitizing tablet. Mentions Sony Reader using E-Ink Imaging Film.

[E-Ink06b] (*) E-Ink Corporation "E-Paper de digitale krant op digitaal papier", Product Information: www.eink.com

E-Ink electronic ink product: paper-like display at 170 pixels/inch, not a digitizing tablet. IBBT consortium: includes I-merge, Hypervision, Philips, De Tijd (newspaper) for electronic books.

[E-Ink06c] (*) E-Ink Corporation "Ink In Motion", Product Information: www.eink.com

E-Ink electronic ink product: paper-like display, not a digitizing tablet. Can show dynamic graphics, use for signage. Hardware from Neolux, Midori Mark or Teraoka business partners. Later product

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

6/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

information in file for color e-ink.

[Economist07a] (*) Economist Magazine "Computing Section: How Touching: "Haptic" technology is gradually bringing the neglected sense of touch into the digital realm", The Economist Magazine, March 10, 2007, special section

Article on Haptics: cites Samsung touch-screen phone, SCH-W559; Karon MacLean, researcher at University of British Columbia; Vic Viegas, patents on haptic feedback at Immersion Inc., vibrotactile feedback and VibeTonz (hardware vibration device); Vincent Hayward Centre for Intelligent Machines at McGill, Gabriel Robles-De-La-Torre of International Society for Haptics; no mention of Bill Buxton

[Egger06] (*) Egger, Markus "Find New Meaning in Your Ink With Tablet PC APIs in Windows Vista", msdn Magazine, May 2006, pp 91-100

Microsoft article which used term ink analysis as replacement for gesture recognition or handwriting recognition: describes Windows APIs for ink, mentions lack of APIs for drawing recognition (sketch recognition) Some comments are skeptical of utility of multi-touch input

[EidMA07] (*) Eid, Mohamad A.; Mansour, Mohamed; El Saddi, Abdulmotaleb H.; Iglesias, Rosa "A haptic multimedia handwriting learning system", Poster Session: Proc. Intl. workshop on Educational Multimedia and Multimedia Education; Augburg, Germany, 2007. pp. 103-108 Teaching handwriting in various languages with visual and audio feedback: haptic feedback refers to forces to guide the hand back to the correct path, but few details on hardware: sensable.com, mpbtechnologies.ca

[ElektronikPraxis06a] (*) Elektronic Praxis "Quantum QField Resistive Touchscreen Eine Schicht mit Struktur: ITO auf der Panel-Rueckseite laesste Akkus laenger leben", Elektronik Praxis, 28 September, 2006 (in German) description of fabrication of touchscreens using ITO / indium tin oxide for resistive touchscreens with two layers: one resistive, one conductive.

[EloTouchSystems06a] (*) Elo Touschsystems "Acoustic Pulse Recognition(APR)", www.elotouch.com, 2006

Touchscreen using acoustic pulses: successor to force/pressure sensitive touch screen by EloGraphics. No coating required on glass like resistive touchscreens. Similar to Surface Acoustic Wave (SAW) touchscreen, but uses sonic profile of acoustic pulse with frequencies that disperse at different speeds.

[FairmanCM06] (*) Fairman, Christopher M. "(The principal obscene word of the English language)", Monograph, March 2006, Center for Interdisciplinary Law and Policy Studies, Working Paper No. 39, Ohio State University, Moritz College of Law Scholarly investigation of F**K, the principal obscene word of the English language. Also well known for being rejected by law review on the basis of the title alone. See also Stone, 1956

[FinepointInnovations06a] (*) FinePoint Innovations "Digitizers - How They Work", FinePoint Innovations, www.finepointinnovations.com, 2006

FinePoint electromagnetic digitizer "active" tablet, contrasted with "passive" resistitive digitizer touchscreen (with spacer dots)

[Fingerworks06] (*) FingerWorks Inc. "iGesture Pad Product Information", www.fingerworks.com

Multi-touch Touchpad digitizer tablet with built-in gesture recognition: one model shows a numeric touch-pad that appears similar to the Casio PF-8000 calculator. Gestures are relative motions of

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

7/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

more than one fingertip, not shapes: MyGesture editor for defining gestures, and setting acceleration thresholds. Devices provided simulated keyboard output, thus could be used to replace keyboards on various systems (compare with Penpad 320?) TouchStream LP appears similar to Reefalo (?).

[FleischmannM07a] (*) Fleischmann, Monika; Strauss, Wolfgang; Li, Yinlin; Groenegress, Christoph "Gesture-based input device for a user interface of a computer", United States Patent 7,312,788 B2, December 25, 2007

Hardware patent on electrostatic/capacitive non-contact digitizer, similar in principle to a theremin, to sense in-air gestures. Requires use to stand on on a grounding pad or reference pad. Hardware for iPoint device from Fraunhofer Institut? Includes one claim relating to detecting termination of a gesture by not moving.

[FlippinBits06a] (*) Flippinbits.com "TWiki.Main.DevelopmentToolsList", www.flippinbits.com

List of compilers, IDS's, languages, source code, libraries, other software tools for Palm OS Developers

[FlipStart07] (*) www.flipstart.com "Super Compact PC for the Mobile Professional", www.flipstart.com

Product information and press information on FlipStart, competitor to OQO UMPC / Tablet PC. Uses small touch-pad rather than a tablet digitizer or touch screen. Also small joystick and thumb wheel.

[FlyWorld07] (*) flyworld Inc. "FLY fusion (TM) Pentop computer: The Ultimate HighSpeed homework System", www.flyworld.com

Product information: Anoto optical digitizer pen with special paper, software for MP3 player, games, homework application. Electronic ink notetaking, handwriting conversion to digital text via character recognition, FLY World application.

[ForsbergA07a] (*) Forsberg, Andrew; Holden, Loring; Miller, Timothy; and Zeleznik, Robert "The Music Notepad for Tablet PC", graphics.cs.brown.edu, fetched 2009 Port of Music Notepad handwriting recognition editor for musical notation to Tablet PC with funding form Microsoft to be Tablet PC PowerToy "Tablet PC Music Composition Tool"

[Fraunhofer06] (*) Fraunhofer Institut "PointScreen: Wie von Zauberhand", Fraunhofer Magazin, January 2006, pp 16-18.

(in German) article on Gesture-based wall mounted digitizer (low resolution), which senses hand motions and gestures while standing near a projection screen. Non-contact whiteboard. Sensing is electromagnetic/electrostatic, similar to the Theremin musical instrument

[FreehandSystems06] (*) Freehand Systems Inc. "MusicPad Pro Plus product information", www.freehandsystems.com Electronic EBook to display musical scores, page turning controlled by foot padel, allows handwriting stylus to annotate music. Marlin Eller.

[FriedlandG07a] (*) Friedland, Gerlad; Hürst, Wolfgang; and Knipping, Lars "Educational Multimedia Systems: The Past, the Present, and a Glimpse into the Future", Proc. EMME '07, Sep. 28, 2007, Augburg, Germany History of distance learning/correspondence courses, going back to Isaac Pitman (shorthand) in 1840. Retail pen computers and Tablet PC started distance learning / whiteboard market in 2002. Chalkboard PowerPad in 1980s by Atari and Commodore C64.

[GawandeA07a] (*) Gawande, Atul "The Power of Negative Thinking", New York Times, May 1, 2007

Political essay on medical problems in patient care at Walter Reed Army Hospital: essentially seems

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

8/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

to say that care improved when staff focused on addressing the systemic failures rather than focusing on their successes.

[GeaghanBO07a] (*) Geaghan, B. "Remote Touch Simulation Systems and Methods", United States Patent 7,236,161, June 26, 2007 Probably testing of electrostatic tablets: Conductors placed mechanically on a capacitive digitizer so that touches can be simulated for calibration or testing.

[Geekheim06] (*) geekheim.de "Sacha's Pen Computing: Archive for the "Pen Computing" Category", www.geekheim.de

Ink Gestures for JumpingMinds : includes single, double and triple flick-like gesture for underline, bold, capitalize: compare with GO PenPoint flick gestures. Left and right flick for indent and outdent, letter P for parapgraph, etc. Pen-one biometric pen: includes fingerprint scanner in pen, not signature verification. EInk technology for ink display from IRex Technologies Photograph of NCR System 3130 tablet/pen computerusing Windows 3.1 for Pen Computing and MS DOS Anoto Fly Pentop computer -- marketed as children's educational toy

[GestureTek07a] (*) Baard, Mark "Be as high-tech as a Tom Cruise character", The Boston Globe, December 24, 2007, p.E10

Hand-gesture recognition using infrared (?) sensors in a digitizer bar: commercial product. Described as touch-free gesture input utilizing computer, compared with Minority Report, pointing to a projector screen

[GibetS05a] (*) Gibet, Sylvie; Courty, Nicolas; Kamp, Jean-Francois eds. "Gesture in Human Computer Interaction an Simulation", Published proc. of Gesture Workshop 2005 Hand and body gestures, including music user interface for performance

[Gorvunov06] (*) Gorbunov, Artem and Voronezh, Roma "Infoscroller, or Scroll bar in the submission of content in the form of graphic symbols", Blog posting 31.10.2006, artborbunov.ru

Russian patent on scroll bar that has highlights for sections of text found by global search: compare to prior US patent on same claims?

[Gouy-Pailler07] (*) Gouy-Pailler, Cedric; Zijp-Rouzier, Sophie; Vidal, Sylvie; and Chene, Denis "A Haptic Based Interface to Ease Visually Impaired Pupil's Inclusion in Geometry Lessons", Universal Access in Human-Computer Interaction: Applications and Services. Springer Verlag, Berlin/Heidelberg, 2007. ISBM 978-3-540-73282-2, pp 598-606 Abstract only: use of haptic (force-feedback?) device to enable blind/visually-empaired pupils to learn plane geometry. Suggested using gestures rather than keyboard for input.

[Greene07a] (*) Greene, Kate "Wall-Size Touch Screens: Multi-touch displays advance", Technology Review, March/April 2007, page 23

Jeff Han at NYU Courant Institute of Mathematical Sciences, FTIR / frustrated internal reflection multi-touch touch screen. Quotes Bill Buxton of Microsoft Research. Company "Perceptive Pixel".

[Greene07b] (*) Greene, Kate "A Better Touch Screen", Technology Review, November/December 2007, page 15

Microsoft/ Mitsubishi rear-mounting touch screens on the back of a large PDA, with transparent images of user's fingers: simulated device only as a research prototype

[Greene07c] (*) Greene, Kate "Touch Screens for Many Fingers", Technology Review, January 18, 2007

multi-touch digitizer comparison of Jeff Han / Perceptive Pixel (optical frustrated/total internal reflection), Mitsubishi DiamondTouch, and iPhone / Fingerworks

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

9/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

[GRiDBoard06] (*) GRidBoard: Rob's GRidBoard "Rob's GRiDBoard", www.pd.com/gbmenu.html

Listing of GRiDPad and similar tablet computers available for sale: drivers, parts, manuals: listing as of Feb 2006

[Griml07] (*) Griml, Guy "Startup has the future at its fingertips", HAARETZ on-line magazine, December 14, 2007. www.haaretz.com/hasen/spages/934096.html

Press announcement of N-trig touch and stylus electrostatic digitizer, incorporated in Dell Tablet PC. Refered to generally as "multi-touch", not clear that capabilities for detecting two finger touches simultaneouslyis operationa. Original company name for N-trig was "Game Along", founded by Meir Morag.

[HallerM07a] (*) Haller, Michael "Pen-based Interaction", SIGGRAPH '07 cources, 2007. A Tutorial notes. Finger-operated touch screens advantageous over mouse. 3D pen-based interfaces. 6DOF six degrees of freedom stylus digitizer from Terminal Display systems. Longer discussion of Anoto optical digitizer pen on visual digital desk, desk surface also patterned with Anoto pattern. Plawa.com Scrivo.1 optical mouse/pen (see file)

[HammondTA07a] (*) Hammond, Tracy Anne "LADDER: A Perceptually-based Language to Simplify Sketch Recognition User Interface Development", Ph.D. thesis, M.I.T., 2007 Constraint-based language for sketch recognition, both for editing and for recognizing symbols (not handwriting). Many references on sketch recognition running on Microsoft Tablet PC platform.

[HeiseMobil07] (*) Heise Mobil "Ultra-Mobile PC: Die naechste Generation [Update]", Heise Mobil Web magazine: 15.03.2007, 03.03.2007 UMPC Tablet computers from Gigabyte, Samsung Q1 Ultra 1024x600 LCD, touchscreen. Mentions Windows XP Touchpack user interface

[Heller06] (*) Heller, Martin "UMPCs and the Nokia 770 Internet Tablet", byte.com March 27, 2006 Comparison of Nokia 770 internet webpad tablet with UMPC Ultra Mobile PC / Tablet PC from Microsoft. Nokia runs Linux, has limited handwriting recognition. Mentions dial keys modified thumb-type soft keyboard on UMPC.

[Hermansson07] (*) Hermansson, Per-Olof "Recognition for Merlin (Swedish) and Gabelsberger (German) Shorthand", Mass Marketing Software AB, Horred, Sweden. www.massmarketing.se

Reference to Decuma doing Japanese and Chinese handwriting character recognition with Anoto pen, Decuma then acquired by Canadian company

[Hildreth06] (*) Hildreth, Even and MacDougall, Francis "Multiple Camera Control System", United States Patent 7,058,204, June 6, 2006 GestureTek Inc.: Hardware for gesture input: Two video cameras to compare background, to detect hand for hand gesture input. Compare to "put-that-there" system from M.I.T., iPoint from Fraunhofer Institut.

[Hildreth07] (*) Hildreth, Even and MacDougall, Francis "Multiple Camera Control System", United States Patent 7,227,526, June 5, 2007 GestureTek Inc.: Hardware for gesture input: Two video cameras to compare background, to detect hand for hand gesture input. Had "presence" zone for detecting when a person was standing in front of a large monitor, and a "gestures" zone for detecting positions of hands during gestures.

[HinckleyK07a] (*) Hinckley, Ken "InkSeine: Find your Stuff with Ink", Web posting, research.microsoft.com, 7/25/2009

Ink Seine: Search through electronic ink notes using background handwriting recognition: compare

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

10/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

with Dan Bricklin at Slate in 1992? Other papers refer to phrasing (chunking and phrasing? See IBM 1988) in multi-stroke selection gestures.

[HinckleyK07b] (*) Hinckley, Ken; Zhao, Shengdong; Sarin, Raman; Baudisch, Patrick; Cutrell, Ed; Shilman, Michael; and Tan, Desney "InkSeine: In Situ Search for Active Note Tacking", Proc CHI 2007, Apri8l 28-May 3, 2007, San Jose, USA

Ink Seine: Search through electronic ink notes using background handwriting recognition. Gestures include lasso, breadcumb (pend up, stroke down); drag, tap; pigtail on empty space to bring up menu, lasso+pigtail. Compare with Dan Bricklin at Slate in 1992? Other papers refer to phrasing (chunking and phrasing? See IBM 1988) in multi-stroke selection gestures.

[HornbyT06] (*) Hornby, Tom "The Story Behind Apple's Newton", lowendmac.com, Feb. 7 2006 History of development of Apple Newton: mentions Amstrad Pen-Pad, PenPoint.

[Hotelling06] (*) Hotelling, Steve; Strickon, Joshua A.; Huppi, Brian; Chaudhri, Imran; Christie, Greg; Ording, Bas; Kerr, Dunan Robert; and Ive, Jonathan P. "Gesture for Touch Sensitive Input Devices", United States Patent Application 2006/0026536 A1, February 2, 2006

Multi-point multi-finger gestures on a multi-touch tablet: pan, zoom, etc. The examples are more like manipulations of simulated devices than markings: e.g. rotating a wheel. Zoom gesture is to touch two fingers to surface, and move them in or out. Compare? with Bill Buxton simulated devices, or early virtual reality work?

[Hotelling06b] (*) Hotelling, Steve; Kerr, Duncan Robert, Ording, Bas; Ive, Jonathan P.; Kennedy, Peter J.; Fadell, Anthony M; and Robbin, Jeffrey L. "Proximity Detector in Handheld Device", United States Patent Application 2006/0161871 A1, July 20, 2006

Performing user interface gesture actions when a finger is detected in proximity by a capacitive digitizer:

[Hullender07a] (*) Hullender, Gregory and Gounares, Alexander "Ink Gestures", United States Patent 7,305,630 B2, December 4, 2007

Ink gestures recognized using Chebychev Polynomials and Bayes net. Refers to gestures including alphabetic characters, and automatic recognition of gesture shape in the midst of text input via handwriting. Refers to an ink gesture being included in a stroke: gesture is part of a larger stroke? In description, lists example gestures and their semantics: e.g. braces (discontinuous selection), circle-tap, flick (scroll), double-right-flick for scroll to end, double-left-flick, triple-up-flick, etc. Appears to be same basic set of gestures as Microsoft "Unimplemented Glyphs". Compare with GO/PenPoint flick and other gestures

[iPhoneNews07a] (*) iPhone-news.eu "So funktioniert das iPhone TouchScreen", http://iphone-news.eu, July 4, 2007

Multi-touch touch screen on on iPhone consists of front-mounted capacitive/electrostatic touch panel in front of the display: shows additional protective layer in front of the capacitive touch panel. UI patent on circular wheel, simulated devices, two-finger gestures for zoom/relax, simulated on-screen keyboard.

[iPhoneNews07b] (*) www.iPhone-news.org "iPhone Touchscreen von Fingerworks", http://www.iphone-news.org, February 7, 2007

Cites FingerWorks as vendor for multi-touch capacitive digitizer used in Apple iPhone. Apple acquired Fingerworks in 2005: products iGesture Pad and iGesture NumPad. Founders were John Elias and Wayne Westerman, University of Delaware.

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

11/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

[iRexTechnologies07] (*) iRex Technologies BV "iLiad Electronic Reader ER 0100", iRex Technologies BV

Electronic Book using e-Ink display technology with touchscreen digitizer and stylus. Uses Wacom penabled stylus, electromagnetic digitizer: see also Super Slim Pen. Mentions specifically use of writing to add annotation mark-up by multiple users. Stereo audio output.

[IsaacsonBass06] (*) Isaacson Bass, Portia "Portial Isaacson Bass, Ph.D. C.V.", basseconomics.com

C.V. for Portial Isaacson Bass: mentions early reviews of PenPoint/PenWindows approximately 1991 on likely large business impact pen computing and electronic ink

[Itablet06] (*) ITablet "iTab - The Mac Laptop Evolved", www.itablet.theplaceforitall.com

Modified Mac LapTop to be a tablet PC: touchscreen replaces mouse, on-screen simulated keyboard but no handwriting recognition, no provision for it. Does not describe any handling for electronic ink data compared to mouse driver input.

[JainV06a] (*) Jain, Vidit "Handwriting Recognition, Read-Ink Technologies", Vidit Jain CV non-parametric probabilistic approach using various machine learning techniques for online cursive handwriting recognition

[JarrettRJ06a] (*) Jarrett, Robeert J; Duncan, Richard J. and Rimas-Ribikauskas, Emily K. "Scrolling Web Pages using Direct Interaction", United States Patent Application Publication 2006/0048073

Dynamic/auto (kinetic?) scrolling with simulated inertia: for handwriting / electronic ink input, list is automatically scrolled to desired position for input

[JenkacH96a] (*) Jenkac, Hrvoje; Stockhammer, Thomas; Wen, Xu; and Abdel Samad, Wissam "Efficient video-on-demand services over mobile datacast channels", Jounal of Zhejian Universtiy, China, 2006, Vol 7 No 5, pp 873-884

Encoding of Video-on-Demand in DVB-h video television transmission systems, FLUTE Protocol

[JumpingMinds06] (*) JumpingMiNDS Inc. "InkGestures", www.jumpingminds.com

Ink Gestures for JumpingMinds: plug-in for Microsoft Word on Tablet PC. Gestures include single, double and triple flick-like gesture for underline, bold, capitalize: compare with GO PenPoint flick gestures. Left and right flick for indent and outdent, letter P for parapgraph, etc. Support ink annotations, ink comments, selection of which gestures/commands will be included in the input.

[KaikurantaT06a] (*) Kaikuranta, Terho "Method for Preventing Unintended Touch Pad Input due to Accidental Touching", United States Patent 6,984,137, January 10, 2006

Cell phone with touchpad, lock state where certain functions in UI user interface are disabled in software unless a particular software determination unlocks the UI

[Keks06] (*) Keks "Anleitung fuer den Zauberwuerfel: Loesung fuer den Rubik's Cube", www.keks.de/wuerfel Solution for Rubik's cube puzzle

[KellyJPJ07a] (*) Kelly, John P.J. "Kelly Technology Group", www.kellytechnologygroup.com

Expert Witness / Intellectual Property firm, Lucent/Microsoft patent case concerning Agulnick patent. John P.J. Kelly, Principal.

[KimJE07a] (*) Kim, Ji-Eun; Sunwoo, John; Son, Yong-Ki; Lee, Dong-Woo; and Cho, IiYeon "A gestural input through finger writing on a textured pad", CHI '07 extended abstracts, 2007, pp. 2495-2500 Flexible wearable touchpad digitizer, textured pad causes vibrations when finger is used to draw gestures on the pad. Pad has sections (pads) with different physical frequency of texture, thus

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

12/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

vibration sensor on wrist can detect which section user is moving finger on by frequency of vibration. Piezo electric sensor, unistroke (Graffiti) recognition for digits. Cites to 2002 and 2001 gesturepads and gesturewrist interfaces.

[Klotz06] (*) Klotz, Dr. Karlhorst "Magische Tische", Spiegel Magazine, June 24, 2006. Available at www.spiegel.de

42 inch Diamond Touch / DiamondTouch table with digitizer and display from Mitsubishi in demonstration in a pub in Salzburg "MayDay Bar". Also mentions similar Stehtisch Gispen XS from Emilie Tromp in Holland, Philips Entertaible, Panasonic digitizer tablet table in Tokyo. Compare to Microsoft table digitizer with multiple touch input.

[Krasner07] (*) Krasner, Jeffrey "Washable computer gives doctors a clean slate", Boston Globe newspaper, March 5 2007, page E1

MedTab: Washable Tablet PC slate computer by Emano Tec, sealed so that it can be disinfected for hospital use Wayne Bailey, Dr. John Halamka, Bob Caspe of Emano Tec, Newton, Massachusetts

[KrausMG06a] (*) Kraus, Mark Gerard and Nguyen, Vu Xuan " Method and system for detecting multiple touches on a touch-sensitive screen ", United States patent 7,023,427, April 4, 2006 Touchscreen (grid) method to detect when more than one touch, and warn user not to do multiple touches.

[Krazit07a] (*) Krazit, Tom "Palm cancels first-generation Foleo", C-net news.com, September 4, 2007: Available at http://news.com.com

Announcement that Palm Foleo full-keyboard PDA by Jeff Hawkins is being discontinued: Linuxbased Palm OS with handwriting recognition in the works

[Krazit07b] (*) Krazit, Tom "Rock bottom for Palm and Hawkins?", C-net news.com, September 4, 2007: Available at http://news.com.com

Palm Foleo full-keyboard PDA by Jeff Hawkins is being discontinued: Linux-based Palm OS with handwriting recognition in the works

[KunteRS07] (*) Kunte, R. Sanjeev and Samual, R. D. Sudhaker "A simple an efficient optical character recognition system for basic symbols in printed Kannada text", "Sadhana" (Indian publication), Volume 32 Part 5, October 2007, pp 521-533 Neural-net/adaptive OCR recognition system for machine-printed south-Indian languages: Kannada, Telegu. Claims 99% recognition rate, not clear whether this is per character or in context.

[LeeKB07a] (*) Lee, Kwang-Bok "Data Displaying Apparatus and Method", United States patent 7,232,058, June 19, 2007 Pop-up menus for displaying sub-properties (layers) on a small touchscreen display

[Lightpen07] (*) Lightpen "Light pen product information circa 2007: multiple vendors in file", Tauris, www.fastpoint.com, etc.

Lightpen Vendors include Tauris (germany), Fastpoint.com, others. Mention of CRTs versus LCD displays.

[LimaE07a] (*) Lima, Eduardo "Yet another post on "Knetic" scrolling", blogspot.com, July 30, 2007

Third-party implementation by Chris Lord of MokoFingerScroll project, kinetic scrolling similar to that of Apple iPod and iPhone user-interface.

[MacDailyNews07a] (*) MAC Daily News "Apple's Advantage: iPhone multi-touch patent", MAC Daily News, June 20, 2007: available at http://www.macdailynews.com Press article on multi-touch technology from Apple iPhone, but does not specifically state which

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

13/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

patent, or whether it is on the hardware technology

[MacEssentials06a] (*) Mac Essentials "Hinweise auf Tablet Mac mehren sich", Mac Essentials, March 10, 2006, available at www.mac-essentials.de Press article on possible Tablet MAC pen computer, based on iGesture technology from Fingerworks (later iPad)

[MacEssentials07a] (*) Mac Essentials "Rubrik Apple: Das Lexikon der Fingersprache", Mac Essentials, August 2, 2007, available at www.mac-essentials.de Press article on Multi-touch gestures with iPhone, cites Fingerworks. Cites 300 gestures/chords, states that the dictionary functionality is the gist of the patent claims. Examples include two-fingers down for copy, up for undo, etc.

[MacEssentials07b] (*) Mac Essentials "Die Zukunft liegt zwischen den Fingern", Mac Essentials, January 22, 2007, available at www.mac-essentials.de

Press article on Multi-touch gestures with iPhone, technology originating at Fingerworks. Mentions separate development by Jeff Han of New York University. Cites Bruce Tagnazzini that the idea (?) was obvious ("hanging in the air") 25 years previously.

[MainI07] (*) Main, Ian J.B.; and Ward, Jean Renard "Detection of System Compromise by Per-Process Network Modeling", United States Patent Applicaton Publication 2007/0169192 A1, July 19, 2007

See also related application 2007/0067623 A1. Detection of rootkits and unauthorized software / virus by instrumenting network activity by individual processes, and detecting violation of invariant conditions or highly unusual behavior. Similar to an application firewall, but with analysis done in opposite direction.

[Makowski06a] (*) Makowski, Dirk "Fujitsu Stylistic 1000", www.winhistory.de

Technical information and photographs of Fujitsu Stylistic 1000, Windows for Pen Services 1.0, Windows for Pen Services 2.0 (a.k.a. PenWindows) Web site contains numerous screen shots, simulations of early Microsoft OS versions, including Windows Bob and DOS

[Makowski06b] (*) Makowski, Dirk "Windows 3.1 for Pen Computing 1.0", www.winhistory.de

Screen shots of Windows for Pen Computing 1.0 on Windows 3.11. Trainer application for handwriting recognizer, User training program (WinTutor) to learn how to use handwriting input objects and tools. Shows Pen Services 1.0 gestures: check-mark for edit text, curlicue for cut and undo.

[Matthey07] (*) Matthey, Florian "Quantum Research will klagen", MACWelt magazine, February 21, 2007. Available at www.macwelt.de

Quantum Research files patent suit on touchscreen interface for iPhone against Apple: patent not specified, described as related to hardware with touchscreen under the surface cover

[MaxwellJW06] (*) Maxell, John. W. "Tracing the Dynabook: A Study of Technocultural Transformations", PhD Disseration, Factuly of Education, University of British Columbia, Canada, November 2006

History of Dynabook and its impact on education, contrast of liberal democratic society by Alan Kay with resulting development. Does not focus on impact on graphical user interfaces. Special mention of FOSS "Free and open software" conflict between sharing of development and corporate ownership of software intellectual property with Richard Stallman in 1990's.

[Microsoft06a] (*) Microsoft Corporation "Microsoft Tablet PC - Working with the Pen Tip", msdn.microsoft.com https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

14/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Description of numerous differences between mouse and stylus/pen GUIs as part of education of "mouse" GUI developers to develop applications of Tablet PC and pen-computing: primarily choice of "visible" cursors, obscured view of cursor preventing hover feedback

[Microsoft06b] (*) Microsoft Corporation "Microsoft Tablet PC - Design Recommendations", msdn.microsoft.com Description of numerous differences between mouse and stylus/pen GUIs as part of education of "mouse" GUI developers to develop applications of Tablet PC and pen -computing. Ink data, use of handwriting recognition, pen as both pointing and input device. Mentions problem of stylus not being suitable for external monitor system and corresponding need to switch between mouse and pen. Mentions that Tap gesture often results in some motion, which does not occur with a mouse. See also 2003 version

[Microsoft06c] (*) Microsoft Corporation "Microsoft Tablet PC - Visual Design for Tablet PC", msdn.microsoft.com calibration, parallax, pen position, and positional feedback of Tablet to Screen, not required with mouse. Tablet tap gesture more difficult than mouse click.

[Microsoft06d] (*) Microsoft Corporation "Microsoft Tablet PC - Making the Pen Work", msdn.microsoft.com

Application gets both mouse messages for pointing/selection, and separate message for pen data (electronic ink). Mouse data is for pointing, electronic ink is additional data not supported by mouse data.

[Microsoft06e] (*) Microsoft Corporation "Welcome to Windows Mobile!", msdn.microsoft.com

Introduction to Windows Mobile OS for Palm OS Developers: Windows Mobile 5.0. Explicit reference to Windows Mobile OS

[Microsoft06f] (*) Microsoft Corporation "Standalone Device Emulator 1.0 with Windows Mobile OS Images", msdn.microsoft.com

Device Emulator for Windows Mobile 5.0 OS devices with Visual Studio 2005. Explicit reference to Windows Mobile OS

[Microsoft06g] (*) Microsoft Corporation "MSDN Search: Windows Mobile operating system", msdn.microsoft.com

List of references to Windows Mobile Operating System in MSDN documenation as of June 2006

[Microsoft06h] (*) Microsoft Corporation "The Windows Vista Product Guide", www.microsoft.com

Description of Beta 2 version of Windows Vista OS with Tablet PC functionality: Additional visual feed back on gestures to avoid perception that action was not completed. Multiple selection triggered by hover of stylus over files/object (requires proximity sensing?), Pen Flick gestures (compare with GO/PenPoint): scroll up, page up, undo, page down, delete, etc. For touch screen, brings up simulated/virtual mouse device a.k.a. Touch Pointer. Snipping Tool from Experience Pack for Windows XP Tablet Edition 2005. Trainable handwriting recognition. Gesture erase scratch-out, strikethrough, vertical scratch-out, circular/angled scratch-out. Compare with Wang Freestyle laptop?

[Microsoft06i] (*) Microsoft Corporation "Windows XP Tablet PC Edition 2005 Hardware Requirements", www.microsoft.com

For Windows Tablet PC (prior to UMPC Ultra-mobile PC), digitizer required to be 1000 pts/inch or 5 times the display resolution, 100 (preferably 133) points/second, proximity sensing required. Note: on UMPC, requirements changed, proximity no longer required to run Tablet PC OS on UMPC.

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

15/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Note: confuses resolution and accuracy? Ctl-Alt-Del must be separate mechanism.

[Microsoft06j] (*) Microsoft Corporation "The Microsoft Office System: A Guide for Educators", msdn.microsoft.com, 21-March-2006

Educator's tutorial on office: includes sections on OneNote electronic ink notetaking app, Research Pane, writing guides (baselines for writing) for Tablet PC.

[Microsoft06k] (*) Microsoft Corporation "Tablet PC Platform SDK: Tablet Input", msdn.microsoft.com, 21-March-2006

Excerpted from "Building Tablet Applications", Rob Jarvet, Microsoft Press Distinguishes between system gestures / pen actions, on a par with mouse actions such as click and drag, versus ink-based gestures such as scratchout, up arrow, and curlique. Mentions pen-inversion, the "eraser" end of a two-ended stylus (compare with Wang Freestyle). Cites to WinTab specification, states that WinTab API was not adequately standardized. Wisptis.exe: previous Windows Ink Services for Pen as former name for Tablet PC. Mouse emulation by mapping pen/stylus acctions to mouse actions, points out problem with tool tips because stylus cannot be held stationary out of contact. (Differences between mouse input and digitizer input)

[Microsoft06l] (*) Microsoft Corporation "Announcing the Ultra-Mobile PC", msdn.microsoft.com

General announcement of Ultra-Mobile PC (UMPC) running Windows XP Tablet PC Operating system. Includes design tips on programming for small display, also notes about "accidental activiation" from touch screen. Note that UMPCs hardware might not support hover. Specific reference to problems with edge effects of the digitizer, especially towards the bottom of the display (hardware design?). "Touch Improvements" pack to adjust UI design from default mouse/tablet settings to work better with Tablet PC (e.g. larger target windows). UMPC display emulator for development. Real-Time Stylus API.

[Microsoft06m] (*) Microsoft Corporation "Brown University, Microsoft Research Open Research Center on Pen-Centric Computing: Alliance to explore pen-based computing", Press release, March 20, 2006, www.microsoft.com Andries van Dam, Microsoft Center for Research on Pen-Centric Computing. Funding for projects related to Tablet PCs and UMPCs for gesture recognition: mentions Music and chemistry applications.

[Microsoft07a] (*) Microsoft Corporation "Practice using pen flicks", Windows VISTA OS control panel: April 2006

Pen-flicks: radial "flick" gestures for Forward/Back/Drag-up/Drag-down, similar to Penpoint and to radial gestures. Also has octant radial gestures for Delete/Copy/Undo,Paste: user can assign different meanings to the gestures. Compare to Kurtenbach94 (Bill Buxton?)

[Microsoft07b] (*) Microsoft Corporation "RecognitionProperty Member", msdn.microsoft.com, Nov 2007

Stroke Segmentation documentation for TabletPC InkRecognizer / InkRecognizerBase class in .NET

[Microsoft07c] (*) Microsoft Corporation "Features Explained: Tablet PC Support", www.microsoft.com, Dec 2007

Windows Vista Tablet PC support: gestural feedback (shape of gesture?) in single-tap, double-tap, and right-click. Mentions both pen/stylus support and touch-screen support (separately?), pen-flick gestures drag-up, drag-down, delete, undo. Brings up simulated mouse (compare with Wang patent?) for touch-screen to aid in relative-motion input with finger on touchscreen.

[Microsoft07d] (*) Microsoft Corporation "BUGCODE_USB_DRIVER: posting to Microsoft TechNet forum concerning Vista drivers", https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

16/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

http://forums.microsoft.com/TechNet/ShowPost.aspx?PostID=1714403, June 10, 2007

Posting concerning Vista/Longhor device drivers: includes dump of driver info on N-Trig tablet digitizer driver ntrigdigi.sys, dated 11-02-2006, N-trig Innovative Technologies, N-trig tablet digitizer in-box driver

[Microsoft07e] (*) Microsoft Corporation "Tablet stylus barrel button or right button in Silverlight", http://forums.silverlight.netMay 6, 2007

Posting concerning stylus barrel button or right mouse button: request that context menu not be forced for these events, agreement from Microsoft

[MillerP06a] (*) Miller, Paul "Sony gets official on new Vaio UX Micro PC", Endgadget.com, May 16, 2006, 2006

Sony Viao not-a-UMPC handheld Windows PC with slide-out keyboard: compare with OQO?

[MillerP06b] (*) Miller, Paul "Some iPhone touschscreen roots 'splained by FingerWorks inventors", Mitsubishi Electric Research Laboratories Press Release: June 16, 2006 Fingerworks electrostatic digitizer/touchscreen used in Apple iPhone, multi-touch digitizer.

[Mitsubishi06] (*) Mitsubishi Electric Research Laboratories "HoverPen - New Method for Text Input with a Handheld Device", Mitsubishi Electric Research Laboratories Press Release: June 16, 2006 Stylus is a projector (similar to laser pointer): digitizer is an camera reading the projected light. Currently using a unistroke handwriting recognizer. Part of "Off the Desktop Interaction and Display" research. Mentions as digitizer addition to cellphone and PDAs. http://www.merl.com

[Morag07a] (*) Morag, Meir and Perski, Haim "Transparent Digitizer", United States Patent 7,292,229 B2, November 6, 2007 N-trig transparent digitizer, using an organic conductor instead of ITO indium tin oxide, cordless stylus excited by loop around digitizer similar to Wacom. Electromagnetic (?) or electrostatic/electric field (?) digitizer tablet (not clear). Part of design that also senses finger touch via electrostatic sensing.

[Mozdev.org06a] (*) Mozdev.org "Mouse Gestures: rapid execution of common browser commands with mouse movements", http://optimoz.mozdev.org/gestures

Mouse gestures for Mozilla / Firefox browser, Thunderbird Mail, and Chatzilla; Close-Tab (downright), New-Tab (up), Open links (end with Right-up-left). Recognition based on changes in direction?

[Mozdev.org06b] (*) Mozdev.org "Screenshots: MozGest 0.3.5 Final", http://optimoz.mozdev.org/gestures

Mouse gestures for Mozilla / Firefox browser, Thunderbird Mail, and Chatzilla. Points out confusion of gesture input versus selection of text (because UI is "gesture-enabled", and not "gesture-centric")?

[Mozdev.org06c] (*) Mozdev.org "Gesture Exchange", http://optimoz.mozdev.org/gestures

Mouse gestures for Mozilla / Firefox browser, Thunderbird Mail, and Chatzilla. Gesture recognition apparently based on changes in direction. Certain gestures involve right mouse button, mouse wheel.

[Mueller-Prove07a] (*) Mueller-Prove, Matthias "Eine kurze Geschichte der SoftwareErgonomie", www.mprove.de, fetched May 12, 2007

Historical highlights including 2002 presentation on Memex, SketchPad, contains detailed photo of Memex by Vannevar Bush

[MultiTouchScreen07] (*) Multi-Touchscreen.com "iPhone uses Multi-touch Technology", http://multi-touchscreen.com, July 2, 2007

Article on Apple multi-touch UI patent application 20060026535 -- confuses published application versus granting of patent. Highlights two-finger gestures for Zoom and Unzoom. Cites multi-touch

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

17/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

UI work by Jeff Han as prior art.

[N-Trig07a] (*) N-Trig Corporation "N-Trig DuoSense (TM) product information", Available at www.n-trig.com

Capacitive/electrostatic digitizer technology for either stylus/pen or finger input: not multi-touch. No power required for stylus, appears to use induced voltage similar to Wacom (?) electromagnetic. Driver included in Windows Vista package.

[N-Trig07b] (*) N-Trig Corporation "Dell places 12.1-inch touch screen notebook panel order with AUO", www.n-trig.com press release, November 20, 2007

Public announcement of N-trig with Dell Tablet PC. Capacitive/electrostatic digitizer technology for either stylus/pen or finger input.

[NandaG07] (*) Nanda, Gauri "Mobile Wakeup Device", United States Patent Application 2007/0036034

Alarm clock which walks/rolls away when it rings, making the sleeper have to get up to chase the clock

[NaoneE07a] (*) Naone, Erica "Computing on Paper: Livescribe's smartpen turns a sheet of paper into a computer", Technology Review, December 13, 2007 Anoto digital pen (tablet paper) with limited multimedia functions: voice recording with two microphones to improve quality of recording while taking notes. Founder formerly worked on Fly Pentop computer (www.flyworld.com)

[NationalInstruments06a] (*) National Instruments "Getting Started with the LabVIEW Touch Panel Module for Windows CE, Version 8.5", National Instruments, 2006

Touchscreen / touch panel for LabVIEW visual programming language. File contains further touch screen references to 2001.

[Neonode07a] (*) neonode.com "Neonode N2 user guide", www.neonode.com, Fetched Dec 2007

Touch screen smart phone: has sweep gestures across different regious of the screen: e.g. diagonally in different direction to change virtual keyboards or close an application, from center out in a direction to scroll, left or right across top of bottom, or sides of display screen.

[NerdWatchMuseum07a] (*) Nerd Watch Museum "Wrist Watch Computers", www.blogspot.com, September 08, 2007, 2007

Collection of computerized wrist watches: included Seiko/Epson RC-20 of 1985 with touchscreen digitizer user interface and 2000 bytes of storage

[NewsletterArchive07] (*) Newsletter Archive "Help Plan the Future of Tablet PC", www.newsletterarchive.org: Mobile PC Newsletter May 02, 2007

New features for Tablet PC, Ultra-Mobile PC / UMPC ink annotation, ink recognition, TEO 3.0 personal planner, OneNote Calendar. Tablet Factory announces sales of word dictionaries for Tablet PC.

[Nokia07a] (*) Nokia "Beyond Multi-touch: Nokia Patens 3D Touchless Control Interface", www.symbian-freak.com/news/008/01/touchless_device_patent_from_nokia.htm Commentary on S60 No-touch / touchless electrostatic touch UI device from Nokia. Allows in-air three-dimensional 3D gestures.

[NRW07] (*) www.media.nrw.de "Touchscreen fuer iPhone kommt aus NRW", Press release by state government of Nordrhein-Westphalia, available at http://www.media.nrw.de Apple multi-touch iPhone: touchscreen produced by Balda in Germany, production transfered to TPK in Taiwan.

[Numonics07a] (*) Numonics Corporation "PI-1500 Product Information", Available at https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

18/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

www.interactivewhiteboards.com, www.numonics.com

Digitizing tablet integrated with a stand-alone desktop display, USB interface, intended as a small whiteboard device. Electromagnetic. Direct mouse compatibility over USB (via plug-and-play driver for absolute vs. relative position?)

[Numonics07b] (*) Numonics Corporation "Interactive Display product information", Available at www.interactivewhiteboards.com, www.numonics.com Electromagnetic tablet/display whiteboards

[Numonics07c] (*) Numonics Corporation "Freedom Writer product information", Available at www.interactivewhiteboards.com, www.numonics.com Electromagnetic tablet/display whiteboards: very small unit used as a remote-control input for a tablet PC for presentation, using infrared connection, About the size of a large PDA held horizontally.

[Numonics07d] (*) Numonics Corporation "Mobilepresenter BT IIproduct information", Available at www.interactivewhiteboards.com, www.numonics.com

Electromagnetic tablet/display whiteboards: very small unit used as a remote-control input for a tablet PC for presentation, using Bluetooth. About the size of a slate.

[OdomG06] (*) Odom, Gary "Toolbar Manipulations", United States Patent 7,036,087 B1, April 25, 2006

Tool bar re-configures automatically, changing/re-arranging toolbar menu items depending on what tool user has selected and is using most frequently: file contains press reports on patent assertion against Microsoft. See also www.patenthawk.com (filed under Odom): patenthawk.com

[OlsenDR07] (*) Olsen, Dan R. Jr. "Principles of Interactive Systems", Textbook published electronically at Computer Science Departmet http://icie/cs.byu.deu, Brigham Young University, 2007

Chapter 19: Text input. text entry should measure not speed, but account for correction steps also. Includes alternative keyboards (one-handed), stylus/digitizer input using various keyboard/button layouts, pop-up menus. Cites Goldberg Unistrokes, T-Cube pie menus, Edge-write mechanically constrained handwriting on PDA, Quikwriting and Cirron circular layout with one stroke moving from character to character. Otherwise not much information on handwriting recognition, script. Chapter 20: Digital Ink. Short review of digitizers: resistive film, ultrasonic, Anoto, DiamondTouch capacitive, optical path digitizers. Visual parallax on rear-projected displays. Described multi-stroke gestures (segmentation) as a "messy problem". Zone recognizers for handwriting. Labels handwriting recognizers as "vector classifiers", cites elestic matching of Tappert. Digital/electronic ink as data type (Slate?), credits later Tivoli system from at Xerox Parc by Moran/Kurtenbach. Longer discussion of sketch input and sketch editing, ink annotation on text. Chapter 21: Selection. Fitt's law and menus, extension to Steering Law where path (of mouse through cascading menus) is important. Modifications to mouse behavior not to be linear or absolute, to improve path and targeting accuracy. Short mention of digitizer tablet selection gestures.

[OQO06] (*) OQO Inc. Study "Tablet PC Edition of Model 01+ hand-held computer", www.oqo.com

Hand-held tablet PC running Windows XP Tablet PC edition -- previous product ran regular Windows XP, no electronic ink: predates Origami

[Ording06] (*) Ording, Bas "Operation of a Computer with Touch Screen Interface", United States Patent Application Publication, 2006/0053387 A1, March 9, 2006

multi-touch user interface, simulated keyboard with multiple keys, refers to using "pre-determinted behavior" of the user's touch. Uses area (multiple points) of finger touch as an indication that the user is pressing down harder, therefore uses touch area as a surrogate for the pressure/force for the

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

19/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

user.

[Origami06a] (*) Origami Product Announcements "Origami Product Announcements", www.cebit.de

Press announcements of the Origami project, a.k.a. UMPC Ultra-Mobile PC. Small form-factor Tablet PC, many models with no built-in keyboard. Mentions use of single characters as macros/gestures -- compare with Pencept/CIC 1985. Has pop-up virtual keyboard in two halves, for the thumbs.

[Origami06b] (*) Origamiproject.com "Origami Project", http://origamiproject.com

Press announcements of the Origami project, a.k.a. UMPC Ultra-Mobile PC. Mentions TouchPack: DialKeys touch keyboard from Fortune Fountain Ltd., and "Touch Improvements" setting changes for Tablet PC software

[Palm07a] (*) Palm Computing "Palm: Benutzer-handbuch: Ihr Palm Centro Smartphone", www.palm.com User manual for Palm Centro Smartphone (in German): simple touchscreen

[PalmOne06a] (*) PalmOne "Ways to Enter Data into a Palm Device: Write it, typeit, beam it - it's your choice", www.palmone.com Graffiti 2 handwriting recongition. Also mentions on-screen keyboard, Note Pad to scribble notes in electronic ink

[PalmOne06b] (*) PalmOne "Graffiti 2 writing", www.palm.com

Graffiti 2 handwriting recongition. Examples of unistroke (?) shapes from Graffiti 2, which is a version of the CIC handwriting recognition system. Includes description of Palm OS Simulator and Palm OS Emulator, based on "copilot" project by Gref Hewgill

[PalmSource06a] (*) PalmSource "Palm OS: Getting Started / Languages and Environments", www.palmos.com Palm OS languages: Java, "C", C++, Java, Visual Basic

[Parascript07a] (*) Parascript Inc. "Intelligent Recognition technology - the final frontier", www.parascript.com

Interactive character recognition ICR (a.k.a. on-line handwriting recognition). Describes a form of chain codes where script writing it broken into eight possible writing motions that combine in appropriate sequences. Uses term "motion theory" for handwriting dynamics / graphanomics. Describes segementation problem in script: "clear" vs. "dear".

[Patalong06] (*) Patalong, Frank "Der Anfang vom Ende gefaellter Baeume", Spiegel Magazine, June 23, 2006

E-Ink electronic paper. Mentions prototype project for newspaper publication in electronic book format: De Teij, New York Times, Westdeutsche Allgemeine Zeitung (in PDF format?). Electronic book hardware from iRex: product name Iliad

[PCWelt07] (*) PC-Welt magazine "Apple's iPhone patent multi-touch advantage", www.pcwelt.de, June 20, 2007

Press-article quoting iSuppli on market for multi-touch touch screens, one Apple patent (on UI only?)

[PdaParts07] (*) PdaParts.com "Pam Tungsten T3, Tungsten T5, Palm TX & LifeDrive Digitizer/Touch Panel", www.pdaparts.com

Replacement glass tablet digitizer / touch screen for Palm PDAs: manufacturer not identified, shows internal construction

[PenComputing06a] (*) Pen Computing Magazine "Pen windows / WebPads / Tablet PCs", www.pencomputing.com/PenWindows https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

20/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Background article: pen computers used in vertical markets suchs as sales force automation, utilities, health care. Mentions PenWindows/Microsofts Windows for Pen Computing arising after PenPoint/GO received attention. Vendors using CIC PenX alternative to Windows95. History of Microsoft's efforts at PDAs, TabletPC, WebPad, Smart Displays (Project Mira), UMPC.

[PenenbergAL07] (*) Penenberg, Adam L. "Can't Touch This", Fast Company magazine, Issue 112, February 2007, page 86: www.fastcompany.com

Press article on Jeff Jefferson Han and multi-touch optical technology demonstrated at TED 2006, Monterey California: company name is Perceptive Pixel. Competition is TouchLight with Microsoft, and DiamondTouch. Also Panasonic, Accenture

[PepperComputer07] (*) Pepper Computer "Pepper Pad 3 Web Computer", www.pepper.com, www.hanbitamerica.com

Pen computer, similar to UMPC Tablet PCs, running Linux OS: software for Amacon.com MobiPocket electronic E-books, TV remote control

[Philips06] (*) Philips "Entertaible concept: combination of electronic gaming and traditional board games", www.research.philips.com Entertaible from Philips: Multi-touch "smart" tablet used for playing board games. Multi-touch can sense up to forty-five fingers or touch points. Compare with Diamond Desk of Mitsubishi

[PittmanJA07] (*) Pittman, James. A. "Handwriting Recognition: Tablet PC Text input.", IEEE Computer, September 2007, Vol 40 Number 9 pp. 49..54

Special issue on Tablet PC uses (mostly whiteboards) in college education. Article gives a brief and very Microsoft-centric view of pen-computing history starting in early 1990s. Recognizer uses word dictionary and time-delayed neural network TDNN. Microsoft/Vista lexical dictionary has been expunged of offensive words.

[PittmanJA07b] (*) Pittman, James. A. and Manu, Mitica "Handwriting Recognition Using Neural Networks", IEPO Patent Application Publication WO/2007/002377, PCT/US2006/024451 Neural Net handwriting recognition. Refers to use of languages, starting and blocking masks.

[Pixelsumo06] (*) Pixelsumo "Multi-Touch Interaction Roundup", www.pixelsumo.com

Review of: Apple application on musical input using multi-touch; Jeff Han multi-touch digitizer using frustrated internal reflection; TactaPad; SmartSkin which uses capacitive touchscreen tablet and projection from above of images of playing cards, etc.

[PocketPCMagazine06a] (*) Smartphone and Pocket PC Magazine "What is Windows Mobile? Introduction to Microsoft's Windows Mobile OS", www.pocketpcmag.com

Buyer's guide to Windows Mobile and Pocket PC products: reference to Windows Mobile OS.

[PocketPCMagazine06b] (*) Pocket PC Magazine "Tips & Tricks: Windows Mobile, Pocket PC, and Smartphone", www.pocketpcmag.com

descriptions of gesture: UpDown, DownUp, UpRight/Tab, etc. Reference to Windows Mobile OS as successor to Windows CE OS

[Pothier07] (*) Pothier, Mark "In digital age, more t's are crossed poorly", Boston Globe, Sunday May 6, 2007, Page a1

Review of current education (2007) in handwriting styles / penmanship. Zaner-Bloser handwriting method, transition from block printing to cursive. Teaching of cursive/connected-writing declining, mentions legibility training that teaches quick separated characters rather than connected cursive. Cites legibility/handwriting studies by Kathering Boles, Karen Conrad, Barbara Getty, Kate Gladstone (handwriting repair consultants).

[PrevalentDevices06a] (*) Prevalent Devices LLC "The Phraze-It Keyboard 2.0 for Windows https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

21/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Mobile and Pocket PC PDAs", www.prevalentdevices.com, 2006

See also one-hand gestures: small keyboard for one-finger typing on PDA instead of using a stylus and touchpad digitizer. Uses few keys by modal switching between vowels and consonants.

[PrevalentDevices06b] (*) Prevalent Devices LLC "Phraze-It One-Handed Finger-Vowel Digital Texting Method", www.prevalentdevices.com, 2006

One-hand gestures/signs for finger spelling, using only six hand gestures. Computer input is via an electronic glove, not a digitizing tablet.

[PreyJG07] (*) Prey, Jean and Weaver, Alf "Tablet PC Technology: The Next Generation", IEEE Computer, September 2007, Vol 40 Number 9 pp. 32..41

Introduction to special issue on Tablet PCs in education (mostly college level), mostly talks about sketch understanding / sketch recognition (chemical diagrams, circuit diagrams). Refers to Alan Kay Dynabook as early form of Tablet PC (not so?), Proof-of-concept Tablet PC in 1999 based on Transmeta TM5800 processor.

[Quantum06a] (*) Quantum Research Inc. "QT1106 Demo Code: QT1106 Qwheel / Qslide / Qtouch IC", Quantum Research Group, Hamble, Great Britain Capacitive touch screen digitizer: "C" driver code: "C" driver code Additional material in paper files: Quantum acquired by Amtel: see Amtel file.

[Quantum06b] (*) Quantum Research Inc. "Sensitivity Differences When Migrating from QT100 to QT100A", Quantum Research Group, Hamble, Great Britain Capacitive touch screen digitizer: capacitive sensitiviy profiles

[Quantum07] (*) Quantum Research Inc. "Atmel licenses Quantum's Capacitive Touch Sense Technology", Press release, Quantum Research, September 20, 2007 Capacitive touch screen digitizer, used to simulate slide-bars at the edge of a cellular phone, rotary touch control similar to iPod. Interesting touch-sensor application on the keys of a cell phone, to allow single-character writing over the keys. Technical description of capacitive/electro-static digitizer stylus sensing.

[RaizG06] (*) Raiz, Greg "ABC Scrollbar Control", www.raizlabs.com, March 27, 2006

Scrollbar with letters shown like the index in a mechanical file with items stored alphabetically. Extension to scroll bar with highighted radio stations, or heatmap scrollbar with areas of intterest higlighted: Later (2008) posting cites to Google Chrome "Find" scrollbar.

[ReadInk06a] (*) Rai, Saritha "Is the Next Silicon Valley Taking Place in Bangalore?", New York Times, March 20, 2006, page C3 Read-Ink Technologies, founded by Thomas O. Binford: development of handwriting recognition. Mentions statistical recognition and machine learning

[ReadInk06b] (*) Read-Ink Technologies "Read-Ink Handwriting Recognition and OCR Solutions", www.read-ink.com

Read-Ink Technologies, founded by Thomas O. Binford: development of handwriting recognition. Mentions statistical recognition and machine learning, unconstrained writing styles with relative independence from a lexicon. Support for handwriting input for various Indian/Asian languages

[Resende06] (*) Resende, Patricia "Microsoft strengthens ties to N.E.: Software giant gives $1.2M to Brown for pen-based computing", Mass High Tech, April 6, 2006, page 9

Microsoft funds Tablet PC / pen-based computing development at Brown University. Mentions ChemPad Tablet-PC appication for molecule models: Microsoft Center for Research on Pen-Centric Computing, Andries van Dam, Director

[RingWriter07a] (*) RingWriter.com "RingWriter User Guide for Nokia 7710", Available at www.ring-writer.com, 2010 https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

22/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Linear-X writing system of ring-writer: pie menu where user draws sequentially though three-letter segments (like phone keypad), software recognizes words from dictionary. If single word in dictionary, entire word can be entered with a single stroke. If multiple words from dictionary, shows pop-up menu with list of word alternatives. Also has additional gestures in center of pie-chart area for special or non-alphabetic characters, space, backspace, enter gestures similar to Pen Windows and Microsoft Tablet PC. Compare with unistroke recognizer. Other references go back to 2001. Additional papers in file, back to 2002

[RoschelleJ07] (*) Roschelle, Jeremy; Tatar, Deborah; Chaudhury, S. Raj; Dimitriadis, Yannis; Patton, Charles; and DiGiano, Chris "Ink, Improvisation, and Interactive Engagement: Learning with Tablets", IEEE Computer, September 2007, Vol 40 Number 9 pp. 42..48 Classroom Presenter and Group Scribbles shared whiteboard application on Tablet PC for collegelevel education, encourages cooperative engagement and discussion.

[Rosenstein06] (*) Rosenstein, Tatiana "Interfacedesign: In Echtzeit interaktiv agieren", netzspannung.org: MARS Projekte

Gesture input in an "interactive room" using various whiteboard, theremin, touchscreen, and video capture digitizers for gesture input

[Roush07a] (*) Roush, Wade "Device Disorder on the Desktop", Technology Review, March 23, 2007

Article on BumpTop by Anand Agarawala at U Toronto (Bill Buxton?): desktop GUI metaphor with documents displayed on a large physical desktop with touchscreen digitizer or mouse. No reference to Freestyle by Steve Levine, which appears similar? Cites to Lifestreams by Eric Freeman and David Gelernter, which appears similar to "Forever Directory" also by Freestyle group.

[RutkowskiEJ07a] (*) Rutkowski, Edward J. "Microsoft works on notebooks with multitouch", www.msmobiles.com, June 21, 2007

Microsoft demonstrates commercial version of Tablet PC (Dell notebook) with multitouch input: two fingers of two hands for zoom and rotate. Mentions confusion of multi-touch with Lenovo incorporation of two digitizers in one device for touch (resistive/passive) and stylus (electromagnetic/active) digitizer tablets.

[Samsung07a] (*) Samsung "Samsung UMPC Tablet-PC computer", Samsung

press information from CeBIT 2007, March 15, 2007; seven-inch display on Samsung UMPC Tablet-PC: Samsung Q! Ultra with split keyboard for thumbs to left and right of display.

[Screendirect07] (*) Screendirect.com "Light Pen Basics - How they Work", www.screendirect.com/specsheets/LPbasics.html Operating and design of Light Pens

[ShaoJ07] (*) Shao, Joy; Fiering, Leslie; and Kort, Todd "Dataquest Insight: Tablet PCs Are Slowly Gaining Momentum", Gartner Reports, 6 April 2007: available at www.garner.com

Tablet PC market growing: Windows Vista, which integrates tablet PC extensions, will drive tablet PC sales starting in 2008

[SignerB07a] (*) Signer, Beat; Norrie, Moira C.; Kurmann, Ueli "iGesture: A Java Framework for the Development and Deployment of Stroke-Based Online Gesture Recognition Algorithms", ETH Zurich Technical Report TR561, September 2007

Java Framework for gesture UI development: includes utilities for testing/training recognizers, and automatically (?) determining gestures which might be mutually confusable. Implementations of extended version of Rubine recognizer eRubine: chain-code recognizer based on regular expressions SiGeR / SiGrid (compare Pencept and CIC), Graffiti, Microsft Application gestures. Note: Not to be confused with iGesture by Fingerworks, technology acquired by Apple for the iPad.

[SignerB07b] (*) Signer, Beat; Kurmann, Ueli;Norrie, Moira C. "iGesture: A General Gesture https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

23/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Recognition Framework", Proc. ICDAR 9th Int'l. Conf. on Document Analysis and Recognition, Vol 2, pp. 954-958

Digital pen and paper user interface / interactive paper iPaper. See also iGesture.org, on-line resource. Trainable recognition for gestures, cites to Rubine and other earlier trainable systems.

[Softpedia06a] (*) www.softpedia.com "xGestures", www.softpedia.com

xGestures mouse gestures for Mac OS X 10.3: no visual feedback / electronic ink on gestures. Recognizes each separate motion as a sub-gesture, e.g. UpDown is an Up and Down composite gesture

[Softpedia06b] (*) www.softpedia.com "Synaptics and Pilotfish to Develop Next Generation Mobile Phone concept", www.softpedia.com, 22 August 2006 Synaptics clearpad capacitive digitizer: "recognizes points, taps, shapes, complex gestures, and proximity of user's finger or cheek" in a portable phone

[SongH06] (*) Song, Hyunyoung; Guimbretiere, Francois; and Hu, chang "ModelCraft: Capturing Freehand Annotations and Edits on Physical 3D Models", Proc. UIST '06, October 15-18, Montreux, Switzerland, 10 pages

Place Anoto optical digitizer paper on a physical 3-D model, and digitize on the sides of the 3D model to edit a computer model of the same model. Two pens used: one for annotating (drawing) on the model, the other for editing (cutting) from the computer model. Uses gestures: pigtail using starting point as reference location, and "C" for cut using location inside an area, "E" gesture for extrude. Cites to Sekendur pen and to DataGlyph optical pattern digitizers.

[SRS06] (*) SRS Management "Die Technology Digital Pen and Paper: FAS Group", www.srs-management.de

Members of FAS Group for Forms Automation System using Anoto "digital paper": Kayentis, Meticulus, support from Hewlett-Packard printer group (for printing of the patterned forms)

[Strauss06] (*) Straus, Wolfgang; Fleischmann, Monika "PointScreen: Interaktion ohne Beruehrung", netzspannung.org: MARS Projekte

Gesture input whiteboard from Fraunhofer Institute, technology similar to Theremin electrostatic device. In-air gestures, capacitive sensing.

[Synaptics07] (*) Synaptics Incorporated "Product Information: PC & PC Peripheral Products", www.synaptics.com

Synaptics ClearPad: capacitive-sensing touchscreen tablet digizer technology, used in UMPC tablet computers Synaptics One-Touch controller chips for capacitive sensing touchscreens ClearPad by Synaptics: refers to two-finger (multi-touch) touchscreen, and proximity sensing (with front-mounted digitizer? compare with Scriptel)

[TabletPCMagazine06] (*) TabletPCMagazine "Press News from Tablet PC Magazine, from Pen Computing Magazine, March 21 2006", www.pencomputing.com/TabletPC Andries van Dam at Brown University, Microsoft Center for Research on Pen-Centric Computing. Term "pen-centric" from Slate Inc. in 1992? Describes van Dam as early pioneer in pen-based computing. PenCentra UMPC Tablet PC product from Fujitsu Gateway eStand music reader electronic book with Tablet PC hardware (see Ellis?) OQO Tablet PC with Windows Mobile and Windows XP Tablet PC in same device: compare with Origami announcement by Microsoft, which states that Tablet PC 1.7 (?) includes both Tablet PC and Windows Mobile APIs Plastic Logic E-Ink 10-inch plastic E-Ink display: flexible display presented as like paper Synaptics Dual Mode TouchPad combines electrostatic digitizer and capacitive touchscreen

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

24/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

FinePoint digitizer: provenance is Mutoh America, took over Kurta, now spun out to FinePoint Dave Berque, Workshop on the Impact of Pen-based Technology on Education WIPTE, April 6-7 2006 at Purdue

[Tactiva06] (*) Tactiva "TactaPad", www.tactiva.com

Two-handed touchscreen with optical projection, images (shadows) of fingers are projected into graphical image: might be considered "virtual reality" interaction

[Tappert07] (*) Tappert, C.C. "Shorthand and Unistroke Alphabets and Pen Computing", (private correspondence) Draft paper, not for distribution

[TappertCC07a] (*) Tappert, Charles C. and Ward, Jean R. "Pen-Centric Shorthand Handwriting Recognition Interfaces", First Int'. Workshop on Pen-Based Learning Technologys, Catania, Italy, May 24-25, pp C5.1-C5.6

Description of simplified writing styles: Papyrus Allegro alphabet Graffiti, Allen alphabet, Goldberg Unistroke, Stenographic, Stenographie, Moon, Tironian. Cites to chatroom abbreviations in pen computing.

[TechnologyReview07] (*) Technology Review "To Market; Longhand goes Digital", Technology Review magazine, March/April 2008, page 36.

Announcement of LiveScript Pluse Smartpen: Anoto optical digitizer pen using printed pattern on paper, plus syncronized voice recording in the pen. www.livescribe.com

[TheTeacher06] (*) TheTeacher99 "HCI (Human Computer Interface)", www.theteacher99.btinternet.co.uk/theteacher/gcse/newgcse/module6/task11.htm

Gives MS-DOS as example of command-line HCI user interface, as constrasted to menus, GUI, Speech interface

[ThurrottP06a] (*) Thurrott, Paul "Judge Dismisses GO's Antitrust Case Against Microsoft", www.windowsitpro.com, July 3, 2006 Statute of limitations makes private anti-trust lawsuit by Larry Kaplan of GO moot.

[TofelKC07a] (*) Tofel, Kevin C. "iPhone's kinetic scrolling comes to the Nokia N800", ijontherun.com: August 2, 2007

Third-party kinetic scrolling for Nokia N800 smart phone, similar to kinetic/dynamic scrolling behavior of iPhone

[Toshiba06] (*) Toshiba Matsushita Display Technology Company "Finger Touch and Optic Pen", www.tmdisplay.com: Press Release October 17 2006 finger touch and fiber optic pen on LCD display: unclear what digitizer technology is used for touchscreen

[TouchTable06] (*) TouchTable "TouchTable Product Information", www.touchtable.com

Commercial company with touch-sensitive table, appears similar to several projects, such as that of Microsoft. 2006. TouchTable GIS hand gestures translated into commonly used input and navigation commands -- similar to recognition macros of PenPad?

[TownsendR06] (*) Townsend, Reed "Touch Interface for Tablet PCs", WinHEC 2006 conference, available at www.microsoft.com

Capacitive/electrostatic digitizers for Microsoft Vista Tablet PCs: respond both to finger touch and to stylus, just be able to handle both forms of input. Alternative, hardware to include both an electromagnetic (stylus) digitizer and resistive touch screen for touch. Refers to Microsoft "Tablet Driver Guidance" requirements.

[TrontJG07] (*) Tront, Joseph G. "Facilitating Pedagogical Practices through a Large-Scale Tablet PC Deployment", IEEE Computer, September 2007, Vol 40 Number 9 pp. 62..68 https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

25/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Usefulness of searchable (via deferred/delayed recognition) of digital ink / electronic ink notes in a classroom. Teacher can mark-up papers submitted by student in electronic form. Special mention of electronic whiteboard system using OneNote for group discussion. Using OneNote note-tacking application from Microsoft on Tablet PC. See also AndersonR.

[TruittT06] (*) Truitt, Todd R. "Electronic Flight Data in Airport Traffic Control Towers: Literature Review", U.S. Department of Transportation, Federal Aviation Administration. NTIS / William J. Jughes Technical Center, DOT/FAA/CT-05/13

ATC Air traffic control user interfaces, includes references to French studies on gesture-based input on radar screen. General commentary is that handwriting recognition is undesireable due to cognitive load and errors, simple gestures on a touch screen are advantageous (flick gestures), portable and especially hand-held pen computers for air traffic control are not helpful, in part because they are distracting and require two hands to operate. Mentions that portability of data (from one display/workstation to another) is more important than portable computers in air-traffic control.

[TseE06] Tse, Edward; Greenberg, Saul; Shen, Chia; and Forlines, Clifton "Multimodal Multiplayer Tabletop Gaming", Third International Workshop on Pervasive Gamin Application - PerGames 2006, May 7th, 2006, Dublin Ireland

hand/finger gestures by multiple users on a digitizer tablet table top: Refers to sub-gesture and compound gestures. Refers to "wipe" (vs swipe) gesture using fist instead of fingertip, two-hand pile-and-browse gesture. Mitsubishi Research www.merl.com

[TurnerD07] (*) Turner, Daniel "The iPhone, Cracked Open", Technology Review, Vol 110 No 5, September/October 2007, pp 30-31 iPhone runs stripped-down Mac OX X operating system: multi-touch digitizer from Balda with optical-quality glass surface resists scratching

[UMPC06a] (*) Microsoft.com "Ultra-Mobile PC", www.microsoft.com/windowsxp/umpc/hardware.mspx, www.intel.com/go/umpc

Hover/proximity sensing no longer required to get Tablet PC (UMPC) Logo from Windows: Contains recommendations on target area larger for touch-screen input (no proximity indicator) See also Origami Project. Origami/UMPC project director Otto Berkes: see notes on VMI vs. AutoCAD trade-secret lawsuit

[VibeTonz07] (*) VibeTonz "What's VibeTonz (R)", www.vibetonz.com

hardware vibration component used to give tactile/haptic feedback on touch interfaces, such as an Apple iPhone or PDA for touchscreen interface. See also Stephen Brewster at U. Glasgow on vibrotactile icons.

[Visigo07] (*) Visigo "Visigo Task Pad product information", www.visigotaskpad.com

Scriptel PDA running Windows CE in a Tablet-PC-sized unit: has additional function buttons, apears to be a notebook-sized / Tablet PC -sized PDA, longer battery life than most Tablet PCs. Product literature shows tethered stylus

[VisionObjects06] (*) Vision Objects "MyScript online handwriting recongiton technology", www.visionobjects.com Handwriting recognition trained to western languages (Danish, Finiish, Norwegian, English (UK), English (US), Italian, etc., Asian Languages Simplified Chinese, Japanese InkSearch application for searching electronic ink notes (based on confidence score of handwriting recognition?) Personal correspondence with Adrienne Tommy

[Wacom06a] (*) Wacom "PenOffice: Wacom Shareware Archive", www.wacomeurope.com/uk/downloads/shareware/pen_office.asp

PenOffice by Paragraph: electronic ink handwritten annotations in MS Word an e-mail, for pressure

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

26/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

sensitive Wacom pens (tablets)

[Wacom06b] (*) Wacom "Funktionsweise UltraPen: Wie der kabel- und batterielose WACOM-Stift funktioniert", www.wacom-europe.com

Description of cordless stylus from Wacom for electromagnetic digitizer: appears to be similar technology to that used in the rear-mounted digitizer for the OQO?

[Wacom06c] (*) Wacom "PL-720 Innovatives Arbeiten in Perfektion", www.wacomeurope.com

Stand-alone tablet/display from Wacom. Rear-mounted electromagnetic digitizer. Battery-free and cable-free stylus.

[Wacom06d] (*) Wacom "Beweiskraeftiges Unterschreiben ohne Papier", www.wacomeurope.com

Wacom digitizer/display combination, article states that it is used for "legally binding" handwritten signatures. Reference to signature verification based on writing rhythm and writing speed/velocity (dynamics). Also uses writing pressure/tip-force?

[Wacom07a] (*) WACOM Co., Ltd. "The De Facto Standard for Pen Tablet Devices is Realized using EMR (R) Technology", www.wacomcomponents.com/english/technology/emr.html

General description of Wacom electromagnetic / magnetostrictive digitizer tablets, and the statement that they are de facto the only avilable component for tablet pen computers: Penabled Technoligy, Wacom term for avoiding EMR magnetic field noise by placement of parts and customized adjustment of operating frequencies for each integration. Mentions need to block EMR magnetic field interference from backlighting and transformers, etc.

[Waddington07] (*) Waddington, R. Paul "Digitizer Puck", members.ozemail.com.au/~cadwest1/gallery/Digitizer_Puck.html

Images of typical digitizer puck from 1980s. Notes that digitizer was clear transparent glass: Scriptel?

[WalkerG06] (*) Walker, Geoff "Touching Origami: Microsoft's UMPC Platform", www.pencomputing.com, March 12, 2006. Previously published in "Touch Panel Newsletter"

Review of UMPC initiative: basically a slightly-smaller Tablet PC with a touch-input digitizer instead of a stylus tablet digitizer, and requirement for proximity/hover sensing not enforced by Microsoft. N-Trig capacitive digitizer, cites to previous manufacturer unhappiness at being forced in practice to a single supplier for an electromagnetic digitizer (Wacom).

[WangCH07a] (*) Wang, Chun-Hao; Hwang, Chiu-Pei; Wang, Wen-Tsung; and Chu, SungHao "Touch Panel Fabrication Method", United States Patent Application 2007/0238294, Published October 11, 2007 Construction method for opaque touch panel by laminating layers

[WangJ06a] (*) Wang, Jian and Zhang, Chunhui "Optical System Design for a Universal Computing Device", United States Patent 7,133,031 B2, November 7, 2006

Microsoft Optical digitizer using rectangular pattern printed on paper: very extensive references to Anoto dot pattern technology from internet print-outs. Mentions including other sensors (accelerometer?) in case the printed pattern is not available, mentions ability to identify individual users (by encoding of stylus?) for simultaneous input from multiple users.

[WangJ06b] (*) Wang, Jian; Chen, Liyong; Dang, Yingnong, and Ma, Xinoxu "Cmera-pentip mapping and calibration", United States Patent 7,136,054 B2, November 14, 2006 Microsoft Optical digitizer using rectangular pattern printed on paper. No citations to Anoto.

[WangJ07a] (*) Wang, Jian and Zhang, Chunhui "Universal Computing Device for Surface https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

27/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

Applications", United States Patent 7,262,764 B2, August 28, 2007

Microsoft Optical digitizer using rectangular pattern printed on paper: very extensive references to Anoto dot pattern technology from internet print-outs. Mentions including other sensors (accelerometer?) in case the printed pattern is not available, mentions ability to identify individual users (by encoding of stylus?) for simultaneous input from multiple users. Includes instrumentation of a whiteboard eraser, with printed pattern over a conventional whiteboard.

[WardJR06a] (*) Ward, Jean R.; Barrett, David M.; Martin, Patricia A.; Mokoski; Christopher D. "User interface having simulated devices", United States Patent 5,491,496, February 13, 1996 Touchscreen/digitizer user interface using simulated devices: virtual keyboard, virtual mouse, virtual tablet. Describes highlighting/selecting an object on touch, but not carrying out action until lift or mouse-up, and to selecting a field for writing on first touch. Refers to emulating mouse by using entire touchscreen, but in relative mode not in absolute mode.

[WardJR07a] (*) Ward, Jean Renard "Detection of system Compromise by Correlation of Information Objects", United States Patent Application Publication 2007/0067623 A1, March, 22, 2007 Detection of rootkits or other system compromise by means of checking for violation of invariant conditions in real time, rather than the traditional "two views" scanning method of most rootkit detectors. One example is instrumentation of the Windows OS kernal. See also Ian Main application on similar approach to network behavior.

[Waring06] (*) Wacom "Product Review: OQO model 01 + Handtop PC", www.jiwire.com, Feburary 17, 2006

OQO / Wacom tablet: refers to awkward need to hold Wacom stylus at 90-degree angle to digitizer. Refers to Wacom as touch screen, does not mention proximity sensing.

[WeaverB06] (*) Weaver, Barbara "The Case of the Missing Ink", Keynote address, WIPTE 2006: Workshop on the Impact of Pen-based Technology on Education

Notetaking by students is a lost learning/teaching art with the advent of laptop computers. Examples of educataional use of electronic ink in notetaking, grading, and teaching using Microsoft OneNote. Appears to be largely a replication of taking notes on paper.

[Welt07] (*) Die Welt "Apple hat Probleme mit iPhone-Lieferanten", Die Welt / Online, June 26, 2007. Available at www.welt.de Apple multi-touch iPhone: touchscreen produced by Balda in Germany, production transfered to TPK in Taiwan.

[WigdorD07a] (*) Wigdor, Daniel; Forlines, Clifton; Baudisch, Patrick; Barnwell, John; and Shen, Chia "LucidTouch: A See-Through Mobile Device", Proc. UIST '07, October 7-10, 2007, Newport, USA

transparent/translucent display and digitizer, peudo-transparent device, user interface involves touching on rear of device with fingers visible by image superimposed over display image on front. Stated to solve fat-finger (poor resolution) problem and occlusion problem. Display targeting point of fat finger image as aid in targetting

[wiki-how-help07] (*) wiki-how-help.com "Tablet PcSale: list of business reports/DOS", wiki-how-help.com, fetched 2008 List of business reports on Tablet PC sales: Vista to spur tablet PC sales

[Wikibooks06] (*) Wikibooks "A Neutral Look at Operating Systems/DOS", en.wikibooks.org/wiki/A_Neutral_Look_at_Operating_Systems_DOS.html

MS-DOS, PC-DOS, DR-DOS, freeDOS as keyboard only UI without a GUI interface

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

28/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

[Wikipedia06a] (*) Wikipedia.org "Fuzzy set", en.wikipedia.org/wiki/Fuzzy_sets

Definition of Fuzzy set, many-valued logics, theory of possibility, uncertainty in engineering

[Wikipedia06b] (*) Wikipedia.org "Graffiti (Palm OS)", en.wikipedia.org/wiki/Graffiti_(Palm_OS)

Description of Graffiti and Xerox lawsuit concenring Goldberg patent 5,596,656. Xerox had demonstrated neographic Unistrokes to Palm before Graffiti. Jot handwriting recognition from CIC replaced Graffiti. Symbian UIQ pen computing tablet platform.

[Wikipedia07a] (*) de.Wikipedia.org "Lichtgriffel", de.wikipedia.org/wiki/Lichtgriffel

Description of Light Pen technology: only works with CRT displays due to refresh frames, not with LCDs or other flat panel displays. (Lichtgriffel)

[Wikipedia07b] (*) en.Wikipedia.org "Memex", en.wikipedia.org/wiki/Memex

Description of Memex by Vannevar Bush: mentions lack of citation to Goldberg and Townsend previous inventions. Voice/speech recognition, but not handwriting recognition. State that Memox did *not* have Hyptertext links, contrary to other historians.

[Wikipedia07c] (*) en.Wikipedia.org "Intelligent Machines Research Corporation", en.wikipedia.org/wiki/Intelligent_Machines_Research_Corporation 1951 OCR character recognition system in 1951 on Gismo

[Wikipedia07d] (*) en.Wikipedia.org "Neonode", en.wikipedia.org/wiki/Neonode

optical digitizer for Windows CE palm-top computing: infrared light beams from LEDs, implies no handwriting recognition with reference to keyboard. See also Neonode file.

[Wikipedia07e] (*) en.Wikipedia.org "Sketchpad", en.wikipedia.org/wiki/Sketchpad

General reference on Sketchpad drawing program by Sutherland in 1960s: mentions also T-Square by Peter Samson from 1962.

[WinTab06] (*) Wacom "Notes for Tablet Aware Application Developers", www.wacomeng.com/devsupport/imbpc/gddevpc.html

Documentation on Wintab Application Programmers Interface / Wintab API. Mentions Stylus vs. Airbrush vs. 4D Mouse vs. 5 button puck. Additional thumbwheel on multi-button 3-button puck for additional manipulation UI

[WobbrockJO06a] (*) Wobbrock, Jacob O; Myers, Brad A.; and Chau, Duen Hong "In-stroke Word Completion", Proc. UIST ' 06, October 15-18, 2006, Montreux, Switzerland Word-level unistrokes, compares with Quikwriting, custom short-hand for pen-computing. Menstions short-hand unistroke based on Graffiti, EdgeWriting.

[WuM06] (*) Wu, Mike; Shen, Chia; Ryall, Kathy; Forlines, Clifton; and Balakrishnan, Ravin "Gesture Registration, Relaxation, and Resuse for Multi-Point Direct-Touch Surfaces", IEEE International Workshop on Horizontal Interactive Human-Computer systems (TableTop), January 2006, pp 183..190 hand/finger gestures by multiple users on a digitizer tablet table top: Refers to sub-gesture and compound gestures. Refers to "wipe" gesture using fist instead of fingertip, two-hand pile-andbrowse gesture. Mitsubishi Research www.merl.com Two-handed/bimanual gestures: Wipe Gesture (vs swipe gesture) (time basee, not simple erase), Annotate (hold down with one finger, write with other), Cut/Copy-and-paste, Pile-and-Browse gestures. Uses DiamondTouch table in prototype.

[Xerox06] (*) Xerox/Palm: news article "Technology lawsuit vs. Palm, 3Com is reinstated", Boston Globe, June 9, 2006, Page E2, "Business in Brief" Xerox/Palm/3Com patent case on Unistroke/Graffiti ordered by appeals court to be reconsidered

[YamamotoM07] (*) Yamamoto, Mike "Rumor: Is Apple tablet in the works?", https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

29/30

10.2.2015

(2006..2007) History of Pen and Gesture Computing

crave.cnet.com, November 6 2007

Crave UK posting on prototype tablet PC / pen-computer slate computer from Apple

[YoshidaJ07] (*) Yoshida, Junko "iPod's lesson: please touch", EE Times, December 12 2005 zForce optical digitizer from Neonode using infrared light beams for palm-top pen computer: implies low resolution of "several times a second"?

[ZDNet07a] (*) ZDNet "Microsoft hit with $1.5 billion patent verdict", www.zdnet.com, February 22, 2007

Jury award in Alcatel-Lucent v. Microsoft patent suite, MP3 technology. Refers to MP3 license from Fraunhofer.

[ZDNet07b] (*) ZDNet "Gallery: Cracking open the iPod Nano", www.zdnet.com

Photographs of disassembly of an Apple IPod: shows Synaptics components for the butten-andwheel interface for the iPod -- touch screen technology?

[ZeleznikRC06a] (*) Zelezni, Robert C.; Herndon, Kenneth P.; and Hughes, John F. "SKETCH: an interface for sketching 3D Scenes", SIGGRAPH 06, 2006 Courses

3D drawing interfaces based on simplified line drawings of sketch primitives. Velocity-based gestures: click-and-release (tap?), drag without pause, drag followed by tear, click near window boundary (context) followed by drag, lasso to select. Includes macro (?) capability for repeating gesture operations.

[Zhai06] (*) Zhai, Shumin "Das grosse Wedeln", Bild der Wissenschaft, February 2006, p. 97 (in German) Non-character recognition ShapeWriter: pop-up keyboard with letters and characters organized so that words can be input by noting the "corner points" where the stylus is paused or changes direction. Makes use of a disambiguating dictionary, pops up a list of probable word matches

[Zizzi06] (*) Zizzi, Stephen "Encrypting File System", United States Patent 7,096,358, August 22, 2006 Encrypting file system, encryption is transparent to the user by operating on / intercepting file open or file change, various encryption algorithms can be used.

       Main Reference Page       

https://web.archive.org/web/20130502035914/http://rwservices.no-ip.info:81/pens/biblio07.html

30/30

10.2.2015

(2008..2010) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio10.html

Go

17 captures

FEB MAI OKT

2

2012 2013 2014

10 Apr 08 - 20 Dez 14

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 2008 to 2010. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission  is  granted  to  use  this  information  in  publication,  including  confidential  reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:54 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio10.html http://216.15.114.196:81/pens/biblio10.html http://rwservices.no-ip.info:81/pens/biblio10.html (Generally most up-to-date)

       Main Reference Page        [3MTouch08a] (*) 3M Touch "Dispersive Signal Touch Technology: Technology Profile", 3M Touch, 2008

Acoustic touch digitizer, using bending waves within substrate/glass instead of surface waves SAW, determins center location of smearing/dispersed/reflected acoustic waves. Compare with TouchDynamics / Acoustic Pulse Recognition?

[Acer10a] (*) Acer "Acer Iconia: Dual-Display-Notebook", www.computerbild.de, 24 November 2010

Dual-touchscreen laptop with virtual keyboard or other elements in one side, regular display in other. Compare with Refalo, Microsoft Courier. Dual-touchscreen. Additional references in file.

[Adapx08a] (*) Adapx.com "Adapx Digital Paper", www.adapx.com, fetched 2008 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

1/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Paper forms for Anoto-type opctical digitizer pen: mentions 1200 dpi resolution of color printers certified by Anoto. Capturx capture software to upload electronic ink data directly into Microsoft OneNote, ArcGIS 9.2 Desktop geographical mapping software, and AutoCAD. "Rite in the Rain" all-weather waterproof writing paper.

[AFB10a] (*) American Foundation for the Blind "Assistive Technology Timeline", www.afb.org, 2010

History of talking computers, DOS and Windows Screen readers, and other assistive technologies: Enhanced PC Talking Program by Ronald Hutchinson worked with word processors ands spreadsheets 1984, outSPOKEN for Macintosh 1989, ASAP Automatic Screen Access Program "with artificial intelligence" 1990.

[AnanthaswamyA09] (*) Ananthaswamy, Anil "Vibrating touch screen puts Braile at the Fingertips", New Sciencist Magazine, 31 March 2009

Accessibility technology: Haptic display device for Nokia haptic touch-screen with vibration (similar to iPod/iPhone) devices: six pulse/no-pulse signals via vibration corresponding to the six dots of a Braille character.

[Apple08a] (*) Apple.com "iPhone: Using the Multi-touch Display / Entering Text on the Multi-touch Display Keyboard", support.apple.com, July 10, 2008

iPhone/iPad gestures: flicking and dragging gestures does not select (press-and-hold or press gesture). Tapping halts dynamic zoom. Pinch and zoom gestures. Press to get magnified view of text while editing. Note: does not cover accessibility gestures, such as triple-flick.

[Apple10a] (*) Apple.com "It's easy to be good with Numbers", www.apple.com, April 2010 iWorks spreadsheet for iPad: refers to swip and tap gestures

[Apple10b] (*) Apple.com "VoiceOver: Fuer blinde und sehbehinderte Menschen hat Apple eine Loesung in jeden Mac integriert", www.apple.com, October 2010

(in German) Review of VoiceOver screen reader software for Maic with multi-touch trackpad: mentions "rotor" circle/rotational gesture to bring up navigation tools and command input. Supports up to 32-line braille (braillezeilter) output, 1 on Bluetooth, 31 on USB.

[Apple10c] (*) Apple.com "Apple - Accessibility - iPhone - Vision", www.apple.com, fetched 2010

VoiceOver accesibility screen-reader software. Mentions voice prompting on what gesture is appropriate: Rotor gesture with two fingers to change scope of other features: flick to move by pages or lines, etc. Double-tap with two or three fingers.

[Apple10d] (*) Apple.com "Apple - Accessibility - VoiceOver - In Depth", www.apple.com, fetched 2010 VoiceOver accesibility screen-reader software. Drag of finger (or two) over item speaks the item. Gestures may be assigned new semantics: preferences may be stored removed on a server.

[Arrington08a] (*) Arrington, Michael "Microsoft TouchWell can inexpensively turn any flat surface into a multi-touch display", www.crunchgear.com, May 14th, 2008 Microsoft TouchWall, three-laser sensor for multi touch on any flat surface, project display. Described as distinct from Microsoft Surface, which uses cameras to recognize objects placed on it (e.g. a cell phone, Surface reads photos from cell phone). See also CrunchPad about Arrington

[Atmel08a] (*) Atmel Inc. "Amtel's New Family of Touch Screen Solutions Enable Two Touch Gestures for Intuitive user Interfaces", www.atmel.com, press release, October 22, 2008 Amtel: formerly Quantum Research Group.

https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

2/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

QTouch touchscreen. Capacitive sensing, statement about detecting two touches, refers to multitouch. Single layer of ITO (front surface?) Additional material in paper files: Quantum acquired by Amtel: see Quantum file.

[Atmel08b] (*) Atmel Inc. "Touch Sensors Design Guide / Amtel Touch Library User Guide", www.atmel.com Amtel: formerly Quantum Research Group. QTouch touchscreen. Extensive discussion of functioning of capacitive touch sensors.

[Atmel09a] (*) Atmel Inc. "Atmel QMatrix Touch Technology", www.atmel.com

Amtel: formerly Quantum Research Group. QTouch touchscreen. Capacitive sensing, statement about detecting two touches, refers to multitouch. QMatrix touch sensor IC devices: scan touchscreen keys consisting of passive matrix of copper or transparent ITO indium in oxide, differential detection to reject capacitive pickup on adjacent keys. States spread spectrum signals to reduce interference. Shows electrode configurations including serpentine and spiral. QMatrix touch sensor IC devices: scan touchscreen keys consisting of passive matrix of copper or transparent ITO indium in oxide, differential detection to reject capacitive pickup on adjacent keys. States spread spectrum signals to reduce interference.

[AutioMT09a] (*) Autio, Markku Autlo and Jaervioe, Jami Jarkko Juhani "Graphical Functions by Gestures", United States Patent 7,623,119, November 24, 2009

Gesture on an inactive area (not an icon, link, scrollbar, etc.) is processed as a command if the handwritten character matches character. Compare with PenPoint.

[BaileyRPS09a] (*) Bailey, Ralph-Peter Steven "Haptic Input Devices", United States Patent 7,499.021, March 3, 2009

Multi-pod (hexapod/pentapod) linkage mechanism for force feedback using magneto-restrictive fluid brakes. Has squeezable (pressure, but not tip-force) stylus for input.

[BeavenDF10a] (*) Beaven, Douglas F.; Ahlgren, Janet; Kelley, Kevin; Palmer, Gorham; and Rudolph, Stuart E. "System for Performing Collaborative Tasks", United States Patent 7,698,160 Graphical user interface allowing users to combine information from multiple internet and other sources into single web page and share information with others. Data from multiple sources can be combined based on keywords, field names, or other attributes present in the data. Patent assigned to Virtual Agility.

[Billinghurst09a] (*) Billinghurst, Mark and Buxton, William "Gesture based Interaction: Chapter 14 of "Haptic Input" Draft Documents", www.billbuxton.com

Gesture defined as hand gesture ("a motion of the body that contain contains information", not as handwriting/shape gesture for pen-computing (cites to Kurtenbach90 for definition). Mentions Theremin as gesture-input device (non-computer). Mentions "put that there" (Bolt 84). Draft of May 27, 2009: File also contains 2002 Draft

[BishopT10a] (*) Bishop, Todd "Dead 'Courier' walking: Microsoft gets dual-screen design patent", techflash.com, June 29, 2010 Dual-screen digitizer tablet by Microsoft: 3 Megapixel camera, compared with One Laptop Per Child XO-2 and MoleSkine. additional references on Courier in file.

[BlackS09a] (*) Black, Sue; Boca, Paul P., Bowen, Jonathan P.; Gorman, Jason; Hinchey, Mike "Formal versus Agile: survival of the Fittest?", ICCC Computer, September 2009, pp. 37-ff

Review of Agile versus Formal development: refers to writing tests before implementation in Agile

https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

3/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

development. Numerous references, argues that formal proof of correctness and automatic test generation more valuable

[BostonGlobe08a] (*) Boston Globe "Tech Development: Taking creepy out of proximity sensing", The Boston Globe, Monday, June 9, 2008, page B6 Electrostatic digitizer proximity sensing in a picture frame: Synaptics.com

[BostonGlobe08b] (*) Boston Globe "Tech Development: HP joins the campaign against keyboards", The Boston Globe, Monday, June 16, 2008, page B6

HP TouchSmart display, with integrated touchscreen. Comparison made to One Laptop Per Child PC design with no keyboard, instead second screen which can display a keyboard: compare with Refalo, Microsoft Courier.

[Brown09a] (*) Brown University "Brown University - Microsoft Center for Research on Pen-Centric Computing: What is Pen Computing?", graphics.cs.brown.edu, 2009: fetched 2011

Final web page for Microsoft Center for Research on Pen-Centric Computing at Brown University: three-year funding for research on applications for Microsoft Tablet PC operating system and tablet hardware: ChemPad, MathPad (mathematical notation) Music Notepad, Math Paper, Lineogrammer. Some work listed (SKETCH) pre-dates Tablet PC, dates to 1999.

[BrownSF08a] (*) Brown, Stuart F. "Hand-on computing: Multi-touch screens could improve collaboration without a mouse or keyboard", Scientific American, July 2008, Vol 229 No 1, pp. 64-67 Jeff Han, Perceptive Pixel. Frustrated total internal reflection FTIR. Optical panel is both sensing surface and diffusion screen for rear projection. Also mentions Microsoft Surface, Mitsubishi Diamond Touch, and iPhone.

[BuckleyE09a] (*) Buckley, Edward; Lacoste, Lilian; and Stindt, Dominik "Rear-View Virtual Image Displays", 2009 SID Vehicles and Photons Conference, 16th Annual Symposium on Vehicle Displays

Holographic 3-D three dimensional projection on windshield of automobile. see Light Blue Optics file.

[BuckleyE09b] (*) Buckley, Edward; Stindt, Dominik; and Isele, Robert "Novel HumanMachine Interface (HMI) Design Enabled by Holographic Laser Projection", 2009 SID Symposium: pre-distorted projected image shown on curved surface to appear undistorted Holographic 3-D three dimensional projection on windshield of automobile

[BuckleyE10a] (*) Buckley, Edward "A Projector of a Different Color", IEEE Spectrum, May 2010, p. 45 Holographic (portable) projector projects display and simulated/virtual keyboard onto table-top, senses touchscreen surface by fan of low-power infrared laster light superimposed on projected image and infrared sensors that detect scattering.

[BuxtonW09a] (*) Buxton, William "Chapter 14: Gesture Based Interaction / Haptic Input", www.billbuxton.com, dated 18 May, 2009 Book chapter in progress. Gesture recognition used broadly for natual gestures, gestures with the hands in free space.

[BuxtonW10a] (*) Buxton, William "A chat with Microsoft Principal Researcher Bill Buxton", https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

4/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

The Globe and Mail, Toronto, Canada, August 23, 2010 (theglobeandmail.com) Historical interview with Bill Buxton concerning user interfaces, multi-touch, portable computing. Oscar winner (2003). multi-touch user intefface inveted in 1984. Casio wrist-watch with touch-screen in 1984: unistroke single-digits and arithmetic symbols for caclulator funcs. IBM Simon in 1993, precursor to iPhone. Non-contact (touch sensors) interfaces in 1982.

[BuxtonB10b] (*) Buxton, William "Invited Paper: A Touching Story: A Personal Perspective on the History of Touch Interfaces Past and Future", Society for Information Display (SID) Symposium Digest of Technical Papers, May 2010, Vol. 41(1) Session 31, pp. 444-448 Touchscreens, like all new technologies go far back: Plato in 1960s, soft-machines, Casio PF-8000 Data bank, IBM Simon, Multidimensional (X/Y/Z force, X/Y/Z torque) touchscreeend .

[CannyJ10a] (*) Canny, John and Hartmann, Bjoern " Seminar Notes, COMPSCI 298-50, Univ. Berkeley, California, September 2010 IBM Simon 1994, Osborne I luggable computer 1981, Grid Comppass laptop, PARCTAB hand-held ubiquitous computing unit 1989/1992, Palm PDA with Unistroke Graffiti

[CardSK06a] (*) Card, Stuart Kent; Gossweiler, Richard Carl III; Woodruff, Allison Gyle; and Mackinlay, Jock Douglas "Navigation Methods, Systems, and Computer Program Products for Virtual Three-Dimensional Books", United States patent 7,139,982, November 21, 2006 3D (2 1/2 D) display of a virtual book, where user can flip and scroll pages that appear to be stacked left and right. Page images include virtual tabs, like a dictionary, and scrolling to flip pages. Also shows virtual bookcases (Microft Bob?) (Wang Freestyle on pages?)

[CasioCalculatorWatch10a] (*) Casio Calculator Watch "Vintage Casio TC-600 Touch Screen Calculator Retro LCD wristwatch", casiocalculatorwatch.net, fetched 2010 Casio wristwatch with unistroke character input on touchscreen, circa 1984

[CechanowiczJ09a] (*) Cechanowicz, Jared and Gutwin, Carl "What is Pen-Centric Computing?", Proc. INTERACT 2009, pp. 878-891 Addition of pressure sensors, Contrast of WIMP user interfaces with other numerous non-shaperecognition-based gestures: shift-click, double-click, timed gestures hover-help and spring-loaded folders.

[CenterForPenCentric08] (*) Center for Research on Pen-Centric Computing, (Microsoft) "What is Pen-Centric Computing?", pen.cs.brown.edu Microsoft funding of graphics research group under Andries van Dam at Brown University. Projects as of 2008 include MathPaper two-dimensional mathematics input and gesture/direct manipulation, Lineogrammer sketch recognition / diagram editing, *Pad SDK ink middleware experimental pencomputing UI kit, ChemPad for teaching chemistry and molecular models, MathPad, Music Notepad with twho-dimensional gesture input, Fluid Inking for gesture editing of electronic ink (compare with Van Raamsdonk?), ReMarkable Texts digital note-taking. Devices include pen computers (Tablet PCs), PDAs, https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

5/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

electronic whiteboards.

[ChanK07a] (*) Chan, Kee-Yip Kitagawa, Kelly; and Manduchi, Roberto "Experiments in Planar Haptic Contour Exploration", Proc. WHC 07, 2nd Joint EuroHaptics Conference and Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 604-606 2-D haptic Wingman Mouse from Logitech (out of production), using Immersion TouchSense API to simulate edges of polygon: notes that adding sound feedback helps. Difficult for users however to recognizie (form mental map) of the polygon's shape: should compare with teaching orientation to the newly blind at the Carroll Center?

[ChangD08a] (*) Change, Darius "Asus takes user interface to the next level", crave.cnet.net, June 5, 2008 Dual-display computer (compare with Refalo, OLPC One Laptop Per Child) with display on one half, display/touchscreen on other half. Also reads gestures by motion using video camera.

[ChaudhriI10] (*) Chaudhri, Imruan; Ording, Bas; Anzures, Freey Allen; Van Os, Marcel; Lemay, Stephoen O.; Forstall, Scott; and Christie, Greg "Unlocking a Device by Performing Gestures on an Unlock Image", United States Patent 7,657,849, Feb. 2, 2010 Sliding/swipe unlock gesture on Apple iPad and iPhone

[ChristianDopplerLaboratory10a] (*) Christian Doppler Laboratory, for Handheld Augmented Reality "History of Mobile Augmented Reality", wordpress.com, fetched November 23, 2010 Timeline of mobile augmented reality and non-mobile augmented reality systems, defined as overlaying computer data on real world. Sutherland head-mounted display with 6-D sensors 1968. Cites Grid Compass 1000 as first clamshell laptop: compare with Data General DG/1? IBM Simon Personal Communicator 1992. Loomis GPS system for visually impaired 1993.

[CITT08] (*) CITT Center for Instructional Technology and Training, University of Florida "Tablet PC Workshop", www.citt.ufl.edu/training/manuals/TabletPC.pdf, fetched 2008/03/03 Training manual for Tablet PCs, (physical) power button action can be changed

[CoE08] (*) Co, Elise and Pshenkov, Nikita "Emerging Display Technologies for Organic User Interfaces", Communications of the ACM, June 2008, Vol 51 No 6; pp 45-ff. Organic user interfaces / tangible user interfaces: E-Ink / electronic ink electrophoretic display technology, electroluminescent displays on clothing fabric.

[CohenP08a] (*) Cohen, Phil; Swindells, Colin; Oviatt, Sharon; and Authur, Alex "A highperformance dual-wizard infrastructure for designing speech, pen, and multimodal interfaces", Proc. ICMI '08, 10th I'tal Conf. on Multimodal Interfaces Wizard-of-oz (two people) simulation of system reacting to group whiteboard utilizing both voice and real-time electronic ink/pen input streams. Compare with Freestyle at Wang. https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

6/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[CooestGadgets08a] (*) Coolest Gadgets - Apple News "Apple files for 'swipe-gesture' patent application", www.coolest-gadgets.com, Dec. 26, 2008 Patent application publication of Apple filing for 'swipe-gesture': article refers to left, right, up, down gestures across the (simulated) keys of a keypad -- compare with 1980's Japenese calculator with handwriting input on physical keypad?

[Crunchpad09] (*) CrunchPad "CrunchPad photos leaked: Arrington builds dream tablet", Jennifer Bergin, blogs.zdnet.com, April 10, 2009 Web-only pen-computing web-tablet with no disk storage. Announced as an "open-source" hardware design, running Ubuntu Linux. File contains additional materials.

[CSAIL08a] (*) CSAIL "MIT CSAIL: Design Rational", rationale.csail.mit.edu, 2008 List of research reports and publications, mostly relating to sketch recognition

[Cypress08] (*) Cypress Inc. "TrueTouch touchscreen technology", www.cypress.co, Aug 25. 2008 Multi-touch touchscreen using projected capacitive technology (electrostatic?). Includes comparison chart for touchscreen technologies: Infrared, Surface-Acoustic-Wave (SAW), Surface Capacitance, Resistive

[DeckerS09] (*) Decker, Susan "Microsoft Wins Reversal of $358 Million Alcatel Award (Update4)", Boomberg News: www.bloomberg.com Sept. 11, 2009 Partial reversal (basis for damages) in Lucent-Microsoft case: only mentions Date-Picker UI, not GO Corporation damages

[DeNardiA08a] (*) De Nardi, Alessandro "GRAFITI: Gesture Recognition mAnagement Framework for Interactive Tablettop interfaces", Master Degree Thesis, Niversita di Pisa, December 2008 Experimental multi-touch system (Rear Diffusion optical detection: rear DI) incorporating Z-order gestures by tunneling and bubbling (for overlapping objects). Refers to larger target area as "iceberg tips" of object. Gestures are simple, single-stroke, and few (touch, drag, etc. except for double-tap) to avoid recognition ambiguity. Discusses dynamic gestures (e.g. pinch/zoom) which are detected and interpreted progressively, and statis gestures (e.g. tap) which have no interpretation phase File contains additional material on open-source code. Not to be confused with Graffiti unistroke handwriting

[DenningRA08] (*) Denning, Roger A. "Roger A. Denning, Attorney", www.fr.com Trial lawyer in Lucent/Microsoft involving pen-computing gestures

[DerStandard10a] (*) Der Standard "Toshiba bringt Dual-Screen-Tablet Libretto W100", Der Standard, derstandard.at, June 21, 2010 Dual-screen multitouch portablet computer with virtual keyboard, compare with Microsoft Courier and https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

7/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

with Refalo, and with proposed design by Negroponte's project

[DiamondTouch08a] (*) DiamondTouch, Inc. "DiamondTouch", (various) File on Diamond Touch, spin-off company for DiamondTouch multi-touch digitizer table developed at Mitsubishi, comparable to Microsoft Surface

[DignanL10a] (*) Dignan, Larry "Apple's HTC patent suit: Can it derail Google's Android devices?", zdnet.com, March 2, 2010 Apple iPhone patents asserted against HTC/Android and Nokia

[DignanL10b] (*) Dignan, Larry "Apple's HTC patent suit: Can it derail Google's Android devices?", zdnet.com, May 7, 2010 Apple iPhone patents asserted against HTC/Android and Nokia: antenna design, geographical positioning

[DignanL10c] (*) Dignan, Larry "Nokia and Microsoft's Windows Phone 7: It could work, but why stop there?", zdnet.com, December 20, 2010 Nokia sell Windows Hpone 7 instead of Symbian.

[EchtlerF10a] (*) Echtler, Florian; Klinker, Gudrun; and Butz, Andreas "Fieatures, Regions, Gestures: Components of a Generic Gesture Recognition Engine", SIGCHI Workshop: Engineering Patterns for Multi-touch Interfaces, June 20, 2010, Berlin, Germany Recognize multi-touch gestures based on shared features: move/tap/rotate/spin gestures recognized on features motion/blobcount/rotation/scale. Focuses more on direct manipulation gestures. Describes event bubbling through parent windows for gestures.

[Economist08a] (*) Economist Magazine "Touching the Future: Computing: Touch screens are becoming an increasingly popular way to control mobile phone and other devices", The Economist Magazine, September 4, 2008 Article on touch screens, and multi-touch gestures. Cites Elo TouchSystems and Sam Hurst as first touchscreen (resistive tablet) in 1971 (missed earlier references). Quotes Bill Buxton on haptic design. Jeff Han of Perceptive Pixel on pressure-sensitive gestures, push harder to move something "under" another window instead of double-click operation.

[E-Ink08a] (*) E-Ink Corporation "Wacom and E-Ink Partnership Delivers Pen Input to Electronic Paper Displays", Press Release, Wacom Technology, May 19, 2008 Touchscreen / integrated display and digitizer tablet from Wacom and E-Ink.

[eInstruction09] (*) eInstruction.com "eInstruction Interwrite DualBoard", eInstruction.com product literature Large whiteboard digitizer using projector, multiple small untethered electromagnetic tablets for other https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

8/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

participants in a group: see KayeS. Interwrite DualBoard for Windows and Mac, Interwrite Mobi small wireless digitizer. See also Qomo HitVision RF wireless tablets.

[ElanMicroelectronics10] (*) Elan Microelectronic Corporation "Elan Microelectronics Corporation", Elan Microelectronics, product information Electrostatic digitizer / capacitive touchpad vendor

[ElektronikIndustrie10a] (*) Elektronik Industrie "Der etwas andere touch", Elektronik Industrie, 10/22/2006, pp. 22-23 in German: overview article on capacitive touchscreens using ITO Indium Tin Oxide, based on Quantum Research Group (commercial company)

[emsps.com10a] (*) emsps.com "Old, Used and Out-of-Print SideKick(R) Software", www.emsps.com/olktools/borsk.htm Borland SideKick with phone dialer, PIM: Versionn 1.0 through 20.0, 97 through 99, for DOS, Windows and MAC

[EMSSoftware08] (*) EMS Software "Lotus 1-2-3 Version Information", www.oldsoftwareinfo.com Version information for Lotus 123 versions: www.oldsoftwareinfo.com sells and collects old versions of software in original form. Lotus 123 for DOS only through 2.2X 1991, first Windows version 1.0 for Windows 9991, first MacIntosh version 1.0 1991, OS/2 version 2.0X, 1993.

[EoffBD09a] (*) Eoff, Brian David and Hammond, Tracy "Who Dotted That `i'? : Context Free User Differentiation through Pressure and Tilt Pen Data", Proc. Graphics Interface Conf, May 2009, Kelowna B.C. Canada In multi-touch / multi-pen / multi-user desktop with tablet or touch input, identify user inputs by physical characteristics of writing, rather than constraining users to keep track of which pen to use: pen tilt, pressure (force), and writing speed

[EsslG09a] (*) Essle, Georg; rohs, Michael; Kratz, Sven "Squeezing the Sandwich: A Mobile Pressure-Sensitive Two-sided Multi-touch Prototype", Proc. UIST '09, October 2009, Victoria BC, Canada Two-sided (front/back) touchscreen/touchpad interfaces. Prototype built by taping two iPhones together. Citations to Chen, Hybridtouch, Lucid Touch, and Shape touch.

[FlemingN10a] (*) Fleming, Nic "Magnet magic puts phone control in the air", New Scientis, 23 February 2010 Hand-gesture input using hand-held magnet and magnetic compass sensor in an iPhone or portable device

[FingerSystem10a] (*) Finger System USA "i-Pen Mouse product information", https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

9/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

www.fingersystemusa.com, fetched 2010 Optical mouse in a pen-shapped barrel. Newer model includes audio recording: compare with LiveScribe and Plawa.

[FoleyMJ10a] (*) Foley, Mary Jo "Microsoft's RearType: Physical keys to the iPad, Kindle and Tablet kingdoms?", www.zdnet.com, August 9, 2010 UI alternative to soft/simulated keyboard on touch-screen/pen computer: physical keys for separate hands on back of tablet-type computer.

[FrankeK09a] (*) Franke, Katrin "Capturing Reliable Data for Computer-based Forensic Handwriting Analysis II: Pen-position Activations", 2009 10th International Conference on Document Analysis and Recognition Pointing out unreliability of data from (electromagnetic) digitizer tablets, even though really only talks about stylus tilt error. One of few papers from handwriting motion analysis that shows insights into some of the problems with digitizer reliability and bad behaviors. Describes morphing of on-line and off-line traces/markings -- compare with Tappert elastic matching?

[FranczekEJ99a] (*) Franczek, Edward J; Bretscher, John Thomas; and Bennett, Ramond Walden III "Computer Virus Screening Methods and Systems", United States Patent 5,987,610, November 16, 1999 Scan data sent between two parties on telephone lines for a virus and block part of the data from being transmitted. Executing program that would be transmitted in a model of the receiving computer to detect virus before transmitting data.

[Fraunhofer08] (*) Fraunhofer Institut "Computer steuern per Fingerzeig / Gesture-driven computers", Fraunhofer Institute Press Release for CeBIT 2008 exhibition, February 2008 (in German) GestureID hand gestures, demonstrated at CeBIT exhibition for iPoint Presenter. Mentioned as replacement for touch-screen digitizers at infoterminals (kiosks). Uses optical pattern recognition (machine vision)

[FriedI08a] (*) Fried, Ina "Microsoft to add multitouch interface to Windows 7", news.cnet.com, May 27, 2008 Windows 7 Vista will include multitouch, compares with Apple iPod user interface. Shown by Steve Ballmer and Bill Gates at trade show. Gestures include pinching (zoom) and two-finger rotating.

[FriedI08b] (*) Fried, Ina "Microsoft hopes 'Milan' table PC has magic touch", news.cnet.com, May 29, 2008 Milan code name for "surface computer", Microsoft Surface tabletop PC, using multi-touch input.

[FriedI09a] (*) Fried, Ina "Touch in Windows 7: Just for show?", news.cnet.com, July 1, 2009 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

10/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Touch/multi-touch interface in Windows 7 just for show, because touchscreen digitizer hardware adds $100 to price of PC. N-Trig dual-mode digitizer (electrostatic+electromagnetic?) has funding from Microsoft

[Fujitsu10a] (*) Fujitsu America, Inc. "Lifebook Tablet PC. Stay in Touch", Fujitsu America, Inc. Product information on Lifebook T900 Tablet PC, convertible with multi-touch separate display

[Ganapati10] (*) Ganapati, Priya "3-D Tabletop Display Gets Rid of the Glasses", Wired.com, March 25, 2010 Simulated 3-D display: each side of a cube has an LCD display showing a side/top view of something simulated to be inside

[GestureTek08a] (*) GestureTek "GestPoint Gesture Recognition for Presentation Systems", www.gesturetek.com Hand-gesture recognition using video input and motion tracking: commercial product. Described as touchfree gesture input utilizing computer vision and body tracking software to convert simple hand movements into direct mouse control.

[Gizmodo09a] (*) Gizmodo.com "Que: Plastic Logic's Capacitive-Touch Ebook Reader", Gizmodo.com, November 2009: reporter Wilson Rothman Wacom technology (?) capacitive/electrostatic digitizer in an e-book reader, but says being marketed as a "document reader", not a "book reader". See also file on "Plastic Logic".

[Gizmodo10a] (*) Gizmodo.com "First Hands On: Touch Book is Part-Netbook, Part-Tablet", Gizmodo.com, Arpil 13, 2010 Touch Book web tablet / tablet computer: Linux, circular-icon gesture UI (pie gestures?)

[GoldsteinN10a] (*) Goldstein, Neal and Bove, Tony "iPad Application Development for Dummies", Wiley Publishing, 2010 Programming tutorial for the iPad/iPhone/iPod.

[Google08a] (*) Google Code "iphone-haptics", code.google.com/p0/iphone-haptics, 2008 VibeTonz and vibrotactile haptic feedback project for Apple iPhone, Stephen Brewster Tacton project at U. Glasgow

[Google08b] (*) Unknown "google chrome", drewp.quickwitretort.com/2008/09/22 Search hits highlighted in Google Chrome scrollbar UI/user-interface: references to work by David McClosy, and Raizlabs ABC and Heatmap https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

11/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[GonsalvesA09] (*) Gonsalves, Antone "Barnes and Nobel Sued over E-Reader", Information Week, November 3, 2009 E-Reader maker Spring Design (kindle-like product) sues Barnes and Nobel over using features of Alex ereader from confidential product technical discussions

[Greene08a] (*) Greene, Kate "What's Next for Computer Interfaces? Touch tricks for small and large displays could be the next big thing", Technology Review, December 11, 2008 Microsoft research Patrick Baudisch adding touch digitizer interaction to back of devices so that display is not obscured by finger or stylus

[Greene09a] (*) Greene, Kate "A Better, Cheaper Multitouch Interface: A new pressuresensistive pad could improve large and small touch schreens", Technology Review, March 30, 2009 Three-dimensional pressure sensitive touch digitizer: IMPAD Inexpensive Multi-touch Pressure Acquisition Device, using force sensitive resistor (IFSR) ink, Ilya Rosenberg, www.touchco.com

[Greene09b] (*) Greene, Kate "Touching the Future: Next steps for touch screens", Technology Review, February, 2009 p. 13 Patrick Baudisch of Microsoft: touch pad on back of display, so that small screen remains unobstructed. Also mentions Perceptive Pixel

[Greene09c] (*) Greene, Kate "Muscle-Bound Computer Interface: Forearm electrodes could enable new forms of hands-free computer interaction", Technology Review, October 28, 2009 electromyography sensors in arm used to recognize hand/arm gestures, such as Air Guitar, etc. Recognition by neural network.

[HamppA08] (*) Hampp, Andrew "Airports, Malls Get More 'Gesture' Ads: Interactive VideoOut-of-Home Ads let Consumers Play", Advertising Age, May 8, 2008 Press article on Reactrix, Monster Media, and GestureTek on gesture input on interactive advertizing: foot-pressture touch pad with foot input

[Hanselman08] (*) Hanselman, ?? "Introducing RockScroll", Microsoft employee blog posting: www.hanselman.com/blog, October 2008 Scroll bar displays highlighted/small images of text/document to be scrolled: add-on to Microsoft Visual Studio by Rocky Down's

[Hardie-BickAR08a] (*) Hardie-Bick, Anthony Richard "Touch Pad", United States Patent 7,411,581, August 12, 2008 Based on 2002 GB filing: Acoustic touchscreen using frequency profiles characteristic of different location (Lamb waves: higher frequencies disperse faster) rather than acoustic delay. Identifies touch https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

12/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

events (start of touch), not contact. Requires profiling of construction first, to produce a table?

[HarrisonC08a] (*) Harrison, Chris and Hudson, Scott E. "Pseudo-3D video Conferencing with a Generic Webcam", Proc. 10th IEEE Int'l Symposium on Multimedia, Berkeley, CA, Dec 15-17, 2008. pp. 236-241 Simulated 3-D video using flat display: perform trapezoidal scaling of image as viewer moves left and right (and up and down?) as detected by Webcam camera.

[HarrisonC08b] (*) Harrison, Chris and Hudson, Scott E. "Scratch Input: Creating Large, Inexpensive, Unpowered and Mobile Finger Input Surfaces", Proc. UIST 08, October 19-22, 2008, Monterey, CA, pp 205-208 Gesture recognition not using a digitizer, but the acoustic sound of scratching when a finger/fingernail moves on a surface. Cannot detect sptial location, but recognizes multi-part (multi-stroke) gestures such as X, O-with-slash, lowercase-I-with-dot, Y, double tap, single tap. Cites to earlier work on passive acoustic sensing (knocks) and frustrated-internal-reflection digitizer tablets

[HarrisonC09a] (*) Harrison, Chris and Hudson, Scott E. "Abracadabra: Wireless, HighPrecision, and Unpowered Finger Input for Very Small Mobile Devices", UIST '09, October 4-7, 20009, Victoria BC, Canada Proximity-sensing electromagnetic digitizer for finger input on small display, using small magnet mounted on fingertip. Compare with ferrite-rod digitizer technologies? Can detect clicking "below" a virtual surface by reversal of magnetic field, can detect distance/proximity by strength of magnetic field sensed. Describes polar gestures (circular motion around a very small display)

[HarrisonC10a] (*) Harrison, Chris; Tan, Desney; and Morris, Dan "Skinput: Appropriating the Body as an Input Surface", CHI 2010, April 10-15, 2010, Atlanta, Georgia Surface (?) acoustic wave design of touch input device comprising an arm band and propagating acoustic signals through human skin: a wearable SAW touch input digitizer. Also refers to distinctive sounds made when tapping on parts of body: arm, palm fingers and thumb. File contains additional materials

[HarrisonC10b] (*) Harrison, Chris; Tan, Desney; and Morris, Dan "Search by Sketch", www.chrisharrison.net Project description: Compare with earlier work on sketch recognition: use uses paint interface (not draw/sketch) to draw color patterns, system matches by dominant color and rough orientiation, providing results in real time while user is "sketching".

[HarrisonC10c] (*) Harrison, Chris and Hudson, Scott E. "Minput: Enabling Interaction on Small Mobile Devices with High-Precision, Low-Cost, Multipoint Optical Tracking", CHI 2010, April 10-15, 2010, Atlanta GA Optical-mouse type input built into portable device (basically on back of display). Thus display is not occuluded by finger or touching, no digitizer on display. Gesture recognition for flick, twist, curly-cue https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

13/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

gesture. Can also scan a larger surface, thus can do scroll-bar gestures.

[HarrisonP08a] (*) Harrison, Phil "Hand-held Device with Touchscreen and Digital Tactile Pixels", United States Patent Application 2008/0150911, June 26, 2008 Haptic/tactile vibration pixels around edges of touchscreen PDA computer

[HartmannC08a] (*) Hartmann, Christoph "Microsoft Visual Programming Language: End-User Perspektive", Mongraph, www.acidum.de, Aug 11, 2008 (in German) Microsoft Robotics Studio 2006, Microsoft Visual Programming Language: Review of visual programming languages and environments: cites to Sketchpad 1963, GRAIL 1967, AMBIT/G 1968, ThingLab and other earliy systems.

[HaywardP08a] (*) Hayward, Vincent; Alarcon, Ramon; Rosenberg, Louis B. "Haptic Pads for use with User-Interface Devices", United States Patent 7,336,266, February 26, 2008 Add a haptic output actuator to an existing input devices. Generic to type of input device, and to type of haptic actuator.

[Helet09] (*) Helet, Miguel "For the Blind, Technology Does What a Guide Dog Can't", The New York Times, January 4, 2009 T.V. Raman, visually impaired researcher at Google, accessibility technology for low-vision on touchscreen cell phones (e.g. Apple IPhone) using Gestures

[HembrowD10a] (*) Hembrow, David "EO Personal Communicators EO440 / EO880 running GO PenPoint", www.hembrow.eu, fetched 2010 Personal notes on EO/PenPoint in the UK, including examples of documentation and product.

[HewlettPackard08] (*) Hewlett-Packard "HP Pavilion tx2z series", www.shopping.hp.com/series/category/notebooks/tx2z_series TouchSmart 2x2z ulgraportable Tablet PC: multi-touch input, implies support for multi-touch gestures on laptop running Windows Vista

[HinckleyK09a] (*) Hinckley, Ken; Dixon, Morgan; Sarin; Raman; Guimbretiere, Francois; and Balakrishnan, Ravin "Codex: A Dual Screen Tablet Computer", Proc CHI 2009, April 4-9, 2009, Boston, MA Dual-screen dual-display/dual-touchscreen tablet, 4x6 inch. Compare with Courier and Refalo. Software based on InkSeine note-taking with "floating tool ring" (marking-menu?). Multiple references to other current dual screen computers. Taxonomy of dual-screen "postures": landscape/portrit, book/lecturn/laptop, corner-to-corner/face-to-face, battleship (opposite directions). Dual displays can be detached. Collaborative use. Dual-display use includes webpage next to notebook page.

[HinckleyK10a] (*) Hinckley, Ken; Pahud, Michel; and Buxton, Bill "Direct Display Interaction https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

14/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

via Simultaneous Pen + Multi-Touch Input", Society for Information Display (SID) Symposium Digest of technical Papers, May 2010, Vol 41(1), Session 38, pp. 537-540 Using pen and touch gestures simultaneously, users perform different actions with the two hands -dominant hand holds pen/stylus for writing. Cites to earlier work on two-handed/multi-touch user interfaces.

[HolmanD08] (*) Holman, David and Vertegaal, Roel "Organic User Interfaces: Designing Computers in Any Way, Shape, Or Form. Displays on real-world objects allow more realistic user interfaces", Communications of the ACM, June 2008, Vol 51 No 6; pp 48-ff. Organic user interfaces / tangible user interfaces: deformable user-input devices, such as foldable paper which is also a display, and responds to folding. Shows multiple-touch, multiple-user actions on a globe model, cites to Wellner.

[HOPL08] (*) HOPL History of Programing Languages "Maths input language", hopl.murdoch.edu.au History of two-dimensional mathemathics input languages as programming languages: essentially a short bibliography of papers by Mort. I Bernstein, quotes as saying that real-time / online handwriting recognition is easier than static / OCR character recognition.

[HorneckerE09a] (*) Hornecker, Eva "Tangible interaction", Interaction-Design.org: http://www.interaction-design.org/encyclopedia/tangible_interaction.html, 2009 . Essay defining tangible interaction as distinct from direct manipulation in user interfaces: physical objects interact with users under computer control: numerous references to background of the art. See also augmented reality.

[HorowitzBT08a] (*) Horowitz, Brian T. "Synaptics touch pad tech gains momentum", blog.internetnews.com/bhorowitz, June 26, 2008 Scrolling momentum / dynamic scrolling by Synaptics in a touchpad digitizer, compared to trackball that keeps spining after initial push

[HP08a] (*) Hewlett-Packard "HP TouchSmart IQ506/IQ504 PC", (various) File of product information on HP TouchSmart PC, Windows PC with integrated multitouch touchscreen. Used for kiosk applications.

[HsuC07a] (*) Hsu, Cheng and Boonjing, Veera "Natural language interface using constrained intermediate dictionary of results", United States Patent 7,177,798, February 13, 2007 Natural language query for databases (search engines) using multiple language dictionaries

[HuppiB09a] (*) Huppi, Brian; Fadell; Anthony M.; Barrentine, Derek; and Freeman, Daniel "Automated Response to and Sensing of User Activity in Portable Devices", United States Patent https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

15/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

7,633,076 Motion and/or position sensor in portable cell phone, PDA or hand-held unit to detect user activity: motion / orientation sensor on handheld tablet device? iPhone/iPad

[Immersion08] (*) Immersion Corporation "MicroScribe Systems: Solutions fo Inspection, Reverse-engineering, and 3D Digitizing", www.immersion.com Mechanical digitizers using multiple-link mechanical arms, articulated-arm digitizers and portable CMMs. Intended for three-dimensionsal / 3D digitizing of engineering objects. Applications also include medical and surgical simulators : digitizers with haptic feedback under the product name CyberForce. Several citations to studies of touchscreens with and without tactile/haptic feedback, and VibeTonz auditory/haptic components for hand-held devices (cell phones, PDAs, etc.)

[Immersion10b] (*) Immersion Corporation "The Value of Haptics: A summary of published findings on the value of haptic feedback in human-computer interaction", Immersion Corporation, San Jose, California, 2010 Haptic: Tactile Feedback, Multi-modal feedback, non-visual interaction. General explanation of haptic terms.

[IOGEAR08a] (*) IOGEAR "IOGEAR Digital Scribe", iogear.com Acoustic/sonic digitizer, single acoustic receiver that mounts on corner or top of paper (or other surface) and transmitter stylus/pen with optional ink cartridge. GPEN100C, Applications include note taking (Microsoft OneNote, IRISnotes, etc.) and handwriting recognition (MyScript). Revice may also be used as stylus or in mouse-input mode with side button on stylue barrel. File contains additional references

[IOGEAR10a] (*) IOGEAR "IRISPen executve 6 User's guide", iogear.com hand-held optical scanner, includes OCR software for text and for handwriting recogition (static/off-line character recogition), bar-code recognition. IRISPen translator 6 for translating text in other languages, including Chinese. Includes speech synthesis for recognized text -- useful as accessibility technology? File contains additional references. See also IRIS file.

[IRIS10a] (*) I.R.I.S. "Readiris 12 Pro", Irislink.com, fetched 2010 OCR software for IRISpen and other scanner devices. IRISnotes software for IOGEAR acoustic stylus digitizer tablet: compared with products requiring special paper (Anoto) and optical digitizer. See also IOGEAR file.

[Independent09a] (*) The Independent, United Kingdom "Why touch screens push our buttons", The Independent, 9 September 2009 Mostly interview with Chris Harrison and Bill Buxton regarding multi-touch input and touchscreens: mentions Casio touch-screen AT-550 wristwatch in 1980, Lemur touch-surface music controller in 2003 (see reference) quotes Bill Buxton on touchscreens being unusable by blind/visually impaired (compare https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

16/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

with iPhone VoiceOver?) Chris Harrison latex touch-surface covering.

[iPad00] (*) iPad "iPad file information", Misc Miscellaneous iPad information

[IraniP10a] . Irani, Pourang; Shi, Kang; Cechanowicz, Jare; and Subramian, Sriram "Pressure Agumented Mouse", United States Published Patent Application 20100127983, May 27, 2010 Mouse with additional pressure sensors: references contrast with WIMP interfaces

[iRexTechnologies09] (*) iRex Technologies BV "iRex Technologies Turns the Page on eReaders with new 8.1-inch Consumer Device", iRex Technologies BV, Press Release Sep. 23, 2009 iRex Technologies e-book reader: marketed with additional applications (compare with PenPoint from GO): uses Wacom capacitive/electrostatic touch digitizer tablet component. Additional materials in file.

[IshiiH08a] (*) Ishii, Hiroshi "The Tangible User Interface and Its Evolution", CACM, June 2008, Vol 51 No 6, pp. 32-36 Special issue on organic/graspable/haptic/tangible user interfaces. Deformable/rollable input devices, such as recognizing shadows of physical stick figures or clay models.

[Janam08a] (*) Janam Technologgies LLC "Janam XP30 User Guide", Janam Technologies LLC, 2008 Janam XP30 touchscreen/digitizer smart phone: Uses Graffiti 2 gestures: backspace, shift, menu (diagonal) Shortcut (bottom curlique, cut (pig-tail), passted, copy (down-left), undo

[JazzMutant09a] (*) JazzMutant.com "Lemur: Schliessen Sie Ihren Lemur an", www.jazzmutant.com MIDI controller/GUI software toolkit for touch gestures specific to controlling music and audio systems

[JazzMutant09b] (*) JazzMutant.com "Lemur V2.0 User Guide", www.jazzmutant.com MIDI controller/GUI software toolkit for touch gestures specific to controlling music and audio systems

[JazzMutant09c] (*) JazzMutant.com "Behind the Lemur", www.jazzmutant.com multi-touch digitizer capable of handling an unlimited number of fingers at once: genesis of the device was that the developers designed a user interface assuming such a device was available.

[JobsSP09a] (*) Jobs, Steve P. et al "Touch Screen Device, Method, and Graphical User Interface for Determining Commands by applying Heuristics", United States Patent 7,479,949 B2, Jan 20, 2009 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

17/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Gesture (multi-touch gesture) recognition by heuristics, Numerous other iPad/iPhone gesture patents incorporated by reference. Specific to finger contacts / touchscreens, not other stylus digitizer input. Very large spec (362 pages), shows slide-to-unlock.

[JoguetP07a] (*) Joguet, Pascal and Largillier, Guillaume "Devices and methods of controlling manipulation of virtual objects on a multi-contact tactile screen", United States Patent Application US 2007/0198926, August 23, 2007 (See also PCT /FR2005/00428) Multi-touch tablet (of any type: multi-contact bidirectional sensor matrix), software to implement sliders, keyboards, potentiometers, and other controls with visual feedback (visual return) of direct manipulation of controls for musical instruments with real-time control and input. Refers to point clouds for multi-touch capactive touchpad.

[JonesR09a] (*) Jones, Randy; Driessen, Peter; Schloss, Andrew; and Tzanetakis, George "A Force-Sensitive Surface for Intimate Control", Proc. NIME09, June 3-6, 2009, Pittsburgh, USA Madronalabs.com Madrona Soundplane: force/pressure sensing X/Y touchsurface, intended as controller for electronic musical instruments. Multi-touch sensing. Cites to earlier devices.

[KableRG07a] (*) Kable, Robert G.; Kable, Adam T.; Heringer, Lawrence J; and Wilson, Brent B. "Pen Apparatus, System and Method of Assembly", United States Patent Application 2007/0195069, August 23, 2007 Tablet stylus design: uses spring coil also as antenna to reduce components. Resistive film digitizer also sensing finger touch or stylus. Includes discussion of long history of resistive film touchscreens and digitizers.

[KarlsonAK08a] (*) Karlson, Amy K. and Bederson, Benjamin B. "One-Handed Touchscreen Input for Legacy Applications", Proc. CHI 2008 April 5-10, 2008, Florence Italy, pp. 1399-1408 For one-handed PDA use, user defines a ThumbSpace -- the area reachable by the thumb while holding the PDA in one hand. Show thumbnail (sic) image of whole screen in ThumbSpace for user to pick from on whole touchscreen. Refers to whole screen touching as DirectTouch.

[KlimovsV09a] (*) Klimovs, Vjaceslavs and Pisarenko, Sergejs "Towards enhancing perceived performance through adoption of proposed benchmarking techniques", Report 2009-029, University of Gothenburg, Germany, 2009 Report on perceived versus actual performance in user interactions: mentions "kinetic scrolling" and "twoway scrolling"

[KrempM08a] (*) Kremp, Matthias "Microsoft bittet zu Tisch", Spiegel news magazine (in German), January 10, 2008. www.spiegel.de Report from Consumer Electronics Show on Microsoft digital table / surface table touch digitizer, with direct manipulation of photographs. References to iPhone interface. Digitizer touch sensing limit is 52 touch points: four players, 10 fingers plus 3 playing figures each. Compare with Wang Freestyle for graphical manipulation? https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

18/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[KrempM08b] (*) Kremp, Matthias "Windows 7 bekommt iPhone-Interface", Spiegel news magazine (in German), May 28,2008. www.spiegel.de Report on Microsoft Windows 7 touch-UI interface. Also mentions digital table / surface table touch digitizer, with direct manipulation of photographs. Points out awkward positioning of touch screens at a desk, compares with keyboardless one-laptop-per-child touch system.

[KrempM10a] (*) Kremp, Matthias "Nokias letztes Aufgebot: Smartphone N8", Spiegel news magazine (in German), October 20, 2010 www.spiegel.de Nokia N8 cellphone with touch-screen interface, runs videos (Linux OS?) and GPS Ovi Maps no charge.

[KroekerKL09] (*) Kroeker, Kirk L. "Electronic Paper's Next Chapter", Communications of the ACM, Vol 52. No 11, November 2009, pp. 15-17 Overview report on E-Ink, Plastic Logic, and other vendors of electronic paper and flexible displays. EInk acquired by Prime View International of Taiwan, which manufactures the Kindle. Mentions color displays: no information on tablets or digitizers. Electrophoresis, electrophoretics, electrofluidic technologies.

[KruegerMW09] (*) Krueger, Myron W. "Myron W. Krueger", en.wikipedia.org Mentions computer input of two-arm gesture holding arms out to sides, recognized optically

[LeeJH10a] (*) Lee, Jae-hoon "Audio/video Device Having a volume Control Function for an External Audio Reproduction Unit by Using Volume Control Buttons of a Remote Controller and Volume Control Method Therefor", United States patent 7,672,470 B2, March 2, 2010 Volume control on (on touchscreen) when an external amplifier/speakers (headset) are plugged in.

[LeeJK10a] (*) Lee, Jong-Kwon; Kim, Sang-Soo; Park, Yong-In; Kim, Chang-Dong; and Hwang, Yong-Kee "In-cell adaptive touch technology for a flexible e-paper display", Solid-State Electronics, Vol 56 (2011), pp. 159-162, available online 18 November 2010 Light-sensitive touch panel with display, photo-sensor arrays integrated into cells of electronic ink paper display. Capacitive coupling to finger to avoid shadowing of light.

[LyY08a] (*) Li, Yang; Klemmer, Scott; and Landay, James A. "Tools for Rapidly Prototyping Mobile Interactions", Chapter XXI in Handbook of Research on User Interface Design and Evaluation for Mobile Technology, National Research Council of Canada, Joanna Lumsden Ed., 2008, pp. 330-345 Prototyping UI design using UIMS with storyboarding, either with paper or with software tools. Prototype with Toshiba Tablet PC (Microsoft) and HP iPAQ Pocket PC with interactive maps.

[LightBlueOptics10a] (*) Light Blue Optics "Light Speed, Light Touch, Light work", www.lightblueoptics.com, fetched 2010 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

19/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Holographic projector and infrared sensor for creating a "touch screen" on any surface on which an image can be projected.

[LindemannP10a] (*) Lindemann, Patrick "A Short Report on Multi-touch User INterfaces", Dept. of Media Informatics, University of Munich, Germany: wiki.medien.ifi.lmu.de, Fetched 2010 Review of multi-touch gestures. Cites to 2003 for flick gestures (with hand or finger), but does not mention PenPoint/GO. Cites Buxton on multi-key/n-key rollover on a keyboard in 1970's being a form of multi-touch.

[LinuxForDevices10] (*) LinuxForDevices.com "Multi-touch displays support all ten fingers at once", www.LinuxForDevices.com, 2010-02-18 multi-touch digitizer capable of ten fingers concurrent/simultaneous input. PMatrix from Stantum. Resistive touchscreen display. Quotes Jim Meador at Stantum regarding non-proprietary nature of Apple iPad pinch gesture. Compare with JazzMutant.

[Livescribe08] (*) LiveScribe, Inc. "Livescribe: Never Miss A Word (Smartpen)", www.livescribe.com Voice/handwriting recording using Anoto digital pen and digitizing (tablet) paper. Includes syncronized voice recording built into pen. Touch previous mark, pen plans recorded audio recorded at that time of writing: example is write "define" followed by word, get definition. Uses Anoto technology, see also EchoPen.

[Livescribe08a] (*) Science Daily "Smart Pens Help Blind See", www.sciencedaily.com, May 9, 2008 Voice/handwriting recording using Anoto digital pen and digitizing (tablet) paper. Includes syncronized voice recording. Article / press-release attempts to make accessibility connection to being annotation device for the visually impaired.

[Livescribe10a] (*) Fahlberg, Tim "Livescribe Smartpen: How (and why) to Enlarge audio Dots (+How to Make them Findable for those with Vision Loss] ", www.edlivescribe.com, December 8, 2010 Use Anoto Pen (Livescribe Pulse or Echopen) and printed labels to make audio notes that can be played back by visually impaired/blind user or motor impaired by touching sensor to printed dot. File contains additional references, such as LiveScribe/Anoto Post-it notes. UI for creating notes still requires use of printed paper with control functions. Compare synchronized voice and handwriting of Freestyle with LiveScribe Anoto pen.

[LuJ06a] (*) Lu, Jin "Multi-point Touch Pad", United States Patent 6,995,752, February 7, 2006 Multi-point touchpad digitizer using X/Y array of strain guages below a compliant layer: argument is that it senses touches between sensor pad better than force-sensing resistors, which only respond when touched on the sensor. Also states that capacitive/electrostatic multi-touch pads (before 2001) only responded to direct physical touch. https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

20/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[LucentMicrosoft08] (*) Lucent v. Microsoft "Lucent v. Microsoft", Press announcement file Press articles on Lucent v. Microsoft patent case concerning United States Patent 5,544,295 on tablet PC and gesture-based user interface

[LucentMicrosoft08a] (*) Associated Press: Jessica Mintz "Microsoft to Appeal $367M Patent Ruling", Associated Press, April 4, 2008 Microsoft found to infringe GO patent on using gestures on Tablet PC. Other patents in case concern video compression, forms input, and color management.

[LucentMicrosoft08b] (*) LucentMiccrosoft "Exhibits", Lucent v. Microsoft Exhibits (technical references) in Lucent v. Microsoft in San Diego: long list.

[LuckieD10a] (*) Luckie, D. "Newton Hall of Fame", www.msu.edu/~luckie/hallofame.htm Bios of major personalities in Apple Newton development team: Steve Capps (Finder), Walter Smith (NewtonScript, a.k.a. WallyScript), John Sculley, Michael Tchao ("Apple had been working for years on slate computers that read handwriting"), Stepan Pachkov, Larry Yaeger (Cursive Recognizer)

[LuckieD10b] (*) Luckie, D. "Newton Gallery", www.msu.edu/~luckie/newtgal.htm Detailed specs on Apple Newton MessagePads, several models,: OS 2.0, 2.0 1.3, and 1.0 released 1993. Associated with Steve Capps.

[Makowski08a] (*) Makowski, Dirk "Windows fuer Pen Computing 1.0", www.winhistory.de, fetched September 6, 2008 Screen shots of Windows for Pen Computing 1.0 on Windows 3.11 from 1992, German-language version. All applications (but not OS) were pen-enabled by means of pen tool "Stiftpalette". Notebook / Notizbook application allowed free-hand electronic ink note-taking. Gestures/Gesting include check-mark to edit text, similar to PenPoint OS. Comparison with Windows for Pen Computing 2.0 on Windows 95, which is described as more of an add-on and less integrated. Shows multiple gestures accepted in text editor: check mark to edit text, space, new line, cut (pigtail), undo (loop), backspace.

[Makowski08b] (*) Makowski, Dirk "Windows XP Tablet PC Edition (Codename "Lonestar"); 2005 edition", www.winhistory.de, fetched September 6, 2008 Screen shots of Windows XP Tablet PC edition, German-language version. Lonestar released in 2002.

[Makowski08c] (*) Makowski, Dirk "Windows Vista", www.winhistory.de, fetched September 6, 2008 Screen shots of Windows Vista, German-language version, 2007. Includes Tablet PC functionality.

[MarriotG09] (*) Marriot, Greg; Bar-Nahum, Guy; and Bollinger, Steve "Touch Pad for https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

21/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Handheld Device", United States Patent 7,495,659, February 24, 2009 Detection of events (gestures?) on a touch-pad and filtering the native coordinates based on those events. Compare with Microtouch, and with Pencept and CIC recognition Macros?

[Microsoft08a] (*) Microsoft Corporation "Integrating Application Gestures", msdn.microsoft.com, ms704819 Windows Vista / Tablet PC: defines gesture as "a glyph that defines the shape traced by the gesture", plus a hotpoint

[Microsoft08b] (*) Microsoft Corporation "Designing for Direct Manipulation", msdn.microsoft.com, ms698539 Tutorial for Tablet PC developers on basic physical differences between stylus/pen interaction with a digitizer, and operation with a mouse. Does not refer to details of mouse/stylus message differece in programming. Tablet resolution in Tablet PC is normalized in software to 0.01 mm. Size of targets, involuntary hand movements, hand/stylus obscuring view of display, hover/proximity feedback with digitizer tablet.

[Microsoft08c] (*) Microsoft Corporation "SystemGesture Enumeration", www.microsoft.com List of System Gestures for Microsft Tablet PC/Vista. Lists Tap and DoubleTap as gestures that work for both system and application. Description for Tap refers to chosing a command from the menu or toolbar, take action if command is chosen.

[Microsoft08d] (*) Microsoft Corporation "Microsoft Tablet PC - Glossary", msdn.microsoft.com, ms840456 Definitions of Application Gesture, Gesture, Application Gesture, Glyph (as ink data). Refers to "Microsoft gesture recognizer" as engine that specifically recognizes ink iput as either system or application commands. "Object regonizer" for recognizing non-gesture, non-handwriting shapes such as musical notation, math notation (i.e. sketch recognition would fall into this). Stroke based on pen down/up. ISF Ink serialized format (similar to JOT?)

[Microsoft08e] (*) Microsoft Corporation "Application Gestures and Semantic Behavior", msdn.microsoft.com, MSDN, fetched February 21 2008 Vista/Tablet PC SDK documentation from MSDN: defined gestures include scratch-out/erase, Triangle/insert, Check-off, Curlicue/fixed (compare with proofreader's marks), Double-Curlicue/copy, double-circle/paste, left-semicircle/undo, right-semicircle/redo, Caret gesture/paste, Inverted-caret/insert, flick left / backspace, flick right / space (compare with GO flick gestures), left/right/up/down corners with directional gestures. See also 2003 version of same reference.

[Microsoft10a] (*) Microsoft Corporation "Touch Gestures", Windows Mobile 6.5, Touch Gestures, dated 4/8/2010 Tap of finger represents left click of a mouse. Mouse events WM_MOUSEMOVE and https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

22/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

WM_LBUTTONDOWN events not coordinated with GID_SELECT message for gesture. Double tap for left double click of mouse, using GID_DOUBLESELECT gesture message. Hold (press-and-hold/dwell) generates separate GID_HOLD message, used to represent right click of a mouse, GID_END messaged at end of hold time threshold. Flick gesture GID_SCROLL message to scroll, GID_PAN gesture to pan (can be after hold gesture)

[MicroTouch08a] (*) 3M Touch Systems (Microtouch) "MicroTouch Capacitive TouchSensor System", 3m Touch Systems, 2008 Capacitive touchscreen/digitior with actuator for haptic feedback, can be mounted to frame/carrier/display for ClearTek II touch sensor touchscreen

[MicroTouch08b] (*) 3M Touch Systems (Microtouch) "MicroTouch TouchPen System for ClearTek II Touch Screens", 3m Touch Systems, 2008 Capacitive touchscreen/digitior that senses either a stylus or a finger touch -- but not both, stylus/pen takes precedence -- stated as palm-rejection

[MicroTouch09a] (*) 3M Touch Systems (Microtouch) "MicroTouch Software MT7 Gesture Application Programming Interface API", 3m Touch Systems, 2009 Microtouch: Software toolkit MT7 for gesture recognition. Refers to "Slow Draw Anomalies" with jagged electronic ink (polling input of touch coordinates on tablet?) Stroke matches (elastic matching?), Strokes and Stroke data objects. Electronic file includes MicroTouch Capacitive TouchSense system with haptic transducer touch feedback for Gaming, 3M MicroTouch Software MT7 User Guide.

[MilekicS09a] (*) Milekic, Slavoljub "Using gaze interactions to interact with a display", United States Patent 7,561,143, July 14, 2009 Using a gaze tracker / visual input to simulate mouse events: no specific reference to gestures, but to graphical user interface

[MilekicS10a] (*) Milekic, Slavoljub "Curriculum Vitae: Slavko Melekic", www.uars.edu/faculty/smilekic/cv.html, Feb 27 2010 Educational uses of touch technology and human/computer design: Please Touch Museum (touch-screen user interface) at Phoenix Art Museum and Cleveland Museum of Art, Dallas Museum of Art: KiddyFace digital environment.

[MistryP08a] (*) Mistry, Pranav and Maes, Pattie "Quickies: Intelligent Sticky Notes", Proc. 4th Int'l Conf. on Intelligent Environments, IE08, Seattle, 2008 Electronic ink application using small outboard (sonic?) digitizer with a PC, and paper with embedded RFID tag. Lets writing/ink be tied to the piece of paper, similar capability to Anoto technology, however RFID can be used to locate the paper (which may be tucked into a book or folder) using RFID technology, retrieve specific notes. Demonstration includes used of deferred recognition to index/search notes. https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

23/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[MistryP08b] (*) Mistry, Pranav and Maes, Pattie "Intelligent Sticky Notes that can be Searched, Located and can Send Reminders and Messages", IUT08, January 13-16, 2008, Maspolomas, Gran Canaria, Spain Electronic ink application using small outboard (sonic?) digitizer with a PC, and paper with embedded RFID tag. Lets writing/ink be tied to the piece of paper, similar capability to Anoto technology, however RFID can be used to locate the paper (which may be tucked into a book or folder) using RFID technology, retrieve specific notes. Demonstration includes used of deferred recognition to index/search notes.

[MistryP10a] (*) Mistry, Pranav "SixthSense: Integrating Information with the Real World", www.pranavistry.com/projects/sixthsense, copyright 2010 Display image can be projected onto any surface, including a hand: tips of fingers (more than one) identified by colored bands on fingertips allow fingers to be detected optically with respect to image, forming an optical digitizer touch surface.

[MiyakiT09a] (*) Miyaki, Takashi and Rekimoto, Jun "GraspZoom: zooming and scrolling control model for single-handed mobile interaction", Proc. MobileHCI09, September 1-18, 2009, Bonn Germany thumb-gesture input combining motion and pressure/force sensing: light touch is move, push-touch is zoom: refers to apple Pinch and Flick gestures for zooming and scrolling, comments that Flick may require multiple flick gestures for long list. Suggests using contact area of fingertip as substitute for pressure/force sensitive digitizer touchscreen.

[MoscovichT09a] (*) Moscovich, Tomer "Contact Area Interaction with Sliding Widgets", Proc. UIST '09, October 4-7, 2009, Victoria, B.C., Canada Address accuracy on touchscreen by selecting all widgets/objects under area of touch (since finger touch contacts and area, not a single pixel), and user moving to activate a particular function: Sliding widget, multi-function widget. Gives example of moving down a scroll list for "History", then flicking a stroke left or right to move forward in history. Click sound on activiation (audible highlight) and also visual highlight.

[MotionComputing08a] (*) Motion Computing, Inc. "Use Shorthand to Create a Gesture", http://www.motioncomputing.com/resources/Shorthand_Gesture.pdf Motioncomputing Tablet PC: Definition of single-letter "gestures" using side-button on stylus: appears functionally identical to "recognition macros" of Pencept PenPad 320 series product circa 1985, and similar feature from CIC HandWriter from about the same time. Press side barrel button on stylus, write one letter or symbol, release side button. Pre-defined keyboard input is invoked. LE 1700.

[MotionComputing08b] (*) Motion Computing, Inc. "Motion moves in on other markets, unveils new product", Austin Business Journal, March 7, 2008 and other press reports Motion Computing F5 Tablet PC, XFR D630 : Ruggedized Tablet PC. Also competing ruggedized tougher-tablet market from Samsung, Sony, Dell Latitude XT convertible tablet. Mentions patent https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

24/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

infringement lawsuit from Typhoon Touch.

[Moto.com10a] (*) labs.moto.com "Blog Archive: DIY Touchscreen Analysis: touchscreen stress test", http://labs.moto.com/diy-touchscreen-analysis Blog posting of testing of touchscreens and multi-touch surfaces: mentions erratic behavior at light touch, edge problems. Features bad behaviors/errors for which Moto touchscreens tend to do well. compare with other papers on digitizer effects and user Interface by Phillips and Ward.

[Motorola10a] (*) Motrolorla "Droid 2 Global User Guide", Motorola, 2010 User guide for Droid 2 Android touchscreen cell phone / smart phone with stylus and finger gestures: touch (tap), touch & hold, hold followed by drag, scrolling. Slide out physical keyboard, no handwriting recognition.

[Motorola10b] (*) Motrolorla "Webtop Application Overview", developer.motorola.com, 2010 Webtop: Desktop extension to Android PDAs and Smartphones: when using external keyboard and monitor (Lapdock station), displays Firefox 3 window executes Android applications within browser: use smartphone as portable PC with external display/keyboard. Filemanager for accessing internal files of smartphone. Electronic file contains additional materials.

[MotusGames08] (*) Motus Games "Motus Darwin product information", http://www.motusgames.com WII-like game controller using accelerometers and magnetic north, rather than infra-red optical digitizer for sensing hand gestures and position. Compare to accelerometer pen from Hew Crane at SRI.

[Mozilla08 (*) mozilla.org "FireGestures 1.1.2 von Gomita", http://addons.mozilla.org/de/firefox/addon/6366 Mouse gestures for Mozilla / Firefox browser, Thunderbird Mail, and Chatzilla. Gesture recognition apparently based on changes in direction. Certain gestures involve right mouse button, mouse wheel.

[MultiTouchTechnology08] (*) multitouchtechnology.com "Multi-Touch Technology", www.multitouchtechnology.com CNN using multi-touch screens from 2006 TED conference. Apple MacBook with Multi-Touch touchpad using two-finger gestures similar to Apple iPod.

[MultiTouchTechnology08b] (*) multitouchtechnology.com "Multi-Touch Technology: Firefox 3.1 Adds Multi-Touch Support", www.multitouchtechnology.com Several announcements of multi-touch gestures in Apple computer products, touchpads, gestures supported in Firefox 3.1: pinch, two-finger scroll by page or window, swipe/flick, mentions fewer number of gestures in Safari web browser.

[MultiTouchVista08a] (*) codeplex.com "Multi-Touch Vista: TouchablePanel code example", https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

25/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

multitouchvista.codeplex.com, fetched Feb 2011, dated 2008 Example WPF code for multi-touch demo on Windows Vista using Multitouch.Framework.WPF.Controls.Windows from schema.multitouch.com

[MurpyC10a] (*) Murphy, Chris "7 Tips for Using the iPad in Business", Information Week, November 1, 2010, page 26 Review of use of iPad touchscreen tablet at Mercedez-Benz Financial: customers sign agreements using iPad, states that development was less difficult than iPhone because display size allowed application to be built as more ordinary web/browser application.

[MurpyG10a] (*) Murphy, Glenn "The Chromium Projects: Tablet", dev.chromium.org, fetched 2010 Proposed tablet/gesture UI user interface for a Chrome OS tablet UI: mentions dwell/hover gester for contextual actions

[MurraySmithR08a] (*) xxx "Stane: Synthesized Surfaces for Tactile Input", Proc. CHI 2008 Multitouch and Surface Computing, April 2009, Florence Italy pp 1299-1302 Haptic/Tactile input device: Hand-held object with various ribbed textures on the surface and piezo macrophone inside: rubbing or stroking a finger across the surface causes vibrations characteristic of the ribbed texture. Control of zoom, volumn, position by stroking different seconds. Additional materials in file: "M" gesture, double-tap with finger gesture to turn UI on/off (for carrying pen computer so that cursor does not move)

[N-Trig09a] (*) N-Trig Corporation "DuoSense Technology", www.n-trig.com July 2009 N-trig digitizer tablet, senses stylus and touch/multi-touch, electrostatic (capacitive) stylus, mentions unintentional touch / hand-rejection Additional materials in file: "M" gesture, double-tap with finger gesture to turn UI on/off (for carrying pen computer so that cursor does not move)

[NaoneE10a] (*) Naone, Erica "New Computer Interface goes beyond Just Touch", Technology Review, April 12, 2010 Multi-modal (haptic?) interface by Ken Hinckley at Microsoft, using both pen and hand. One example is using hand to hold a virtual object stationary on an active surface, and a pen/stylus to tear of a virtual page.

[NaoneE10b] (*) Naone, Erica "Redesigning the Web for Touch Screens", Technology Review, May 04, 2010 Re-designing of web pages for touch input, specifically for the iPad. Cites to Internation children's Digital Library re-design, multi-lingual (pictographic/iconic?) user interfaces was particularly amenable to touch input. https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

26/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[NelsonF10a] (*) Nelson, Fritz "Review: Dan Bricklin's Note Taker HD puts the "Pad" in iPad", Information Week, July 6, 2010 Notetaker application for apple iPad. Appears similar to Daytimer product by Slate in the early 1990s for PenPoint and for Pen Windows: follows paradigm of ink-as-datatype, editing of electronic ink, as in van Raamsdonk

[NelsonF10b] (*) Nelson, Fritz "iPhone 4 Teardown Telegraphs Future iPad Gyro", Information Week, June 24, 2010 iPhone 4 cell phone / tablet contains gyroscope in addition to accelerometer, identifies as InvenSens ITG3200 or STMicro L3G4200D three-axis MEMS gyro.

[NetworkSignatures10a] (*) NetworkSignatures.com "Intermediate Network Authentication", www.networksignatures.com Materials relating to two-factor authentication products (exchange of PK signatures) for iPhones, Javaenabled phones and Blackberry mobile devices, based on patent 5,511,122, licensed from Naval Research Laboratory. Folder contains additional materials.

[NetworkWorld09a] (*) NetworkWorld.com "Researchers develop 3-D squeezable input device", www.networkworld.com, Dec. 01, 2009 Suma, by Cambridge Consultants, squeezable mouse-like input device for three-dimensional input. Article states light-sensitive sensors for pressure/touch, ability to control two points of view simultaneously with one hand.

[NetworkWorld09b] (*) NetworkWorld.com "Nanotouch technology shrinks touchscreen displays", www.networkworld.com, April 7, 2009 Pseudeo-transparency: on small screen, touch screen is on rear of display so that finger does not occlude view of display -- show simulated finger on display when user touches back of display for input. Earlier technology was called Lucid Touch.

[NeuroScript09] (*) NeuroScript "Testing Digitizer / Tablet Linearity", http://www..neuroscript.net software package for measuring performance of tablet digitizers: manual procedures for testing lineary by using diagonal lines, but does not mention velocity-induced errors (compare with Carau)

[NeuroScript10] (*) NeuroScript "MoveAlyzeR Tutorial", http://www..neuroscript.net software package for measuring performance of tablet digitizers: missing coordinates, missing points, non-linearity. Part of offering to for measurements for neuromotor analysis of handwriting motion.

[NextWindow09] (*) NextWindow Inc. "NetWindow Optical Touch Screens", www.nextwindow.com, July 2009 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

27/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Infrared optical digitizer multi-touch flat-panel displays: notes that no optical coating is required on display. Sensors mount at corners of front surface of rectangular glass assembly.

[NewScientist08] (*) NewScientist.com news service "Phones with feeling are more useful", www.newscientist.com, 24 March 2008 VibeTonz vibrotactile haptic/vibration feedback for touch interfaces and touchscreens: VibeTonz is a hardware actuator component for PDAs and devices similar to Apple IPhone

[NewScientist08b] (*) NewScientist.com news service "Fat fingers no problem with 'see-through' touchscreen", www.newscientist.com, 18 December 2008 Fat fingers / touchscreen accuracty: Place touch pad on back side of hand-held touch-screen device, so that finger tip does not obstruct/obscure view of display and where user is touching

[NewScientist09a] (*) NewScientist.com news service "'Fat fingers' can become dainty for touch screens", www.newscientist.com, 24 November 2009 Improve accuracy of touch-screen input by sensing orientation of finger: experimental system to demonstrate used fingerprint scanner to determine orientation of finger

[NewScientist10a] (*) NewScientist.com news service "Putting the touch into touchscreens", www.newscientist.com, 26 April 2010 Review of haptics technologies for touchscreens: vibration to give the illusion that a button protrudes from thes ervice, lateral vibration to simulate the haptic sensation of a sharp edge, high frequency vibrations to simulate a slippery surface, force-feedback systems

[NewScientist10b] (*) NewScientist.com news service "World's first ice touschscreen virtually burns", www.newscientist.com, November 18 2010 Nokia demonstration system of turning blocks of ice into translucent optical touch screen (based on reflected light where hands come into contact), displaying virtual flames where touched.

[Nokia08a] (*) Nokia "Nokia N810 Internet Tablet", www.nokia.com product information Dedicated pen computer with MP3 and auto map software, open-source (Linux). Touchscreen digitizer.

[Nokia08b] (*) Nokia "First glimpse inside Nokia S60 Touch. Going beyond Multi-touch", www.unwiredview.com, January 8, 2008 Review of S60 No-touch / touchless electrostatic touch UI device from Nokia. Allows in-air threedimensional 3D gestures. Compared to "Minority Report" film. Due to patent conflicts with Apple MultiTouch (see Fingerworks), based on Active Matrix LCD with integrated optical touch screen. Gestures include clockwise and counter-clockwise circles, X mark for delete, check mark, lasso / enclosed curve, two finger pinch and expand for zoom.

[Nokia08c] (*) Nokia "Nokia creates a real Minority Report", phonenews.blogs.sapo.pt, January https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

28/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

9, 2008 Review of Nokia publication on in-air gestures, compared with film "Minority Report": clockwise and counter-clockwise circular rotations, pinch and zoom, stationary pointing, X, check mark, enclosed curve / lasso to select.

[Nokia10c] (*) Nokia "Nokia N8-00 User Guide", Nokia.com, fetched Dec 2010 Nokia N8 touchscreen cellphone with network applications.

[Nokia10d] (*) Nokia "Nokia, Microsoft", (various) Folder with information on Nokia and Microsoft Windows 7 phone OS

[Nokia10e] (*) Nokia "Nokia N8-00 User Guide", Nokia, 2010 User guide for cellphone with touchscreen interface. Device includes haptic (vibration) feedback as confirmation on some touch inputs

[nortd.com09a] (*) nortd.com "TouchKit: open source multitouch development kit", labs.nortd.com, fetched 2009 Open source development system (hardware and software) for multi-touch technology, includes projection of images on reflective surface. Also mentions CUBIT multitouch system for rapid implementation of multitouch projects: ofxTouch API for C++ OpenFrameworks on various platforms. File contains additional materials: Zaagtech multi-touch kit

[NorthK06a] (*) North, Ken and D'Souza, Henry "Acoustic Pulse Recognition Enter TouchScreen Market", Information Display, Vol 22 No 12, December 2006, pp. 22-25 Acoustic Pulse Recognition / bending wave sonic touchscreen in contrast to SAW surface acoustic wave, can use plain glass without a coating. Synonyms flexural plate wave and loest order anti-symmetric Lamb wave -- wave disperses, higher frequencies propogate faster, also reflect from edges. Recognizes moment of touching (multi-touch) and dragging (which also causes characteristic acoustic signal), but not multiple points of static contact. Position can be determined by characteristic vibration pattern of location on glass.

[NovaMobility08] (*) Nova Mobility Systems "Nova Mobility Rugged Tablet PC and Handheld Computer Systems", www.novamobility.com NMS-5000, NMS-SUNPAD, Tablet PC, Windows Mobile, Windows CD, Windows XP Embedded. touch-screen based pen computers and PDA's. Licensee of Typhoon Technologies. Market is industrial uses, data collection. Integrated bar code, camera, mag stripe reader. Touch screen with palm rejection -digitizer technology not stated, says resistive touch. Keyboard usable while user wearing heavy gloves. Compare with products by Leo Shpiz for military market.

[Nuigroup09a] (*) NUI Group Authors "Multi-Touch Technologies: Community Book, 1st ed", available at nuigroup.com, May 2009 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

29/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Textbook/tutorial from open-source hardware project for multi-touch (optical: rear diffusion) hardware. Discusses open-source Gesture widget and software libraries, such as X12, GDML Gesture Definition Markup Language, NUIFrame, Grafiti (not the Palm unistroke library), AME Arts, Media and Engineering Patterns Library, other gesture frameworks.

[OdomG08] (*) Odom, Gary "Tool Group Manipulations", United States Patent 7,363,592 B1, April 22, 2008 Tool bar re-configures automatically, changing/re-arranging toolbar menu items depending on what tool user has selected and is using most frequently: file contains press reports on patent assertion against Microsoft. See also www.patenthawk.com (filed under Odom): patenthawk.com

[Ording07a] (*) Ording, Bas "Scrolling List with Floating Adjacent Index Symbols", United States Patent Application 2007/0150830, June 28, 2007 When scrolling, show section/group/index displays next to scrolling with swipe gesture, bounce when hitting end of list.

[Ording08] (*) Ording, Bas "List Scrolling and Document Translation, Scaling, and Rotation on a touch-screen display", United States Patent 7,469,381, December 23, 2008 User-interface on touchscreen (or near-touch) for document dragging: when part of document is dragged, expose another part of the document: also describes "bounce" at end of scroll. Compare with Alternate Reality Kit.

[OuyangTY09a] (*) Ouyang, Tom Y. and Davis, Randall "A Visual Approach to Sketched Symbol Recognition", Proc 2009 IJCAI, pp 1463-1468, Pasadena CA On-line/dynamic character recognition, but using visual features (OCR-like?) rather than dynamic or timesequence recognition. Mentions problems of overlapping/touching sketch symbols and gestures. States that recognizer is rotationally invariant (so what about M and N, E and 3, S and Z, etc.?) Does not describe recognizing handwriting: electrical symbols, powerpoint symbols, etc. File constains additional references for sketch recognition for mechanical-engineering, to 2003

[OuyangTY09b] (*) Ouyang, Tom Y. and Davis, Randall "Visual Recognition of Sketched Symbols", IUI 2009 Workshop on Sketch Recognition, Feb. 8 2009, Sanibel Island, FL OCR-type recognition, mentions doun-sampling of images prior to classifier. See other Ouyang papers. States superior to Graffiti, which requires constrained writing. (Unistroke)

[OuyangTY09c] (*) Ouyang, Tom Y. and Davis, Randall "Learning from Neihboring Strokes: Combining Appearance and Context for Multi-Domain Sketch Recognition", Advances in Neural Information Processing, 2009, pp. 1401-1405 Recognition of clusters of squiggles and angles in a sketch as an indication that the strokes should be parsed together in one object

[OxfordEnglishDictionary10a] (*) Oxford English Dictionary "Oxford English https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

30/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Dictionary/TITLE> www.oed.com, fetched 2010 Definitions of select terms. gesture (with motion), pointer (computer address; screen symbol), stylus (pointer or finger)

[Palm08a] (*) Unknown "Die Palm Pilot History", Posted on scribd.com and handheld.vn, 2008 Compendium of over 100 handheld devices up to 2008 running Palm OS 5.0 on PalmPilot type models, with hardware specifications

[Palm09a] (*) Palm "Palm Pre Benutzerhandbuch", Palm Inc, 2009 User guide (in German) for Palm PRE hand-held touchscreen PDA

[ParkesA08] (*) Parkes, Amanda; Poupyrev, Ivan; and Isshi, Hiroshi "Designing Kinetic Interactions for Organic User Interfaces", Communications of the ACM, June 2008, Vol 51 No 6; pp 58-ff. Organic user interfaces / tangible user interfaces: combination of physical input and haptic/physical feedback, not specific to gesture input. Reference to three-dimensional mechanical digitizers.

[PatelN08] (*) Patel, Nilay "MIT reinvents the Post-It note ... with Post-It notes", www.engadget.com, May 1, 2008 press reports on Quickie handwriting notes using what appears to be the Anoto pen, with an RFID tag (?) embedded in the paper. Also Girton Labs Ixp-Note, post-it note sized small digitizer, form factor like a postit note. Prototype of DPF711K, touch-screen small size with a post-it note sized display from Audiovox, along with Audiovox Digital Message Center. Sony E- Series display/touchscreen digitizer for taking notes.

[PatelPredd09] (*) Patel-Predd, Rachel "The Trouble With Touch Screens", IEEE Spectrum, January 2009, pp 11-12 touchscreens and digitizers using indium tin oxide ITO: indium is scarce resource, alternatives are antimony tin oxide, carbon nanotube, flexible polymer PEDOT

[GreenemeierL10a] (*) Greenemeier, Larry "Magic Fingers: Digging into Multi-touch Technology with Both Hands: Perceptive Pixel chief scientist Jefferson Han has big plans for changing how people use computers", Scientific American, March 5, 2010 Interview with Jeff Han on Multitouch technology by perceptive pixel: states that large screen manipulation is the interesting user-interface area, criticizes capacitive sensing multi-touch input as not scalable to large surfaces or use with gloves compared to frustrated internal reflection

[Peregrine10a] (*) ThePeregrine.com "The Peregrine gaming data glove", ThePeregrine.com, fetched 2010 Electronic gesture data glove, approximately 30 gestures, indented for gaming market. File contains https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

31/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

additional materials

[Perttula08] (*) Pertulla, Drew and McClosky, David "skim text file reader", bigasterisk.com/projects/skim Text file document read with scrollbar highlighting parts of text in the scrollbar

[Physorg08] (*) PhysOrg.com "Smart desks make sci-fi a reality in the classroom", www.physorg.com Durham University in UK, Dr. Liz Burd, Director of Active Learning in Computing: experimental program using multi-touch desk surfaces in education: SynergyNet project of the Technology-enhanced Learning Research Group

[Piquepaille08] (*) Piquepaille, Roland "Multi-touch smart desks in the classroom", zdnet.com, Sept. 17, 2008 Durham University UK experimental SynergyNet project using multi-touch tablet desks for gradeschool education

[PlasticLogic09a] (*) PlasticLogic.com "Plastic Logic Reader", Plastic Logic.com, 2009 ff File on Plastic Logic Reader, electronic ink display with touch-sensitive touchscreen interface: swipe gesture to turn pages.

[Plawa10a] (*) Plava Feinwerktechnik GmbH "Scrivo.1 product information", Plawa.com, fetched 2008, 2010 Optical mouse in a pen-shapped barrel. Newer model includes audio recording: compare with LiveScribe and FingerSystem.

[PocketCalculatorShow10a] (*) PocketCalculatorShow "Seiki Computer Watch Fun", PocketCalculatorShow.com, fetched 2010 Variety of Seiko computer/calculator watches. RC-20, circa 1985, buttonless touchscreen input with 42x32 pixel display, graphical icons

[PolssonK09] (*) Polsson, Ken "Chronology of Personal Computers", Posting at www.islandnet.com Timelines of history of personal computers, back to 1947. Windows for Pen Computing and GO/PenPoint both accounced January 1991.

[PositiveSystems10a] (*) Positive Systems Inc. "POSey POS Point Of Sale product information", www.pos-ey.com fetched 2010 POS system for DOS/Windows95 and later using modified MicroTouch unMouse touch screen to replace mouse. https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

32/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

File contains additional information.

[ProbertML10a] (*) Probert, Matt and Probert, Leela "Research Results for 'SideKick'", www.probertencyclopaedia.com, fetched 2010 Borland SideKick phone dialer dials a phone number found anywhere on the DOS screen

[PryorTR06a] (*) Pryor, T. R. "Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics", United States Patent 7,084,859, August 1, 2006 Touchscreen (not surface) instrumentation control panel for automobile

[Qomo09] (*) Qomo HiteVision LLC "Qomo HiteVision QIT 30 product literature", Qomo HiteVision LLC, www.qomo.com Untethered electromagnetic digitizer, multiple tablets may be used wirelessly to annotate on a common shared whiteboard display

[QuinnM08] (*) Quinn, Michelle "Women put a finger on an iPhone problems", Los Angeles Times, June 16, 2008 Apple iPhone touch-sensitive digitizer does not work for women with long fingernails, or with gloves. Described tongue-in-check as accessibility problem.

[Radivojevic08] (*) Radivojevic, Zoran; Zou, Yanming; Wang, Kong Qiao; Takala, Roope Tapio; Lantz, Vuokko Tuulikki; Lehtiniemi, Reijo; Rantala, Jukka Ilmari; and Vatanparast, Ramin "Apparatus, Methods and Computer Program Products Providing Finger-Based and Hand-Based Gesture Commands for Portable Electronic Device Applications", United States Patent Application US 2008/0005703 A1, Junary 3, 2008 Nokia: In-air finger and hand gestures in front of a PDA or cell phone: describes a sonic/sonar digitizer for detecting hand gestures close to the device, but also mentions electrostatic/capacitive and optical hardware, generally relates to use of in-air hand and finger gestures, not the hardware. Mentioned in other references as multi-touch.

[RantalaJ09] (*) Rantala, Jussi; Raisamo, Roope; Lylykangas, Jani; Surakka, Veikko; Raisamo, Jukka; Salminen, Katri; Pakkanen, Toni; and Hippula, Arto "Method for Presenting Braille Characters on a Mobile Device with a Touchscreen and Tactile Feedback", IEEE Trans. on Haptics, Vol 2 No 1, Jan 2009, pp 28-39 Abstract only, additional materials in file: Vibrating touch screen puts Braille at the fingertips: rhythmic haptic encoding of braille characters similar to Morse code; haptic/tactile display of braille on a touchscreen/multi-touch surface

[RapidRepair10a] (*) RapidRepair.com "iPad Repair Guide: Stay tuned for a shocking tear down of the new Apple iPad", www.rapidrepair.com, fetched 2010 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

33/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Disassembly of Apple iPad: shows separate front-mounted digitizer with transparent screen.

[RayJ10a] (*) Ray, Jim "SAGE: Cold-War Forerunner to the Information Age", Available on eskimo.com SAGE system: information on light gun

[RekimotoJ08a] (*) Rekimoto, Jun "Organic Interaction Technologies: From Stone to Skin", CACM, June 2008, Vol 51 No 6, pp. 38-44 Special issue on organic/graspable/haptic/tangible user interfaces. Deformable/rollable input devices, as SmartSkin, PreSense (pressure-sensing touchscreen surface -- see elastomeric touchscreens?). Examples include HoloWall -- compare with Wellner?

[ReynaA09] (*) Reyna, April S. "Multi-touch Technology", www.wiziq.com, June 6 2009 Internet posting of review of multi-touch technology: Perceptive Pixel, Apple, Microsoft Surface (infrared), Apple iPhone

[RichterH10a] (*) Rcihter, Hendrik; Ecker, Ronald; Deisler, Christopher; and Butz, Andreas "HapTouch and the 2+1 State Model: Potentials of Haptic Feedback on Touch Based In-Vehicle Information Systems", Proc. 2nd Int'l Conf. on Automotive User Interfaces and Interactive Vehicular Application, AutomotiveUI 2010, Nove 11-12 2010, Pittsburgh, PA. pp 72-79 Tactile/Haptic feedback on a touchscreen in an Automotive map user-interface: also tracks finger in proximity, or when not touching firmly. Application of Buxton 3-state model: Out-Of-Range on proximity, active tracking (a.k.a. passive tracking, and pressed.

[RobbinsDC08a] (*) Robbins, Daniel C; Sarin, Raman K;, Horviz, Eric J.; and Cutrell, Edward B. "Advanced navigation Techniques for Portable Devices", United States Patent 7,327,349, February 5, 2008 Browsing or scrolling a document (such as a map) using a virtual semi-transparent overlay over the image of the document: like moving a magnifying lens?

[RosenbergLB07a] (*) Rosenberg, Louis B. "Haptic Feedback Stylus and Other Devices", United States Patent 7,265,750, September 4, 2007 (See also 6,353,427, 6,088,019 Stylus with haptic feedback actuator in stylus tip: feedback can be jolt, vibration, constant force (for a constant time, or at a constant magnitude), or texture. Can also be mounted in a steering wheel axel, motion is perpedicular to steering wheel.

[RosenbergLB09a] (*) Rosenberg, Louis B. and Riegel, James R. "Haptic Feedback For Touchpads and Other Touch Controls", United States Patent 7,592,999, September 22, 2009 (See also 8,031,181, 8,059,105) Haptic force feedback transducer/actuator mounted on back surface of touch surface or tablet, which is mounted on springs to allow motion. https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

34/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[RoudautA09a] (*) Roudaut, Anne; Lecolinet, Eric; and Guiard, Yves "MicroRolls: Expanding Touch-Screen Input Vocabulary by Distinguishing Rolls vs. Slides of the Thumb", Proc. CHI 2009, April 4-9 2009, Boston, Massachusetts, pp. 927-936 Gesture based on rolling of thumb instead of sliding of thumb. Six microroll gestures (four directions, two circular) four slide gestures (direction) four swipe gestures (direction) two diagonal rubbing (rubout) gestures. Instead of marking menus, etc.

[SafferD08] (*) Saffer, Dan "Interactive Gestures: Designing Gestural Interfaces", O'Reily Press, 2008 General tutorial book on gestural interfaces including motion gestures such as Wii, hand-gestures, eyewinks, body motions, multi-touch from Fingerworks and iPhone. Mentions "the Clapper" as a gestural interface with indirect manipulation. First multi-touch device in 1982. Refers to gestures as motions of the human body.

[Samsung10a] (*) Samsung "Galaxy Tab Tablet Mobile Product Information", www.samsungmobile.com, Dec 2010 Samsung Galaxy Tab mobile tlabet device, includes Flash, android operating system. File contains additional material.

[SchmidtD10a] (*) Schmidt, Dominik; Chehimi, Fadi; Rukzio, Enrico; and Gellersen, Hans "PhoneTouch: A Technique for Direct Phone Interaction on Surfaces", Proc UIST '10, October 3-6, New York City, USA, pp. 13-16 Use input of smart phone such as iPhone (inertial input, keys, etc.) long with input from touch surface (simulated with video detection) as user input.

[Schweibenz09] (*) Schweibenz, Eric. W. "eInstruction Corporation Files New 337 Complaint Regarding Certain Collaborative System Products", Press Release, LexisNexis, July 13, 2009 eInstruction whiteboard system using wireless tablets, versus importer Qomo Hitevision of wireless tablets, contributory infringement

[SchweitzerB10a] (*) Schweizer, Bobby "How You Should Guage the Quality of a Touchscreen", www.tested.com, November 12, 2010 overview article on touchscreen products with short notes on multi-touch history, apparently taken from www.buxton.com. States taht "flick" gesture first implemented in 1999: compare with PenPoint flick gestures in 1991?

[SchwesigC08] (*) Schwesig, Carsten "What makes an Interface feel Organic?", Communications of the ACM, June 2008, Vol 51 No 6; pp 67-ff. Organic user interfaces / tangible user interfaces: Gummi flexible display, can be bent as a form of gesture input (for zoom) combined with touchpad / touchscreen sensing. Bending force determines how fast it zooms. https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

35/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[ScottJ10a] (*) Scott, James; Izadi, Shahram; Rezai, Leila Sadat; Ruszkowski, Dominika; Bi, Xiaojun; Balakrishnan, Ravin "RearType: Text Entry Using Keys on the Back of a Device", Proc. MobileHCI 2010, September 7-10, 2010, Lisbon. User interface with physical keyboard on rear of hand-held (two hands) display: compare with LucidTouch

[SensAble09] (*) Sensable Technologies "Haptic Devices and Toolkits for Haptic Application Development", www.sensable.com Product information on hand input devices with haptic force feedback: mechanical linkages. Force/touch effects include constant/gravity, viscosity, 3D friction, spring, friction, siffness, damping, front/back faces of virtual objects.

[ShannonMM08] (*) Shannon, Meg McGinity "This Menu has changed: Innovative interfaces will give wireless the golden touch", Communications of the ACM, May 2008, Vol 51 No 5, pp 1921 Essay on multi-touch interfaces, gesture with iPhone. Jeff Han cited as multi-touch. GestureTek video gesture recognition -- GestureTek in business since late 1980s.

[ShenE09a] (*) Shen, Ehr-li (Early); Tsai, Sung-sheng (Daniel); Chu, Hao-Hua "Double-side Multi-touch Input for Mobile Devices", CHI 2009, April 2009, Boston MA, pp. 4339-4344 Multitouch touchpanel on back/rear of PDA/iphone so that display is not obscured. Multi-touch gestures (e.g. two-finger "grab"), fingertip positions displayed with small cursors on front display. Also doubleside input multi-touch gestures on both sides at same time.

[ShermanE09] (*) Sherman, Erik "Can Apple's MultiTouch Patent Withstand Scrutiny - or Challenge?", BNET Technology Insights, Feb 6th 2009: www.bnet.com Review of published patent application relating to iPhone/Fingerworks touch gestures

[Shneiderman10] (*) Shneiderman, Ben and Plaisant, Catherine "Designing the User Interface: Strategies for Effective Human-Computer Interaction, 5th Edition", Addison-Wesley, publishers 2010 University textbook on computer-human interaction - Earlier editions 1987, 1998. Discussion of direct manipulation, with Microsoft Office as an example -- direct manipulation because you have WYSIWYG behavior in the document, not because it is a tangible user interface. One chapter on input devices talks about pointing/digitizer input, Graffiti, some use of gestures.

[Smart10a] (*) SMART Technologies "SMART Technologies Inc. PROSPECTUS", www.smarttech.com SMART board interactive whiteboard digitizers, with digital ink: Prospectus for public offering

[Spiegel09a] (*) Der Spiegel "Apples neue Maus hat keine Tasten", Der Spiegel, Germany: https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

36/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

October 20, 2009 multi-touch mouse has no wheels or buttons: uses a touch surface.

[Spiegel10a] (*) Der Spiegel "Warum viele Blinde das iPhone lieben", Der Spiegel, Germany: October 17, 2010 Review of VoiceOver for iPhone: refers to gesture input on touchscreens has being the solution for visually-impaired/blind computer access

[Spiegel10b] (*) Der Spiegel "Cebit vor zehn Jahren: Ipad-Opa und BluetoothWaschmaschinen", Der Spiegel, Germany: Feb 28, 2010 Mentions skeye.pad webpad tablet computer at Cebit 2000 about the time of the Tablet PC introduction by Microsoft: Wireless connection, Webpanel, touchscreen interface with browser.

[Stantum09a] (*) Stantum.com "PMatrix: The unparalleled Multi-Touch detection firmware", www.stantum.com Formerly known as JazzMutant / Lemur. Resistive-grid multi-touch detection using X/Y addressable nodes in a grid pattern, notes that it works with any touch stylus, unlike capacitive digitizer. Includes gesture-recognition software for pinch, twist, rotate, close, zoom gestures. Mentions bounce on scroll action, similar to iPhone/iPad?

[Stantum09b] (*) Stantum.com "Unlimited multi-touch", www.stantum.com Resistive-grid multi-touch detection using X/Y addressable nodes in a grid pattern, notes that it works with any touch stylus, unlike capacitive digitizer.

[Stantum09c] (*) Stantum.com "Stantum adds Finger-Pressure Detection to Its Patented PMatrix Multi-Touch Detection Platform", www.stantum.com pressure/force-sensing multi-touch resistive touchscreen digitizer.

[StewartWM09a] (*) Stewart, Walter Mason; Carrera, Marcelo; and Hook, Robert G. "E-Mail Virus Protection System and Method", United States Patent 7,506,155, Marcy 17, 2009 Filter Email for virus detection by executing program on another computer to check before sending to email recipient: send recipient converted file (e.g. PDF) instead. Virus is assumed to be executable code.

[Sobell08a] (*) Sobell, Mark G. "A Practical Guide to Red Hat Linux, Fourth Edition.", www.sobell.com/RH4 (author publication) Definition Input Focus

[SuehleR10a] (*) Suehle, Ruth "Five open source alternatives to the iPad", opensource.com, 4 Apr 2010 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

37/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

web tablets, open source: Neofonie WePad with Android OS, TouchBook, iFreeTablet, MSI Taiwanese tablet with Android, Asus / Asusteck Eee Pad, rumored Google Tablet.

[SutantoH10a] (*) Sutanto, Herry; Spencer, Richard L; Landstad, Todd M.; Bhattacharyay, Subha; Wang, Haiyong; and Jones, F. David "Controlling Multiple Map application Operations with a Single Gesture", United States Patent 7,752,555, July 6, 2010 Using feature points/characteristics of a gesture in carrying out the operation of the gesture: characterizes this as performing multiple operations. Examples include endpoints and apex point of a checkmark. Compare with using single or multiple hotpoints of a gesture?

[Tabletized09] (*) www.tabletized.com "Journey to the beginning of Tablets. The Apple Newton.", www.tabletized.com, fetched 2010 History of Newton development: Walter Smith developer of NewtonScript object-oriented programming language. Original price for Newton Toolkit was $1000. Developers of Newton Toolkit: Norberto Menendez, Ben Sharpe, Peter Potrebic. Appears to be copy of Wikipedia article on Newton (platform).

[TaubDM09a] (*) Taub, Daniel Matthew "The BoPen: A Tangible Pointer tracked in Six Degrees of Freedom", Master's Thesis, EECS/MIT, August 21, 2009 Electronic copy only. Light-pen-like device using projected barcode pattern, projector uses switchable diffuse/clear surface that can project onto the surface and also see objects above the surface. Credits Doug Englebart with first GUI graphical user interface. Cites to this bibliography and to this collection by name "which made my related works section both more interesting and immensely more time-consuming"

[TechHotSpot10a] (*) Unknown "Pen Computing", www.iturls.com/English/TechHotspot/TH_pen.asp Compendium of URL links to pen computing, lists this reference. Terminology: uses Diagram Recognition for Sketch Recognition, includes several Chinese commercial handwriting recognition / pencomputing links.

[TechnologyReview08a] (*) Technology Review "Mouse for 3-D Navigation; Do-It-Yourself Multitouch Display", TechnologyRview, July/August 2008, page 30 SpaceNavigator 3-D mouse, www.3dconnexion.com -- six-degrees-of-freedom joystick-like input device. nortd.com TouchKit -- open-source multitouch table input tablet, apparently optical

[Tekscan07a] (*) Tekscan, Inc. "Tekscan Pressure and Force Measurement Technology", Tekscan Inc, South Boxton MA, 2007 (fetched 2012, www.tekscan.com) Force/pressure touch sensors using maxtrix of condoctores and pressure-sensitive conductive ink, can sense multiple touch points by scanning each node

[TheEngineer08a] (*) The Engineer "Magic touch", www.theengineer.co.uk, July 28, 2008 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

38/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Review of some touch-screen and haptic technologies (seems to confuse "haptic" with "touch-input"). Roope Takala, Haptikos project at Nokia. Christophe Ramstein, Immersion corporation. Gary Todd, Virtual Veins. Mark Williams, Warwick Manufacturing Group (WMG), UK. iPhone.

[ThreeDconnexion08] (*) 3dConnextion "Perfekter Begleiter fuer Globe Strotter: 3Dconnexion stellt SpaceNavigator for Notebooks vor", www.3dconnexion.de Press release for SpaceNavigator, three-dimensional mouse pointing device, using force/pressure for up and down, also rotation.

[TIPB10a] (*) TIPB.com "New Gesture in iPhone SDK 3.2 for iPad", tipb.com, March 10, 2010 Additional gestures for iPhone: Pinch-in/out/mix, Rotate-(anti)clockwise, 3Tap, etc.

[ToepkeMG08a] (*) Topeke, Michael G.; Blum, Jeffrey R.; and Parker, Kathryn L. "Soft Input Panel System and Method", United States Paten 7,411,582, August 12, 2008 Virtual Keyboard and other devices simulating actual devices by generating system messages same as drivers (e.g. keyboard driver) for physical input devices. SIP Soft Input Panel.

[Touchco09] (*) TouchCo "Touchco IFSR Multi-touch Resistive Sensors", www.touchco.com Commercial company with touch/pressure sensitive digitizer using IFSR Force-sensitive resistor ink.

[Touchco10a] (*) TouchCo "Touch User Interface - Touch Screen and Multi Touch", www.touchco.com Detailed description of IFSR (ink force-sensing resistor) multi-touch touchscreen: Stantum / Touchco

[Touchtisch08] (*) Touchtisch Projekt "Touchtisch Ausgabe 01: Erste Erfolge", (in German) Touchtisch Projekt, Brauneggerstrasse 55, Konstanz, Germany, touchtisch.wordpress.com Student project on touch-sensitive interface, using in part a Wii hardware digitizer and Flash (software) on a MAC.

[TyphoonTouch09] (*) Typhoon Touch Technologies "Typhoon Touch Technologies, press information", www.typhoontouchtechn.com Licensing company for two patents (see CloughWA) relating to application generators for tablet/pen computers. Company originally formed to distribute MP3 files. Press reports on settlements with Electrovaya, Motion Computing. See also Nova Mobility (product partner). EDGAR report states that original purpose of company was to sell MP3s on-line, acquired patents from Nova Mobility Systems. See file folder for patent information.

[vanMensvoortK09a] (*) van Mensvoort, Koert Martinus "What You See is What You Feel", Eindhoven University of Technology, 2009, ISBN: 978-90-386-1672-8 PH.D. Thesis on haptic touch user interfaces. Force-feedback, mechanically simulated or optically https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

39/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

simulated (via cursor displacements) or via animation of stickiness. Changing cursor cited to 1988 for WIMP interfaces. Dynamic cursor invented 1968 by Engelbart. References to force-feedback back to 1990.

[VertegaalR08a] (*) Vertegaal, Roel and Poupyrev, Ivan "Organic User Interfaces", CACM, June 2008, Vol 51 No 6, pp. 26-30 Introduction to special articles on organic/graspable/haptic user interfaces. Credits Alan Kaye (indirectly) for inspiring the Tablet PC. Deformable/rollable input devices, such as paper that can be bend or folded.

[VilppulaM09] (*) Vilppula, Matti; Mattila, Arto; and Niemi, Markku "Method and Device for Position Determination", United States Patent 7,558,696 Handheld mobile (cellphone) device using GPS and other means for determining geographic position, API picks available means/method that meets accuracy requirements specificed via the API

[VogelD10a] (*) Vogel, Daniel "Direct Hand Input and Hand Occlusion", Ph.D. Dissertation, U. Toronto Dept. of Computer Science, 2010 Hand occlusion for pen input: points out problems of that pen / handwriting / gesture recognition is used with legacy/existing software. Pen input faster than pointing with a mouse -- compare with observations on Windows for Pen Computing and GO/PenPoint in early 1990's.

[Walkenbach08a] (*) Walkenbach, John "Lotus 1-2-3 Release History", jwalk.com/ss/123/index.htm History of Lotus 123 Release dates: First Windows (non-DOS) version in 1991, Lotus 1.0 for Windows. Via Voice speech voice recognition added in 1998.

[Walkenbach08b] (*) Walkenbach, John "Excel 2007: Where It Came From", "Excel 2007 Power Programming with VBA", Wilely.com: j-walk.com, Chapter 1 Excerpt Release and development history of Excel spreadsheet program: cites provenance from VisiCalc available at www.bricklin.com; Lotus 1-2-3

[WalkerG10a] (*) Walker, Geoff "Touch Technologies Tutorial", walkermobile.com, last update of April, 2010 Tutorial on touchscreen techologies. Haptic feedback. Distinguishes Touch Screens (passive) from Active Digitizers. Flexible displays. Non-multi-touch: analog resistive, Surface Acoustic Wave (SAW) Surface Capacitive (electrostatic), Traditional infrared (IR), EMR Electromagnetic Resonance, APR Acoustic Pulse Recognition, DST Dispersive Signal Technology, Force sensing (Vissumo). Multi-touch: Projected capacitive, LCD In-Cell (Optical, Switch, Capacitive), Optical, digital resistive, Waveguide infrared (RPO), Vision-base optical (e.g. includes FIR/FTIR). Figures on major vendors, market share. Alternative materials to ITO. No treatment of electromagnetic, acoustic/sonar, or Anoto pattern?

[WardM10a] (*) Ward, Mark "Skin becomes gadget control pad", BBC News, March 26, 2010 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

40/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Skinput: acoustic digitizer mounted on arm: must learn/be trained to recognized characteristic sound of tapping on different parts of the skin surface.

[WestermanWC06a] (*) Westerman, Wayne Carl and Elias, John G. "System and Method for Packing Multi-Touch Gestures onto a Hand", United States Patent 7,030,861, April 18, 2006 Multi-touch gestures with hand neutral (closed) and hand open, for twice as many chorded gestures. E.g. hand neutral four fingers for scroll, hand open four fingers for page up/down.

[WestermanWC08] (*) Westerman, Wayne Carl; Lamireaux, Henri; and Dreisbach, Matthew Evan "Swipe Gestures for Touch Screen Keyboards", United States Patent Application Publication 2008/0316183 A1, December 25, 2008 Swipe gestures by moving finger across keys on (simulated) keyboard touch-screen: compare with 1980's Japanese calculator in collection?

[WestlyE10a] (*) Westly, Erica "A Layman's Guide to the Tablet PCs of 2010", www.fastcompany.com, January 14, 2010 Review of "slab-form" tablet PCs, including Android and rumored apple iSlate. Lenovo IdeaPad U1 running Linux with multitouch tablet as display portion of Windows PC, Plastic Logic e-reader with multi-touch capacitive digitizer and annotation, dual-screen courier tablet (Microsoft?)

[WhiteJ09a] (*) White, Jeremy "Multi-touch Interfaces and Map Navigation", Master's Thesis, (Catography and GIS), U. Wisconson/Madison, 2009 Physical design of large rear-projection multi-touch interactive surface (FTIR Frustrated Total Internal Reflection: see Han). Contains review of usability of multi-touch gestures over mouse/keyboard. Describes algorithm for finding "center" of finger-touch blob for pointing.

[Wikipedia08a] (*) en.wikipedia.org "Mouse gesture", en.wikipedia.org/wiki/Gesturebased_interface General reference on mouse gestures: history first mouse gesture (not using a pre-defined shape) was "drag" by Apple to replace a dedicated "move" button on the mouse. Cites lack of feedback to show that the gesture was recognized correctly (showing actual gesture: compare with GO/Agulnick), and visibility to make gestures easy to learn. Cites to Buxton for awkwardness of mouse as a gesture device compared to stylus and tablet digitizer.

[Wikipedia08b] (*) en.wikipedia.org "Post-WIMP", en.wikipedia.org/wiki/Post-WIMP Post-WIMP: defines as paper sheet user interface, contrasted to WIMP Windows Icons, Menus, Pointing device user interfacse. See Andries van Dam

[Wikipedia08c] (*) en.wikipedia.org "Scrollbar", en.wikipedia.org/wiki/Scrollbar Mentions google chrome browser scroll bar which places highlights/marks in trough of vertical scroll bar to indicate places where term was found that user was looking for in a web page https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

41/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

[Wikipedia08d] (*) en.wikipedia.org "Wang Laboratories", en.wikipedia.org/wiki/Wang_Laboratories, fetched 2008 Wang Laboratories Freestyle electronic ink/voice whiteboarding and communication desktop system using Hitachi digitizer: has link to Freestyle demonstration video

[Wikipedia08e] (*) en.wikipedia.org "WIMP (Computing)", en.wikipedia.org, fetched 2008 WIMP user interface: window, icon, menu, pointing device: mentions post-WIMP (Andries van Dam)

[Wikipedia10a] (*) en.wikipedia.org "Handwriting movement analysis", en.wikipedia.org/wiki/Handwriting_movement_analysis Cites to Teulings and Jean Renard Ward. Mentions early history of pen-input devices and handwriting tablets: Scripture 1895 devices for storage of pen positions, McAllister 1900

[Wikipedia10b] (*) en.wikipedia.org "Xcode", en.wikipedia.org, fetched 2010 Xcode IDE and development tools superceded Project Builder IDE, which was derived from NeXT IDE and tools.

[Wikipedia10c] (*) en.wikipedia.org "SideKick", en.wikipedia.org, fetched 2010 Borland SideKick PIM / Personal Information Manager for DOS: included calendar, text editor, calculator, and address book / phone dialer. Over one million copies sold in first three years (starting 1983). Later development done by Starfish Internet Sidekick.

[Wikipedia10d] (*) en.wikipedia.org "Ken Knowlton", en.wikipedia.org, fetched 2010 Biography on Ken Knowlton: cites to patent 3,879,722 on automatically relabeled keys/button (soft button lables) by projection, graphical flip book from Freestyle at Wan, character/handwriting recognition with Jourjine

[Wikipedia10e] (*) en.wikipedia.org "Multi-Touch", en.wikipedia.org, fetched 2010 Review article on Muli-Touch: states that 1982 movie "Tron" shows Muli-Touch -- compare with Tog's movie?

[Wikipedia10f] (*) de.wikipedia.org "Gestenerkennung", de.wikipedia.org, fetched 2010 Wikipedia: Gesture recognition. Describes gesture as motion of human body, does not mention pen or tablet gestures. Also on www.spiegel.de

[Wikipedia10g] (*) en.wikipedia.org "Gesture", en.wikipedia.org, fetched 2010 Wikipedia: Gesture. Describes gesture as visible body actions communicate particular messages.

[Wikipedia10h] (*) en.wikipedia.org "Gesture Recognition", en.wikipedia.org, fetched 2010 https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

42/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

Wikipedia: Defines gesture recognition as recognizing human (body motion) gestures, not PenPoint-type gestures.

[Wikipedia10i] (*) en.wikipedia.org "Pointing Device Gesture", en.wikipedia.org, fetched 2010 Wikipedia: Gesture for pen computing. States that "drag" was first gesture on apple Macintosh, involving motion while holding down mouse button.

[Wikipedia10j] (*) en.wikipedia.org "Pen computing", en.wikipedia.org, fetched 2010 Wikipedia: Pen computing -- contains (lengthy) historical notes going back to 19th century. direct manipulation/ handwriting recognition / gesture recognition. Absolute/relative pointing/locator input.

[Wikipedia10k] (*) en.wikipedia.org "Pie menu", en.wikipedia.org, fetched 2010 Wikipedia: Pie menu. Cites early references to pie meus to 1970s, as a gesture gestural user interface (similar to "drag" gesture?), makes assumptions about heirarchical menus and ability to chain multiple levels of menus.

[Wikipedia10l] (*) en.wikipedia.org "History of Microsoft Windows", en.wikipedia.org, fetched 2010 Wikipedia: Historical timeline of Microsoft Windows operating system. DOS addressing modes replaced with Windows 95. No mention of Windows for Pen Computing, or of Tablet PC. Comparison with OS/2.

[Wikipedia10m] (*) en.wikipedia.org "Windows CE 3.0", en.wikipedia.org, fetched 2010 Wikipedia: Windows CE 3.0 operating system ca. 2000 for palm-top pen computers, touchscreen digitizer. Reference has no information on gesture input. See also Windows

[WingfieldN09] (*) Wingfield, Nick "Notes for Tablet Aware Application Developers", Wall Street Journal, January 12, 2009 Mentions touch gestures on Windows 7 not working well, HP implementing alternatives

[WitternH09a] (*) Wittern, Hauke "Sketch Recognition", Colloquium of the Hochschule fuer Angewandte Wisstenschaften Hamburg, May 28, 2009 Review of Sketch Recognition, cites to ASSIST system (and video) from M.I.T. and to Sutherland Sketchpad. Research focus is multi-touch input for sketch recognition in programming tools. Additional materials in electronic file

[WobbrockJO06b] (*) Wobbrock, Jacob O. and Myers, Brad A. "From Letters to Words: Efficient Stroke-based Word Completion for Trackball Text Entry", Proc. ASSETS '06, October 22-25, Portland OR, EdgeWrite unistroke/graffiti gesture/character recognition using joystick input, with auto-completion / suggested completion of words at the corners. Similar to approach for Tackball EdgeWrite. User moves to https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

43/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

edge limits when making character, somewhat similar to zone-based recognition.

[WobbrockJO07a] (*) Wobbrock, Jacob O.; Chau, Duen Horng; and Myers, Brad A. "An Alternative to Push, Press, and Tap-tap-tap: Gesturing on an Isometric Joystick for Mobile Phone Text Entry", Proc. CHI 2007, april 2007, San Jose, pp. 667-676 EdgeWrite unistroke/graffiti gesture/character recognition using joystick input, similar to approach for Tackball EdgeWrite. User moves to edge limits when making character, somewhat similar to zone-based recognition.

[WobbrockJO10a] (*) Wobbrock, Jacob O. and Myers, Brad A. "Using Edges and Corners for Character Input", United Statest Patent 7,729,542, June 1, 2010 EdgeWrite unistroke/graffiti gesture/character recognition using joystick input, similar to approach for Tackball EdgeWrite. User moves to edge limits when making character, somewhat similar to zone-based recognition. Chart of input alphabet, similar to presentation of Grafitti.

[WooYoung09] (*) Woo-Young, Kwak; Seung-Jun, Lee; and So-Young, Park "Scrolling method of mobile terminal", United States Patent Application 20090070711 Scrolling in mobile terminal, with feedback when the scrolling hits the last item of a menu list. Refers to flick gesture input, and to a graphical effect being displayed at the end of scrolling.

[WordNetWeb10a] (*) WordNetWeb "Stroke; Stylus", wordnetweb.princeton.edu, fetched Feb 2011 Definition of stroke Definition of stylus

[Zeleznik08a] (*) Zeleznik, Robert; Bragdon, Andrew; Liu, Chu-Chi; and Forsberg, Andrew "Lineogrammer: Creating Diagrams by Drawing", Proc. UIST 08, pp. 161..170 Prettyfying graphical editor for line drawings: limited use of snap-to grid, heuristics to recognize drawings or text or gestures; double-circle / lasso gesture to select, pigtal lasso to delete (compare Scriboli), a GestureBar, scribble/scratch out, undo gestures similar to W4PC, zig-zag for zoom in / out, polilines, press-and-hold/dwell for panning. Uses timeout for distinguishing characters versus drawing. Supports overdrawing to connect disjoint lines. Vertex dragging.

[Zibreg09] (*) Zibreg, Christian "Apple's A-bomb against Palm: A 358 page iPhone patent", www.tgdaily.com, January 27, 2009 Reference to Palm Pre and Apple iPhone and unspecified patent claims concerning separate gesture area from display touchscreen in hand-held device

       Main Reference Page       

https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

44/45

10.2.2015

(2008..2010) History of Pen and Gesture Computing

https://web.archive.org/web/20130502040451/http://rwservices.no-ip.info:81/pens/biblio10.html

45/45

10.2.2015

(2011..present) History of Pen and Gesture Computing http://rwservices.no-ip.info:81/pens/biblio15.html

Go

6 captures 21 Jul 11 - 2 Mai 13

FEB MAI JUN

Close

2012 2013 2014

Help

2

Histor y of Pen and Gestur e Computing:  Annotated Bibliogr aphy in On-line Char acter  Recognition, Pen Computing, Gestur e User  Inter faces and Tablet and Touch Computer s Refer ences fr om the appr oximate year s 2011 to pr esent. This compilation and all annotations are copyright © Jean Renard Ward, 1993, 2004, 2011.  Permission is granted to use this information in publication, including confidential reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  Source: Annotated Bibliography in On‐line Character Recognition, Pen Computing, Gesture User Interfaces and Tablet and Touch Computers Copyright Jean Renard Ward

These are items in my personal collection, either as physical items or (sometimes) as PDF files. I can be contacted at [email protected].  Copyright © Wed May 1 08:14:54 EDT 2013 .  Mirrors of this page can be found at:  http://users.erols.com/rwservices/pens/biblio15.html http://216.15.114.196:81/pens/biblio15.html http://rwservices.no-ip.info:81/pens/biblio15.html (Generally most up-to-date)

       Main Reference Page        [Acer11a] (*) Acer Corp. "Acer ICONIA dual-screen touch PC: product information", Acer.com fetched 2011 Dual-screen folding tablet PC touch computer: compare with Reefalo, Sony S2

[Alps12a] (*) Alps Electric "Touch Input Devices - Electronic Components - Alps Electric", www.alps.com, fetched 2012 Vendor of touchscreen, touchpad, tablet devices. Capacitive and resistive touchscreens, touch sensors/switches, GlideSensor

[AndroidCookbook11a] (*) Cowham, Adrian "Android Recipe for Haptic Feedback", Receipt Haptic Feedback (Recipe 1242, Revision 2945) in Android Cookbook: A Crowd-sourced Cookbook on Writing Great Android Apps: chapter 7, Graphical User Interface

Programming example for haptic feedback using Android vibrator actuator (Motorola Xoom has no vibrator) in response to OnTouch events.

[AshbrookD10a] (*) Ashbrook, Daniel and Starner, Thad "MAGIC: A Motion Gesture Design Tool", Proc. CHI 2010, April 10-15, Atlanta. 10 pages Trainable gesture recognition system by example. Includes some automaticion for false positive and

https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

1/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

recognition error rates. Input device is three-axis accelerometer, like a Wii.

[Asus11a] (*) Asus "Eee PC T101MT product information", usa.asus.com, fetched 2011

Eee PC T101MT multi-touch tablet PC. Resistive (?) touchscreen digitizer, netbook size laptop with swivel display to fold into tablet/notebook configuration: compare with earlier HP Tablet PCs running XP/Tablet PC version of Windows. Windows 7 multi-touch software. Also uses stylus. File contains additional materials.

[BedersonBB11a] (*) Bederson, Benjamin B. "The promise of zoomable user interfaces", Behavior and Information Technology, Vol 30 No 6, Nov 2011, pp. 853-866 Zoomable user interfaces: more information than fits on the screen. Broad review of applicable techniques and considerations.

[Bluecava11a] (*) Bluecava.com "How it works: the unique fingerprint of an electronic device", www.uniloc.com, fetched January 2011

Copy-protection / anti-piracy patent 5,490,216 on generating license code from information of system on which software will execute: litigation involving Microsoft. Applications include acting as "super-cookie" for targeting advertizing to particular individuals. File contains additional materials. See also Uniloc file.

[BogueA11a] (*) Bogue, Adam "Filtering input stream in a multi-touch system", United States Patent Application 2001/0175827, July 21, 2011 On a multi-touch tablet, only respond to the first touch, ignore additional touches. Or assign additional input streams to the input stream of the first touch.

[BoscagliaNS11a] (*) Boscaglia, Nuno Simao; Gaudio, Lucas Avancik; and Ribeiro, Moises Renato Nunes "A Low Cost Prototype for an Optical and Haptic Pen", Proc. Biosignals and Biorobotics Conf., Brazil, January 2011, pp. 1-4 Pen stylus with photodiode and tip-force (pressure) sensors on front, solenoid for haptic feedback on top. Optical photodiode can sense light intensity from LCD or CRT, looks like position sensing was up to the tablet digitizer (e.g. resistive film).

[BrownSR12b] (*) Brown, Sean Rigby; Long, James G.; Patel, Jithesh Kumar; Walmsley, John Geoffery; Egan, James Authur; and Acs, Teresa "White Board Operable by Variable Pressure Inputs", United States Published patent Application 2012/0176328 A1, July 12, 2012

Operating a pressure (force) sensitive whiteboard based on gestures, degree of pressure, and multi-touch inputs, also coupled with a display. Appears to be about the user interface.

[BuxtonWA11a] (*) Buxton, Bill "Some Milestones in Computer Input Devices: An Informal Timeline", billbuxton.com: fetched 2011

Lightgun 1950 from SAGE; Lightpen 1959; Glove based keyboard 1963 (DataGlove?); Graphics Tablet as Rand Tablet (Not Styalator?); 3-D three demnsionsl digitizer 1966; Videoplace dwell-time pointing 1985.

[CeislaCM12a] (*) Ciesla, Cragi Michael and Yairi, Micah B. "User Interface System", United States Patent 8,179,377, May 15, 2012

Tactile display raises bumps in a flexible touch surface by pumpling fluid via a fluid network into small reservoirs or cavities under the flexible sheet. May be combined with a touch sensor of any sort, surface bumps define regions and user may press or touch proximately. May provide haptic feedback, also.

[CopelandL11a] (*) Copeland, Lee "Technically Speaking: Works as Designed", Better Software, May/June 2011, p. 13 (www.stickyminds.com)

Editorial on the fallacy of meeting specifications: working to specification does not guarantee reliability for successful function. Example is Japanese atomic reactors in a tsunami.

[DesourdisRI11a] (*) Desourdis, Robert I. Jr; Vest, Kevin F.; O'Brien, Mark; and Mulholland, David J. "Digital Television for Homeland Security: Broadband Datacast for Situational Awareness and Command Coordination", Proc. 2011 IEEE Int'l Conf on Technologies for Homland Security (HST), 15-17 Nov. 2011, pp. 32-42 Datacasting full-bandwith to all receivers, unlike IP protocols: mentions IP video, gospatial visualization (maps), data files, text messages, any digital media.

https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

2/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

[EiblM11a] (*) Eibl, Maximilian and Ritter, Marc "Uebermedien Uebermorgen: Workshopband Mensch und Computer 2011", Workshop proceesing der Tagung Mensch und Computer 2011, Technische Universitaet Chemnitz, Germany, August 2011 (in German)

(in German and English) Workshop proceedings and papers for tracks Entertainment Interfaces and Mensch und Computer (Human and Computer) includes Photosurface: Multitouch light-table for professional Photographers, Combining Active and Passive Haptic Feedback for Rich Stylus Interactions, Design decisions for tangible objects, Collaborative work in interactive displays, Skintimacy: electronicized skin as music input device, Psychoacoustic audiovision, Haptic Drum Toolkit

[ExpertGlossary12a] (*) ExpertGlossary.com "Input Focus", ExpertGlossary.com, fetched 2012 Definition Input Focus

[FoleyMJ11a] (*) Foley, Mary Jo "Microsoft makes OneNote free on the iPhone.", zdnet.com, January 18, 2011 Microsoft OneNote note-taking application available on iPhone (iPad?) from Microsoft. Allows collaborative sharing of notes on Windows PC, Window Hpone 7, and iPhones.

[GargentM11a] (*) Gargenta, Marko "Learning Android", O'Reilly Publishers, 2011 Development tutorial for Android operating system: tap, long-press (press-and-hold)

[GoertzGM11a] (*) Goertz, Magnus George "Touch Screen for Mobile Telephone", United States Patent 7,880,732, Feb 1, 2011 (filed 2002) Optical touch-screen digitizer, using LED emitters on edge with reflective mirror to direct across/above surface of hand-held display. See also Neonode file.

[GoertzGM11b] (*) Goertz, Magnus; Eriksson, Thomas; Shain, Joseph; Jannson, anders; Kvist, Nikls; Pettersson, Robert; Sparf, Lars; and Karlsson, John "Pressur-sensitive Touch Screen", United States Patent Application 2011/0181552, July 28, 2011 Optical touch-screen with pressure (force) sensing, using LED emitters. Light emitters and receivers are behind transparent touchscreen digitizer, which is in a housing that permits screen to be depressed.

[GrahamRoweD11a] (*) Graham-Rowe, Duncan "Give Your Dashboard the Finger: an in-car interface helps drivers keep their hands on the wheel", Technology Review, February 2, 2011: also available at www.technologyreview.com

Press article one multi-modal user interfaces including finger and hand gestures using proximity-sensing touch digitizer and visual at Deutsches Forschungszentrum fuer Kuenstliche Intelligenz, Christian Mueller. Dubbed Geremin, reference to Theremin proximity sensor. Additional materials in file. Compare with BreedDS06a. See also "Geremin: 2D Microgestures for Drivers Based on Electric Field Sensing"

[GrayRO12a] (*) Gray, R. O'Neal "Apparatus and method for interactive display with tactile feedback", United States Patent 8,115,745, February 14, 2012

Display a keypad image for user input when in an interactive mode (software expects input), and not display keypad image otherwise, combined with a physical keypad over the display that gives tactile feedback (vibration?) for the locations of the keys being displayed.

[HagerH11a] (*) Hager, Harald and Burku, Sascha "A historical overview of tablet computing, GUIs and hypertext", Seminararbeit Software Research Center, Univ. of Salzburg, Austria, 2011, available at http://www.softwareresearch.net/fileadmin/src/docs/teaching/SS11/SaI/seminararbeit_burku_hager.pdf Yes another history of pen / tablet computing, going back to NLS, Sage and Sketchpad. Has color photographs of Rand Tablet and Palm Pilot. PenPoint notably absent.

[HeubelRW12a] (*) Heubel, Robert W. and Grant, Danny A. "Multi-touch Device Having Dynamic Haptic Effects", United Statest Patent 8,098,235, January 17, 2012

Sense more than one touch and generate a haptic effect, including generating the effect only at the points of touch. Compare with optacon devices?

[HotellingSP11a] (*) Hotelling, Steve Porter and Land, Brian Richards "Double-sided Touchhttps://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

3/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

sensitive Panel with Shield and Drive Combined Layer", United Statest Patent 7,920,129, April 5, 2011

Electrostatic (capacitive) multi-touch touchpanel digitizer: X and Y traces on opposite sides of substrate, sensing at locations where they cross. Fingerworks? Cites to Rubine '91 thesis for multitouch.

[iFixit.com12a] (*) ifixit.com "iPhone 5 Teardown", www.ifixit.com, fetched september 2012 Disassembly of iPhone 5, does not show separate touchscreen

[Immersion11a] (*) Immersion Corporation "Adding haptic effects to your Android application", Immersion Corporation, 2011

Tutorial on MOTIV SDK Development Platform from Immersion.com for programming haptic effects on Android UI. Haptic effects include textures, explosions, engines, wepons, alerts, bounces, impacts on different materials (wood rubber meal). SDK supports multiple Android devices with different haptic hardware. UHL Universal Haptic Layer.

[Immersion12a] (*) Immersion Corporation "Immersion Case Study The Haptic Workstation", Immersion Corporation, 2012

FasTrak virtual reality simulator: seat, with head motion/position sensor (Polhemus 3D electromagnetic digitizer), eyeglass displays, mechanical force-feedback gloves for haptic touch feedback.

[InformationWeek11a] (*) Information Week (Gina Smith) "Slideshow: Verizon iPhone 4 Teardown", www.informationweek.com, Feb. 7 2011

Disassembly of iPhone 4, Verizon CDMA version (versus AT&T GSM): digitizer/touchscreen overlay.

[InformationWeek12a] (*) Information Week "Apple iPhone 5 Teardown: Visual Tour", www.informationweek.com, October, 2012 Disassembly of iPhone 5, does not show separate digitizer/touchscreen overlay.

[IsarA12a] (*) Isar, Ali; Kim, Seung-Chan; Poupyrev, Ivan; and Stec, Jan "Surround Haptics: Tactile Feedback for Immersive Gaming Experiences", Proc. CHI 2012, May 5-10, 2012, Austin Texas, pp. 1087-1090

Haptic feedback / haptic display using vibratory transducers in coarse grid, by interpolation gives impression of high-reolustion touch input. Vibrators mounted in back and seat of a chair (whole body), where tactile resolution of human skin is low.

[IsarA12b] (*) Isar, Ali; Bau, Olivier, Kim, Seung-Chan; Poupyrev, Ivan "Tactile Feedback on Flat Surfaces for the Visually Impaired", Proc. CHI 2012, May 5-10, 2012, Austin Texas, pp. 1571-1576

Haptic feedback / haptic display for the blind for images from a camera: blind user feels image with fingers, which have higher tactile resolution.

[JanakM11a] (*) Janak,Miroslav; Barna, Jozef; Novak-Marcincin, Jozef "Scanning of Spacious Objects with use of Microscribe System ", Manufacturing Engineering, Vol 3, pp 48-50, 2011

pantographic/mechanical 3-D digitizer used to scan (contact scanning) larger objects: printers, small busts, with capturing physical texture of surfaces

[KaneSK11a] (*) Kane, Shaun Kk; Wobbrock, Jacob O.; and Ladner, Richard E. "Usable Gestures for Blind People Understanding Preference and Performance", Proc. CHI 2011, May 2..12, 2011, Vancourver BC Canada, 10 pp.

Gestures by visually impaired (completely blind) users are less accurate than for sighted users: examples include triangle, square, circle. Line segements tend to be less straight / more wavy. Strong blind user preference for multitouch gestures, rather than drawing, or preference for gestures based on screen corners and edges (see Windows 8 gestures?) Compares iPad VoiceOver and Google Eyes-Free Shell for Android, which however have no common gestures (lingua franca). Citations to other gesture user interfaces for the blind: NavTouch, Slide Rule, Talking Fingertip Technique, EarPod, No-Look Notes, etc.

[KidaY12a] (*) Kida, Yasuo; Kocienda, Ken; and Furches, Elizabeth Caroline "Language Input Interface on a Device", United States Patent 8,289,283, October 16, 2012 Virtual keyboard for Ideographic/Asian and other languages: enter text phonetically, displays possible character s from a drop-donw list: extensive references, but no references before 1990:

[KrahenbuhlJ11a] (*) Krahenbuhl, John; Athale, Anant; Shenman, Arnold; Sklovsky, Vladimir; and https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

4/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

van Bosch, James A. "Kyocera Echo product information", WIPO International Patent Application Publication WO 2011/025619 A1, 3 March, 2011

In proximity sensing on tablet, show pop-up menu (circular, rectangular, dialog, etc.) as stylus/finger passes over an active element/icon.

[KramerRK11a] (*) Kramer, Rebecca K.; Majidi, Carmel; and Wood, Robert J. "Wearable tactile keypad with stretchable artificial skin", ICRA 2011: IEEE Intl. Conf. on Robotics and Automation, May 2011, pp. 1103-1107 elastometic keypad (pressure-sensitive resistive material and matrix of conductors) that can be attached to the skin, usint conductive liquid-filled microchannels that are compressed. Hyperelastic pressure sensors, stretchable/flexible and liquid materials cited back to 1995. Compare with force-sensing rubber materials with embedded particles, other robotic skin sensors.

[Kyocera11a] (*) Kyocera "Kyocera Echo product information", www.echobykyocera.com, fetched Feb 2011

Android smartphone with dual touch screens instead of keypad and touchscreen, screens can be folded flat to create effective larger touchscreen ("Tablet mode"). Announced with Sprint/Nextel. Additional materials in file. Compare with Kyocera Refalo

[LGElectronics11a] (*) LG Inc. "LMS-100 Mouse/Scanner product information", www.lg.com, 2011 Optical mouse with hand-held scanner in the base, includes software for stitching together scans to cover entire sheet of paper. Scan resolution specified as up to about 300 dpi.

[Microsoft11a] (*) Microsoft "SHRecognizeGesture", msdn.microsoft.com: fetched Feb 2011, original date probably earlier

press-and-hold / tap-and-hold gestures in Windows CE 5.0, which bring up context menu in Windows OS Shell. Documents software confusion between recognition/tablet events (recognition of gesture) and the mouse events (WM_CONTEXTMENU) that are emulated: compare with mouse versus tablet events in Windows for Pen Computing.

[Microsoft11b] (*) Microsoft "Events and Delegates", msdn.microsoft.com: fetched April 2011, original date probably earlier Definition of event as a message sent by an object.

[Microsoft11c] (*) Microsoft "MSDN: Windows Touch Gestures Overview (Windows)", msdn.microsoft.com: fetched april 2011, original date probably earlier

Touch gestures: press and tap is press on target and tap using second finger (right-click), scrolling, mouse drag/ selection, pinch gestures for zoom, two-finger rotate, two fingers tap (using midpoint), press-and-hold, flicks.

[Microsoft11d] (*) Microsoft "MSDN Timeline of Mouse Messages and System Events TabletPC", msdn.microsoft.com: april 2011, original date probably earlier (see Microsoft03)

Sequence of mouse messages and touch event messages, showing that mouse messages and touch events are not synonymous, sequence may differ.

[Microsoft11e] (*) Microsoft "Microsoft Touch MSDN API Documentation", msdn.microsoft.com: april 2011, original date probably earlier (see Microsoft03) Extract of MSDN documentation on Microsoft touch gestures, touch events, touch programming. WM_SCROLL not identical to flick scrolling behafio, Interia, Expansion and Rotation. Real-time stylus electronic ink has low data rate from tablet?

[MicroTouch12a] (*) 3M MicroTouch "3M MicroTouch Capacitive TouchSense System - The Tactile Feedback Touch System", 3M MicroTouch, 2012 MCT MicroTouch capacitive touchscreen with two or more screen actuators for simulating feel of depressing mechanical buttons: ClearTek II touch sensor, EX II tactile fedback controller.

[Motorola11a] (*) Motorola "Motorola Admiral User Guide (Smartphone)", Motorola Corp., 2011 User guide for Admiral smartphone running Android operating system. Multiple home screens, haptic feedback (vibrate), multitouch touchscreen.

https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

5/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

[Motorola11b] (*) Motorola "Motorola User Guide Droid2 Global (Smartphone)", Motorola Corp., 2011 User guide for Droid2 smartphone running Android operating system. Multiple home screens, haptic feedback (vibrate), multitouch touchscreen. Swype touchscreen keypad: draw single connected stroke through letters on keyboard to form a word. Multi-touch keyboard for shift key and regular key.

[Motorola11c] (*) Motorola "Motorola User's Guide Droid Razr (Smartphone)", Motorola Corp., 2011

User guide for Droid Razr smartphone running Android operating system. Touch tips (Gestures): Touch, Touch and Hold, Drag, Flick, Zoom (two finger pinch/unpinch). Multi-touch keyboard (touchscreen) vs. Swype keyboard.

[Motorola11d] (*) Motorola "Motorola User Guide Motorola XPRT(Smartphone)", Motorola Corp., 2011 User guide for XPRT smartphone running Android operating system. Touchscreen and multi-touch keypad (physical keypad).

[Motorola11e] (*) Motorola "Mastering Your Device: Motorola Droid Razr", Motorola Corp., 2011 User guide for Droid Razr smartphone, include Webtop "PC" when using external keyboard and display.

[Motorola13a] (*) Motorola "Motorola Force-Sensing Touch Technology", Motorola Solutions USA, 2013

Transparent touchscreen using top PET Polyethylene Terephthalate layer and lower piezo-resistive layer to sense actual force of touch. States that can be incorporated with both resistive and electrostatic/capacitive multi-touch touchscreens/digitizer (Why would separate touchscreen sensor be required?)

[MyAppleSpace11a] (*) MyAppleSpace.com "Apple Graphics Tablet 1979 Summagraphics Magnetostrictive", MyAppleSpace.com, fetched 2012 Summagraphics magnetostrictive tablet for Apple computers, 1979

[Neonode11a] (*) Neonode "Neonode zForce touchscreen technology for ", Neonode.com, 2011. Paper file contains additional material.

Optical touch-screen technology for cell phones, dating to approximately 2002. Infra-red LEDs? See also Goertz US 7880732, filed 2002.

[Neonode12a] (*) Neonode "Neonode zForce multisensing touch technology", Neonode.com, 2012 Optical touch-screen technology with multi-touch (and proximity sensing?)

[Nokia11a_N900_UG_en-US_es-LAM.pdf] (*) Nokia "Nokia N900 SmartPhone User Guide", available at nokia.com, June 2011 Touch-screen smartphone with physical keyboard, no on-screen keyboard

[Nuigroup11a] (*) NUI Group Authors "Getting Started with MultiTouch", available at nuigroup.com, Feb 2011

Open-source hardware project for multi-touch hardware, mostly optical. rear diffusion / diffused illumination. FTIR Frustrated Total Internal Reflection) hardware. Laser Light Plane LLP. Diffused Surface Illumnation DSI. Also Touchlib open-source library for multi-touch interaction surfaces, tracking blobs of light.

[PeitzA11a] (*) Peitz, Alexander "Konzeption einer Mehrbenutzerumgebung für eine multitouchbasierte Prototyping-Anwendung", Diploma Thesis, Technische Universität Dresden, Germany, May 2011 ScrMT (Scribble MultiTouch) sketching web page layout with multitouch user interface. Prototype uses diffuse illumnation (internal reflection) multitouch tablet surface.

[Peratech12a] (*) Peratech.com "QTC Quantum Tunnelling Composit Materials", Peratech.com, fetched 2012

composite elastomeric material for resistive touchscreens, resistance changes when under compressive force / pressure. Example applications are touchscreen whiteboards, touch-sensitive keyboards.

[PetzoldC12a] (*) Petzold, Charles "Programming Windows 6th Edition: Writing Windows 8 Apps with C# and XAML", Microsoft Press, 2012 https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

6/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

Newer version of Petzold programming series for Windows: explaines use of Tap gesture to describe click (mouse-button) events, Holding event (gesture) can simulate a right tap (WM_RBUTTON) but system generates both events. Mentions pinch gesture (pinch event).

[PiezoSystems11a] (*) Piezo Systems, Inc. "Introduction to Piezo Transducers", Piezo Systems Inc, Woburn MA Description of piezoelectric mechanical actuators, transducers, and sensors. Laminated construction increases mechanical movement.

[PiezoSystems11b] (*) Piezo Systems, Inc. "Piezo Systems Component Catalog", Piezo Systems Inc, Woburn MA Piezo systems transducers / actuators: parallel transverse compression torsion / mechanical flapper; bending sensors, resonant devices. Same element can be both sensor or generator.

[PiezoSystems12a] (*) Piezo Systems, Inc. "Introduction to Piezo Transducers", Piezo Systems Inc, Woburn MA Description of piezoelectric mechanical actuators, transducers, and sensors. Laminated construction increases mechanical movement.

[SilverbrookK11a] (*) Silverbrook, Kia and Lapstun, Paul "Optical Imaging Device with Motion Sensing Accelerometers", United States Patent 7,908,661 B2, March 15, 2011

Electronic/optical digitizer pen (similar to Anoto?) including acceleromters to detect motion across page without relying on optical input. Mentions Sekendur technology. Examiner cited to this bibliography by Jean Renard Ward on prior art, 1995-2000. Continuation of 2000 patent application.

[Sitepoint12a] (*) SitePoint.com ":focus (CSS Selector)", www.sitepoint.com, fetched 2012 Definition Input Focus: attribute that matches any element that has keyboard input focus

[Smart11] (*) SMART Technologies "SMART digitizer product information", www.smarttech.com

SMART board interactive whiteboard digitizer: SMART Board 885ix interactive whiteboard system, SmartTablet interactive learning center, similar to Microsoft Surface or Mitsubishi interactive table. Interactive learning centers, interactive pen displays, document cameras (compare with DigitalDesk research unit from approx. 1992?)

[TatmanT11a] (*) Tatman, Thomas "Bassoon Reed with Tubular Undersleeve", United States Published Patent Application 2011/0117044, Jan. 27, 2011 Bassoon reed with cylindrical metal sleeve inside throat where it fits on the bocal Additional information in file for www.sleevereed.com

[TheEngineer11a] (*) Harris, Stephone "Acoustic touchscreens could enable cheaper smartphones", The Engineer (UK), 18 April 2011: available at www.theengineer.co.uk

TouchDevice, acoustic digitizer determines where user has touched a smartphone screen using existing smartphone microphone. Can be applied to entire device, or to a table or other object. States that mechanical buttons can be replaced by buttons that make a unique clicking sound, to be picked up by microphone.

[ThomasD11a] (*) Thomas, Dave "Celebrating 25 Years of Smalltalk: Travels with Smalltalk", www.mojowire.com, fetched 2011, reprinted from "Celebrating 25 Years of Smalltalk"

History of Smalltalk from Xerox Parc in 1970's: mentions Momenta using Smalltalk for pen computing. Cites Electronic Boo, ARM-based Smalltak-80 Pen computer in 1980's.

[Thumbscript11a] (*) Thumbscript.com "Thumbscript: Universal Text Input for Small Devices", www.thumbscript.com fetched 2011

Unistroke recognition using 3x3 zone-based input. Can be implemented in a very small touch screen input (size of an iPod Micro), or on a 3x3 sets of buttons from the telephone handset of a mobile call phone (not necessarily a SmartPhone).

[Uniloc11a] (*) Uniloc.com "Intellectual Property: the Uniloc Patent Platform Story", www.uniloc.com, fetched January 2011

Copy-protection / anti-piracy patent 5,490,216 on generating license code from information of system on which software will execute: litigation involving Microsoft.

https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

7/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

File contains additional materials. See also Bluecava file.

[VollmerA11a] (*) Vollmer, Alexander "Schriftliche Ausarbeitung zur GFS mit dem Thema Apple", Nicolaus-Kistner-Gymnasium, Mossbach Germany, May 5, 2011

(in German) Historical notes on Apple products and business. Apple Newton PDA in 1993, iPhone in 2007, iPad 2010.

[WachsJP11a] (*) Waches, Juan Pablo; Koelsch, Mathias; Stermn, Helman; and Edan, Yael "VisionBased Hand-Gesture Applications", CACM, Feb 2011, Vol 54 No2, pp. 60-71 Visual-detected hand-gesture UIs, mentions medical applications since no physical touching to contaminate surgeon's hands. Extensive bibliography to WII controller, Virtual Reality UIs, hand-held interface devices, etc.

[Wacom11a] (*) Wacom, Inc. "Wacom Inkling portable digitizer", Wacom.com

Acoustic/infrared digitizer (25 Khz to 75 Khz), clips to top of paper with special pen, drawings stored in pen and can be uploaded to computer. Compare with Anoto LiveScribe, which uses patterned paper (and can identify which sheet from the pattern).

[Wacom11b] (*) Wacom, Inc. / Softpro "Wacom Intuos 4 Technische Daten - Grafiktablett - optional mit Tinten-Spezialstift", Softpro.de - The Signature Professionals Technical specifications for Wacom Intuos 4 electromagnetic tablet (in German): 200 pts/second, 2048 pressure levels ("non-interpolated"), no battery in stylus. Intended for signature capture (A6 size)

[Wanderbook11a] (*) Wanderbook "EO Personal Communicator 2: Apple tech songster extraordinare", www.wanderbook.org/blog, fetched 7/6/2011

Historical notes comparing Penpoint/EO with Apple iPad, includes PC Week (?) press cliping (1993?) on tablet-sized Newton, 3lb, 8.5x11 inch, codenamed The Bic.

[Wikipedia11a] (*) wikipedia.org "Event (synchronization primitive)", wikipedia.org Definition Event: wait/set/clear

[Wikipedia11b] (*) wikipedia.org "Event (computing)", wikipedia.org

Definition Event: event-based programming, in particular interactive event-driven user interfaces such as Windows, with queueing

[Wikipedia11c] (*) wikipedia.org "Emulator (computing)", wikipedia.org

Definition Emulator: one system programmed to duplicate behavior of (and appear to be) another

[Wikipedia11d] (*) wikipedia.org "Event (disambiguation page)", wikipedia.org

Definition Event: software message, in particular interactive event-driven user interfaces such as Windows, with queueing

[Wikipedia11e] (*) wikipedia.org "Pinhole glasses", wikipedia.org

Pinhole glasses/ stenopeic glasses: opaque glasses with multiple pinholes instead of lenses, tend to give sharper vision due to narrow field of view, similar to pinhole camera

[Wikipedia11f] (*) wikipedia.org "Dithering", wikipedia.org

Definition Dithering: pattern of red and blue at fine scale appears violet/purple

[Wikipedia11g] (*) wikipedia.org "Ordered Dithering", wikipedia.org Definition Ordered Dithering: crosshatch patterns

[Wikipedia11h] (*) wikipedia.org "Halftone", wikipedia.org Definition Halftone: halftone patterns (with examples)

[Wikipedia11i] (*) wikipedia.org "Layout manager", wikipedia.org Definition Layout manager

[Wikipedia11j] (*) wikipedia.org "Standard Widget Toolkit", wikipedia.org Definition Standard Widget Toolkit in Java, distinct from Swing widgets

[Wikipedia12a] (*) wikipedia.org "Zooming User Interface", wikipedia.org Definition Zooming User interface

[Wikipedia12b] (*) wikipedia.org "Focus / Input Focus", wikipedia.org Definition Focus / Input Focus

[Wikipedia12c] (*) wikipedia.org "Scrolling", wikipedia.org https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

8/9

10.2.2015

(2011..present) History of Pen and Gesture Computing

Definition Scrolling

[Wikipedia12d] (*) wikipedia.org "Touchscreen", wikipedia.org Definition Touchscreen: includes use of stylus

[Wikipedia12e] (*) wikipedia.org "Indium Tin Oxide (ITO)", wikipedia.org

Definition indium tin oxide / ITO: best recommended material for transparent conductive/resistive, used in touchscreens, but getting expensive

[Wikipedia12f] (*) wikipedia.org "Transparent conducting film", wikipedia.org

Transparent conducting films include ITO, other transparent conductive oxides such as fluorine doped tin oxide (FTO), carbon nanotubes, transparent conducting polymers.

[Wikipedia12g] (*) wikipedia.org "Active Window", wikipedia.org Definition of Active Window with input focus.

[Wikipedia13d] (*) wikipedia.org "Virtual Retinal Display", wikipedia.org

Direct projection display onto retina of eye, bypassing lens and cornea (and thus bypassing nearsightedness)

[Wiktionary11a] (*) wiktionary.org "Simulate", wikipedia.org Definition Simulate

[Wiktionary11b] (*) wiktionary.org "Dither", wikipedia.org Definition Dither: as a pattern

[Wiktionary11c] (*) wiktionary.org "Threshold", wikipedia.org

Definition Threshold: beginning point or level. (also dictionaryreference.com, www.merriam-webster.com, www.learnersdictionary.com)

[WintergerstG11a] (*) Wintergerst, Goetz; Jagodzinki, Ron; Held, Matthias; Hemmert, Fabian; Mueller, Alexander; Joost, Gesche "Combining Active and Passive Haptic Feedback for Rich Stylus Interactions", Uebermedien Uebermorgen: Workshop-Proceedings der Tagung Mensch und Computer 2011, Technische Universitaet Chemnitz, Germany, pp. 7-11 Haptic stylus for touchscreens, has vibrating motor for active feedback (textures, etc.) and electromagnetic coil and steel ball for braking effects to increase friction where steel ball rolls for passive feedback (edges, textures on surface).

[WintergerstG11b] (*) Wintergerst, Goetz; Jagodzinki, Ron; Giles, Peter "Hap.pen: Sketching Haptic Behavior", Uebermedien Uebermorgen: Workshop-Proceedings der Tagung Mensch und Computer 2011, Technische Universitaet Chemnitz, Germany, pp. 13-14 Cordless haptic stylus/pen for use on touchscreen digitizers integrated with a display: haptic feedback is determined by color/brightness of what is displayed, photo sensor in tip of stylus.

[WobbrockJO11a] (*) Wobbrock, Jacob O. "EdgeWrite Text Entry", depts.washington.edu/ewrite, June 2011 EdgeWrite unistroke text entry based on moving to edges (or corners) of synaptics touchpad: includes unistroke gestures for European characters (umlauts, accented), PC keyboard cursor keys, word space, trackball buttons, editing.

[WordNetWeb11a] (*) WordNetWeb "Emulate (computing)", wordnetweb.princeton.edu Definition Emulate - imitate function as by modifying hardware or software

[ZDNet11a] (*) ZDnet.com "Up close with Sony's S1/S2 tablets (photos)", ZDNet.com, 4/26/2011

Sony Android tablet product, front-facing camera. S2 unfolds to have two screens that can be used as one, or display virtual keyboard on one (compare Reefalo)

       Main Reference Page       

https://web.archive.org/web/20130502040455/http://rwservices.no-ip.info:81/pens/biblio15.html

9/9

10.2.2015

[email protected]: Notes on the (relatively unknown) History of Pen-based Computing -- Jean Renard Ward http://rwservices.no-ip.info:81/pens/penhist.html

Go

10 captures 17 Jun 08 - 29 Sep 13

FEB MAI SEP

2

2012 2013 2014

Notes on the (r elatively unknown) Histor y of Pen-based Computing J ean Renar d War d Contact:jrward_at_alum.mit.edu Copyr ight © Jean Renard Ward, 1992, 1996, 2003, 2005, 2008. Per mission is hereby given to use this information in publication, including confidential reports, provided that accompanying text clearly makes reference to the URL for this page, along with the statement:  " Sour ce: Annotated Bibliogr aphy in Pen Computing and Handwr iting Recognition by J ean Renar d War d" . This  is  a  short  outline  of  a  presentation  on  the  history  of  "pen  computing"  I  gave  for  the  Pen Computing group of the Boston Computer Society, March 11, 1992. Unfortunately, I did not keep the full set of slides, which had pictures of the products and systems. 

Topic thr eads for  tonight ... Pen Computing is not new: "A lot of it has happened before"  (... with selected examples, mostly from commercial development) Some specific shor tcomings of the current state of the Pen-Computing art  (... they are not what you might think) What this implies ... or, "What should we do?"

Why this " histor ical view"  might be of inter est to this audience: Histor ical developments ar e r elatively unknown, and quite voluminous. Pr esent a br oad r ange of case-study examples. Early examples were done by workers motivated by other interests, with a different perspective ... man-machine-interfaces (sic), human functionality and usability, cognitive concerns a study problem for pattern recognition  ... not in modern "GUI" development. Cur r ent pr oblems: There are neglected / overlooked issues, falling under the rubric of human factors, that https://web.archive.org/web/20130502021105/http://rwservices.no-ip.info:81/pens/penhist.html

1/5

10.2.2015

[email protected]: Notes on the (relatively unknown) History of Pen-based Computing -- Jean Renard Ward

affect and may threaten the usability and viability of pen-based systems.  Especially: "Electronic Ink" (hardware and software) Topics not addr essed tonight: No product demonstrations ... No applications demonstrations ... Other  pr esentations coming up: Slate is presenting to BCS general meeting, May 21. Society for Information Display (S.I.D.) is meeting in Boston in May.  Videotape demo of certain applications.

Histor ical over view: There is a repeated theme in commercial developments, namely the  "Lief Ericsson in 1992" scenario --"I/we discovered/invented pen computing, pen computers, pen-based systems."

" The Ar cheology of Pen-based computing" 1914 Hyman Eli Goldberg, U.S. Patent 1,117,184, "Controller". ... on-line (not OCR) recognition of hand-written numerals to control a machine in real-time. 1938 George Hansel, U.S. Patent 2,143,875, machine recognition of handwriting. G.G. Neil Wright, "The Writing of Arabic Numerals"

" The Ancient Histor y of Pen-based computing" 1956 RAND tablet ... invention of the digitizing tablet, for a handwriting recognition project.  (Actualy the Stylator came first!) 1957 T.L. Dimond, "Reading Handwritten Characters", EJCC Claimed 97% recognition rate, and a better input device for humans than a keyboard 1962 Masterson and Hirsch, IRE Transactions on Human Factors and Electronics  99.79% correct recognition. 1962 J.C.R. Licklider, "On-line Man-computer Communication", SJCC 1961/3 Sitari, Harmon, Frishkopf, et al cursive script recognition at Bell Labs 1966 Groner et al, "GRAIL System", RAND Corporation Text/character recognition, gesture commands, sketch recognition

" The Ear ly Commer cial Histor y of Pen-based computing" 1973 Applicon Corporation / Ledeen recognizer  Gesture-based command input, with hot-points, in a widely-praised GUI for a commercial CAD system 1974 SRI / Xebec Systems Incorporated  Text input to computer with a pen https://web.archive.org/web/20130502021105/http://rwservices.no-ip.info:81/pens/penhist.html

2/5

10.2.2015

[email protected]: Notes on the (relatively unknown) History of Pen-based Computing -- Jean Renard Ward

1976 S-I Hanaki, NEC handwriting kana/romanji  billing machine product 1981 Several commercial vendors, small units, some portable  MicroPad ImageData Telepad WriteAway many Japanese (Application areas: data-capture, data-entry)

" The Moder n Histor y of Pen-based computing" 1983 PC-based or -oriented commercial products  PenPad CIC Handwriter NestorWriter  Included "front-end" interfaces to word-processing systems, CAD/Paint systems, spread-sheet input  (Note: these companies are still around)  Special note: even perfect recognition does not solve the problem!  Gould et al, "Composing Letters with a Simulated Listening Typewriter", CACM April 1983. 1985 "Experimental" systems  AEG (Germany) Word-processing  IBM (Tappert) 1986 Linus Technologies  Application areas: walking data capture (nurses), financing from Baxter Medical 1986/7 MAC-based products: Personal Writer / Anatex

" Cur r ent Events of Pen-based computing" 1989 GridPAD Application area: remote data capture (surveys, inventory, shipping/receiving) 1990/91/92 Too many to mention ...  "Pen OS" - PenPoint, Windows for Pens  "Pocket" - Poqet , Sharpe Wizard "Tablets" - Wang/Momenta/Grid/Eden Group/SuperScript/ScriptWriter/ ...  Application areas: Highly-mobile data capture Note taking / capture Document capture and display "Imaging systems" NOTE: All of these application areas involve "electronic ink", data that is fundamentally in written form (sketches by insurance adjusters, for example), that does not need to be recognized as text. There will be a short video of some representative applications and software  (So there is some commercial content after all - Dang!)

Specific shor tcomings of the cur r ent ar t: Electronic ink: State of the Art -- Special considerations: Existing, alternative technology for data capture, note capture, and documents is paper https://web.archive.org/web/20130502021105/http://rwservices.no-ip.info:81/pens/penhist.html

3/5

10.2.2015

[email protected]: Notes on the (relatively unknown) History of Pen-based Computing -- Jean Renard Ward

and pen, or paper and pencil,  ... not any current computer technology. Paper-based systems are highly evolved --> equivalent to well designed. "Ink" APIs and functions are not highly evolved: editing scaling storage embedding Current hardware designs for electronic ink are NOT adequate, due partly to ignorance of physical effects of human use on part of designers. Displays (LCD): State of the Art Low contrast No backlight LCD parallax / shadowing Glare Coarse resolution Slow ("fuzzy motion"), especially when cold Greyscale mapping Digitizers: State of the Art Bad electronic ink vs. real ink  Comparison: Teletype keyboard vs. typewriter keyboard action Tablet electronic effects: (especially at low power!)  Tablets produce very distorted images ...  "it's not my signature"  "it doesn't go where I point/draw" Spiking Fixed line distortions Velocity errors Angle of stylus Poor tracking with height Tablet mechanical effects: Slickness Tip force Surface hardness Stylus design: corded / handed surface texture weight and handling There will be a short video showing digitizers

Summar y: So ... What does this histor y mean ... to us? What applications have been shown to be inappropriate? https://web.archive.org/web/20130502021105/http://rwservices.no-ip.info:81/pens/penhist.html

4/5

10.2.2015

[email protected]: Notes on the (relatively unknown) History of Pen-based Computing -- Jean Renard Ward

Patentability? Why should we think there is a market? There is a long historical perspective Examples for human-factors, application, market, U/I, and human-machine design study Old (obvious?) applications were not successful. New applications are highly mobile, in unfamiliar areas, and characterized by functionality such as electronic ink or mobile data access, not character recognition Note takers Daytimer (R) Pen Scheduler PenBook (R) Hardware for electronic ink requires a design much more to ergonomic and human factors goals than has been the case. Back / Zurück Comments: 

 [email protected]

https://web.archive.org/web/20130502021105/http://rwservices.no-ip.info:81/pens/penhist.html

5/5