Some User Interface Issues for Hypermedia Virtual ...

7/19/2015

Position Paper for WWW5 Workshop on Virtual Environments and the WWW

Some User Interface Issues for Hypermedia Virtual Environments Position Paper for the Workshop on Virtual Environments and the WWW,  Fifth International World­Wide Web Conference, Paris, France, 6­10 May 1996  Chris Hand  MOO Research Group  Department of Computer Science  De Montfort University The Gateway Leicester LE1 9BH U.K.

1. Introduction This paper outlines some issues to be considered in the development of hypermedia virtual environments, in particular user interfaces and supporting architectures. Taking webbed MOOs as a starting point, the potential for using Java to make increase interactivity is discussed, followed by spatial issues, subjectivity and interoperability. In this document, the term Virtual Environment (VE) refers to any synthetic world with which a user interacts, regardless of the interface paradigm is used. A Collaborative Virtual Environment (CVE) is a particular kind of VE with support for multiple users in achieving a shared task. VEs and CVEs might be classified by some as Virtual Reality systems. MUDs and MOOs are CVEs. For want of a better term, a Hypermedia Virtual Environment is referred to here as a HYVE (pronounced "hive"). The term immersion is used to describe the mental state of users of a VE when they feel as though they are directly engaged with the objects in the virtual world. This might also be termed cognitive immersion to contrast it with sensory immersion, which typically involves providing synthetic stimuli to users' visual, auditory, tactile and kinaesthetic channels in order to increase cognitive immersion.

2. User Interfaces A relatively straightforward way of combining hypermedia with virtual worlds is to add HTTP support to a MUD or MOO server. However, the telnet­style interface typically associated with a MUD is not easily integrated with the graphical point­ and­click interface used with the Web ­­ we are actually trying to combine two different generations of user interface, namely CLI and GUI. This combination might take the form of a hybrid interface which uses aspects of both, or it may even constitute a new user interface paradigm. The potential for interesting results in this area is only one reason why we should ensure that text­based virtual environments don't get forgotten in the rush to add multimedia and 3­D graphics to HYVEs. Our own experiences (Skipper and Hand, 1995) with using telnet or TinyFugue with Netscape for webbed MOO access suggested that coupling between the two clients is important, although at the time we implemented our first system there was no standard, platform­independent way to achieve this. Platform­ specific prototypes like as Dieberger's Juggler MOO client (Dieberger, 1996) demonstrate some of the possibilities such as additional navigational support, experimental MOO­Web mappings and scanning for URLs to automatically display them in a web browser window. A common difficulty with many interfaces to webbed MOOs at present, and web­ based projects in general, is that much of the interaction occurs through the paradigm of following hyperlinks or talking to CGI scripts, instead of interacting directly with active objects as would be the case with more typical GUIs. Some systems, such GMD's BSCW shared workspace, have made progress towards implementing truly useful collaborative environments on the web, but the need http://www.mungbean.net/publications/hyve.html

1/5

7/19/2015

Position Paper for WWW5 Workshop on Virtual Environments and the WWW

for clients to send data to remote servers before the display is updated introduces unacceptable delays and limitations. What is really required is a mechanism for including true interactive objects in the hypermedia user interface (ie. client­side); one such mechanism is the Java applet.

3. Interactivity and Extensibility The arrival of Java suggests many new possibilities for user interfaces to HYVE systems, and there already seems to be a rush to extend Java­based telnet applets into specialised MUD clients. But Java offers us much more than just telnet replacements. Since HTML may specify behaviour by way of the Java applets it contains, it is possible for the user interface code to be downloaded as it is required (and not necessarily all at once). So rather than using some standard webbed­MOO client, it would only be necessary to use a Java­capable Web browser to connect to a server, which would then send the latest interface as required. This would guarantee access to the most up­to­date front­end for all users, as well as enabling interfaces to be adapted to the specific needs of a particular MUD. A disadvantage of this might be that without some standardised core of functionality being widely adopted, confusion for the users might be far greater than is currently experienced even by moving between different MOOs (for example). In any case, the potential for dynamic user interfaces is exciting, and this approach fits well with the techniques used in Sun's HotJava Web browser (Sun, 1995). HotJava's ability to link in protocol handlers dynamically would allow a special MOO protocol handler to be distributed over the web, to be loaded by the browser when connection to a MOO was required. This browser has great potential as a general­purpose, extensible web client. Another user interface issue is that of authoring versus browsing. Although this dichotomy has been acknowledged for some time in hypermedia systems, further exploration is still required ­­ even more so in the context of HYVEs. The virtual trade exhibition we ran with IBM in January 1995 used a webbed MOO to provide a simple way for delegates to construct a personal web page by wandering around the exhibition hall and collecting leaflets, business cards and other items, thereby allowing them to concentrate on the task at hand, enhancing rather than breaking their immersion, and avoiding completely the need for thinking or knowing about HTML (Hand, 1995). Another way of thinking of this is that authoring in one domain may actually be achieved by browsing in another domain (analogous to convolution versus multiplication in the time and frequency domains). The problem of authoring spaces which simultaneously represent both virtual environments and hypermedia webs is almost certainly far greater than that associated with the domains separately.

4. Space in the Interface Work in several areas is already addressing the issues of spatial representation and cognition in both hypermedia systems and virtual environments. 4.1. Unifying Spaces On a fundamental level it seems that what we are trying to do is to unify the space of virtual worlds with the space of hypermedia: Euclidean space joined with Hyperspace. If this is so, then one of the tasks before us is to unify the research into the use of space which has been carried out separately in Hypermedia and in VEs. Although the use of space in structuring collaborative activity is generally recognised, spatial representation in MUDs has typically been very primitive, being based on a non­continuous rooms­and­exits system which, perhaps ironically, is closer to hypermedia's nodes­and­links than it is to the real world. There is clearly room for improvement. Richer spatial models, such as that described by Benford and Fahlén (1993), could easily be added to the next generation of MOOs. http://www.mungbean.net/publications/hyve.html

2/5

7/19/2015

Position Paper for WWW5 Workshop on Virtual Environments and the WWW

Meanwhile, hypermedia seems to have made more progress in this area, and the application of ideas from fields such as Spatial Cognition has been discussed for some time (Shum, 1990). More recently, research into "spatial hypertext" (eg. Marshall and Shipman, 1995) and the increasing interest in spatial user interface metaphors (eg. the ECHT'94 Workshop on "Spatial User Interface Metaphors in Hypermedia Systems") point to a body of work which will form a useful basis for designing the next generation of HYVEs. There may also be other areas from which we can "borrow" theories (eg. urban planning). While the space in a MUD is purely metaphorical (Erickson, 1993), the push towards using interfaces with explicit spatial representation using 2­D and 3­D graphics now seems stronger than ever. These graphical systems may be more difficult to implement since they already include inherent spatial representations which were lacking in the MOO systems. The step from text­only to graphical interface may be much more significant and difficult than meets the eye, particularly if compatibility with non­graphical clients needs to be maintained. 4.2. 3­D or not 3­D? Back in 1987 Jeff Conklin suggested that a Neuromancer­style 3­D graphical virtual environment might be the "ultimate hypertext system" (Conklin, 1987, p.40). In spring 1994, Virtual Reality Modeling Language (VRML) was conceived at the first World­Wide Web conference in Geneva. Even though some current implementations of VRML (Bell et al, 1996) might fall somewhat short of Conklin's "ultimate" system, the technology required to implement the functionality is still quite a leap from that required to use a text­based world. There is little doubt that VRML2.0 will represent an even higher entry­point into the world of immersive hypermedia. One question we must now ask ourselves is what rôle will VRML play in the Net­ based virtual worlds of the future? As an open standard it will almost certainly become widely adopted as an interchange format, but will it be used simply as a platform­neutral variant of file types such as .DXF, or will it form the basis of a web of hyperlinked, interoperating virtual worlds? Does the change from primary MIME type of "x­world" to "model" have any (hidden) significance? To avoid throwing away large amounts of work already done in building existing text­based worlds, and to avoid disenfranchising the users of these systems we should ensure that new HYVEs support multimodal interaction, that is, they should allow connection using clients with different modalities such as text, sound or graphics. (The MASSIVE system (Greenhalgh and Benford, 1995) is a CVE which includes "heterogeneity" as an explicit design goal, allowing arbitrary combinations of text, graphics and audio clients to interoperate; it also implements the spatial model mentioned above.) In order to make this possible, it will be necessary to make sure that the stored representation of the virtual world is separated from its presentation, as is the case in user interface architectures such as Model­View­Controller (Krasner and Pope, 1988). 4.3. Subjectivity In more general terms, the requirement is for subjectivity, that is the ability of individual users to have some control over what is presented to them through their interfaces, such that different users may have different "views" of the same world. The case for adding Subjectivity to CVEs (Snowdon et al, 1995) applies equally, if not more so, to collaborative HYVEs (CHYVEs). When users connect to a CHYVE they should have a number of options concerning how the hybrid space is presented to them. For example, one user may opt to display a global map of nodes and links, another may choose egocentric navigation through a 3­ D graphical space, while a third may wish to use a text client. Users must also be able to choose navigation techiques rather than just presentation formats ­­ spatial or semantic navigation (Dourish, 1994) for VEs or Hypermedia webs respectively, or some other hybrid or new techniques for HYVEs and CHYVEs. The ability to modify presentation in this way would rely on the separation of Model and View; this will have implications for the design of interchange formats http://www.mungbean.net/publications/hyve.html

3/5

7/19/2015

Position Paper for WWW5 Workshop on Virtual Environments and the WWW

and meta­representations of virtual worlds if we are to bring true interoperability within our reach.

5. Interoperability Up to now, many different virtual world and hypermedia systems have been developed using distinct servers, clients and protocols which are not compatible with other systems. If we are to avoid replication of effort on a grand scale then we must ensure that wherever possible these systems are able to share common techniques for communication, storage and interaction with the user. Interoperability (or "i14y") should be seen as a crucial aim of the emerging and next generation HYVEs.

6. Summary This paper has raised a number of questions: 1.  What is the potential for using Java (or other portable, web­based programming language) for creating extensible, dynamic interfaces to next­generation HYVE systems? 2.  How can we make better use of spatial metaphors? 3.  What other theory can we borrow? (For example: what's all this Alexander/Patterns stuff about and how useful is it to us?) 4.  What do we see as the role of VRML? 5.  How can we support subjectivity in our user interfaces? 6.  How can we make new HYVEs and CHYVEs interoperate with each other, and with existing systems?

7. Acknowledgements Thanks to Mark Skipper for his comments on early drafts of this paper, and for continuing to provide input to the MOO Research Group during his sabbatical with IBM Insurance Solutions, Brussels. I am also grateful to Mike Callaghan for encouraging me to explore Hypermedia and VR.

8. References Bell, G., Parisi, A. and Pesce, M. "The Virtual Reality Modeling Language, Version 1.0C Specification". 29th January 1996. Benford S. and Fahlén, L. "A Spatial Model of Interaction in Virtual Environments", in Proceedings of the Third European Conference on Computer Supported Cooperative Work (ECSCW'93), Milano, Italy, September 1993. Conklin, J. "Hypertext: An Introduction and Survey". IEEE Computer, 20(9), 17­ 41. September 1987. Dieberger, A. "Browsing the WWW by interacting with a textual virtual environment ­­ A framework for experimenting with navigational metaphors." In Proceedings of ACM Hypertext '96, March 96, Washington DC, USA. Dourish, P. and Chalmers, M. "Running Out of Space: Models of Information Navigation". short paper, HCI'94, Glasgow, Scotland, August 1994 Erickson, T. "From Interface to Interplace: The Spatial Environment as a Medium for Interaction", in Proceedings of the European Conference on Spatial Information Theory (COSIT'93), Springer­Verlag, 1993. Greenhalgh, C. and Benford, S. "MASSIVE: a Collaborative Virtual Environment for Tele­conferencing" ACM Transactions on Computer­Human Interaction (ToCHI), Summer 1995. Hand, C. "Creating hypermedia documents by doing: an alternative to authoring". IEE Colloquium on The Authoring and Application of Hypermedia­Based User Interfaces, London, UK, 14th November 1995. Digest No: 95/202. pp3/1­3/3. http://www.mungbean.net/publications/hyve.html

4/5

7/19/2015

Position Paper for WWW5 Workshop on Virtual Environments and the WWW

Krasner, G. E. and Pope, S. T. "A cookbook for using the model­view­controller user interface paradigm in Smalltalk­80". Journal of Object­Oriented Programming, 1(3), August 1988. Marshall, C. C. and Shipman, F. M. "Spatial Hypertext: Designing for Change", Communications of the ACM, August 1995 Shum, S. "Real and Virtual Spaces: Mapping from Spatial Cognition to Hypertext". Hypermedia, 2 (2), 133­158, 1990. Skipper, M. and Hand, C. "TaTTOO'95 On­Line: A Report". In Proceedings of TaTTOO'95: Teaching and Training in the Technology of Objects. De Montfort University, Leicester, UK. January 4­6 1995. Snowdon, D., Greenhalgh, C. and Benford, S. "What You See Is Not What I See: Subjectivity in Virtual Environments". in Proceedings of Framework for Immersive Virtual Enviroments (FIVE'95), 18­19th December, 1995, QMW University of London, UK Sun Microsystems, The HotJava Browser: A White Paper, 1995.

http://www.mungbean.net/publications/hyve.html

5/5