From Reload to ReCourse: learning from IMS ...

PREPRINT to be published in Distance Education, Vol 30 No. 2, 2009

From Reload to ReCourse: learning from IMS Learning Design implementations David Griffiths, Phillip Beauvoir, Oleg Liber, Mark Barrett­Baxendale

Abstract  The use of the web to deliver open, distance and flexible learning has opened up the potential for social  interaction and adaptive learning. Unfortunately each platform manages these processes in their own  way, and so it is hard to model and compare methods, to share and exchange learning designs, or to port  implementations to other platforms. Tools based on IMS Learning Design (IMS­LD) can help to  resolve these barriers by enabling users to notate, exchange and instantiate flows of learning activities.  The creation of authoring tools for IMS­LD brings into focus research issues which have been at the  centre of new technologies in learning since the emergence of the Web: interoperability, expressivity  and usability for teachers and learning designers. This paper examines these issues and discusses them  in relation to the Reload Learning Design Editor and its successor, ReCourse. The applications are  introduced and the results of evaluation are summarised. The principal challenges overcome in the  development process are identified. By means of reflection on the development process, the  applications produced, evaluation and user feedback the conclusions regarding IMS­LD and its  potential use are identified. The principal areas discussed are programming frameworks, terminology,  graphical interfaces, the relative salience of IMS­LD elements, integration with authors’ workflow, the  authoring of services, and the authoring of IMS­LD level B.

1 The wider context In 1992 two events occurred which in retrospect mark a tipping point for the use of technology in  education: the last release of the HyperCard authoring system (v.2.2), and a paper published by  Berners­Lee describing the work he had been doing to develop his vision for a World­Wide Web  initiative (Berners­Lee, Cailliau, Groff, & Pollermann, 1992). The Web has since become ubiquitous,  while ‘multimedia' authoring systems, which had been a major focus for education, became  marginalised or disappeared. This paradigm shift has been a complex process, but it is clear that: a) The promise of connectivity and interoperability, driven by an open specification, was extremely  attractive to users. They could now access a vastly increased range of interoperable information  through their computers, almost instantaneously.  b) This increased connectivity and interoperability came at the cost of reduced functionality and  increased difficulty in authoring, when compared with multimedia. Some of the more  sophisticated applications which could be distributed on CD ROM for use in distance and open  learning were much more difficult, or impossible, to reproduce on the web. This constrained the 

pedagogic use of the Web, a problem which was highly relevant to open and distance education  where connectivity and remote access to materials was a particularly valuable capability. Over  the years web functionality has gradually become more sophisticated, but ease of authoring has  still not reached the level of systems such as HyperCard. In examining this shift from the perspective of education three interlinked themes can be broadly  distinguished as: 1) interoperability and connectivity, 2) functionality, and more particularly  expressivity in terms of specifying pedagogic processes, and 3) the ability of teachers and learners to  author materials.  In this context IMS Global Learning was established in 1999 (IMS Global Learning  Consortium Inc., 1999) with the task of creating specifications for interoperability of eLearning  applications and materials, thus recognising that the balance between interoperability and expressivity  was not satisfactory for education. It is therefore unsurprising that IMS Learning Design (IMS­LD) did  not limit itself to specifying the lowest common factor which would facilitate communication between  existing Virtual Learning Environments, but rather sought to extend their functionality to the point  where their pedagogic potential would be acceptable to educators. We do not provide here an  introduction to IMS­LD, and readers who are not acquainted with the specification are directed to  Burgos & Griffiths (2005) and Koper & Tattersall (2005).

2 Methodological considerations IMS­LD is a many faceted specification, as we have discussed elsewhere (Griffiths & Liber, 2008), but  for our present purposes it is helpful to see IMS­LD as a response to the unspoken question “can  systems be both interoperable and highly expressive of pedagogic intentions?”. The specification itself  may similarly be seen as an implied hypothesis which could be formulated as “Regardless of the  pedagogy involved, in practice every learning design comes down to: a Method prescribing various  Activities for learner and staff Roles in a certain order1. IMS­LD can describe these aspects in sufficient  detail to provide an effective representation of any learning design”. From a research perspective much  of the interest in IMS­LD lies in investigating the degree to which this hypothesis can be validated2.  In order to investigate this, it is necessary to work with teachers and learning designers, as these are the  people who specify pedagogies, and can recognise if they are well represented. However, the IMS­LD  offers guidance on authoring at a very technical level (IMS Global Learning Consortium Inc., 2003)  and this is of limited help in engaging teachers and learning designers. There was a need, therefore, to  conceive and develop tools which could validate specification as an effective basis for implementing  interoperable educational activities.  In this paper we reflect on five years of experience in developing editors for IMS­LD carried out at the  Institute for Educational Cybernetics (IEC) at the University of Bolton, England. The intent has been to  create applications which  • expose the whole of the specification to authors • enable teachers and learning designers to engage with authoring IMS­LD, by making the  process of engaging with its concepts and structures as simple as possible.  • provide an infrastructure which can be used to assess the effectiveness of the specification In doing this we have had to answer the question “which aspects of IMS­LD create difficulties for  teachers and learning designers, and what interfaces can be designed to resolve these?”. It is the results  1 2

 Adapted from (IMS Global Learning Consortium Inc, 2003)p. 4  This is not to suggest that IMS­LD was speculative, on the contrary it was grounded in a programme of research carried  out in the Open University of the Netherlands into OUNL Educational Modelling Language, see (Koper, 2001)

of this enquiry which we present in this paper, together with our reflections on the specification which  follow from these insights. This has constituted a pragmatic investigation into the nature of the  specification and its application, and more generally into the three factors identified above:  interoperability and connectivity, expressivity and authoring. In this we complement more focussed  enquiries, such as the examination of the expressivity of IMS­LD reported in (Neumann &  Oberhuemer, 2008b) The methodology has been iterative, with a cycle of  • reflection on the specification and appropriate interfaces • implementation with the participation of users • evaluation The cycles have been complex, with the major phases marked by the release of new applications and  versions, while within each phase smaller cycles of prototype interfaces and software designs have been  created, some of which are not documented.  In this paper we draw together the results of evaluation, the experience of the development team, and  the evidence of the evolving application itself. We reflect on this body of evidence to identify the key  barriers to authoring IMS­LD which we have experienced, the solutions which we have identified, and  their implications for our understanding of the specification. In the following sections we describe the  development work carried out, outline evaluation work, discuss seven of the key issues identified, and  offer our overall conclusions.

3 Development carried out IMS­LD is more challenging to implement than earlier IMS specifications because it is both more  extensive and more complex. In simpler specifications (e.g. IMS­Metadata) each additional piece of  information adds to the description, but does not change the value or function of any previously defined  information. In IMS­LD information may be intertwined, for example an activity may make use of  resources and services, and if one of these is changed then the activity may become impossible to carry  out. The application must monitor these relationships, and represent them in a way which can be  understood by the author. For an overview of tooling for IMS­LD and the challenges it presents see  Griffiths, Blat, Garcia, Vogten, & Kwong (2005) with information on more recent developments in  Griffiths & Liber (2008).  The first generation of IMS­LD tools enabled researchers to start work with the specification, but were  not adopted by educational institutions as a means of delivering courses. A number of more recent  projects have built on this work, including Prolix (Neumann & Oberhuemer, 2008a), .NET (de la  Fuente, Pardo & Kloos, 2008), and the TENCompetence project, which has supported much of the  work discussed here.  

3.1 The Reload Learning Design Editor The Reload project (CETIS, 2002­2007), funded by the UK funding agency JISC, developed authoring  and runtime tools for a range of IMS specifications. As described in (Beauvoir & Griffiths, 2007) by  2004 the Reload tools provided editors for IMS Content Packaging, IMS Metadata, SCORM 2004, and  IEEE LOM. The team then embarked on creating an editor for the newly approved IMS­LD  specification. By 2005 the Reload Learning Design editor was available, supporting all three levels of  the specifications, and referred to in this paper simply as Reload. Players for SCORM and IMS­LD  player were also developed, but are not discussed here.

The IMS­LD specification is a complex document, and is inevitably open to varying interpretations in  implementation. This can be clarified through a reference implementation, which provides an example  of an agreed interpretation of the specification, and a means of checking that files created by different  applications can be exchanged. Reload set out to fulfil this task for IMS­LD authoring, exposing the full  extent of the specification in trees and tables, and seeking to achieve consensus on interpretation. The  structures and metaphors used by the specification (play, act, role, etc.) are represented in the interface,  and are used by the author in building a model. It is thus a general purpose editor which is close to the  specification, using the classification of editors proposed in Griffiths, Blat, Garcia, Vogten, & Kwong  (2005). The target users for Reload were those who already had a good understanding of the structure  and use of the specification. 

3.2 ReCourse Following the end of Reload funding the team were deployed on the TENCompetence project. This is  building an infrastructure for life­long competence development, for which IMS­LD is a key enabling  specification. In contrast to Reload, one of its goals is to create editors for IMS­LD which could be  used by teachers and learning designers. Evaluation results confirmed that there were serious usability  issues with Reload if it was to be used by teachers, but that it was not an unreasonable ambition to  create a general purpose IMS­LD editor which could be used by those who are not technical experts.  (Barrett­Baxendale, 2008).  TENCompetence also made use of the underlying modelling concepts of IMS­LD, but, building on  evaluation and feedback from Reload, sought to represent these in ways which facilitated designers’  expression of their intentions. In view of the major changes required it was necessary to rebuild the  code from the ground up, and the change of name reflects this. Development of the application is  outlined in Griffiths, Beauvoir, & Sharples (2008) Dialogue was maintained with the user group at  Liverpool Hope throughout the development process. This included development and discussion of  conceptual prototypes in Toolbook and GUI Design Studio, based on recommendations from  practitioners and experts prepared as part of the Learning Design for Practitioners project, as described  in Griffiths, Franklin et al., (2008).  The target users for ReCourse are ‘learning designers’. These may be pedagogic or learning support  specialists whose professional role is to design courses, or teachers with an interest in pedagogic  modelling. It is assumed that they will: 1. wish to model pedagogic activities to be carried out by others (or by themselves at a later date) 2. are willing to engage with the underlying concepts and metaphors used in IMS Learning Design 3. have a basic understanding of how to use a computer, but no technical knowledge of editing  XML This presented a “bootstrapping” difficulty. There were no present tools which are suited for such users,  and consequently there is no appropriate existing user group. Indeed it is the purpose of the ReCourse  editor to make it possible to create such a group of users. Consequently in designing and evaluating the application we have worked with teachers who are well  disposed to pedagogic modelling, but who do not yet have an understanding of the concept and  metaphors of IMS Learning Design. Both Reload and ReCourse are published as Open Source, and institutions can deploy and adapt them  free of charge. 

4 Evaluation Evaluation work with both applications focused on running workshops with users who match the target  group defined in the previous section, and gathering their views by means of questionnaires and  interviews. The Reload LD team ran a number of workshops for teachers during the development  process, in particular within the UNFOLD project (Burgos & Griffiths, 2005), which provided  extensive informal feedback. During the design processes formative evaluation and participatory design  have been carried out with a user group at the Learning Technologies Research Group at Liverpool  Hope University, who also collaborated in carrying out three formal evaluations.  The first evaluation was carried out in the SLiDe project (JISC, 2005), a demonstrator using Reload and  SLeD (McAndrew, Little, & Nadolski, 2005). This indicated that Reload was an invaluable tool for  producing Units of Learning ( UOLs), but confirmed that it would be too hard to use for many of the  teachers and course designers. The second and third evaluations took place in collaboration with the  LD4P project3 funded by the UK agency JISC, which had a particular focus on the appropriateness and  usability of tools to create UOLs in IMS­LD.  The first two evaluations provided users with a task sheet, and used the same instrument to evaluate  their response. This gave the team the opportunity to assess improvements between Reload and  ReCourse, and a detailed report is available in TENCompetence Deliverable D6.1 (Griffiths, Franklin et  al., 2008). The third evaluation provided users with a more open ended challenge to create a runnable  UOL, and while it administered a questionnaire greater emphasis was placed on interviews with users  as a means of identifying the difficulties which they experienced (Griffiths, Barrett­Baxendale,  Beauvoir, Sharples, & Hernandez Leo, 2008). The participants involved in the evaluation are shown in  Table 1. Reload ReCourse ReCourse  2 IT Lecturer at Liverpool Hope University, UK Participants in workshop at ALT­C conference, UK Participants in workshop at St Helens College4,  Lancashire, UK Participants in workshop at Liverpool Hope University Users at St Helens after 3/4 weeks  Total

1 21 5 5 2 34

5 4

85

9

8

Table 1 Participants in evaluation of Reload and ReCourse The participants came from a range of subject areas including Psychology, Computing, English, Beauty  and Creative Writing. None of the subjects in either evaluation had specialist technical skills in this  area, but all had experience of existing VLEs (Blackboard at St Helens College and Granada Learnwise  at Liverpool Hope).  Two additional evaluations were carried out by other partners working in TENCompetence in May  2008, one in The University of Sofia, Bulgaria, with 12 learning designers, and one in Universitat  Pompeu Fabra, Barcelona Spain, with three learning designers (Griffiths, Georgiev et al., 2009a) In the first two evaluations participants followed a worksheet under the guidance of a team member,  3

4 5

See LD4P project outputs at http://bsd1.phosphorix.co.uk/ld4p/index.php? option=com_content&task=view&id=19&Itemid=34  A Further Education institution, i.e. post­compulsory non­university education.  One user did not complete the questionnaire

taking them step by step through the process of creating a pre­defined UOL which introduced the  concept of motion. When possible users were then invited to work on their own UOLs. Participants  then completed a questionnaire. In order to maximise comparability between the first two evaluations  the same instruments were used with only minor edits. The results of these two evaluations are shown  in the following table, taken from the evaluation report in the annex to TENCompetence deliverable  D6.1 (Griffiths, Franklin et al., 2008), where the instruments and worksheets are also available. 

Statement (negative statements and  scores were both inverted) Ease of use I enjoyed using the software Easy to learn Easy to carry out required tasks Easy to use Successfully create Unit of learning Sometimes I don't know what I should do Interface design. Clarity of screen layout Ease of locating required functions Clarity of the terminology Clear presentation of activities Clarity of navigation Coherence of different sections of the software Easy of navigation Perception of the application Enjoyment when using software Software helps in designing learning activities Usefulness of the software Support for users workflow I could successfully create a UOL  In future I could use ReCourse unaided

Mean  values  Reload

Mean  values  ReCourse

(ReCourse mean)  minus  (Reload mean)

2.55 2.77 2.77 3.33 1.94

3.78 3.67 3.67 4.00 2.22

1.23 1.00 0.9 0.67 0.28

3.00 2.83 2.83 2.84 2.84 3.33 2.90

4.00 3.67 3.67 3.56 3.56 4.00 3.44

1.00 0.84 0.84 0.72 0.72 0.67 0.54

3.13 3.03 3.30 3.03

4.00 3.89 3.78 3.44 4.00 4.30

0.87 0.86 0.48 0.41

Table 2: Improved levels of user satisfaction between Reload and ReCourse, with rephrased statements,  scores adjusted for a 1 – 5 scale (higher = better) and grouped results The third evaluation was not directly comparable with the first two, because the task set for the  participants was more ambitious: they did not follow a worksheet, and were asked to create their own  unit of learning and publish it to the TENCompetence Learning Design Toolkit runtime system as  described in Griffiths & Georgiev et al., (2009b)6. The session lasted four hours (less for some  participants), which was divided equally between training and creating the UOL. The seven participants  were lecturers with varying degrees of skill as computer users, but with no more than an initial  acquaintance with IMS­LD. Of these  6

 See also the LD Toolkit site at http://www.tencompetence.org/ldtoolkit/

• 3 succeeded in building a valid (if basic) UOL and publishing it to CopperCore • 1 succeeded in publishing but had a debugging issue • 1 succeeded in validating the UOL but not publishing. • 2 were not successful in the time available In response to the questionnaire statement “I can imagine that I could use the software in future by  myself” the mean result was 4 on a 5 point scale. The results of this evaluation suggest that given a full  day’s training most teachers with basic computer skills would be able to independently author UOLs at  Level A. This would enable them to define the learning flow of a UOL, but not to control this through  the use of properties and conditions for which Level B of the specification is required. Interviews were  conducted with participants which resulted in valuable insight into the problems which they  experienced, which were fed back into the development process.

5 Insights into IMS-LD resulting from the implementation process This evaluation work described above, and ongoing engagement with the user group, provide an  indication that Reload and ReCourse are effective and improving applications. We now move on to  reflect on how this has been achieved, focusing on areas where this has provided insight into the nature  and use of the specification.

5.1 The need for a framework The Reload team had already produced a Content Packaging editor, and since a UOL must be delivered  as part of a Content Package it seemed a logical starting point to base the new IMS­LD editor on this  application. The resulting system was in effect a specialised development framework created by the  development team, which could read, parse and model any schema, and generate an editable instance  which could hold the entries made by the author, as described in Griffiths et al. (2005. p.128­9), and  Beauvoir & Griffiths (2007). Problems soon became apparent, however, when using this framework to  develop an IMS­LD editor. The creation of the many interface elements required was time consuming.  More fundamentally, the architecture which had been highly successful for specifications which have a  tree structure, such as Metadata and CP, created more problems than it solved when faced with the  complexity of intertwined data structures in IMS­LD.  Adoption of the Eclipse framework (Gruber, Hargrave, McAffer, Rapicault, & Watson, 2005) helped to  resolve both these issues, while also making it possible to extend the functionality of the application  through a flexible plug­in architecture. The JUnit framework (JUnit, 2001­2007) for unit testing7 was  employed throughout the code of both Reload and ReCourse, and this contributed significantly to  making the application more robust and easier to maintain.  Implementation of IMS­LD has primarily not been carried out by software companies, but by education  research centres. For research purposes less rigorous software development processes may be  satisfactory, and in any event such centres do not always have access to professional programming  skills. There is therefore a danger that applications developed for IMS­LD will not move beyond proof  of concept (valuable though they may be a prototypes), and will not be sufficiently reliable for large  scale use by education institutions. 7

 “A unit test is an automated piece of code that invokes a different method and then checks some assumptions on the  logical behaviour of that method or class under test” (Osherove, 2006)

Conclusion: Our development experience suggests that development of infrastructure for IMS­LD,  unlike some simpler specifications, is unlikely to succeed unless it is produced by professional  developers using industrial strength development frameworks and methods. Any attempt to do so will  lead to a distorted assessment of the potential of the specification. A framework such as Eclipse  provides substantial benefits in creating editors.

5.2 Representation of IMS-LD The representation of IMS­LD in ReCourse differed from that in Reload in three principal ways:  terminology, use of graphic elements, and management of the salience of IMS­LD elements.

5.2.1 Terminology Discussion with users at workshops with Reload had shown that the terminology of IMS­LD was  confusing for teachers, with the terms play, act and environment proving particularly problematic. This  was borne out in the results of evaluation of Reload detailed in Barrett­Baxendale (2008a). Rather than  proposing a fixed set of alternatives, a mechanism was created whereby users could define their own  terms, with a suggested terminology being included as default values in the distribution, as shown in  table 1, and figure 3 below. IMS­LD elements which whose names  can be modified in ReCourse Method Play / Plays Act / Acts Environment / Environments Learner Staff

Default names in ReCourse v1.6 Design Module / Modules Phase / Phases Environment / Environments Learner Teacher

Table 3 IMS­LD terminology in ReCourse It will be noted that no unambiguous alternative has been found for environment. We hypothesise that  part of the difficulty with this term is that the current players are limited to a tree representation, which  is not well suited to the concept of a learner moving through a series of environments within which  activities are carried out. A new player under development in TENCompetence seeks to make this  concept more comprehensible to authors, but in any event, authors and organisations are free to  establish their own term and include it as a default. Conclusion: The terminology of IMS­LD creates difficulties for non­expert users, but this can be  resolved with a system of configurable defaults.

5.2.2 Graphical representation of UOLs 5.2.3 Users of Reload requested greater use of graphical elements in the interface, and the results of  evaluation by the Liverpool Hope team specifically mentioned visually richer layouts (panels, menus,  icons). The first version of ReCourse was designed to make maximum use of visual representations of  the UOL being edited, and relied heavily on the use of the Eclipse Graphical Editing Framework (GEF) 

to provide a user interface inspired by the UML design approach. Version 1.0 divided the design and  editing areas into the following panels: • Course – corresponding to the “Method” of Learning Design • Activities • Environments • Roles • Resources As can be seen in the following figure, a drag and drop interface was provided enabling authors to  organise their learning activities, entirely leaving behind the tree based interface of Reload (see  Figure 1).

Figure 1 The Activities editor in ReCourse v.1 The Course panel (corresponding to method in the specification) included a graphical editor for the  creation of role parts within phases of the UOL (phase corresponds to act in the specification), as  shown in Figure 2. 

Figure 2 The “Course” editor tab in ReCourse v.1 Evaluation and feedback from version 1 of ReCourse, delivered in 2007, showed that the assumption  that graphical interfaces would necessarily be easier for users to understand was misleading, especially  for certain aspects. For example, roles are usually limited to one or two in number (learner and teacher)  and this does not require a full diagram editor, which adds rather than resolves complexity. Similarly,  lists and hierarchical trees provide support for the user in understanding the organisation of Activities  and Activity Structures (groups of activities which the learner can either follow in sequence or select  from), while a graphical representation complicates this by requiring the user to understand the  meaning of graphical and spatial representations. Evaluation of ReCourse v.1 showed that the biggest problem faced by users was “Sometimes I don’t  know what to do” (see section 3 a above). This is not surprising, as there is no inherent workflow in the  creation of a UOL, and users can build it in any order they see fit. ReCourse maintains this flexibility in  order to support the different approaches of different authors. For example, some may want to start by  preparing learning content, while others may commence by defining a flow of activities.  It was interpreted that the separation of functionality into separate panes made it hard for authors to get  a global view of what they were constructing, and that this was essential if a flexible workflow was to  be maintained. The new graphical representations in ReCourse v.1 had done little to resolve this  problem. Indeed they created additional difficulties because they took up more screen space, making it  harder to combine views, as we discuss in the next section

Environments are, however, a different case. An environment is a collection of files and services, which  can be used in carrying out one or more activities. In this case the graphical editor was maintained  because it is helpful to the author to be able to arrange the environments in a way that reflects the logic  of the UOL. For example, all the environments, which are used in the first phase of the UOL, may be  grouped together at the top of the screen, or alternatively all the environments to be used in relation to a  certain theme may be grouped. The fact that a single environment can contain many files and services,  makes them compact, and so it is practicable to represent them in a graphical interface. Conclusion: Graphical modelling frameworks are valuable in creating a general purpose IMS­LD  editor, but they are not the best option in all aspects of UOL authoring, and should be used where their  contribution can simplify rather than complicate the design process.

5.3 Managing salience of IMS-LD elements In order to resolve the global view problem mentioned in the previous section new representations of  IMS­LD were developed for the revised interface in version 1.5. The tabs for roles and activities were  removed from the application, and the user was enabled to define the whole learning flow by organising  activities, activity structures and roles in a grid representing the learning flow of a phase of the learning  design (see Figure 3 below). This simplification makes the authoring task easier in two ways. Firstly, it  manages the salience of IMS­LD elements. In earlier versions the author had build the learning flow by  creating role parts, in which an activity is assigned to a role, and an editor was provided for this  purpose. The present version hides the concept of role part from the author. A grid was chosen as a  graphical representation of the method of a UOL (the flow of learning activities) because it makes clear  to the user the underlying task to be performed (indicate which roles carry out which activities) and  limits of the choices which can be made (click on one of the roles in the same row as the activity).  When an activity is created on the grid, or dragged onto it, the application automatically assigns it to a  learner role (if it is learning activity) or a teacher role (if it is a support activity). All the roles, which  have been created in the UOL, are shown on the grid, and the assignation of roles to activities clearly  indicated with a tick. In Figure 3, for example, the activity “Look for evidence in favour” as been  assigned to the role “In favour”. In this way the need to assign roles to activities, and the choices  available are made salient to the author, and the role parts are inferred from these choices. Roles and activities can also be created and examined in the ‘library’ panel (to the right of Figure 3),  which can be displayed or hidden as required. The library panel was a feature requested by users  (Barrett­Baxendale, 2008a), and is shown in Figure 3, with ‘activities’ selected in the menu at the  bottom of the panel.

Figure 3 The revised “Course” editor panel in ReCourse v 1.6, with activity library To simplify the ‘design’ tab both conceptually and graphically, the editor for all those elements, which  refer to the UOL as a whole, was given its own tab called ‘Overview’.  In the design process outlined above, which involved many iterations which cannot be presented here,  ReCourse has moved away from an interface which was determined by the structure of the  specification. It now retains the underlying concepts of modelling with IMS­LD, but re­conceptualises  these in a way, which is more accessible to users who are not familiar with the specification. In order to achieve this simplicity it was necessary to resolve the long­standing issue of managing  resources, which many users had identified as a problem. A UOL includes many physical files,  resources (references to those files), and links to those resources defined in the properties of IMS­LD  elements. This is true even for small pieces of text, for example an activity description. Moreover, the  specification enables users to define a hierarchy of resources, if they so choose, and this has to be  supported if ReCourse is to be fully compliant with the specification. This is valuable in managing  multiple uses of a single file in a UOL, and very flexible, but is highly confusing for new users. Their  assumption is that if they want to add a description to an activity, then they should simply be able to  add the text to an activity object, and they are typically confused if presented with an editor for a  structure of resources, which then need to be related to files. The handling of these resources has been improved in an iterative process of development and feedback  from users, to the point where this complexity is hidden from non­expert users. When an author has to  create, for example, completion feedback for a Learning Activity, ReCourse now creates a default file  and resource and associates this with the properties of the Learning Activity. In this way the author can  simply click “edit”, and a rich text editor is launched, and a file and resource automatically created in 

the correct places. This solution assumes that authors will only want to create one file for each such  description (or the other such files which are created in a UOL). Expert authors who want to create  more complex structures of resources can choose to open an editor for this purpose. They can also  inspect the files and resources by navigating to another part of the application, the Resources tab, which  enables them to create, inspect and manage files for the whole UOL. In this way support is provided for  both the beginner and the expert user. Conclusions. In making IMS­LD usable by teachers it is important to  • make salient to users the key user actions leading to creation of a UOL • minimise the need to navigate to other parts of the application in order to define elements which  must then be associated with other elements elsewhere • anticipate a user’s intent and include default values, but without restricting the expert user  • extrapolate from user actions where possible (e.g. creating role parts)

5.4 Direct editing of Units of Learning An author may wish to make it easier to understand the design, which they are working on by colouring  certain activities to indicate their significance or content, or to group them thematically. IMS­LD makes  no provision for representing this information, and in Reload, and in other LD Editors (see for example  (Karampiperis & Sampson, 2004) and (Neumann & Oberhuemer, 2008a)) the solution has been to  import the UOL, manipulate and save it using a binary file format which contains graphical information  relevant to the application, and export the file when necessary so that it can be exchanged or run. The  disadvantages of this approach are twofold. Firstly, the same UOL may look radically different in two  editing environments, and there is no way to align them by using graphical information from one  environment in another application. Secondly, it is not clear to the non­technical user what the  difference is between a UOL which has been saved in an application specific file format, and a runnable  UOL expressed as IMS­LD, and which should be edited in what circumstances. This leads to  confusion, and because of this the user group in Liverpool Hope University made a request that  ‘import’ should be eliminated.  In ReCourse a new solution was found to this problem. ReCourse stores graphical information at a  name spaced extension in the “metadata” tag of the manifest file. This is bound against a schema  (XSD) file that can be optionally included with the Unit of Learning package. The advantages of this  approach are that • there is no application specific file format for ReCourse, and no need to import or export UOLs. • UOLs created with ReCourse, including the graphical information, can be opened directly by  other IMS­LD editors (including backward compatibility with Reload). The graphical  information has no meaning for other editors, but the fact that the schema is name spaced means  that interoperability at this level is at least a possibility.  • the graphical information should be ignored by an IMS­LD runtime system, and a ReCourse  UOL can be loaded as it stands onto the TENCompetence Learning Design Toolkit runtime  component. It is, however, possible that this would cause problems on other systems, and  consequently ReCourse enables the author to strip out the graphical information before  uploading. Thus the issue of representation of UOLs at design time was brought into focus by user feedback, and a  solution has been proposed in the development of ReCourse. This indicates a need to consider  obtaining agreement on a schema for representing graphical authoring information within the manifest 

of a UOL.  Conclusion: Intermediate file formats create difficulties for users, but are unnecessary. A name spaced  extension for graphical information has been proposed.

5.5 Workflow and plug-in structure One of the reasons for developing ReCourse rather than further improving ReLoad was to make use of  the plug­in architecture of Eclipse. The result is that ReCourse provides an extensible framework within  which applications to support authors’ workflow can be integrated without impacting on the core code.  The current plug­ins are as follows: 1. Rich Text Editor. A UOL contains many HTML files, not only for learning content, but also  for items such as learning objectives, activity instructions etc. The Rich Text Editor enables  authors to format these fully without the need to use an external web editor.   2. OpenDocument.net repository search and upload. This enables authors to browse Units of  Learning and to upload their work. The repository can parse the Units of Learning, which it  stores, and return information about their contents (e.g. learning objectives). This means that  authors can get basic information about the Unit of Learning without downloading it.  3. Runtime Services Discovery. This links with the TENCompetence Wookie Widget server,  described below, and provides information on the runtime services available to authors.  4. A questionnaire and test component, which generates IMS QTI 2.1. IMS­LD was developed  by adapting the Open University of the Netherlands Educational Modelling Language. In this  process support for questionnaires and tests was removed in order to avoid duplication with IMS  QTI. While this was logical in theory, in practice authors had no way of defining or running  tests and questionnaires. A plug­in has been developed to resolve this problem. Support has  been for running the products of the plug­in has been provided in the runtime system by  extending the APIS QTI engine, as described in Blat, Navarrete, Moghnieh, & Batlle Delgado  (2007). This is bundled with the TENCompetence runtime distribution.  5. Publish to and populate CopperCore Server. Users of recourse had to use the Command Line  Interface for CopperCore (CLICC) in order to set up runs of their UOLs. In order to set up a  UOL for learners, users had to leave the authoring environment, and use a command line  interface, which many found intimidating. This functionality is no provided in a plug in.  Moreover a link is provided to the runtime system (which can be local or remote) and when the  author has published the UOL it can be launched with a single click from within the plug­in. This latter plug­in makes publishing a UOL a substantially easier task, but it remains a major chore for  teachers. In evaluation of ReCourse this was identified as a major barrier to use by teachers, as some of  them have 150 learners on a course, which lasts nine months. In order to maintain flexibility and to  reduce the need for very detailed planning it is advantageous to be able to publish UOLs as the course  progresses. This enables the authors to adapt their design to the progress of the learners, current events,  etc., but it creates a considerable load in provisioning all the UOLs, which have to be added  individually by the teacher or an administrator. This chore increases to the degree that the course is  subdivided. If the designer chooses to create a single very large UOL for the whole course, then the  provisioning problem is reduced, but it becomes very difficult to adapt the course during the year.  As the system is open source, there is nothing to prevent an institution setting up an automatic  provisioning system drawing directly on their enterprise systems. However this is not practicable in all  circumstances, especially for smaller institutions, or for pilots to assess the usefulness of IMS­LD. To 

meet this need ReCourse is embedded in the wider TENCompetence Personal Competence Manager  (see (Lemmers, Vogten, Martens & Cherian, 2009) for a description of the latest version). This includes  development of self­registration functionality in the runtime, so that the teacher can publish the UOL  and then simply announce to learners that the next module is now available. This functionality will also  be valuable when a learner comes across a UOL in a repository, which does not require the  participation of a teacher. The learner can register, and if there is no minimum cohort they will  immediately be given access. If there is a minimum then they will be informed when this number of  participants has registered.  Conclusion: The effectiveness of IMS­LD cannot be assessed by only looking at individual  applications. Its connection with the wider environment is a determining factor. An architecture for  plug­ins and services is proposed which addresses this need.

5.6 Authoring services The problem of providing flexible runtime services has been recognised as a major problem since the  publication of the specification, as described in Olivier & Tattersall (2005). They point out that this  issue in IMS­LD is a case where the conflict between interoperability and rich functionality is  particularly problematic, since if a wide range of services were included, “how could any system be  expected to be compliant? Or should the specification stick to the lowest common denominator for  services, as in LD v1.0” (p.38). This problem resisted practical solution for a number of years, with the  inevitable suspicion arising that this was a fundamental problem with the specification, which could  only be solved by use of an ontology that could be used to enrich the description of activities and tools  in a script (Vega­Gorgojo, Bote­Lorenzo, Gomez­Sánchez, Dimitriadis, & Asensio­Perez, 2005), by  using a special xml configuration file and Grid middleware (Capuano, Iannone, Miranda, & Rosciano,  2005), or by defining a new language to describe services as proposed in Martel & Vignollet (2008).  The TENCompetence team at the Institute for Educational Cybernetics, Bolton, has developed a widget  based system which provides an effective and flexible framework for the development of interoperable  services (Sharples, Griffiths, & Wilson, 2008) and (Wilson, Sharples, & Griffiths, 2008). The only  change to the specification which was required to achieve this was to add the parameter widget= to the existing service element in an environment.  Widget services are run on the Wookie server, which is distributed together with a default set of  services (including chat, forum, vote, Googlemap, with more under development), and bundled with  CopperCore. The administrator of a server can add new services, and designate new defaults. In this  way the author can be confident that a basic set of default services will be available, but can also write  to specific services if they wish. In order to facilitate authoring ReCourse can interrogate a Widget  server and show the services, which are available to the author. These are included in a palette, and can  be dragged onto an environment.  The result is a system that enables authors to make available selected tools to selected groups of users  in a complex flow, and to provision these tools simply by assigning users to roles in the UOL. Whereas  UOLs have previously tended to be focused around content, it now worthwhile to create a UOL which  is focused on services where content takes second place. An example of this is a debate template  developed by the present authors to demonstrate ReCourse and the widget services approach (Griffiths,  Sharples, & Beauvoir, 2008).  Conclusion: Without pre­judging the merits of other solutions, the TENCompetence implementation  demonstrates that the provision of flexible runtime services, long seen as the Achilles heel of IMS­LD, 

can now be resolved without revision of the specification. This enables authors to use the specification  in new ways.

5.7 Working with level B The division of IMS­LD into three levels was primarily intended to give developers ‘the option of  releasing their implementations of this large specification in stages’ (Olivier & Tattersall, 2005). In the  course of implementation, however, we have found that the different functionality included in levels A  and B has strong implications for the types of users who can be supported by a general purpose editor,  and the degree of simplification which can be introduced to the user interface. This is for two main  reasons: 1. Working with the full power of properties and conditions is conceptually complex, because it  requires basic notions of programming, and because of the cognitive load, which it places on the  author to remember the state of a number of abstract entities. It seems unlikely that non­ technical users would want to engage with this degree of complexity, and this is supported by  feedback from users. 2. It is possible to embed properties in any XHTML document included in the UOL. If authors are  to have access to the full power of the specification then they need to be able to authors these  documents with a generic XHTML editor.  Nevertheless, we recognise that Level B is an essential part of IMS LD functionality. Here the  implementation of IMS­LD enables us to explore the trade­off between expressivity and usability,  which we argue, is an underlying theme for educational technology.  The approach adopted in ReCourse is therefore to:  • enable the application to open and save full UOLs at IMS LD levels A, B & C • provide the technically expert author with  o a means of creating and inspecting variables, and of setting conditions o a generic means of editing XHTML, with the option of using an external tool as a  default • provide the non­technical author with templates for the most frequent uses of Level B, for use  by non­experts An example of an authoring task for which it is appropriate to create a template  is the creation of  branching structures, where the learning flow is dictated by the value of a property set as a result of  user interaction, for example, a QTI test.  Inspection of collections of UOLs (Open University of the Netherlands, 2005, 2006) indicates that most  UOLs are authored at level A (although this could in part be a result of the lack of well designed tools  for authoring UOLs at Level B). Moreover some of the use of level B has been the result of the scarcity  of services, which has forced authors to model services using Level B, as shown by two examples, both  constructed using Reload. The UOL ‘Learning to Listen to Jazz’ (Tattersall & Burgos, 2005) uses  properties to construct a test to be completed by users. This is no longer necessary because ReCourse  provides an editor and runtime for QTI. In the UOL ‘Mythologies of Loss’ (Barrett­Baxendale &  Groes, 2008b) properties were used to enable learners to post, view and comment on their work. The  authors conclude in a case study that this UOL “has shown that it is possible for a non­technical non­ expert to produce a learning design based on IMS­LD with (a very high level of) support. The novice  can at least develop the structuring of activities, which gives an expert something to work with in  developing the design into a runnable unit of learning” (Barrett­Baxendale, 2008a) In other words, the 

teacher was able to define the learning flow, but an expert was needed to make it work. However, it  would be possible for a non­expert to build this UOL at Level A if a forum and upload facility were  available as services. TENCompetence has already published a forum, and it is intended to add an  upload facility. We propose that the combination of a flexible and extensible set of services, plus  templates for the most frequently used situations in which properties are required, will provide a means  whereby the non­technical user will be able to define the majority of the learning flows which they  require.  Conclusions:  • Richer and more flexible services reduce the need to make use of Level B. • Some of the main uses of Level B can be supported by templates. • Other uses of Level B require a knowledge of generic XHTML authoring and these require a  technically skilled author.

6 Concluding remarks In this paper we have described how IMS­LD may be seen as an intervention to improve the balance  between interoperability and expressivity, while the work reported here addresses usability in  authoring. We now reflect on three aspects of our results.  Firstly, our work indicates that the balance between these factors can be improved for IMS­LD, and that  the following conclusions contribute to this, as exemplified by the ReCourse editor: • Professional development techniques and frameworks are essential for dealing with the  complexity of IMS­LD • The creation and management of resources in the structures set out by the specification create  great difficulties for authors. Users can be helped in this task by  hiding much of this complexity  in the interface while retaining the full power of the specification.  • The problem of authoring services had been a major barrier to use. ReCourse and the  TENCompetence LD Runtime system offer a solution which is both flexible and interoperable • Authors have difficulty in understanding certain terms in IMS­LD. They can be supported by  enabling distributors of the applications, and the authors themselves, to change these terms  within the authoring tool • Authors have difficulty because there are many elements in IMS­LD and their relationships are  complex. They can be supported by making salient the elements which need to be created and  related, providing less immediately obvious access to elements which are relevant to experts or  little used, and removing from the interface those elements which can be inferred. • IMS­LD authoring tools have been limited by poor links to other systems used by authors.  ReCourse proposes an integrated set of plug­ins to support workflow including links to  repositories, authoring tests, and publishing and populating UOLs. It is also integrated into a  wider infrastructure for competence management. • It is unlikely that non­experts will want to work with the full power of IMS­LD Level B, but  they can be given access to its most common uses through templates. Secondly, the IMS­LD specification was closely based on Educational Modelling Language, developed  within the context of distance education (Koper, 2001), and designed to meet the widest possible range  of pedagogic designs (Es & Koper, 2005). The improved authoring capability offered by ReCourse, and  its integration with the TENCompetence IMS­LD runtime and the Personal Competence Manager, is a 

significant step towards making this pedagogic vision a reality. This approach has generated interest in  many areas of education, but is of particular relevance to open, distance and flexible learning, where  reliance on computer mediated activities is greater, and the restrictions of current systems more keenly  felt.  Thirdly, our work contributes to determining if systems can be both interoperable and highly expressive  of pedagogic intentions, and if the implied hypothesis identified in section 2 above is valid: “Regardless  of the pedagogy involved, in practice every learning design comes down to: a Method prescribing  various Activities for learner and staff Roles in a certain order. IMS­LD can describe these aspects in  sufficient detail to provide an effective representation of any learning design”. Our work cannot provide  a definitive answer to these questions, but by removing unnecessary barriers to using IMS­LD it  eliminates negative factors, and takes an essential step in moving the discussion towards a conclusion. It  also makes a practical contribution by making authoring of UOLs easier to achieve, and providing a  more solid infrastructure with which to evaluate the effectiveness of the specification.

7 References Barrett­Baxendale, M. (2008a). LD4P: Supporting Practitioners in producing IMS Learning Designs  (LD for practitioners), Project Completion Report: JISC.  Barrett­Baxendale, M., Groes, Sebastian. (2008b). Mythologies of Loss. Retrieved January 19, 2009,  from http://hdl.handle.net/1820/371 Beauvoir, P., & Griffiths, D. (2007). Issues and Solutions in Providing Tools for Elearning  Interoperability Specifications: the Case Of Reload. Paper presented at the Knowledge and  Innovation 2007, The University of Bolton.  Berners­Lee, T., Cailliau, R., Groff, J.­F., & Pollermann, B. (1992). World­Wide Web: The Information  Universe. Electronic Networking: Research, Applications and Policy, 1(2), 74­82. Blat, J., Navarrete, T., Moghnieh, A., & Batlle Delgado, H. (2007, 11­12 January). A QTI Management  System for Service Oriented Architectures. Paper presented at the TENCompetence Open  Workshop on Service Oriented Approaches and Lifelong Competence Development  Infrastructures, Manchester. Burgos, D., & Griffiths, D. (Eds.). (2005). The UNFOLD Project: Understanding and Using Learning  Design: Open University of the Netherlands, Heerlen Educational Technology Expertise Centre.  Capuano, N., Iannone, R., Miranda, S., & Rosciano, M. (Eds.). (2005) SWEL’07: Ontologies and  Semantic Web Services for Intelligent Distributed Educational Systems; Supplementary  Proceedings of the 13th International Conference of Artificial Intelligence in Education (AIED  2007). Marina del Rey, CA, USA. CETIS. (2002­2007). RELOAD Reusable eLearning Object Authoring & Delivery. Retrieved 10th  March, 2007, from http://www.reload.ac.uk/  de la Fuente Valentín, L., Pardo, A., Delgado Kloos, C. Experiences with GRAIL: Learning Design  support in .LRN. 33 . In Navarette, T., Blat, J., & Koper, R. (2008). Current Research on IMS  Learning Design and Lifelong Competence Development Infrastructures. Proceedings of the 3rd  TENCompetence Open Workshop, 33­39. Universitat Pompeu Fabra, Grup de Tecnologies  Interactives: Barcelona, Spain. Es, R., & Koper, R. (2005) Testing the pedagogical expressiveness of IMS LD. Educational Technology  & Society, 9 (1), 229­249.  Fowler, A. (1194­2008). A Swing Architecture Overview. Retrieved November 15, 2008, from 

http://java.sun.com/products/jfc/tsc/articles/architecture/  Griffiths, D., Barrett­Baxendale, Beauvoir, P., Sharples, P., Hernandez Leo, D. M (2008)  TENCompetence Report ID 6.5 Validation testing and usability results. Retreived15th January,  2009, http://hdl.handle.net/1820/1730  Griffiths, D., Beauvoir, P., & Sharples, P. (2008). Advances in Editors for IMS LD in the  TENCompetence Project. Proceedings of Advanced Learning Technologies, 2008. ICALT '08.  Eighth IEEE International Conference on, Santander (pp. 1045­1047) Griffiths, D., Blat, J., Garcia, R., Vogten, H., & Kwong, K. (2005). Learning Design Tools. In R. Koper  & C. Tattersall (Eds.), Learning Design: modelling and implementing network­based education  & training (pp. 109­135): Springer Verlag. Griffiths, D., Franklin, T., Sharples, P., Beauvoir, P., Miao, Y., Tattersall, C., et al. (2008).  TENCompetence Deliverable 6.1 Annex 1 ­ IMS LD Authoring: TENCompetence. Retrieved 15th  November, 2008, from http://hdl.handle.net/1820/1149 Griffiths, D., Georgiev, Atanas, Hernandez, D., Melero, J., Steffanov, K., Perez, M., Sharples, et al.  (2009a) TENCompetence Report D6.2: Validation testing and usability results. Retrieved 15th  January, 2009, http://dspace.ou.nl/handle/1820/1730 Griffiths, D., Georgiev, Atanas, Hernandez, D., Melero, J., Steffanov, K., Perez, M., Sharples, et al.  (2009b) Annex to TENCompetence Report D6.2: Validation testing and usability results.  Retrieved 15th January, 2009, http://hdl.handle.net/1820/1728 Griffiths, D., & Liber, O. (2008). Opportunities, Achievements, and Prospects for Use of IMS LD. In L.  Lockyer, S. Bennett, S. Agostinho & B. Harper (Eds.), Handbook of Research on Learning  Design and Learning Objects: Issues, Applications, and Technologies (Vol. 1, pp. 87­112).  Hershey, New York: Information Science reference (an imprint of IGI Global). Griffiths, D., Sharples, P., & Beauvoir, P. (2008). Debate Template UOL. Retrieved November 16,  2008, from http://hdl.handle.net/1820/1550 Gruber, O., Hargrave, B. J., McAffer, J., Rapicault, P., & Watson, T. (2005). The Eclipse 3.0 platform:  Adopting OSGi technology. IBM Systems Journal, 44(2), 289­299. IMS Global Learning Consortium Inc. (1999). Certificate of Incorporation. Retrieved 19th January,  2009, from http://www.imsglobal.org/certificateofincorporation.pdf. IMS Global Learning Consortium Inc. (2003). IMS Learning Design Best Practice and Implementation   Guide, Version 1.0. Final Specification. Retrieved 30th July, 2007, from  http://www.imsglobal.org/learningdesign/ldv1p0/imsld_bestv1p0.html JISC. (2005). SLeD integration demonstrator. Retrieved 1st June, 2007, from  http://www.jisc.ac.uk/whatwedo/programmes/elearning_framework/elfdemo_livhope.aspx  JUnit. (2001­2007). JUnit.org. Reetrieved 19th January 2009 from http://www.junit.org/ Karampiperis, P., & Sampson, D. (2004). A Flexible Authoring Tool supporting Adaptive Learning  Activities. Paper presented at the IADIS International Conference on Cognition and Exploratory  Learning in Digital Age (CELDA 2004), Lisbon. Koper, R. (2001). OTEC Working Paper: Modeling units of study from a pedagogical perspective: the  pedagogical meta­model behind EML. Heerlen: OUNL. Retrieved 19th January, 2009, from  http://hdl.handle.net/1820/36  Koper, R., & Tattersall, C. (Eds.). (2005). Learning Design: modelling and implementing network­ based education & training: Springer. Lemmers, R., Vogten, H., Martens, H., Cherian, R. (2009) TENCompetence report ID3.9 Architecture 

Design Document. Retreived 19th January, 2009, from http://dspace.ou.nl/handle/1820/1725 Martel, C., & Vignollet, L. (2008). Using the Learning Design Language to model activities supported  by services. International Journal of Learning Technology, Special Issue on Towards an  Interoperable and Open­Source Infrastructure for Lifelong Competence Development. Eds  Griffiths, D; Koper, R and Liber O, 3(4), 368­387. McAndrew, P., Little, A., & Nadolski, R. (2005). Developing an approach for Learning Design Players.  Journal of Interactive Media in Education (Advances in Learning Design. Special Issue, eds.  Colin Tattersall, Rob Koper, 14. Neumann, S., & Oberhuemer, P. (2008a). Supporting Instructors in Creating Standard Conformant  Learning Designs: the Graphical Learning Modeler. Proceedings of World Conference on  Educational Multimedia, Hypermedia & Telecommunications (ED­MEDIA), June 30 ­ July 4,  2008, Vienna. Neumann, S., & Oberhuemer, P. (2008b). "Bridging the divide in language and approach between  pedagogy and programming: the case of IMS Learning Design". In Whitton, N., and  McPherson, M. (Eds). Rethinking the digital divide. Research Proceedings of the 15th  Association for Learning Technology Conference (ALT­C, 2008). Held 9­11 September 2008,  University of Leeds, England, UK. Olivier, B., & Tattersall, C. (2005). The Learning Design Specification. In R. Koper (Ed.), Learning   Design, a Handbook on Modelling and Delivering Networked Education and Training (pp. 21­ 40). Open University of the Netherlands. (2005). DSpace at Open Universiteit Nederland, IMS LD  Packages. Retrieved November 15, 2008, from http://dspace.ou.nl/handle/1820/16 Open University of the Netherlands. (2006). Learning Networks for Learning Design. Retrieved 15  November, 2008, from http://imsld.learningnetworks.org/ Osherove, R. (2006). The Art of Unit Testing (book in writing). Retrieved May 30th, 2007, from  http://the.artofunittesting.com/ Sharples, P., Griffiths, D., & Wilson, S. (2008). Using Widgets to Provide Portable Services for IMS  Learning Design. Paper presented at the The 5th TENCompetence Open Workshop: Stimulating  Personal Development and Knowledge Sharing, October, 30­31, 2008. Tattersall, C., & Burgos, D. (2005). Learning to listen to Jazz. Retrieved November 14, 2008:  http://hdl.handle.net/1820/371  Vega­Gorgojo, G., Bote­Lorenzo, M. L., Gomez­Sánchez, E., Dimitriadis, Y., & Asensio­Perez, J. I.  (2005). Semantic Description of Collaboration Scripts for Service Oriented CSCL Systems. In  C.­K. Looi, G. McCallam, B. Bredeweg & J. Breuker (Eds.), Artificial Intelligence in Education  (Vol. 125). Amsterdam: IOS Press. Wilson, S., Sharples, P., & Griffiths, D. (2008). Distributing education services to personal and  institutional systems using Widgets. Paper presented at the Workshop on Mash­Up Personal  Learning Environments (MUPPLE’08) at the 3rd European Conference on Technology  Enhanced Learning (EC­TEL08), Maastricht.