Improving student learning through assessment for ...

5 downloads 378 Views 483KB Size Report
most recently has involved the use of social media and e‐learning 2.0. This ... programme on the completion of each year with certification. If the student.
Improving student learning through assessment for learning  using social media and e­Learning 2.0 on a distance education  degree programme in Sri Lanka   

 

Hakim Usoof (Umeå University, Sweden)   Gihan Wikramanayake (University of Colombo School of Computing, Sri Lanka)  Abstract  This  study  is  part  of  a  larger  study  into  assessment  practices  on  a  large  distance education programme in Information Technology (BIT) based at the  University  of  Colombo,  School  of  Computing  (UCSC),  Sri  Lanka.  The  overall  development  in  which  it  is  set  is  co‐ordinated  by  the  National  E‐learning  Centre  of  Sri  Lanka  based  at  UCSC.  This  project  is  involved  in  a  longer‐term  study into summative assessment for the promotion of higher order thinking  on  the  part  of  students  working  on  the  BIT  programme.  This  programme  involves  annual  enrolment  of  around  1500  students  who  work  at  a  distance  with  variable  levels  of  support  from  local  study  centres.  Against  this  background there has been a continual process in place for improving failure  and  drop  out  rates  through  the  use  of  technology  enhanced  learning,  which  most  recently  has  involved  the  use  of  social  media  and  e‐learning  2.0.  This  paper will address the question of the ways in which the design process has  resulted  in  improving  the  student  learning  experience  and  in  doing  so  will  draw on data from questionnaires and interviews directly with students. 

Background

  The University system  Sri Lanka has a state University system. The total number of Universities in Sri  Lanka  is  15  in  number  with  a  total  of  58,500  students  and  3800  academics.  In  addition to these, there are 9 other institutions that come under the University  Grants Commission (UGC). There is also one institution that awards degrees in IT  and Computer Science, which has no affiliation to the UGC but is sanctioned by  the Government to award degrees. These Universities and the Institution award  degrees of their own. There are also many other private institutions, which are  not  sanctioned  by  the  Government  to  award  degrees.  These  institutions  act  as  proxies of foreign Universities that offer degrees in Sri Lanka.  The  admission  into  the  Universities  and  Institutions  under  the  UGC  is  through  the  results  of  the  G.C.E.  Advance  Level  (A/L)  examination,  which  is  a  national  examination conducted by the Ministry of Education. The subjects’ students offer  at  the  G.C.E  A/L  examination  dictates,  which  study  programmes  the  students  may follow in University. From the total of 200,000 who sit for the examination  each  year,  120,000  qualify  with  the  minimum  marks  required  for  University  admission.  Currently,  the  Universities  in  Sri  Lanka  can  accommodate  about  20,000  new  admissions  per  year  which  is  about  10%  of  the  total  number  of  student sitting for the A/L examination and 16% of the total number that qualify  for  admission  to  the  Universities  (Central  Bank,  2006).  These  students  follow  courses  full‐time  on‐campus  (internal).  Similar  to  primary  and  secondary 

 



education,  tertiary  education  is  free  in  Sri  Lanka.  In  addition  to  this,  students  may be entitled to a monthly scholarship during their stay at University.   In  addition  to  these  full‐time  internal  degrees  offered  by  the  Universities  and  Institutions, there are also study programmes referred to as external degrees. In  most occasions, the individuals reading for these are part‐time students and take  the  courses  off‐campus  (external).  The  admission  to  these  degree  programmes  may be based on the G.C.E A/L results and/or through a qualifying examination.     The BIT degree programme  The  BIT  degree  programme  is  conducted  by  the  UCSC.  It  is  an  external  degree  where students with an interest in Information Technology (IT) can follow three  year study programme. The students have the option of continuing or leaving the  programme  on  the  completion  of  each  year  with  certification.  If  the  student  achieves  above  a  minimum  criteria  in  his  or  her  examinations,  the  student  is  awarded  the  Diploma  in  IT  (DIT)  at  the  end  of  the  1st  year  and  the  Higher  Diploma in IT (HDIT) at the end of the 2nd year and at the end of the final year, he  or she will be awarded the degree of Bachelor of IT (BIT).   Students who follow the BIT study programme have a diverse level of education  and  also  have  diverse  objectives.  Following  are  some  of  the  most  common  categories of students who take the BIT study programme:    

 

 

Individuals  vying  for  a  degree  soon  after  their  Advanced  Level  examination   Individuals  following  parallel  degrees  or  seeking  a  second  degree  in  different subject areas or related subjects areas  Individuals from the IT industry or expecting to obtain a career in the IT  industry  (May  already  posses  a  degree  in  a  different  subject  area  or  a  diploma in IT or Computer Science)  Individuals  vying  for  a  degree  despite  failing  the  Advanced  Level  examination  Individuals looking for a Foundation in IT leading only to DIT. 

The  number  of  students  following  the  BIT  programme  varies  greatly  among  years but the number of students progressing through the programme follows a  similar pattern. In certain years the dropout rate has been as high as 55%. The  failure rate and the dropout rate have been identified as a major issue of the BIT  study  programme.  The  limited  assistance  for  learning  from  the  UCSC  and  the  issues  in  the  assessment  system  have  been  identified  as  problem  areas  during  the analysis of the BIT degree programme.        

 



Learning and Teaching in the BIT degree programme  The  students  in  the  BIT  degree  programme  use  various  study  methods.  Attending  private  institutes  that  conduct  classes  for  the  BIT  study  programme,  self‐studying  and  group  studying  have  been  identified  as  the  most  common  methods  of  preparing  for  the  exam.  It  is  very  common  for  students  to  use  a  combination  of  these  methods.  But  it  is  important  to  point  out  that  some  students only use self‐studying.  The  students  in  most  cases  have  access  to  the  student  manuals  (detailed  text  about  subject  matter)  created  for  each  course,  reference  books,  BIT  Virtual  Learning Environment (VLE) with Online learning content, assignments, practice  tests, etc., CDs with TV programmes and videos and, Notes and handouts given  by the institutions they attend classes.   The  UCSC  plays  a  very  limited  role  in  the  actual  learning  process  and  act  as  a  more  administrative  body.  The  administration  of  students  and  the  preparation,  conducting  and  marking  of  examination  and  the  accrediting  students  are  the  main activities conducted by the UCSC. The learning process is aided by the UCSC  by the designation of a detailed syllabus with the learning outcomes, the topics  to be covered and specific references, development of the student manuals and  creation of assignments and practice tests and on‐line learning content.  The BIT  VLE has been added by the SIDA funded eBIT project in an attempt to improve  the  support  provided  for  learning.  The  VLE  consists  of  online  learning  content,  documents, slideshows, videos and forums and runs on Moodle.   The students do not have any direct contact with the academic staff who handle  the  courses.  The  lecturer  in‐charge  of  the  course  has  a  distinct  set  of  activities  that he or she has to perform. They are preparing the course syllabus, developing  the student manual, moderating the content developed for VLE, creating TV and  Video programmes, creating the assignments and practice tests and creating and  marking  the  final  examination.  The  lecturer  gets  paid  separately  for  his  contribution  to  the  BIT  degree  programme,  but  the  work  done  is  not  accumulated to his University workload. In its latest attempt to aid the students’  learning process, the UCSC has allocated an e‐Facilitator (a dedicated individual)  for each course to address student questions.     Current Assessment  At  the  end  of  the  course,  the  students  sit  for  an  examination  conducted  by  the  UCSC  at  a  designated  examination  centre.  The  final  examination  contributes  100%  marks  in  determining  the  final  grade  of  the  student  for  the  particular  course. The examination centres may be located in a few major cities in Sri Lanka  as well as some other countries that have a substantial number of students. The  year  1  examination  consists  of  40‐60  Multiple  Choice  questions  (MCQs)  while  structured questions are introduced from year 2 onwards. These questions bare  an inclination towards testing factual knowledge rather than higher order skills,  which also encourage students to rote learning. Literature too supports this fact  that  MCQs  encourage  rote  learning  (Scouller  1994  1998,  Gipps  1994,  Paxton   



2000).  Another  identified  issue  is  the  guessing  factor  when  dealing  with  MCQs.  Prior  to  the  current  syllabus  revision,  the  BIT  exams  discouraged  guessing  in  answering by penalizing wrong answers, this method was changed in the revised  syllabus to improve pass rates and also increase the student’s level of confidence  by  penalising  students  for  guessing  within  the  question,  instead  of  carrying  forward  the  negative  mark  to  the  next  question  as  it  was  before  the  2006  revision.  Innovative  MCQ  development  such  as  “confidence  measurement”  (Farrell & Leung 2004, Davis 2002) and “computer adaptive testing” (Conole &  Warburton  2005)  still  may  be  adapted  to  solve  this  issue,  but  it  still  does  not  fully eliminate the guessing factor and the argument that MCQs feed the answer  rather  the  student  constructing  the  answer.  The  possibility  of  guessing  adds  to  the  issues  of  validity  of  the  MCQ  assessment  system  used  in  the  BIT  study  programme.     Another  identified  issue  is  the  language  problem  of  students.  The  BIT  study  programme is conducted in English, which is the second language to the majority  of  the  students.  This  also  causes  issues  that  some  students  find  it  difficult  to  understand the question, thus creating unfair assessment by them.     Computer Literacy and Internet penetration in Sri Lanka  According to a survey done in 2004, Sri Lanka has a 10% computer literacy rate,  which  varies  from  a  high  of  20%  in  the  Colombo  district  to  a  low  of  3%  in  the  Monaragala  district.  The  Internet  penetration  is  about  0.7%  and  this  too  varies  from  a  high  of  1.8%  in  the  Western  province  to  a  low  of  0.1%  in  Uva,  North  Central  and  Sbaragamuwa  provinces  (Department  of  Census  and  Statistics,  2004). Since 2002 the introduction of General Information Technology (GIT) as a  subject  for  G.C.E  A/L  students  ICT  being  a  subject  from  2008  in  the  G.C.E  O/L  exams  have  helped  improve  the  Computer  Literacy  of  students  leaving  school  (De Silva, 2007). Current literacy rate is claimed to be reaching 30% (Daily News,  2009).   

Progression of Technology in the BIT  The  BIT  degree  programme,  which  commenced  in  2000,  has  undergone  three  major revisions, which can be classified into three phases.   1. Pre‐LMS from 2000/01 to 2002/03 (First three years)  The  learning  assistance  provided  for  students  during  this  phase  was  mainly the following;  • Static www.bit.lk website to provide information   • Detail syllabi with recommended text books  • Model papers and Model answers  • Some PowerPoint slides  • A few lessons through TV  • Private Institutional support     



2. LMS from 2003/04 to 2005/06 (Next three years) – Introduced LMS with  practice  quizzes  and  unsupervised  assessments  that  has  to  be  passed  in  addition to the final examination to be qualified for Diploma and Higher  Diploma certificates.  More support was offered to students during this phase. They included   • More dynamic website  • Detail  syllabi  with  Learning  Objectives,  recommended  text  books  and reference page numbers  • Practice quizzes and Assignments  • Introduction of a Collaborative Learning model  Drawbacks  of  this  phase  were  the  facts  that  it  lacked  Constructive  alignment between syllabus, learning resources and assessment. Also the  failure  of  the  Collaborative  learning  model  was  a  key  drawback.  The  repercussion  was  a  negative  impression  that  the  BIT  lacked  student‐ learning  support.  Furthermore,  there  was  a  lack  of  connection  between  continuous assessment and end semester examinations.     3. eBIT  from  2006/07  onwards  (two  batches  so  far)  –  e‐learning  content,  quizzes and activities for year 1 and activities and quizzes for year 2.  A  radical  change  occurred  in  this  phase  with  much  more  support  for  students’  learning  through  a  strict  adherence  to  Constructive  Alignment  between Syllabus, Learning Content and Assessment. The implementation  of  rich  learning  content  and  learning  activities  aimed  at  improving  students’  learning  was  a  vast  improvement  over  the  previous  phase.  Another improvement was the introduction of Formative Assessment and  the  creation  of  a  clear  relationship  between  Formative  and  Summative  assessment in the eBIT phase.    The  use  of  Forum  and  Chat  facilities  within  the  BIT  VLE  to  enhance  student  interaction  and  collaborative  learning  is  also  a  key  difference  in  the eBIT phase. The use of ‘UCSC TV’ for streaming related programmes is  another initiative to help students in their learning process. The creation  of a social network instance called the eBIT Community using the Elgg is  also  another  attempt  to  use  Social  Media  for  students’  collaborative  learning  and  interaction.  Previously  BIT  students  had  very  little  opportunity to get their issues and questions addressed. The introduction  of  an  e‐Facilitator  for  each  course  has  helped  address  this  issue  in  the  eBIT phase.   The three phases have been compared to each other considering two factors, the  Enrolment and Progression of students.  Enrolment  Enrolment refers to the number of registered students for a particular academic  year of the BIT degree programme. This can be looked at in two different views.  First  the  numbers  of  new  students  joining  the  BIT  degree  programme  and  second  the  numbers  of  students  remaining  within  the  entire  BIT  degree  programme.    



For  example,  the  1st  year  Enrolment  for  2007/08  was  1558  students.  The  Average 1st Year Enrolment for the three phases is 3630 for the Pre‐LMS, 1678  for  the  LMS  and  1377  for  the  eBIT.  The  drop  in  enrolment  can  mainly  be  accredited to the fact that during the inception, most students thought they could  “just  do  a  degree”  and  also  the  fact  that  a  conception  was  created  that  the  BIT  was difficult to follow and lacked student support.  The average enrolments for the three years (including repeat candidates) during  the three phases were 5358 for the Pre‐LMS, 4398 for the LMS and 3663 for the  eBIT (is expected to become around 4000 with the 2008/09 intake).  In the 2007/2008 Academic year, the BIT degree programme saw 781 students  progressing to Year 2 for the first time and 284 students progressing to Year 3  for the first time with some of them having very few repeat papers.   It  is  important  to  mention  that  there  is  a  cross  batch  effect  on  the  figures,  for  example  the  1st  Year  students  of  the  LMS‐phase  of  academic  year  2005/2006  would be in the eBIT phase as 3rd Year students in the academic year 2007/2008.    Progression  Progression  can  be  looked  at  as,  how  many  students  continue  to  progress  through the degree programme achieving at least the minimum required results  to progress to the next year of study. It can also be considered as an indicator for  students passing their exams.    Academic Year

1st time success to proceed from Year 1 to Year 2 (%)

Dropouts from previous Year 1 (%)

Obtained CIT/DIT (%)

1st time success to proceed from Year 2 to Year 3 (%)

Dropouts from previous Year 2 (%)

Obtained ACIT/HDIT (%)

2000/2001 2001/2002 2002/2003 2003/2004 2004/2005 2005/2006 2006/2007 2007/2008

12 9 12 22 21 21 51 45

46 54 50 54 50 46 37 36

4 6 10 13 13 14 16 17

N/A 38 53 63 58 50 57 51

N/A 12 14 23 16 13 13 26

N/A 14 20 32 30 30 30 33

Table 1. Student progression indicators and achieving certification  Year 1 to Year 2  The VLE of the BIT degree programme provide first year students with student  manuals  for  each  course,  e‐leaning  content,  practice  quizzes,  assignments,  learning  activities  and  CD  with  TV  programmes.  The  first  year  students  have  a  great  deal  of  learning  support  and  can  also  call  upon  the  assistance  of  an  e‐ Facilitator assigned for each course.  

 



A fourfold improvement in progression of first year students to the second year  can be seen when comparing the Pre‐LMS phase to the eBIT phase and a twofold  improvement  when  comparing  the  LMS  phase  to  the  eBIT  phase  of  the  BIT  degree programme. The average first time successes were 11% for the Pre‐LMS  phase, 21% for the LMS phase and 47% for the eBIT phase.  Year 2 to year 3  Unlike  for  the  first  year  students,  the  second  year  students  do  not  receive  as  much  support  from  the  VLE.  They  are  provided  with  quizzes  and  learning  activities. When comparing the second year figures, it is important to note that  repeat students benefited from the fact that the Math II and Computer Networks  papers were made optional.   There  is  no  considerable  difference  in  the  first  time  success  rates  between  the  three phases of the BIT. Even though there has been an increase in the number of  students  achieving  the  HDIT  certification,  it  is  not  visible  as  a  percentage  since  there  is  an  increase  in  the  number  of  students  following  the  second  year.    The  average first time successes were 51% for the Pre‐LMS phase, 55% for the LMS  phase and 51% for the eBIT phase.  From the above figures, it is clear that there is a great improvement in the first  year of the BIT degree programme in student passing and student retention, but  there  is  no  change  in  the  figures  for  the  second  year.  The  considerable  technology‐enhanced learning support provided for students in the first year and  the lack of such considerable support in the second year, shows a clear relation  to the improvement in the high dropout rate in the first year and the lack of such  a change in the second year. It is clear that extremely high dropout rate, which  was a key issue of the BIT, has been addressed to a certain extent by the advent  of  technology‐enhanced  learning  in  the  first  year.  Furthermore  the  numbers  of  new students enrolling in the BIT degree program has stabilised at around 1500.  This  figure  may  even  grow  with  the  BIT  programme  beginning  to  gaining  a  reputation as a study programme that provides Distance Education and supports  student learning.   

Social Media and the BIT  There have been several attempts both by the UCSC and BIT students too create  a presence on the Internet using social media.   The  UCSC  has  created  an  eBIT  community  using  the  Elgg  environment  as  an  attempt  to  create  collaborative  learning  and  encourage  student  interaction.  Furthermore,  Moodle  Forums  and  Chats  are  being  currently  used  not  only  to  encourage  collaborative  learning  and  student  interaction,  but  also  to  address  student  issues  and  questions  via  the  e‐Facilitators.    The  UCSC  has  also  used  a  YouTube account in addition to ‘UCSC TV’ to provide accessibility for students to  view the BIT TV programmes.   In addition to the UCSC initiative, students and Institutions that cater to the BIT  syllabus  have  taken  their  own  initiatives.  These  include  eight  groups  on   



Facebook,  one  Google  group,  a  Blog  and  a  video  sharing  on  Magnify.net.  The  membership varies from 21 to 307 in these networks.   It is observed through many student comments for example;  “Heya evry1. Great c ya all in 1 place!!!!!!!!”  “I think this is a better way to share information about what we know & what we  want to know about the newest systems & technology. So that it'll be a big deal to  achieve our goals in life.  So dear mates, if you've got anything new just use this group to spread that among  all of our BIT friends.”  And the following is a response (original text of student) to an email interview of  the BIT student on the question “Do you think that students' online contributions  to  the  community  (posting  links,  discussing,  commenting,  helping  other  etc.)  should be rewarded by some marks for the BIT assessment?”  “People normally contribute to a community because their tech interest and when  they  are  experienced  about  the  same  problem.  For  example  if  someone  asks  a  question  about  C++  programming  and  if  I  knew  it  well,  then  I'm  very  glad  to  answer  that  question  and  share  the  facts.  It  should  be  rewarded,  like  other  communities  do  look  at  the  daniweb.com  site,  they  using  a  "points"  and  "star"  system  to  reward  the  members  who  contribute.  that  should  be  added  to  the  member profile and his badge. for example if you are good contributor in the form  C++  ,  when  you  gone  to  a  C++  job  interview  you  can  say  I'm  a  member  of  this  community  that  have  this  points  and  this  number  of  solved  number  of  threads  in  C++.  But it should not be mix with the assessment marks, cause it will be another  overhead.  use  the  interest  not  force  them.  and  it's  not  actually  fair  to  give  some  marks for the contributions for this community cause exam is a different thing”  that  students  have  expectations  of  providing  and  gaining  help  and  building  a  social network with fellow BIT students.  Even though there are encouraging signs in the initial stage of creating or joining  a social network of the BIT, there seems to be a lack of motivation and responses  for the community to flourish. This could be due to that fact that online‐learning  communities depend on some key factors (Hiltz, 1998);  1. Behaviour moulded, modelled and encouraged by the instructor.  There have been not many activities that have been introduced in the BIT  that  encourage,  mould  and  model  collaborative  learning  and  building  of  community.  2. Software structures that will support group collaboration.  Moodle,  the  Elgg  environment,  Facebook  and  other  social  media  sites  have  provided  the  software  structures  needed  to  support  group  collaboration, but students do see some issues with these too, evident by  the following comment “I see the elgg user interface isn't looking good and  nt user friendly personally”.  3. Learner’s ability and willingness to participate regularly.    



Limited  access  to  the  Internet,  time  management  issues  of  BIT  students  especially part time students who are employed, bandwidth issues, lack of  online social networking experience and lack of taking responsibility for  their  own  learning  too  may  be  the  reasons  for  the  lack  of  progress  in  collaborative  learning  in  these  social  networks.  Furthermore  the  deficiencies  in  expressiveness  and  a  Cultural  factor  of  not  asking  questions too may affect the progression of the social Network. 

Learning Communities & Collaborative Learning    An inherent issue in the BIT degree program is the lack of a Teacher. This creates an environment where the student is isolated unless that student attends an institute that caters to the BIT syllabus. One solution for this scenario is to create an online learning community where the students collaborate in learning and take responsibility for their own and their peers’ learning. Mioduser, Nachmias et.al. (1999), and Mioduser and Nachmias (2002) define a learning community as a novel educational system based on the combination of three components: a virtual community (social dimension), hosted by an appropriate virtual environment (technological dimension), and embodying advanced pedagogical ideas (educational dimension). Ludwig‐Hardman and Dunlap (2003) define a learning community as a group of  people, connected via technology mediated communication, who actively engage  one  another  in  collaborative  learner‐centered  activities  to  intentionally  foster  the  creation  of  knowledge,  while  sharing  a  number  of  values  and  practices,  including diversity, mutual appropriation, and progressive discourse.    What is clear in both these definitions is that there are three elements that are  key; a technological element, a social element and an educational element. Even  if one of these elements were missing, there would not be a learning community.  As  Lowell  and  Persichitte  (2000)  say  “simply  requiring  learner  interaction  in  asynchronous environments does not promote a sense of community”.  The  three  factors  Hiltz  (1998)  mentions  can  be  clearly  related  to  the  above  elements and can also be identified in Figure 01 that depicts a Conditional Matrix  by  Brown  (2001)  where  the  darker  shades  define  higher  engagement  in  class  and dialogue, and feelings of belonging to a community.    

 



Figure 01. Conditional Matrix for community (Brown, 2001) 

   

 

 

Student perspective on assessment  Survey   A survey was carried out to obtain the students’ perspective on assessment. An  online questionnaire was posted on the LMS of the BIT degree programme. The  questionnaire  targeted  1st  year  students  of  the  BIT  degree  following  the  Computer Systems I course. The total number of respondents was 45. The total  number  of  students  who  viewed  the  questionnaire  were  121,  hence  a  37%  response ratio. 73% of the respondents were male, which is close relation to the  gender ratio of BIT students.   Majority  of  the  students  who  took  this  questionnaire  were  following  the  BIT  degree  programme  in  order  to  pursue  a  career  in  the  IT  industry  or  to  gain  knowledge  in  ICT.  Furthermore,  76%  followed  the  study  programme  as  part‐ time  while  about  50%  of  the  candidates  are  employed.  While  majority  of  the  students  were  taking  the  degree  after  their  advance  level  examination,  about  10% were pursuing a parallel degree or completed a bachelor’s degree. 64% of   

10 

the  students  were  either  following  or  hoping  to  follow  an  additional  study  programme.   Results   • Regarding  type  of  exams  and  grading  methods,  students  preferred  Computer  based  continuous  online  assignments  from  home  the  most,  followed  by  paper  and  pencil  tests.  The  least  preferred  were  printed  reports/dissertations.  67%  preferred  end  of  course  exams  coupled  with  continuous  assignments  as  their  most  preferred  grading  method,  while  22% preferred continuous assignments during the course deciding the final  grade.    • 100% of the respondents thought that audio and video in addition to text  and graphics would help them express their knowledge better, while 82%  preferred  a  change  in  the  way  they  are  assessed  in  BIT,  29%  preferred  practical  test  the  most,  24%  preferred  web  portfolios/online  exams  and  16%  preferred  Open  book/take  home  tests.  As  the  preferred  mode  of  expression,  64%  preferred  written  and  typed  text,  62%  audio‐video  and  67% Graphics and Images.   • In  the  issue  of  Language  of  study,  86%  had  at  least  a  ’C’  grade  for  O/L  English  and  67%  had  at  least  a  ‘C’  grade  for  A/L  English.  51%  followed  were hoping to follow an additional English course. 60% preferred to use a  different language to English as their preferred language of expression.   • 80% thought that time pressure during examinations affected the quality of  their  answer,  38%  felt  nervous  and  scared  during  exams.  Furthermore,  82% thought that they performed better in real life than in examinations.  But ironically, the 53% thought that exams were fair in assessing their real  ability  and  knowledge.  On  preference  of  Assessment  types,  the  most  preferred were MCQs, Open Book/Take home tests and Practical Tests. The  least preferred were Reports/Dissertation and Essay Type papers.    • As  for  study  methods  for  the  BIT  programme,  82%  would  use  Self‐Study,  13%  Face‐to‐Face  group  study,  20%  online  Group  study  and  58%  would  attend Group Classes.   • 93%  and  96%  often  used  computers  for  Education  and  Internet  for  Education respectively   • With regard to studying, Passing exams were the main purpose of 18% of  the students and 13% thought that passing exams was the most important  aspect.  58%  of  students  also  stated  that  the  study  method  they  use  for  Multiple Choice Question exams are different from how they study for non‐ MCQ  exams.  93%  of  the  students  had  experienced  MCQ  exams;  only  13%  and  29%  had  experienced  Reports/Dissertation  and  Viva/Interviews  respectively. 47% had experienced Web Portfolios/Online exams.    Findings      1. Students prefer continuous assessment with an end examination.   2. Students prefer the use of multi‐media for examinations.   3. Students  have  an  acceptable  command  of  English,  but  majority  prefer  their own mother tongue.   4. Students  lacked  confidence  about  the  assessment  system  and  methods.   

11 

5.

     

6. 7.

In  addition,  standardised  examinations  affected  students  in  a  negative  way.  Majority  of  students  self  study,  and  about  42%  have  very  little  interaction with other students or Teachers.   Students were used to using computers and the Internet for Education.   Students have varying experiences with different types of assessment.   

Assessment Design      Since  there  is  very  little  or  no  Teacher  involvement  in  the  BIT  degree  programme,  students  have  very  little  interaction  with  teachers  and  hardly  get  any feedback. Furthermore, there is very little peer‐interaction among students  since there is not always a common class they attend. Students are also diverse  with  many  following  the  BIT  part‐time.  The  solution  suggested  to  address  this  issue is to create assessment with peer‐assessment so that it builds a community  of learning. Social‐Constructivist Assessment is a suggestion where students may  use  different  media  and  social  media  technologies  to  create  their  assignments  and also provide feedback to their peers. This is also in line with the concept of  “Lifelong Assessment” (Boud, 2000).     The  assessment  designed  takes  into  consideration  theories  on  Learning  Communities  and  the  students’  perspective  on  assessment.  In  a  study  done  by  Brown (2001), her students defined three degrees of community.  1. Making Acquaintances/Friends  2. Community Conferment  3. Camaraderie    The  design  of  activities  in  this  online  collaborative  environment  will  target  the  achievement of at least the first two degrees, thereby leading to the third degree,  where  students  will  go  beyond  a  simple  peer  relationship.  Activities  such  as  icebreakers (Dixon, Crooks and Henry, 2006), forum discussions, group problem  solving and peer‐assessment, etc. supported with different peer‐rating strategies  will aim to build a cohesive learning community.     In a previous study of the BIT programme, it was identified that students were  aware  of  the  importance  of  Formative  Assessment  and  “Assessment  for  Learning”  (Andersson,  2008).  Furthermore,  her  study  showed  that  students’  value peer‐collaboration and its importance to improving learning. Her findings  were confirmed in my results, thus the assessment model must have a formative  assessment, with the purpose of Assessment for Learning.      According  to  Greenhow,  Robelia  and  Hughes  (2009),  Today’s  graduating  students  face  technological  competencies  that  emphasize  the  capacity  for  innovation,  leadership,  multidisciplinary  collaboration,  collective  problem  identification,  and  resolution  in  a  dynamic,  digital  environment.  Hence  Assessment  methods  that  promote  factual  learning  and  do  not  support  the  nurture  of  multiple  skills  need  to  be  replaced  with  alternate  assessment  methods. Furthermore, according to Gulikers, Bastiaens and Krischner (2004), in   

12 

a  model  attempting  to  assess  higher  order  thinking  process  and  competencies,  the assessment has to change from being summative to also serving a formative  goal  of  promoting  and  enhancing  student  learning.  Gulikers  further  goes  onto  state  that  this  purpose  requires  alternative  assessments  because  standardized,  multiple‐choice tests are not suitable for this.   Taking into consideration the students’ view, students have identified the power  of  multi‐media  for  expressing  their  knowledge,  and  they  have  expressed  their  preference  to  use  Web  Portfolios/Online  examination.  Hence  the  use  of  Social  Media such as Blogs, Wikis, and Video Sharing etc. would help students to tackle  assessment in more creative ways, addressing issues of Higher‐order skills than  simple MCQs.     Even though the majority refer to the use of their mother tongue as the preferred  language  of  expression,  with  the  current  issues  of  Localization  of  systems  and  availability of resources and expertise, the Language issue would not be readily  addressed at this juncture. With a high percentage of students having above ‘C’  grades  for  English  would  allow  for  this.  Furthermore,  about  50%  of  students  were  or  were  hoping  to  follow  an  additional  English  course.  The  recently  commenced Pre‐BIT course, referred to as the Fundamentals of IT course (FIT)  has  included  an  English  course  to  support  students  in  improving  their  English  Language skills.     Attempting  to  make  assessment  “time‐and‐place  independent”  would  to  a  certain  extent  negate  negative  aspects  of  standardised  examinations.  Furthermore including the “student perspective” in the Assessment would build  confidence of students in the Assessment system (Stiggins, 1999).        

Discussion 

  The analysis of the different phases of the BIT degree programme has shown that  there has been a clear improvement in the student dropout rates and first time  passing  of  exams  in  the  first  year,  which  was  supported  through  technology‐ enhanced learning, but did not show a change in the figures of the second year,  which  was  not  provided  such  considerable  support.  This  pattern  can  only  be  attributed  to  careful  design  consideration  of  the  first  year  of  the  eBIT  phase  aimed at improving support for student learning.    Even though there has been clear success in the design for learning, the attempts  to  create  a  learning  community  and  a  collaborative  learning  environment  have  not been as successful. The main reason that can be attributed to this seems the  lack  of  activity  modelling  and  encouragement  for  community  building  and  creation of collaborative learning.    The  solution  planed  as  a  pilot  project  for  a  group  volunteer  first  year  students  following  the  Computer  Systems  I  course  will  use  community  building  and  collaborative  learning  activities  to  encourage  the  creation  of  a  learning  community  and  use  peer‐assessment  as  the  building  block  for  learning  within   

13 

the  community.  The  pilot  study  will  be  used  to  design  future  learning  communities  and  assessment  activities  aimed  at  promoting  learning  and  improving the BIT degree programme.     

Conclusion    The  overall  review  of  the  BIT  programme  and  the  observation  of  student  activities reiterate the fact that there is room for further improvement of student  learning  through  increased  support  through  e‐Leanring  2.0.  Furthermore  student  participation  is  required  in  form  of  informal  learning  for  effective  and  active use of social media. It is clear that further support needs to be provided by  means  of  encouragement  and  Community  building  activities  in  order  to  stimulate the students’ social networking.     

Acknowledgements 

  The researchers wish to express their deepest gratitude to;    The  Swedish  Program  for  ICT  in  Developing  Regions  (SPIDER)  for  the  support  provided for the National eLearning Centre Project.  The BIT Students for their support in providing feedback.  Dr. Ruvan Weerasinghe, Director UCSC.  Dr. Priyantha Hewagamage, Coordinator, National eLearning Centre.  BIT Academic and Administrative Staff.  Prof. Brian Hudson for his valued guidance and motivation. 

    Reference    Andersson, A. (2008). Seven major challenges for e‐learning in developing  countries: Case study eBIT, Sri Lanka. International Journal of Education and  Development using ICT. 4 (3).  Boud, D. (2000). Sustainable assessment: rethinking assessment for the learning  society. Studies in Continuing Education. 22 (2), p151‐167.  Brown, R.E. (2001). The process of community‐building in distance learning  classes. Journal of Asynchronous Learning Networks. 5 (2), p18‐35.  Central Bank of Sri Lanka (2006). Annual Report of the Monetary Board to the  Hon. Ministry of Finance. Colombo: Central Bank of Sri Lanka. p53.  Conole, G and Warburton, B. (2005). A review of computer‐assisted assessment.  Association for Learning Technology journal. 13 (1), p17.    Daily News (2009). Mega­development projects launched for country's future  generation . Available: http://www.dailynews.lk/2009/08/08/news22.asp. Last   

14 

accessed 8 Aug 2009.    Davies, P (2000), Computerized Peer Assessment. Innovations in Education and  Training International. 37 (4),  p346‐355.    De Silva, C.H. (2007). Information Technology Education in the Sri Lankan School.  System: Challenges and Perspectives. Available: http://telearn.noe‐ kaleidoscope.org/warehouse/256_Final_Paper_(001730v1).pdf. Last accessed 5  Sep 2009.    Dixon, J.S, Crooks, H and Henry, K. (2006). Breaking the ice: Supporting  collaboration and the development of community online . Canadian Journal of  Learning and Technology. 32 (2), p99.  Farrell, G and Leung, Y.K. (2004). Innovative online assessment using confidence  measurement. Education and information technologies. 9 (1), p5.    Gipps, C (1994). Beyond Testing: Towards a theory of educational assessment.  London: Falmer Press. p20.  Greenhow, C, Robelia, B and Hughes, J.E. (2009). Now?Should We Take Learning,  Teaching, and Scholarship in a Digital Age: Web 2.0 and Classroom Research:  What Path . Educational Researcher. 38 (4), p246.  Gulikers, J.T.M, Bastiaens, T.J and Kirschner, P.A. (2004). A five‐dimensional  framework for authentic assessment. Educational Technology, Research and  Development. 52 (3), p67.  Hiltz, S, R. (1998). Collaborative Learning in Asynchronous Learning Networks:  Building Learning Communities. Available:  http://eric.ed.gov/ERICDocs/data/ericdocs2sql/content_storage_01/0000019b /80/17/5a/cc.pdf. Last accessed 8 Mar 2009.    Lowell, N.O and Persichitte, K.A. (2000). A Virtual Ropes Course: Creating Online  Community. Available: http://www.sloan‐ c.org/publications/magazine/v4n1/lowell.asp. Last accessed 13 Aug 2009.    Ludwig‐Hardman, S and Dunlap, J.C. (2003). Learner Support Services for Online  Students: Scaffolding for success. International Review of Research in Open and  Distance Learning. 4 (1), p197.  Mioduser, D and Nachmias, R . (2002). WWW in Education: An Overview. In:  Adelsberger, H, Collis, B and Pawlowsky, M Handbook on Information  Technologies for Education & Training. Berlin/Heidelberg/New York: Springer.  p23‐43.  Mioduser, D, Nachmias, R, Oren, A and Lahav, O. (2000). Web‐supported  emergent‐collaboration in higher education courses. Journal of educational  technology & society. 35 (3), p94. 

 

15 

Paxton, M. (2000). A linguistic perspective on multiple choice questioning.  Assessment and Evaluation in Higher Education. 25 (2), p109.  Satharasinghe, A. (2004). Computer Literacy of Sri Lanka ­ 2004. Available:  http://www.statistics.gov.lk/cls2004/index.htm. Last accessed 15 Aug 2009.  Scouller, K and Prosser, M. (1994). Students' experiences in studying for multiple  choice question examinations . Studies in Higher Education. 19 (3), p267‐279.  Scouller, K. (1998). The influence of assessment method on students' learning  approaches: Multiple choice question examination versus assignment essay.  Higher Education. 35 (4), p453‐472.     

 

16