E-learn Weblog of Willem van Valkenburg

Vandaag was de eerste van de reeks van  landelijke Blackboard bijeenkomsten, die wij tijdens de Surf onderwijsdagen hebben afgesproken.

Het onderwerp vandaag was “Monitoring & Statistieken”. Er was een mooi aantal mensen op afgekomen, ook een heel aantal nieuwe gezichten, voornamelijk vanwege het onderwerp.

De eerste presentatie was van Carlo van Haren van Stoas. Voor het beheren van de Blackboard servers van zo’n 15 klanten hebben zij een aantal scripts gemaakt zodat het eenvoudig wordt om de systemen te beheren.

Technische analyse log-bestanden

Blackboard genereert een groot aantal logfiles (meer dan 1 GB per dag). De meeste informatie is helemaal niet interessant en ook nog onbegrijpelijk, maar er staat wel nuttige en interessante informatie in. De kunst is dus om deze informatie eruit te filteren.

Stoas maakt hierbij gebruikt van Logparser (Microsoft-product en draait dus alleen op Windows). Met dit programma kan je via sql-statemens bestanden uitlezen.

Om alle niet interessante informatie eruit te filteren, doen ze de volgende stappen:

• uitfilteren van de niet belangrijke informatie, bijv. Alle regels die beginnen met een tab)
• bekende informatie filteren
• Dan hou je alle onbekende meldingen en bekende fouten over, zoals database fouten, java foutmeldingen en ldap meldingen.

Dit wordt in een overzichtelijke mail doorgestuurd naar de beheerder. Uiteindelijk hou je hier zo’n 100 regels over, die je nog moet bekijken. 

Voor de snapshot hebben ze een aparte rapportage gemaakt, waarmee je in één opslag een overzicht krijgt hoeveel records er goed gegaan zijn en hoeveel er fout gegaan zijn en dat per snapshot file. Voor de TU vind ik dit zeker interessant, omdat we steeds meer gebruik gaan maken van de snapshot en je vaak er pas achter komt als er iets fout is gegaan als gebruikers dit melden.

Stoas heeft een stresstest ontwikkeld in Jmeter. Hierin worden de volgende stappen gesimuleerd:

• Inloggen
• Opzoeken cursus
• Openen cursus
• Ophalen bestand
• .. eventuele andere stappen
• Uitloggen. 

Dit kan je elke 15 minuten draaien. De resultaten worden in een database opgeslagen, vervolgens kan je hier via een website de resultaten bekijken en dus continue je systemen monitoren. De tool is volledig gestandaardiseerd en doordat je gewoon via de interface inlogt, kan je dit vanuit één centrale server doen.

Dit lijkt me een zeer goed idee om voor E-merge op te zetten, dan kunnen we dit meteen voor 6 instellingen opzetten. (en je krijgt ook een inzicht van hoe de performance is bij andere instellingen)

Problemen activity accumilator

Het probleem met de accumilator is dat er niet automatisch logbestanden worden opgeschoond. Op zich hoeft dit geen probleem te zijn, maar dit kan het wel worden, vanwege de omvang en de extra tijd die het kost om de backup te maken. Daarnaast is lang niet alle informatie bruikbaar. 

Bovenstaande punten hebben Stoas aangezet tot de ontwikkeling van ELO_stats. Dit is een database die gevuld wordt dmv harvesting scripts. Het is nog volop in ontwikkeling.

• Welke informatie moet er geharvest worden.
• Performance van het harvesten
• Omvang van de database. 

Van de laatste 14 dagen is het gebruik per uur opvraagbaar. Van de laatste halfjaar is het alleen per dag beschikbaar en daarna alleen per maand.

Hierdoor wordt de hoeveelheid data die je bewaard een stuk minder. 

Op de EduCause conferentie was een voorbeeld te zien van een meer kwalitatieve meting van een online course. Voorbeelden van vragen zijn bijvoorbeeld:

• Hoe is de navigatiestructuur van de cursus?
• Zijn de leerdoelen van de cursus duidelijk?
• Is de beoordeling van toetsen duidelijk en transparant?

Op de website http://www.qualitymatters.org/ kan je de volledige vragenlijsten downloaden.

De vraag is of je zulke informatie ook kan meenemen in de cursus? De ervaring is hoe meer een instelling gestandaardiseerd is qua courses, hoe beter je dit kan analyseren.

Al met al een zeer interessante presentatie en zeker een aantal zaken waarmee we aan de gang gaan.