Master's Thesis

The Impact of Web Accessibility Overlays on the Usability and User Experience for People with Permanent Visual Impairments

| Daniela Kubesch, MSc MSc

Double-Degree Master Thesis between the Salzburg University of Applied Sciences (degree program MultiMediaTechnology) and Halmstad University (degree program Digital Service Innovation). Supervised by Jakub Sypniewski, MSc and Maria Åkesson, MSc, PhD, Professor of Informatics.

Questionnaires

E.1 Study Pre-Selection Questionnaire, German and English

Study pre-selection Questionnaire

Thank you for your interest in participating in the user study for my master's thesis! The purpose of this questionnaire is to see if you are a fit regarding the selection criteria.

Your answers to this questionnaire help me to select the right participants for my study. The data will be anonymised. The email address you provide will only be used to contact you to set up a date for the study. I will protect your data in accordance with the GDPR. You have the following rights in relation to your personal data:

You can withdraw your consent at any time.

Right of access, authorisation or erasure, restriction of processing, data portability. If you are of the opinion that your personal data is not being processed in accordance with existing data protection law, you also have the right to lodge a complaint with the Austrian data protection authority (Barichgasse 40-42, 1030 Vienna, telephone: +43 1 52 152-0, email: dsb@dsb.gv.at).

If you have trouble answering a question, please contact me at [name redacted].

Please note that I can't offer any financial compensation for your participation. Nevertheless, I hope you can give me some of your time to participate in making discoveries.

General Information

  1. I am 18 years or older. Due to legal reasons I can only accept adult participants.

    (Yes/No)

  2. I use the internet to browse websites.

    (Daily/Weekly/Monthly/Never)

  3. I potentially have time to participate in: The study will take approximately 90 min of your time. You will be asked to interact with a website on your desktop computer/laptop and answer some questions during an interview with me. It is a one-on-one session between you and me.

    (June 2023/July 2023/Both/None)

  4. I want to do the study in:

    (English/German)

  5. I prefer to participate:

    (Online via video call/In-Person (in Vienna, Austria))

  6. I am able to join a video call for the study. If you prefer, the camera can stay turned off.

    (Yes/No)

  7. I am able to share my screen during a video call.

    (Yes/No)

  8. I have a visual impairment and/or disability.

    (Yes/No)

  9. How long have you had this impairment/disability?

    (Less than a year/ 2 to 5 years/5 to 10 years/10 to 20 years/20 to 30 years/30 to 40 years/more than 50 years/my whole life)

  10. This impairment or disability forces me to adapt my devices to my needs. For example, changing the font size on websites or using assistive technology.

    (Yes/No)

  11. I have made adaptations on my computer or browser that help me use the web. For example change colors or contrast, increase font sizes or reduce motion.

    (Yes/No)

  12. What did you change?

  13. I have my vision corrected to normal. "Vision corrected to normal" means that you, for example, are wearing glasses to correct your visual impairment.

    (Yes/No/I don’t know/I don’t have any vision/I am unable to correct my vision to normal)

Technical Information

  1. I have access to a desktop computer/PC or Laptop to participate in the user study. You need to be able to look at the desktop version of a website during the study.

    (Yes/No)

  2. What operating system are you using on this device?

    (MacOS/Linux/Windows/I don’t know)

  3. I am using an assistive device or technology to navigate the web. For example a screen reader.

    (Yes/No)

  4. I am using a screen reader.

    (Yes/No)

  5. Please specify what other technology than a screen reader you are using.

  6. Please specify the type of screen reader.

    (VoiceOver/Jaws/NVDA/Other)

Contact Details

  1. My e-mail address to be contacted at is:

  2. I am interested in receiving the study results via e-mail once the master thesis is finished.

    (Yes/No)

  3. I want to let you know that: Your space to tell me what I need to know about you or your needs.

Fragebogen zur Studien-Vorauswahl

Vielen Dank für dein Interesse! Der Zweck dieses Fragebogens ist es herauszufinden, ob du alle Auswahlkriterien erfüllst um an der Studie für meine Masterarbeit teilzunehmen.

Deine Antworten auf diesen Fragebogen helfen mir, die richtigen Teilnehmer*innen für meine Studie auszuwählen. Die Daten werden anonymisiert. Deine angegebene E-Mail Adresse dient lediglich der Kontaktaufnahme um einen Termin für die Studie festzulegen. Ich werde deine Daten gemäß der DSGVO schützen. Dir stehen in Bezug auf deine personenbezogenen Daten folgende Rechte zu:

Du kannst deine Einwilligung jederzeit widerrufen.

Recht auf Auskunft, Berechtigung oder Löschung, Einschränkung der Verarbeitung, Datenübertragbarkeit.

Wenn du der Ansicht bist, dass deine personenbezogenen Daten nicht im Einklang mit dem bestehenden Datenschutzrecht verarbeitet werden, steht dir weiters das Recht auf Beschwerde bei der österreichischen Datenschutzbehörde zu (Barichgasse 40-42, 1030 Wien, Telefon: +43 1 52 152-0, E-Mail: dsb@dsb.gv.at).

Solltest du Schwierigkeiten haben eine Frage zu beantworten, kontaktiere mich bitte unter: [name geschwärzt].

Anmerkung: Ich kann leider keine finanzielle Entschädigung für deine Teilnahme anbieten. Ich hoffe, dass du trotzdem einen Teil deiner Zeit zur Verfügung stellen kannst, um gemeinsam mit mir neue Erkenntnisse zu machen.

Allgemeine Informationen

  1. Ich bin 18 Jahre oder älter. Aus rechtlichen Gründen kann ich nur erwachsene Teilnehmer\*innen akzeptieren.

    (Ja/Nein)

  2. Ich benutze das Internet, um auf Webseiten zu surfen.

    (Täglich/Wöchentlich/Monatlich/Nie)

  3. Ich habe potenziell im folgenden Zeitraum Zeit an der Studie teilzunehmen: Die Studie wird etwa 90 Minuten deiner Zeit in Anspruch nehmen. Du wirst gebeten, mit einer Website auf deinem Desktop-Computer/Laptop zu interagieren und während eines Interviews mit mir einige Fragen zu beantworten. Wir sind während der ganzen Studie nur zu zweit.

    (Juni 2023/Juli 2023/In beiden Zeiträumen/In keinem der Zeiträume)

  4. Ich bevorzuge die Durchführung der Studie in:

    (Englisch/Deutsch)

  5. Meine bevorzugte Teilnahme ist:

    (Online via Videotelefonat/In-Person (in Wien, Österreich))

  6. Es ist mir möglich an einem Videoanruf (für die Studie) teilzunehmen. Wenn du möchtest kann die Kamera ausgeschalten bleiben.

    (Ja/Nein)

  7. Es ist mir möglich während eines Videotelefonates meinen Bildschirm zu teilen.

    (Ja/Nein)

  8. Ich habe eine visuelle Beeinträchtigung und/oder Behinderung.

    (Ja/Nein)

  9. Wie lange hast du diese Beeinträchtigung/Behinderung schon?

    (Weniger als 1 Jahr/2 bis 5 Jahre/5 bis 10 Jahre/10 bis 20 Jahre/20 bis 30 Jahre/30 bis 40 Jahre/mehr als 50 Jahre/mein Leben lang)

  10. Diese Beeinträchtigung oder Behinderung zwingt mich dazu mein Endgerät an meine Bedürfnisse anzupassen. Zum Beispiel Anpassen der Schriftgröße auf Webseiten oder das Benutzen von Assistenz-Software.

    (Ja/Nein)

  11. Ich habe an meinem Computer oder Browser, den ich für diese Studie verwende, Anpassungen vorgenommen, die mir die Nutzung des Internets erleichtern. Zum Beispiel das Verändern von Farben oder Kontrasten, Schriftgrößen oder Bewegungsreduzierung.

    (Ja/Nein)

  12. Was hast du verändert?

  13. Ich habe meine Sehkraft auf normal korrigiert. Auf "normales Sehvermögen korrigiert" bedeutet, dass du zum Beispiel eine Brille trägst, um deine Sehschwäche zu korrigieren.

    (Ja/Nein/Ich weiß nicht/ Ich habe gar kein Sehvermögen/Es ist mir nicht möglich, meine Sehkraft zu korrigieren)

Technische Informationen

  1. Ich besitze oder habe Zugang zu einem Computer/PC oder Laptop für die Dauer der Studie. Du musst in der Lage sein, dir während der Studie die DesktopVersion einer Website anzusehen und mit ihr zu interagieren.

    (Ja/Nein)

  2. Welches Betriebssystem hat dieses Gerät?

    (MacOS/Linux/Windows/Ich weiß es nicht)

  3. Ich verwende Hilfsmittel (assistive Technologies) um im Internet zu navigieren. Zum Beispiel einen Screen Reader.

    (Ja/Nein)

  4. Ich benutze einen Screen Reader.

    (Ja/Nein)

  5. Bitte spezifiziere, was genau du benutzt.

  6. Bitte spezifiziere, welchen Screen Reader du benutzt.

    (VoiceOver/Jaws/NVDA/Anderer)

Kontaktinformationen

  1. Meine E-Mail Adresse unter der du mich kontaktieren kannst ist:

  2. Ich bin daran interessiert die Studienergebnisse per E-Mail zu erhalten, sobald die Masterarbeit fertiggestellt wurde.

    (Ja/Nein)

  3. Ich möchte dir folgendes mitteilen: Hier ist Platz für alles was ich noch über dich wissen muss.

E.2 Accessible Usability Scale (AUS), Translated from English

Accessible Usability Scale (AUS)

(Strongly Disagree / Disagree / Neutral / Agree / Strongly Agree)

  1. I would use this website frequently, if I had a reason to.

  2. I found the website unnecessarily complex.

  3. I thought the website was easy to use.

  4. I think that I would need the support of another person to use all of the features of this website.

  5. I found the various functions of the website made sense and were compatible with my technology.

  6. I thought there was too much inconsistency in how this website worked.

  7. I would imagine that most people with my assistive technology would learn to use this website quickly.

  8. I found the website very cumbersome or awkward to use.

  9. I felt very confident using the website.

  10. I needed to familiarize myself with the website before I could use it effectively

Accessible Usability Scale (AUS)

(Stimme überhaupt nicht zu / Stimme nicht zu / Stimme weder zu noch lehne ab / Stimme zu / Stimme voll und ganz zu)

  1. Ich würde diese Website häufig verwenden, wenn ich einen Grund dazu hätte.

  2. Ich fand die Webseite unnötig komplex.

  3. Ich fand die Webseite einfach zu bedienen.

  4. Ich denke, dass ich die Unterstützung einer anderen Person benötigen würde, um alle Funktionen dieser Webseite zu nutzen.

  5. Ich fand die verschiedenen Funktionen der Webseite sinnvoll und mit meiner Technologie kompatibel.

  6. Ich fand die Funktionsweise der Webseite inkonsistent.

  7. Ich könnte mir vorstellen, dass die meisten Menschen mit meiner assistiven Technologie schnell lernen würden, die Webseite zu benutzen.

  8. Ich fand diese Webseite sehr umständlich oder umständlich zu bedienen.

  9. Ich fühlte mich sehr sicher im Umgang mit der Webseite.

  10. Ich musste mich erst mit der Webseite vertraut machen, bevor ich sie effektiv nutzen konnte.

E.3 User Study Interview Questions, Translated from German

Interview Questions

At the Beginning
Organisational

  1. Are you currently using a computer or laptop?

  2. Do you use the operating system (Mac/Linux/Windows/Other)?

  3. Which browser do you use by default?

  4. Will you use the screen reader JAWS/NVDA/VoiceOver/Other to interact with the website now?

    1. How do you normally navigate through a web page?

      For example, using the keyboard, arrow keys, shortcuts, a list of headings or a list of links

  5. Are the following adaptations still active on your device or browser: XYZ?

  6. Have you made any other adaptations?

Accessibility Overlays

  1. Have you ever heard the term "Accessibility Overlay" before?

    1. Can you explain what you mean by it?

  2. Have you ever used an Accessibility Overlay before?

    1. Which Accessibility Overlay have you used before?

    2. What was your experience with it?

    3. Did you find it helpful?

    4. Why?

    5. Did the Accessibility Overlay improve your interaction with the website?

    6. Why?

If an Accessibility Overlay is not known:

An accessibility overlay is special software that is placed over a website by the website operator to make it more accessible to people with impairments. It adds additional features such as reading text aloud, enlarging content, adjusting colour contrasts and keyboard controls to make it easier to use. By using an accessibility overlay, people with visual, hearing or motor impairments can better understand and interact with the content.

  1. From what you have heard, could you imagine an Accessibility Overlay being of use to you personally?

    1. Why?

After each task

  1. Can you please guide me briefly through the task, what exactly did you do to get there?

  2. Did anything unexpected happen?

  3. Were there any (technical) difficulties that you would like to highlight?

On the 1st website:

  1. Was the task rather easy or challenging?

  2. Was the task more mentally or physically demanding, or both?

  3. Did something stress you, annoy you or irritate you during the task?

For all websites afterwards:

  1. Would you rate the task differently in terms of difficulty and mental and physical effort than before?

  2. Was the task different from the previous websites?

After each website

  1. How would you describe the experience of navigating this website in words?

From the 2nd website:

  1. Did you notice a difference in using this website compared to the previous one?

If the website has an Accessibility Overlay:

  1. Have you noticed that there is an Accessibility Overlay on the website?

    If yes:

    1. Did you find the adaptations made by the overlay on this website helpful for you personally?

      1. Why?

    2. Did it help you to find your way around the website or the application better?

    3. Did the Accessibility Overlay make interacting with the website smoother?

    4. Did the Accessibility Overlay improve your perception and understanding of the website or application content?

    5. If yes, in what ways and what features have contributed to this?

    If no:

    1. Are there any additional features or adjustments you would like to see to further improve accessibility?

To conclude

  1. Which features of the Accessibility Overlay did you like?

  2. Which features of the Accessibility Overlay did you not like?

  3. Do you prefer to adapt a website to your impairment via an Accessibility Overlay or via browser and system settings?

    1. Why?

  4. Do you feel that Accessibility Overlays help to reduce barriers and make digital content more accessible?

  5. Would you prefer a website that uses an Accessibility Overlay to one that does not?

    1. Why?

  6. What is your general opinion on Accessibility Overlays?

  7. Do you think Accessibility Overlays make a positive contribution to the accessibility of websites?

  8. Are there any circumstances in which it is OK to use an Accessibility Overlay?

    1. Why?

  9. Are there any circumstances in which the use of an Accessibility Overlay is not OK?

    1. Why?

  10. Could an Accessibility Overlay be a temporary solution while programming an accessible website?

  11. Does the content or the owner of the website change your acceptance of the implementation of an Accessibility Overlay on a website? Small company vs. large company

  12. Do you have any suggestions or feedback on how to improve an Accessibility Overlay?

  13. What are your personal wishes for an accessible website?

  14. Is there anything else you would like to tell me?

Interview Fragen

Zu Beginn
Organisatorisches

  1. Benutzt du gerade einen Computer oder Laptop?

  2. Benutzt du das Betriebssystem (Mac/Linux/Windows/Anderes)?

  3. Welchen Browser benutzt du standardmäßig?

  4. Wirst du den Screen Reader JAWS/NVDA/VoiceOver/Anderen jetzt benutzen, um mit der Webseite zu interagieren?

    1. Wie navigierst du normalerweise durch eine Webseite?

      Z.B. über das Keyboard, über die Pfeiltasten, mit Shortcuts, über eine Liste an Überschriften oder Liste an Links

  5. Sind die folgenden Adaptionen an deinem Gerät oder Browser immer noch aktiv: XYZ?

  6. Hast du sonst irgendwelche Adaptionen gemacht?

Accessibility Overlays

  1. Hast du den Begriff „Accessibility Overlay“ schon mal gehört?

    1. Kannst du mir erklären, was du darunter verstehst?

  2. Hast du schon mal ein Accessibility Overlay verwendet?

    1. Welches AO hast du schon mal benutzt?

    2. Was war deine Erfahrung damit?

    3. Fandest du es hilfreich?

    4. Wieso?

    5. Hat das Accessibility Overlay deine Interaktion mit der Webseite verbessert?

    6. Wieso?

Wenn Accessibility Overlay nicht bekannt:

Ein Accessibility Overlay ist eine spezielle Software, die vom Betreiber einer Webseite über eine Website gelegt wird, um sie für Menschen mit Beeinträchtigungen zugänglicher zu machen. Es fügt zusätzliche Funktionen hinzu, wie z.B. das Vorlesen von Texten, die Vergrößerung von Inhalten, Anpassungen der Farbkontraste und Tastatursteuerung, um die Nutzung zu erleichtern. Durch den Einsatz eines Accessibility Overlays können Menschen mit Seh-, Hör- oder motorischen Beeinträchtigungen die Inhalte besser verstehen und mit ihnen interagieren.

  1. Von dem, was du gehört hast, könntest du dir vorstellen, dass ein Accessibility Overlay für dich persönlich von Nutzen ist?

    1. Wieso?

Nach jeder Aufgabe

  1. Kannst du mich bitte kurz durch die Aufgabe führen, was genau hast du gemacht, um ans Ziel zu kommen?

  2. Ist etwas Unerwartetes passiert?

  3. Gab es irgendwelche (technischen) Schwierigkeiten, die du hervorheben möchtest?

Bei der 1. Website:

  1. War die Aufgabe eher leicht oder anspruchsvoll?

  2. War die Aufgabe eher mental oder körperlich anstrengend, oder beides?

  3. Hat dich während der Aufgabe etwas gestresst, genervt oder irritiert?

Bei allen Webseiten danach:

  1. Würdest du die Aufgabe in Bezug auf Schwierigkeit und mentaler und körperlicher Anstrengung anders bewerten als zuvor?

  2. War die Aufgabe anders als auf den Webseiten zuvor?

Nach jeder Webseite

  1. Wie würdest du die Erfahrungen in Worten beschreiben, diese Webseite zu navigieren?

Ab 2. Webseite:

  1. Hast du bei dieser Webseite einen Unterschied in der Nutzung, im Vergleich zur Vorherigen bemerkt?

Wenn die Website ein Overlay hat:

  1. Hast du bemerkt, dass auf der Webseite ein Accessibility Overlay integriert ist?

    Wenn ja:

    1. Fandest du die Adaptionen, die das Overlay auf dieser Webseite getätigt hat, für dich persönlich hilfreich?

      1. Wieso?

    2. Hat es dazu beigetragen, dass du dich besser auf der Website oder in der Anwendung zurechtfinden konntest?

    3. Hat das Accessibility Overlay die Interaktion mit der Website reibungsloser gestaltet?

    4. Hat das Accessibility Overlay die Wahrnehmung und das Verständnis des Website- oder Anwendungsinhalts verbessert?

    5. Wenn ja, auf welche Weise und welche Funktionen haben dazu beigetragen?

    Wenn nein:

    1. Gibt es zusätzliche Funktionen oder Anpassungen, die du dir wünschen würdest, um die Zugänglichkeit weiter zu verbessern?

Zum Abschluss

  1. Welche Funktionen des Accessibility Overlays haben dir gefallen?

  2. Welche Funktionen des Accessibility Overlays haben dir nicht gefallen?

  3. Bevorzugst du die Anpassung einer Webseite an deine Beeinträchtigung über ein Accessibility Overlay oder über Browser- und Systemeinstellungen?

    1. Warum?

  4. Hast du das Gefühl, dass Accessibility Overlay helfen, Barrieren zu reduzieren und den Zugang zu digitalen Inhalten zu erleichtern?

  5. Würdest du eine Website, die ein Accessibility Overlay verwendet, einer Website vorziehen, die dies nicht tut?

    1. Warum?

  6. Was ist deine generelle Meinung zu Accessibility Overlays?

  7. Denkst du, dass Accessibility Overlays einen positiven Beitrag zur Zugänglichkeit von Websites leisten?

  8. Gibt es Umstände, unter denen die Verwendung eines Accessibility Overlays in Ordnung ist?

    1. Warum?

  9. Gibt es Umstände, unter denen die Verwendung eines Accessibility Overlays nicht in Ordnung ist?

    1. Warum?

  10. Könnte ein Accessibility Overlay eine vorübergehende Lösung sein während an einer barrierefreien Webseite programmiert wird?

  11. Ändert der Inhalt oder der Eigentümer der Website etwas an deiner Akzeptanz des Einsatzes eines Accessibility Overlays? Kleines Unternehmen vs. großes Unternehmen

  12. Hast du Vorschläge oder Feedback zur Verbesserung des Accessibility Overlays?

  13. Was sind deine persönlichen Wünsche an eine barrierefreie Webseite?

  14. Möchtest du mir sonst noch etwas?