A web-based tool for user experience studies
Abstract
Minho) which supplied the entire necessary infrastructure. Also, there are select groups of people whose aid and assistance was essential in enabling this work, and for that, I would like to express my gratitude to them. First and foremost, I would like to thank Professor Doutor Rui João, my supervisor, as he was the one that approached me with a theme for my dissertation and, naturally, guided me throughout the whole investigation process. I would also like to thank my MSc colleagues and laboratory partners with whom I discussed the project at certain times and also, the researchers in the Ubicomp group at University of Minho that attended my exposition seminars in the early stages, to help guide my investigation and certain aspects pertaining to what they would expect from such a platform.
References (52)
- J. M. Hektner, J. A. Schmidt, and M. Csikszentmihalyi, Experience sampling method: Measuring the quality of everyday life. Sage Publications, Inc, 2006, p. 368.
- S. Consolvo and M. Walker, "Using the experience sampling method to evaluate ubicomp applications," IEEE Pervasive Computing, vol. 2, no. 2, pp. 24-31, Apr. 2003.
- I. M. Welpe, M. Reiss, P. Seiffert, C. Flake, R. Lauterbach, A. Tumasjan, M. Strobel, S. Hassold, and K. Freundorfer, "Mobile Experience Sampling (MobXamp)," Technische Universität München, 2010. [Online]. Available: http://www.strategie.wi.tum.de/index.php?id=79&L=1. [Accessed: 18-Sep-2010].
- M. Killingworth and V. Pitiyanuvath, "Track your happiness," Harvard University, 2009. [Online]. Available: http://www.trackyourhappiness.org/. [Accessed: 18-Sep-2010].
- D. T. Campbell, "Relabeling internal and external validity for applied social scientists," New Directions for Program Evaluation, vol. 1986, no. 31, pp. 67-77, Jan. 1986.
- S. Schwartz, "The fallacy of the ecological fallacy: the potential misuse of a concept and the consequences.," American journal of public health, vol. 84, no. 5, pp. 819-24, May 1994.
- B. J. Calder, L. W. Phillips, and A. M. Tybout, "The Concept of External Validity," Journal of Consumer Research, vol. 9, no. 3, pp. 240-244, 2012.
- M. A. Schmuckler, "What Is Ecological Validity? A Dimensional Analysis," Infancy, vol. 2, no. 4, pp. 419-436, Oct. 2001.
- K. L. Kraemer, The information systems research challenge (vol. III): survey research methods. Boulder, CO, USA: Harvard University Graduate School of Business Administration, 1991, p. 395.
- L. Palen and M. Salzman, "Voice-mail diary studies for naturalistic data capture under mobile conditions," in Proceedings of the 2002 ACM conference on Computer supported cooperative work -CSCW '02, 2002, pp. 87-95.
- J. Chipchase, P. Persson, P. Piippo, M. Aarras, and T. Yamamoto, "Mobile essentials: field study and concepting," in Designing For User Experiences; Vol. 135, 2005.
- G. Jacucci and M. Isomursu, "Facilitated and performed 'happenings' as resources in ubiquitous computing design," Digital Creativity, vol. 15, no. 4, pp. 223-231, Dec. 2004.
- B. Gaver, T. Dunne, and E. Pacenti, "Design: Cultural probes," interactions, vol. 6, no. 1, pp. 21-29, 1999.
- E. Ruspini, Longitudinal Research and the Analysis of Social Change, Quality & . Kluwer Academic Publishers, 1999, pp. 219-227.
- K. Cheverst, N. Davies, K. Mitchell, A. Friday, and C. Efstratiou, "Developing a context- aware electronic tourist guide," in Proceedings of the SIGCHI conference on Human factors in computing systems -CHI '00, 2000, pp. 17-24.
- S. Gabrielli, V. Mirabella, S. Kimani, and T. Catarci, Supporting cognitive walkthrough with video data. Salzburg, Austria: ACM Press, 2005, p. 77.
- V. Roto, A. Oulasvirta, T. Haikarainen, J. Kuorelahti, H. Lehmuskallio, and T. Nyyssönen, "Examining mobile phone use in the wild with quasi-experimentation," Helsinky, Finland, 2004.
- R. K. Yin, Case Study Research: Design and Methods, 3rd ed. Beverly Hills, CA, USA: Sage Publications, Inc, 2002, p. 200.
- M. C. González, C. A. Hidalgo, and A.-L. Barabási, "Understanding individual human mobility patterns.," Nature, vol. 453, no. 7196, pp. 779-82, Jun. 2008.
- I. Eriksson, "Simulations for user training," A bo akademi Department of Computer Science, A bo, 1990.
- M. S. Andreasen, H. V. Nielsen, S. O. Schrøder, and J. Stage, "What happened to remote usability testing?," in Proceedings of the SIGCHI conference on Human factors in computing systems -CHI '07, 2007, pp. 1405-1414.
- M. H. Vastenburg and N. R. Herrera, "Adaptive Experience Sampling : Addressing the Dynamic Nature of In-Situ User Studies," in Ambient Intelligence and Future Trends - International Symposium on Ambient Intelligence (ISAml 2010), J. M. Corchado, J. C. Augusto, P. Novais, and C. Analide, Eds. Springer-Verlag Berlin Heidelberg, 2010, pp. 197-200.
- M. Cherubini and N. Oliver, "A Refined Experience Sampling Method to Capture Mobile User Experience," in CHI 2009 Workshop: Mobile User Experience Research: Challenges, Methods & Tools, 2009, vol. 2009, p. 12.
- G. Iachello, K. N. Truong, G. D. Abowd, G. R. Hayes, and M. Stevens, "Prototyping and sampling experience to evaluate ubiquitous computing privacy in the real world," in Proceedings of the SIGCHI conference on Human Factors in computing systems - CHI '06, 2006, pp. 1009-1018.
- J. E. Fischer, "Experience-Sampling Tools : a Critical Review," Journal of Youth and Adolescence, pp. 1-3, 2009.
- S. S. Intille, J. Rondoni, C. Kukla, I. Ancona, and L. Bao, "A context-aware experience sampling tool," in CHI '03 extended abstracts on Human factors in computing systems - CHI '03, 2003, pp. 972-973.
- A. Kittur, E. H. Chi, and B. Suh, "Crowdsourcing user studies with Mechanical Turk," Proceeding of the twenty-sixth annual CHI conference on Human factors in computing systems -CHI '08, p. 453, 2008.
- B. Fogg, J. Marshall, T. Kameda, J. Solomon, A. Rangnekar, J. Boyd, and B. Brown, "Web credibility research," in CHI '01 extended abstracts on Human factors in computing systems -CHI '01, 2001, p. 295.
- B. Paulson, A. Wolin, J. Johnston, and T. Hammond, "SOUSA : Sketch-based Online User Study Applet," in SBM'08 Proceedings of the Fifth Eurographics conference on Sketch- Based Interfaces and Modeling, 2008, pp. 81-88.
- G. E. Fitzgerald, T. Hall, and L. P. Semrau, "User Studies : Evaluating the Use of EPSS Tools for Self-Management by Theoretical Base for the Use of EPSS with Children The Two Components of KidTools," in Proceedings of Ed-Media 2000 World Conference on Educational Multimedia and Hypermedia, 2000, pp. 1999-2001.
- H. Yoshida, S. Ito, and N. Kawaguchi, "Evaluation of pre-acquisition methods for position estimation system using wireless LAN," in Third International Conference on Mobile Computing and Ubiquitous Networking (ICMU 2006), 2006, pp. 148-155.
- P. A. Zandbergen, "Accuracy of iPhone locations: A comparison of assisted GPS, WiFi and cellular positioning," Transactions in GIS, vol. 13, pp. 5-25, Jun. 2009.
- B. N. Schilit, A. LaMarca, G. Borriello, W. G. Griswold, D. McDonald, E. Lazowska, A. Balachandran, J. Hong, and V. Iverson, "Challenge: Ubiquitous Location-Aware Computing and the 'Place Lab' Initiative," in Proceedings of the 1st ACM international workshop on Wireless mobile applications and services on WLAN hotspots -WMASH '03, 2003, p. 29.
- M. Paciga and H. Lutfiyya, "Herecast: An open infrastructure for location-based services using WiFi," in WiMob'2005, IEEE International Conference on Wireless And Mobile Computing, Networking And Communications, 2005., 2005, vol. 4, pp. 21-28.
- S. B. Eisenman, E. Miluzzo, N. D. Lane, R. A. Peterson, G.-S. Ahn, and A. T. Campbell, "The BikeNet mobile sensing system for cyclist experience mapping," in Proceedings of the 5th international conference on Embedded networked sensor systems -SenSys '07, 2007, p. 87.
- J. Fogarty, S. E. Hudson, C. G. Atkeson, D. Avrahami, J. Forlizzi, S. Kiesler, J. C. Lee, and J. Yang, "Predicting human interruptibility with sensors," ACM Transactions on Computer- Human Interaction, vol. 12, no. 1, pp. 119-146, Mar. 2005.
- T. Reichenbacher, "Geographic relevance in mobile services," in Proceedings of the 2nd International Workshop on Location and the Web -LOCWEB '09, 2009, pp. 1-4.
- M. B. Kjaergaard, J. Langdal, T. Godsk, and T. Toftkjaer, "EnTracked: energy-efficient robust position tracking for mobile devices," in Proceedings of the 7th international conference on Mobile systems, applications, and services -Mobisys '09, 2009, p. 221.
- B. Pinkas and T. Sander, "Securing passwords against dictionary attacks," Proceedings of the 9th ACM conference on Computer and communications security -CCS '02, p. 161, 2002.
- N. Chou, R. Ledesma, Y. Teraguchi, J. C. Mitchell, and S. Ca, "Client-side defense against web-based identity theft," in Proceedings of the Network and Distributed System Security Symposium, 2004.
- 4 Annex D The following lists of questions belong to the interview scripts that we elaborated for guiding our follow-up interviews to active and inactive study participants.
- Considera que a informação disponibilizada sobre o estudo era suficiente para permitir uma participação informada? Se não, porquê?
- Achou esclarecedora a informação fornecida sobre os dados que a aplicação recolhe? Se não, porquê?
- Ficou suficientemente esclarecido relativamente à política de privacidade da plataforma? Se não, porquê?
- Sentiu dificuldade em entender os requisitos de participação no estudo? Se sim, porquê? 5. Sentiu dificuldade em perceber qual o momento em que seria calculada a localização do dispositivo e a forma como isso seria feito? Se sim, porquê? Sente que isso é um factor determinante para ditar a sua participação ou não participação no estudo? 6. Teve dificuldades em navegar no sítio web da plataforma? Se sim, porquê? 7. Teve dificuldades no acto de registo na plataforma? Se sim, porquê? 8. Teve dificuldades no acto de inscrição no estudo? Se sim, porquê?
- Teve dificuldades em configurar ou navegar na aplicação? Se sim, porquê? 10. Teve dificuldades em perceber qual o estado da sua participação no estudo, durante o período em que este decorreu? Se sim, porquê? 11. Considera que a aplicação o interrompeu com demasiada frequência, interferindo nas suas tarefas normais? Se sim, porquê? 12. Considera que as questões colocadas através da aplicação eram suficientemente claras? Se não, porquê? 13. Teve dificuldade em interagir com os questionários da aplicação? Se sim, porquê? 14. A participação no estudo afectou negativamente a autonomia da bateria do telemóvel? Se sim, até que ponto.
- Sente que a participação no estudo afectou negativamente a sua privacidade? Se sim, porquê? 16. Poderia fornecer uma breve descrição da sua experiência de participação, apontando os aspectos positivos ou negativos que achou relevantes? 17. Apresente sugestões/alterações relativas a qualquer aspecto da plataforma (sítio web e aplicação móvel) que considere serem conducentes a uma melhoria da experiência.
- Considera que a informação disponibilizada sobre o estudo era suficiente para permitir uma participação informada? Se não, porquê?
- Achou esclarecedora a informação fornecida sobre os dados que a aplicação recolhe? Se não, porquê?
- Ficou suficientemente esclarecido relativamente à política de privacidade da plataforma? Se não, porquê?
- Sentiu dificuldade em entender os requisitos de participação no estudo? Se sim, porquê? 5. Sentiu dificuldade em perceber qual o momento em que seria calculada a localização do dispositivo e a forma como isso seria feito? Se sim, porquê? Sente que isso é um factor determinante para ditar a sua participação ou não participação no estudo? 6. Teve dificuldades em navegar no sítio web da plataforma? Se sim, porquê? 7. Teve dificuldades no acto de registo na plataforma? Se sim, porquê? 8. Teve dificuldades no acto de inscrição no estudo? Se sim, porquê?
- Teve dificuldades em configurar ou navegar na aplicação? Se sim, porquê? 10. Explique qual a razão ou razões pela qual não gerou dados durante a sua participação no estudo. O que poderia contribuir para que essa situação fosse diferente? 11. Sente que a participação no estudo afectou negativamente a sua privacidade? Se sim, porquê? 12. Apresente sugestões/alterações relativas a qualquer aspecto da plataforma (sítio web e aplicação móvel) que considere serem conducentes a uma melhoria da experiência.