La evaluación de la cocreación

  • Antoni Baena Garcia

PID_00267574
Primera edición: octubre 2019
© Antoni Baena Garcia
Todos los derechos reservados
© de esta edición, FUOC, 2019
Av. Tibidabo, 39-43, 08035 Barcelona
Realización editorial: FUOC
Ninguna parte de esta publicación, incluido el diseño general y la cubierta, puede ser copiada, reproducida, almacenada o transmitida de ninguna forma, ni por ningún medio, sea este eléctrico, químico, mecánico, óptico, grabación, fotocopia, o cualquier otro, sin la previa autorización escrita de los titulares de los derechos.

Introducción

Actualmente podemos encontrar diferentes experiencias en las que se muestra claramente que las intervenciones en sanidad electrónica (e-health) son eficaces y beneficiosas, aunque pueden ser contradictorias muchas veces. La evidencia es diversa, ya que se han llevado a cabo análisis sobre diferentes temas, perspectivas, contextos y propósitos, con resultados muchas veces contradictorios (Lau y Kuziemsky, 2016).
Ante la necesidad de evaluar las intervenciones con mayor impacto social, la cocreación, con sus pros y sus contras, puede ser de gran ayuda, ya que dicha evaluación requiere un gran esfuerzo e inversión de tiempo y recursos para adoptar y adaptar estos sistemas (Lau y Kuziemsky, 2016). Por lo tanto, se debe evaluar si el sistema está funcionando y si está produciendo los efectos esperados, pero dicha evaluación debe abarcar todo el ciclo de la vida, la planificación, la implementación, el uso y el mantenimiento a largo plazo (Lau y Kuziemsky, 2016).
Las características de la cocreación son diferentes a los proyectos habituales, como analizaremos posteriormente. Los objetivos son cambiantes, no se sabe cuánto tiempo se invertirá y cuál será el presupuesto total; los participantes tienen diferentes niveles de conocimiento y, en el caso de los pacientes, no siempre tienen mucho interés en ser miembros activos del proyecto (Willian y Magister, 2013).

1.La evaluación en cocreación

Plantear la evaluación de un proyecto de cocreación no es tan simple como pueda parecer, ya que se dan múltiples retos desde el inicio, principalmente (Willian y Magister, 2013):
  • No se cuenta con toda la información desde el inicio del proyecto.

  • El modelo conceptual del proyecto es insuficiente porque son proyectos cambiantes.

  • El proyecto presenta diferentes estados que son afectados por los cambios en las condiciones iniciales y por la participación constante de los miembros del proyecto.

  • El contexto de la cocreación requiere que los proyectos sean flexibles.

  • El proyecto debe ser evaluado continuamente.

  • La evaluación del impacto de estos proyectos debe diseñarse teniendo en cuenta los cambios ocurridos en la concepción del proyecto mediante las diferentes etapas.

También hay una gran preocupación en la cocreación por cómo se deben usar los datos recopilados del paciente, que además se suelen recoger con mayor facilidad y frecuencia que en la clínica clásica, aunque pueda estar en discusión la fiabilidad de la herramienta o el sensor de medida (Wyatt, 2018).
Además, la investigación en cocreación ha identificado dos tipos de pacientes participantes: en primer lugar, están los participantes que son requeridos por los investigadores y, en segundo lugar, aquellos pacientes cuyo comportamiento es voluntario y que suele ser posterior a una primera propuesta de creación conjunta de valor (Yi y Gong, 2013).

2.Fases en la evaluación de programas

Diferentes autores han enumerado algunas fases y contenidos generales que deberían tener los proyectos que tengan la cocreación como parte importante de los mismos. Lógicamente, el proyecto debe iniciarse con una inquietud, con la detección de una necesidad que debe y puede ser abordada por la organización que albergará el proyecto. A partir de este momento se debería definir mínimamente la necesidad, más para buscar e involucrar a los participantes que aporten un factor diferencial de calidad que para definir y diseñar el proyecto.
En cuanto a la capacidad de organización para iniciar un proyecto de cocreación, requisito esencial, se deben valorar cuatro aspectos (DART) (Prahalad, C. K. y Ramaswamy, 2004):
  • Diálogo: la interactividad entre centros de salud y pacientes.

  • Acceso: conocimientos y herramientas que facilitan la cocreación.

  • Riesgo: evaluación del riesgo y responsabilidad social.

  • Transferencia: apertura de la información entre empresas y pacientes, pero también podría ser entre empresas de salud-pacientes y la sociedad a la que pertenecen.

Figura 1. El sistema de información exitoso
Fuente: Lau y Kuziemsky (2016).
Fuente: Lau y Kuziemsky (2016).
Si estas cuatro competencias están suficientemente desarrolladas se puede iniciar el proyecto de cocreación; en caso contrario, el objetivo inmediato es su desarrollo o mejora.

2.1.Fase 1: reunir personas interesadas

Si lo que se quiere es conseguir un fiel reflejo de la realidad social, la selección de las personas involucradas en un proyecto es un factor importantísimo, por lo que cualquier evaluación debe tener muy en cuenta los valores, las creencias, el género, etc. de los implicados, ya que este es uno de los aspectos más importantes de todo el proceso.
Si no se involucra a los pacientes, los hallazgos suelen ser menores, menos impactantes o ignorados y criticados, incluso se pueden oponer directamente a los mismos; sin embargo, si son parte del proceso, lo más probable es que lo sientan como propio, incluso cuando los resultados no sean los esperados.
Está claro que los pacientes, las organizaciones o las asociaciones de afectados aprenden siempre de la experiencia de la evaluación en cocreación, ya sea en positivo o en negativo, por lo que muchas veces lo más importante es tener claro qué hacer con dicho conocimiento o con quién y cómo compartirlo.
Figura 2. Los tres pasos en el modelo de evaluación en telemedicina
Fuente: Kidholm, Clemensen, Caffery y Smith (2017).
Fuente: Kidholm, Clemensen, Caffery y Smith (2017).
En cuanto a las personas que hay que incluir en una evaluación, se suelen dividir en tres grupos:
  • Los miembros de la comunidad, patrocinadores, colaboradores, socios de coaliciones, oficiales fundadores, administradores, gerentes y demás integrantes del cuerpo administrativo.

  • Los beneficiados: pacientes, familias, organizaciones, grupos de apoyo, etc.

  • Los que están en posición de decidir sobre los resultados.

El grado y el tipo de participación de estos grupos de personas puede ser distinto en general o dependiendo del momento del proyecto, lo que sí se debe gestionar son reuniones periódicas y reportes para mantener a todas las partes suficientemente informadas.
Figura 3. Fases en el desarrollo de una aplicación de salud
Fuente: Crosby y otros (2016).
Fuente: Crosby y otros (2016).

2.2.Fase 2: descripción conjunta del programa

La siguiente fase consiste en describir resumidamente la intervención que va a ser evaluada, qué es lo que se pretende conseguir y cómo se van a intentar generar cambios; los componentes y elementos centrales del programa, la etapa de desarrollo y cómo integrar dicho programa en el conjunto general de intervenciones comunitarias de salud.
La forma de describir el programa marcará los pasos y las decisiones futuras, así como su evaluación, de ahí su importancia; de hecho, si no hay acuerdo en la definición del programa, difícilmente las evaluaciones serán útiles (Kansas University, 2017).
En cuanto a los aspectos que hay que incluir en la descripción de cualquier programa de cocreación están los siguientes (Kansas University, 2017):
  • Necesidad: describe el problema, la necesidad de solucionarlo, la oportunidad, los afectados, etc.

  • Expectativas: qué se espera obtener de todo el proceso, etapas, consecuencias, etc.

  • Actividades: describe los componentes, acciones y estrategias específicas siguiendo una secuencia concreta de ejecución.

  • Recursos: tiempo, equipo, información, fondos, talento, etc.

  • Etapa de desarrollo: planificación, implementación en el mundo real y resultados (previstos e imprevistos).

  • Contexto: ambiente en el que operará el programa (social, cultural, histórico, etc).

  • Modelo lógico: sintetiza los principales elementos del programa en una imagen de cómo se pretende que el programa funcione. Habitualmente se presenta mediante un diagrama de flujo.

2.3.Fase 3: plan de evaluación

Un plan cuidadoso anticipa usos y adaptaciones futuras mediante una estrategia de evaluación útil, flexible, viable, fiable, precisa y eficiente. Los puntos generales que hay que incluir, tener en cuenta y valorar son (Kansas University, 2017):
  • Propósito: intención general de la evaluación. Debe ser claro y estar definido operacionalmente uno o más propósitos generales junto con otros secundarios o dependientes de etapas.

  • Usuarios finales.

  • Usos: potenciales usos de la evaluación del programa, ya sea para la implementación de un programa nuevo, la mejora de uno existente, la valoración económica, etc.

  • Preguntas a la investigación.

  • Métodos: derivados de la ciencia del comportamiento y de la investigación y desarrollo social (experimental, cuasi-experimental y observacional).

  • Acuerdos: marcan claramente las responsabilidades y roles de todos los implicados.

  • Diseño: se analizará la racionalidad y coherencia de la estrategia propuesta, la calidad del diagnóstico y la lógica de intervención. Serán también de vital importancia la calidad de los indicadores y las fuentes de verificación que determinarán el cumplimiento de los objetivos y resultados.

  • Proceso: se trata de estudiar la secuencia de relaciones causales que sustentan el logro de los resultados e impactos del proyecto.

  • Resultados/impacto: consiste en una valoración de hasta qué punto se han alcanzado los objetivos y resultados previstos.

2.3.1.Algunas preguntas de evaluación
  • ¿Se ha contado con una metodología capaz de identificar perfiles de beneficiarios de manera que el proyecto pueda llegar a los grupos más vulnerables?

  • ¿Se ha definido correctamente la estructura de objetivos, resultados y actividades de la intervención?

  • ¿Se han diseñado indicadores y fuentes de verificaciones suficientes y adecuadas?

  • ¿Hasta qué punto y con qué limitaciones se han alcanzado los resultados previstos de la intervención?

  • ¿En qué medida el proyecto ha contribuido al alcance del objetivo específico de la intervención?

  • ¿Se podría haber realizado con un consumo de recursos sustancialmente menor?

  • ¿En qué medida la colaboración institucional y los mecanismos de gestión articulados han contribuido para alcanzar los resultados de la intervención?

  • ¿Se han producido otros efectos no previstos (positivos o negativos)? ¿Cuáles?

  • ¿Qué impacto de género ha tenido el proyecto? ¿Cómo se ha contribuido a la equidad de género?

  • ¿Están en sintonía las acciones del programa, en los diferentes niveles y sectores, con las costumbres y cultura locales?

3.Metodologías de evaluación

A continuación, analizaremos diferentes metodologías, herramientas o técnicas utilizadas en la evaluación y en la cocreación, incluso en la usabilidad.

3.1.La encuesta

La encuesta es una técnica cuantitativa. Por ello, se tiene que hacer entre una muestra representativa de participantes. Para obtener los datos, se usan cuestionarios o formularios estructurados con preguntas que recogen idealmente todas las alternativas posibles de respuesta.
El diseño del cuestionario es clave para garantizar que la información obtenida sea relevante para los objetivos de la fase y del proyecto. Para ello, a menudo se opta por una fase cualitativa inicial cuyos resultados permitirán definir los ítems del cuestionario y las respuestas posibles.
A diferencia de los métodos cualitativos, en las encuestas es más difícil saber lo que los usuarios hacen realmente, ya que la calidad y veracidad de la información que se recoge dependen bastante del diseño del cuestionario.

3.2.La entrevista

Las entrevistas consisten en realizar preguntas al usuario (actual o futuro) de un producto y tomar nota de las respuestas obtenidas; por lo tanto, permiten obtener información de tipo cualitativo.
Es muy importante tener en cuenta que cuando se hace una entrevista, la presencia del investigador puede influir en los resultados. Este fenómeno se denomina sesgo de deseabilidad social: al ser observados, se tiende a una conducta más normativa, más socialmente aceptable.
Por las características propias de esta metodología, se debe seleccionar adecuadamente a las personas que van a ser entrevistadas, documentarse con antelación, preparar las preguntas para que sean fácilmente comprensibles, registrar lo más fidedignamente posible las respuestas y hacer una adecuada interpretación de estas. Las entrevistas proporcionan información relevante en las fases de investigación y de evaluación.

3.3.El diario de usuarios

Es una técnica cualitativa para recoger datos sobre lo que hacen y sienten los usuarios. Los diarios de usuario guían y permiten a los participantes transmitir, de forma conveniente y expresiva, información personal sobre su vida cotidiana u otros acontecimientos. Se pueden dividir en estructurados y no estructurados. Los primeros guían a los participantes y tratan sobre temas específicos, muchas veces a partir de hacer preguntas predefinidas.
A diferencia de las entrevistas, los estudios de diarios permiten informar sobre acontecimientos y experiencias en su contexto natural y sin la presencia de un observador, cosa que disminuye el impacto del sesgo de deseabilidad. Los estudios de diario son útiles para entender conductas en un periodo de tiempo que normalmente dura entre una o dos semanas. Permiten entender, por ejemplo, los hábitos de los pacientes (hora de uso del producto, qué desencadena su uso, etc.), los escenarios de uso, las actitudes y las motivaciones para su uso, las tareas y subtareas (flujo habitual, etapas, etc.).
La principal ventaja de este método es que recoge información longitudinal (cuantitativa o cualitativa) a muy bajo coste. Por ejemplo, se puede preguntar inicialmente cómo los posibles usuarios imaginan el producto para, en las fases posteriores, analizar su experiencia real de uso. Otro aspecto que se debe tener en cuenta es el impacto del contexto en los resultados; o cómo las expectativas, el estado de ánimo o los entornos sociales influyen en la experiencia de los usuarios. Además, en este tipo de estudios no interviene la memoria, ya que los hechos se recogen en el momento.
Pero no todo son ventajas, el principal inconveniente consiste en analizar adecuadamente los datos, por lo que se necesita más tiempo en comparación con otras intervenciones. Además, a veces es difícil conseguir un compromiso suficiente en los participantes para que hagan un seguimiento más o menos duradero.

3.4.Las pruebas con usuarios

La prueba con usuarios es un método de evaluación, principalmente dirigido a la usabilidad, que permite comprobar si las interfaces y los procesos de interacción están bien diseñados y si los usuarios encuentran obstáculos y dificultades para lograr sus objetivos.
Pueden variar desde una sencilla prueba de una sola tarea y muy pocos usuarios hasta pruebas más complejas. Además, las pruebas pueden ser muy diferentes según la tipología y la modalidad utilizadas, pero suelen evaluar la usabilidad de forma bastante fiable.

3.5.La observación contextual

La observación contextual es un método de investigación cualitativo en el que se entrevista y observa al usuario en su contexto real, en vez de hacerlo en un laboratorio o en un contexto artificial.
El contexto en el que los usuarios utilizarán o participarán en su autocuidado es muy importante, ya que sin esta información cualquier programa informativo o de atención o aplicación serán vistas como herramientas poco útiles y usables y más difíciles de entender, por lo tanto, más prescindibles.
El objetivo es obtener información sobre las características de los usuarios, las tareas que realizan y los valores, objetivos y dificultades, es decir, alcanzar una información real que evite las ideas preconcebidas, por eso se suele utilizar en las fases iniciales y de evaluación del proyecto.

3.6.Los focus groups

Los focus groups, también denominados dinámicas de grupo, son una técnica cualitativa que consiste en realizar entrevistas con un grupo que tiene entre seis y doce participantes y permite recoger información general sobre un producto o servicio a partir de una conversación conjunta abierta.
En esta técnica es muy importante la moderación de los grupos, además de la selección lo más representativa posible de pacientes. El moderador tiene un guion previo para conducir la conversación y, además, debe haber un observador experto tomando notas durante la sesión que ayudará en la redacción de las conclusiones.
En relación con la duración, esta puede ser flexible, aunque de media suele durar menos de treinta minutos por sesión, ya que puede ser necesario realizar más de una sesión.

3.7.La evaluación heurística

La evaluación heurística consiste en el estudio y la evaluación de la interfaz por uno o varios expertos en usabilidad, de acuerdo con un conjunto de reglas y principios de diseño establecidos previamente.
Estos principios básicos para la evaluación se denominan heurísticos (en el caso de proyectos de diseño de interacción, se denominan también principios de usabilidad).
La evaluación heurística se puede hacer en diferentes momentos del proceso de diseño centrado en el usuario, tanto durante el diseño como una vez que se han elaborado las primeras propuestas y se han construido los primeros prototipos del sistema, puesto que esto permitirá corregir aspectos de usabilidad antes de desarrollarlo completamente. También se puede llevar a cabo durante el lanzamiento para valorar elementos de usabilidad que no eran visibles en etapas previas.

3.8.El tree testing

El tree testing es un método de evaluación de la arquitectura de la información que, a partir del planteamiento de varias tareas a los usuarios, permite comprobar si la estructura que se propone es intuitiva y permite encontrar con facilidad los contenidos buscados, además de si el rotulado o la terminología utilizada es inteligible y se relaciona de manera óptima con los contenidos.
Como permite evaluar la arquitectura de la información, se recomienda realizarlo una vez que se tenga una propuesta estable aceptada por los diferentes integrantes del equipo evaluador. En proyectos de rediseño también es adecuado aplicarlo en la fase inicial como punto de partida de la nueva propuesta.

3.9.El mapping

El mapping (en castellano, topografía) se refiere a una técnica que facilita la comprensión y el uso adecuado de dispositivos interactivos gracias a las relaciones que se establecen entre la forma de los mandos y lo que permiten hacer.
El mapping facilita la organización y la distribución de elementos que configuran los dispositivos para utilizarlos de modo natural, lo que implica dar visibilidad a las posibilidades que ofrecen estos al relacionar operaciones con resultados y al aportar información al usuario para validar sus acciones; en otras palabras, ayudan a que el usuario imagine qué tiene que hacer y sepa en cada momento qué está pasando gracias a la visibilidad, las relaciones operativas y la retroalimentación.
Resulta útil en la fase de planificación para establecer correspondencias sensoriales y cognitivas entre la disposición de los componentes y su utilización.

3.10.El prototipado

El prototipado consiste en crear un modelo del producto o servicio que se quiere diseñar.
Tiene dos objetivos fundamentales:
  • Dar forma a los conceptos generados en las fases de investigación e ideación.

  • Evaluar la propuesta de diseño con los usuarios potenciales, el cliente y el equipo de diseño y desarrollo.

El proceso de prototipado es iterativo y evoluciona desde las primeras propuestas de baja fidelidad, todavía lejanas del diseño final, hasta las de alta fidelidad, que definen las características que deberá tener el producto o servicio cuando se ponga en manos de los usuarios. Se recomienda usar en la fase de generación, cuando el objetivo, valor y contexto de la propuesta estén ya definidos.

3.11.El método Kano

El método Kano permite evaluar la satisfacción de los usuarios en relación con un producto o servicio.
Dicho método surgió en 1984 gracias a Noriaki Kano, investigador y consultor japonés, que publicó un artículo con un conjunto de ideas y técnicas para ayudar a determinar la satisfacción de los clientes con las características de un producto.
Las premisas del método Kano son:
  • La satisfacción de los clientes con las funciones o características del producto depende del nivel de funcionalidad que se proporciona (cuántas funcionalidades y cómo son desarrolladas).

  • La satisfacción de los clientes sobre las funcionalidades de un producto varía a lo largo del tiempo.

  • Se puede determinar cómo los clientes perciben una funcionalidad mediante un cuestionario.

Se puede usar tanto en etapas iniciales del diseño como en etapas intermedias o finales de un proyecto. De hecho, el modelo será útil en cualquier momento que haga falta un retorno de la satisfacción de un servicio o producto, aunque en función de la etapa de desarrollo del producto las funcionalidades mostradas serán diferentes. Incluso si el producto no existe, se pueden utilizar prototipos que pueden ser de baja fidelidad para más adelante ser más interactivos y definitivos.

3.12.Las técnicas de logging

Las técnicas de logging, también llamadas analíticas, se basan en la monitorización de la actividad de los usuarios. Se registra y analiza su actividad en un sistema o sitio web de forma automatizada, de forma que suele pasar desapercibida al usuario.
Tradicionalmente se guardan en ficheros cuya extensión es log, de ahí toman el nombre en inglés de estas técnicas. El logging suele ser especialmente útil en la fase de investigación, en propuestas de rediseño de productos, programas o aplicaciones. También se utilizan en la fase de evaluación, ya que sirven para recoger información sobre el uso de prototipos o de productos digitales ya en funcionamiento.

3.13.Jobs to be done

Esta técnica parte de la premisa de que los usuarios contratan productos para llevar a cabo un trabajo y sitúan el foco en el trabajo que los pacientes, en este caso, quieran conseguir con el producto, en lugar del producto en sí mismo o sus usuarios.
De ahí que se haya aplicado sobre todo a productos físicos no relacionados con el software.

3.14.El diseño iterativo

El diseño iterativo se basa en un proceso continuo de experimentación, prueba y evaluación del producto, de manera que progresivamente se eliminan problemas y este se adecúa a los usuarios que lo tienen que utilizar.
Así, el proceso iterativo mejora el diseño a lo largo del tiempo.
El proceso iterativo parte de que revisar el trabajo hecho e iterar sobre las soluciones generadas es deseable e incluso inevitable para llegar a productos interesantes y adecuados. De este modo, trata de solucionar los problemas derivados de los procesos secuenciales o en cascada.

3.15.Cognitive walkthrough

Se suele traducir por recorrido cognitivo y consiste en un método de evaluación en el que uno o más expertos realizan una serie de tareas y preguntas desde la perspectiva del usuario.
Asumiendo su rol, se analizan las tareas que el usuario debe llevar a cabo simulando la resolución de los problemas de interacción. De esta forma, se comprueba si los objetivos simulados pueden ser realizados por los usuarios correctamente.
El principal inconveniente de esta técnica, además de ser un proceso largo y tedioso, es que, al ser sin usuarios, no se conocen de primera mano las necesidades, deseos y limitaciones de los pacientes, con lo que el resultado de la evaluación puede acabar siendo superficial y enfocado a aspectos de diseño visual y de navegación de las interfaces.
Se recomienda llevarlo a cabo en la fase inicial de exploración e investigación si estamos en un proyecto de rediseño, aunque también se puede llevar a cabo en la fase de evaluación o de desarrollo.

3.16.Desk research

También es llamado secondary research, ya que consiste en recoger información propia o ya publicada.
De ahí que se hable de dos tipos de desk research: el interno y el externo. El interno se corresponde con la información ya disponible por la empresa o generada por sus propios clientes; en cambio, el externo utiliza otras fuentes de información, como por ejemplo datos estadísticos (elaborados por organismos públicos, empresas o universidades).
Se suele utilizar en la fase de investigación porque resulta útil para enfocar las hipótesis iniciales o para orientar los objetivos de investigación, ya que proporciona información previa al proyecto que, por su temática, alcance o coste, quedaría fuera de los medios del proyecto.

3.17. La evaluación económica

No queríamos dejar de apuntar la importancia de la evaluación de la viabilidad económica y otros aspectos relacionados en cualquier proyecto o propuesta sobre el autocuidado, especialmente para conseguir que los proyectos de salud, incluidas las aplicaciones, mantengan su vigencia suficientemente.
La evaluación económica no es más que el análisis comparativo de intervenciones alternativas con respecto a sus costos y consecuencias (Lau y Kuziemsky, 2016), si bien son diferentes los análisis que pueden realizarse:
  • Análisis de costes-beneficios: examina los costes y las consecuencias en términos económicos.

  • Análisis de coste-efectividad: examina los costes de la intervención respecto a la no intervención u otras intervenciones, ganancia de calidad de vida, años de vida ganados, etc. Por ejemplo, el análisis cuantitativo de los costes de un programa de tratamiento del tabaquismo en relación con los costes del consumo de tabaco.

  • Análisis de minimización de costes: examina la consecuencia menos costosa entre las alternativas con consecuencias equivalentes.

Bibliografía

Crosby, L. E., Ware, R. E., Goldstein, A., Walton, A., Joffe, N. E., Vogel, C., y Britto, M. T. (2016). Development and evaluation of iManage: A self-management app co-designed by adolescents with sickle cell disease. Pediatric Blood and Cancer, 64(1), 139-145. https://doi.org/10.1002/pbc.26177
Kansas University (2017). Un marco para la evaluación de programas: Una introducción a las herramientas. https://ctb.ku.edu/es/tabla-de-contenidos/evaluar/introduccion-a-la-evaluacion/marco-para-la-evaluacion-de-programas/principal
Kidholm, K., Clemensen, J., Caffery, L. J., y Smith, A. C. (2017). The Model for Assessment of Telemedicine (MAST): A scoping review of empirical studies. Journal of Telemedicine and Telecare,23(9), 803-813. https://doi.org/10.1177/1357633X17721815
Lau, F., y Kuziemsky, C. (2016). Handbook of eHealth Evaluation: An Evidence-based Approach. Canadá: University of Victoria.
Prahalad, C. K., y Ramaswamy, V. (2004). Current research on patient safety in the United States. Chicago, {IL:} National Patient Safety Foundation,32(3), 460-5512. https://doi.org/10.1108/10878570410699249
Willian, A., y Magister, D. V. (2013). Método para la evaluación de riesgos y costos de las medidas de tratamiento en proyectos de innovación bajo el enfoque de co-creación. Gerenc. Tecnol. Inform.,13(35), 17-31.
Wyatt, J. C. (2018). How can clinicians, specialty societies and others evaluate and improve the quality of apps for patient use?. BMC Medicine, 16(225), 1-10. https://bmcmedicine.biomedcentral.com/track/pdf/10.1186/s12916-018-1211-7
Yi, Y., y Gong, T. (2013). Customer value co-creation behavior: Scale development and validation. Journal of Business Research, 66(9), 1279-1284. https://doi.org/10.1016/j.jbusres.2012.02.026