Cómo realizar una prueba beta cerrada con presupuesto cero

1.5 meses, más de 100 empresas, 20 industrias - KeepSolid Sign Story.

El objetivo de esta publicación: mostrar de forma incremental cómo realizamos una prueba beta cerrada para KeepSolid Sign desde cero, en un tiempo limitado y con recursos limitados. Entonces, si es un principiante, un especialista en marketing o un emprendedor, interesado en entregar su MVP o producto beta en manos de los primeros usuarios, quédese un rato y escuche.

Al desarrollar su propio producto, sería genial hacer todo como lo hizo Hotjar.

Pero, ¿qué sucede si tiene más tiempo, personas, recursos y presupuesto?

¿Y si, a pesar de eso, todavía desea permitir que los primeros usuarios prueben su producto para recopilar comentarios valiosos de ellos, mientras aún se encuentra en la fase de desarrollo?

Esta es exactamente la situación que tuvimos, cuando estábamos inmersos en el desarrollo de nuestra última aplicación, KeepSolid Sign.

Es un servicio genial (obviamente) para la firma electrónica de contratos y otros documentos. En ese momento, teníamos un poco más de MVP para tres plataformas: macOS, iOS y Android, por lo que decidimos que es hora de llevar a cabo una versión beta cerrada exclusiva.

Solo hemos tenido hasta 2 meses (en realidad nos tomó solo 1,5) completarlo, ya que estamos planeando una versión beta abierta para 4 plataformas (incluido Windows) y una aplicación web para fines de septiembre.

Así es como logramos obtener estos resultados modestos pero decentes paso a paso.

Etapa de preparación

En primer lugar, determinamos nuestros objetivos para esta beta cerrada de la siguiente manera:

  1. Ponga el producto en manos de los primeros usuarios y obtenga retroalimentación sobre el aspecto actual del producto, sus ventajas y desventajas.
  2. Comprenda cómo los usuarios lidian con la firma de documentos y documentos ahora: qué soluciones usan, cuáles son los pros y los contras de la solución actual, etc. Conozca cómo nos compara con la solución que usan ahora.
  3. Obtenga una mejor imagen del futuro desarrollo de productos y elabore una hoja de ruta.
  4. Construye los clientes Personas para nuestro producto.

Después de establecer los objetivos, desarrollamos un plan, o un concepto, de nuestra prueba beta. Pensamos en las etapas de la versión beta, decidimos cómo íbamos a entrevistar a los participantes, creamos una página de destino y otro contenido, y desarrollamos un sistema de comunicación. Más detalles por delante.

Una vez terminado el concepto beta y la etapa de planificación, comenzamos a invitar a los usuarios. Para esto, utilizamos tres canales:

  • Nuestra propia base de correo electrónico de los usuarios de nuestros productos anteriores (nos trajo ~ 80% de los participantes)
  • Servicios especializados como Betabound (~ 18%). Recopilamos una lista completa en este documento de Google, siéntase libre de usarlo, agregar otros servicios o compartirlo.
  • Reddit (~ 2%)

Esto dio como resultado la enorme cantidad de 232 probadores beta (> 62% de tasa de conversión (CR) de aquellos que completaron nuestra encuesta introductoria a los que aplicaron).

Y aunque las dos primeras fuentes se explican por sí mismas, explicaremos un poco la parte de Reddit.

Es importante tener en cuenta que elegimos subreddits que atraen el tipo de audiencia que estábamos buscando: propietarios de pequeñas empresas, agentes inmobiliarios, expertos en finanzas, etc. No priorizamos los subreddits para beta-testers, porque necesitábamos una retroalimentación amplia en lugar de profesional Luego, después de pedir permiso a sus administradores, publicamos una invitación a nuestra versión beta cerrada.

Aquí hay un ejemplo de tal publicación:

Además, elegimos los instrumentos adecuados:

  • Para crear una página de destino para beta, utilizamos el servicio Tilda. Lo elegimos porque tiene una versión paralizada gratuita (en realidad terminamos comprando una suscripción porque necesitábamos algunas funciones adicionales), y lo que es más importante, permite crear páginas hermosas y realizar esto rápidamente.
  • Para la encuesta en sí, utilizamos Survey Planet. Es una solución decente, aunque tiene ciertos defectos que posiblemente discutiremos en otro artículo algún día.
  • Utilizamos Calendly (con prueba gratuita de 2 semanas) para programar llamadas con aquellos evaluadores que aceptaron este tipo de encuesta. Por cierto, no resultó excelente, pero volveremos a esto más adelante. Y para las llamadas que usamos Skype, gran sorpresa =)
  • Para el envío masivo de correo electrónico, utilizamos reply.io. Nuevamente, simplemente porque tiene una prueba gratuita de 2 semanas. Resultó ser un servicio realmente bueno, y estamos considerando suscribirnos a él.
  • Otra herramienta que utilizamos y de la que los usuarios estaban especialmente contentos fue Zendesk, un software de atención al cliente basado en tickets. Obviamente, nuestros evaluadores lo usan con mayor frecuencia para enviarnos informes de errores y demás. Pero también apreciaron mucho la oportunidad de contactarnos desde la aplicación.

Abajo a los negocios

Entonces, después de armarse y ser peligrosos, lanzamos la prueba beta.

Al principio planeamos asignar a dos miembros de nuestro equipo como gerentes beta: uno para encuestas de llamadas y otro para encuestas en línea, pero ... Siga leyendo para saber qué sucedió.

Comenzamos enviando a todos los participantes un formulario de solicitud y una encuesta introductoria. Allí hicimos algunas preguntas generales como la ocupación y el puesto de trabajo. La pregunta más importante aquí fue qué plataformas puede usar un participante para las pruebas. Como solo teníamos KeepSolid Sign disponible para macOS, iOS y Android en ese momento, tuvimos que pedir a todos los usuarios de Windows que esperaran nuestra próxima versión beta abierta.

Después de que los usuarios llenaron la solicitud, les otorgamos una suscripción gratuita de 1 año para KeepSolid Sign.

A continuación, les pedimos que descargaran la aplicación y la usaran durante 1,5 semanas.

Después de eso, brindamos a los evaluadores una opción: si desean pasar una encuesta de texto en línea o mediante una llamada de Skype. Y ahí es donde cometimos un error.

Los usuarios todavía estaban demasiado fríos, no sabían mucho sobre nosotros o nuestra aplicación. Debido a eso, aunque algunos de ellos aceptaron una llamada, la mayoría cambió de opinión después y se inclinó hacia la encuesta en línea.

Entonces, desde la Psicología clásica de la persuasión, si desea que un usuario realice una acción específica (complete la encuesta, si es su objetivo real), ofrézcale una alternativa peor (como tener una llamada con usted). Si logra que las personas salten la llamada con usted, asegúrese de hacer un seguimiento después de cada llamada y resuma de lo que ha estado hablando.

Por cierto, es una buena idea grabar su llamada con un usuario (pruebe Callnote si usa Skype para llamadas), pero siempre pregunte si puede hacerlo de antemano. Normalmente a las personas no les importa que grabes la conversación, sería cortés enviarles la grabación en tu seguimiento.

La primera encuesta en línea (25% CR a # aplicaciones) consistió en varias preguntas sobre los participantes y las formas en que usaron nuestra aplicación, con qué frecuencia, para qué fines, ese tipo de cosas. Leímos los resultados lo antes posible después de que los evaluadores pasaron la encuesta, para poder contactarlos para obtener información adicional si fuera necesario.

Después de eso, les pedimos que usaran el signo durante otras 1,5 semanas.

En la segunda y última encuesta en línea (> 23% de CR a # aplicaciones) preguntamos a los evaluadores sobre nuestro producto: qué les gustó, qué no les gustó, comentarios, etc. También solicitamos que nos calificaran a través de un formulario especial en nuestro sitio web, ya que habían usado Sign por algún tiempo y podían dar una revisión equilibrada.

En ambas encuestas tuvimos muchas preguntas obligatorias. Somos conscientes de que algunos expertos en marketing les tienen miedo, pero nuestros evaluadores respondieron positivamente. También hicimos preguntas varias veces en varias formas para garantizar que las respuestas cubrieran todos los aspectos que nos interesaban. El tiempo promedio para ambas encuestas fue de 11 a 12 minutos.

Después de que terminó la versión beta, hicimos un breve video de agradecimiento, filmado personalmente por nuestros gerentes beta y lo enviamos a nuestros usuarios, junto con la solicitud de testimonios;) Este pequeño truco desencadenante provocó una ola de comentarios positivos de los usuarios, que podemos usar ahora para nuestro sitio web.

Lecciones aprendidas

Llegamos a la conclusión de que la prueba beta fue un éxito y logramos alcanzar nuestros objetivos.

  1. Hemos aprendido mucho sobre cómo los usuarios perciben nuestro producto, qué les gusta, qué entienden y qué les gustaría ver en él. Por ejemplo, nos dimos cuenta de que los usuarios realmente disfrutaban el hecho de que Sign es una aplicación nativa para varias plataformas, no solo una solución de navegador. Esto solo mejoró su experiencia debido a una mejor velocidad de rendimiento y disponibilidad fuera de línea.
  2. Tenemos mucha información sobre cómo los usuarios firman sus documentos. Por ejemplo, más del 30% de todos los encuestados dicen que todavía usan el enfoque manual de "impresión - escaneo - firma - envío". Aunque todavía depende mucho de la industria y las regulaciones estatales / gubernamentales, el porcentaje de aceptación de firmas electrónicas y digitales es mucho mayor en EE. UU. Y el Reino Unido en comparación con, por ejemplo, Polonia.
  3. No hubo suficientes evaluadores para crear un muestreo estadístico legítimo y dibujar una hoja de ruta sólida basada en él, por lo que esperamos abrir una versión beta para solucionar esto. Sin embargo, entendimos claramente qué agregar a nuestra funcionalidad principal (como agregar más opciones para hacer y editar firmas, o agregar certificados de firma digital).
  4. Hemos logrado definir y describir a tres Personas: propietario de una pequeña empresa, director de TI y autónomo / autónomo.

Pero lo mejor que finalmente descubrimos (para nuestro alivio) es que Sign es realmente comercialmente viable y capaz de cumplir con la competencia. ¡Esta es posiblemente la lección más importante que puede aprender al realizar una prueba beta!

Entre las lecciones menores:

  • Nunca propongas encuestas de llamadas demasiado pronto, esto podría asustar a tu audiencia.
  • Pero al mismo tiempo, no ignore las encuestas de llamadas. A pesar de que solo tuvimos algunas llamadas, fueron realmente útiles e informativas, y recomendamos encarecidamente este método.
  • Esté listo para editar su encuesta sobre la marcha. Cuando comenzamos a recibir las primeras respuestas, tuvimos que ajustar nuestras preguntas después de darnos cuenta de que los usuarios no las percibían de la manera que esperábamos.
  • Cuantos menos evaluadores tenga, menos preguntas cuantitativas debe incluir, ya que las respuestas no serán lo suficientemente representativas.

En general, fue una beta emocionante y seguramente útil.

Como mencionamos anteriormente, estamos planeando una versión beta abierta pronto (iniciando la aplicación en todas las plataformas a fines de septiembre, por cierto, puede suscribirse a nuestra lista de lanzamiento aquí). Esperamos escribir otro artículo al respecto Una vez que la beta haya terminado. Así que considere esta pieza como el comienzo de los diarios de desarrolladores donde describimos nuestro trabajo con Sign desde el principio.

¿Tienes experiencia en organizar una prueba beta? ¿Qué parte fue más desafiante para ti? Y si no lo hace, ¿le gustaría saber más sobre nuestra experiencia?

Tu

... y compartir nos animaría a escribir más para usted. ❤

Síganos y nuestro viaje para crear las mejores soluciones de productividad y seguridad para empresas en Twitter, Facebook y nuestro blog.

Esta historia se publica en The Startup, la publicación líder de Medium para emprendedores y startups.

Puede suscribirse para obtener las principales historias aquí.