No, no me vale que me digas que aciertas el 97% de las veces. Dime cuántas veces aciertas cuando sí y cuántas veces aciertas cuando no.
Si no, cualquiera.

Nota: estaba buscando la referencia a la última noticia de ese estilo que me había llegado, pero no la encuentro. No obstante, seguro, cualquier día de estos encontrarás un ejemplo de lo que denuncio.
Para clasificación en la que recall y precision pesan lo mismo, para mí, el mejor indicador es el Cohen Kappa
https://stats.stackexchange.com/questions/82162/cohens-kappa-in-plain-english
Mas que el tema de acertar al azar, creo que la entrada, va más en la dirección de que un modelo con una precisión de 0.97 puede ser una verdadera castaña, ya que si clasifico el 100% de mis observaciones como UNOS y la proporción de CEROS real se situa en en torno al 3%….pues de ahi viene ese pedazo de 0.97 de precisión. Ahora bien…para hacer eso no necesitas un modelo.