Nuevo método para evaluar la calidad de las noticias científicas

SciLens (Evaluating the Quality of Scientific News Articles Using Social Media and Scientific Literature Indicator) es un método para evaluar la calidad de los artículos de noticias científicas que se describe, desarrolla y valida en una comunicación publicada en los Proceedings de The Web Conference 2019, celebrada en San Francisco (EE UU) del 13 al 17 de mayo.

La comunicación fue presentada por Carlos Castillo, director del Grupo de Investigación Web Science and Social Computing (WSSC) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la Universidad Pompeu Fabra (UPF), junto al profesor Karl Aberer, ambos tutores de la tesis doctoral de Panayotis Smeros, de la École Polytechnique Fédérale de Lausanne (EPFL, Suiza) y primer autor del trabajo.

“El punto de partida de nuestro trabajo son metodologías estructuradas que definen una serie de aspectos de calidad para evaluar de manera manual noticias. Basándonos en estos aspectos, describimos una serie de indicadores de calidad de noticias. Según nuestros experimentos, estos indicadores ayudan a personas no expertas a evaluar con mayor precisión la calidad de un artículo de noticias científicas, en comparación con los no expertos que no tienen acceso a estos indicadores”, explica Carlos Castillo.

Uno de los elementos principales de SciLens es su enfoque hacía el contenido y también hacia el contexto de los trabajos científicos. El contexto se obtiene, en primer lugar, a través de las referencias explícitas e implícitas del artículo en la literatura científica, y en segundo lugar de su repercusión en las redes sociales. “Demostramos que ambos elementos contextuales pueden ser fuentes de información valiosas para determinar la calidad del artículo”, afirman los autores.

El trabajo aporta una metodología para la recopilación de datos contextuales que captura a la vez los contenidos del artículo, su relación con la literatura científica, y las reacciones que genera en las redes sociales.

La validación de SciLens, realizada a través de una combinación de anotación por expertos en comunicación y ciencia, y por no expertos, demuestra su efectividad tanto para la evaluación semiautomática como automática de la calidad de las noticias científicas, según se muestra gráficamente en el esquema de trabajo del método.

Scilens presenta una serie de indicadores de calidad de los artículos científicos calculados automáticamente a partir de las citas generadas por el artículo, la relación de un artículo periodístico con la literatura científica, donde los autores introducen métodos de similitud de contenidos y gráficos, y las reacciones de las redes sociales al artículo, donde los autores proponen un método para interpretar la postura adoptada en las redes sobre la recepción del artículo (comentarios, apoyos, críticas, etc.) como señales de calidad.

Finalmente, los autores hacen una evaluación experimental de sus métodos con expertos y no expertos. SciLens puede producir una puntuación de la calidad de un artículo de manera totalmente automatizada, que concuerda más con las evaluaciones hechas por expertos que con evaluaciones manuales realizadas por personas no expertas. Esto permite identificar artículos periodísticos de baja calidad que no representan adecuadamente o que incluso a veces contradicen los artículos científicos que dicen citar.