GCAN: un método explicable de detección de noticias falsas en redes sociales
Aún quedan algunos desafíos importantes en el problema actual de detección de noticias falsas. Por ejemplo:
① Algunos métodos actuales requieren que los documentos sean textos largos para que puedan aprender mejor la representación de palabras y oraciones. Sin embargo, algunos tweets en las redes sociales son en su mayoría textos breves, lo que genera algunos problemas de escasez de datos.
② Algunos métodos SOTA requieren recopilar una gran cantidad de comentarios de los usuarios. Sin embargo, la mayoría de los usuarios simplemente reenvían tweets sin dejar ningún comentario.
③Algunos estudios creen que la ruta de difusión de información (es decir, retweet) en las redes sociales ayuda a clasificar la información errónea, aprendiendo así la representación de la estructura de propagación basada en árboles. Sin embargo, debido a cuestiones de privacidad, obtener estructuras de difusión retuiteadas suele resultar costoso y muchos usuarios optan por ocultar o eliminar los registros sociales.
④ Algunos métodos actuales carecen de interpretabilidad y no pueden proporcionar evidencia para los usuarios sospechosos que apoyan los rumores y los temas que les interesan al crear rumores.
El método propuesto en este artículo utiliza el contenido de texto breve del tweet fuente, la secuencia de usuarios reenviadores y perfiles de usuario para la detección de noticias falsas. En otras palabras, el método descrito en este artículo satisface las siguientes configuraciones:
①Tweets de fuente de texto corto
②No utiliza texto de comentarios del usuario
③No utiliza; Redes sociales y estructura de red de red de difusión.
Además, requerimos que el modelo de detección de noticias falsas sea interpretable, es decir, que resalte la evidencia a la hora de juzgar si la noticia es falsa. El modelo identificará a los retuiteadores sospechosos que apoyan la difusión de noticias falsas y resaltará las palabras en los tweets originales que les interesan especialmente.
Este artículo propone un nuevo modelo, a saber, Graph-aware Co-Attention Network (GCAN). Primero, las características del usuario se extraen de los perfiles de usuario y las interacciones sociales, y luego se utilizan CNN y RNN para aprender representaciones de propagación de retuits basadas en las características del usuario. Además, los gráficos se utilizan para modelar posibles interacciones entre usuarios y GCN se utiliza para aprender representaciones gráficas de las interacciones de los usuarios. Al mismo tiempo, se propone un mecanismo de coatención dual para conocer la correlación entre los tweets fuente y la propagación de retweets, así como la influencia mutua entre los tweets fuente y la interacción del usuario. Finalmente, la incrustación aprendida se utiliza para realizar predicciones de clasificación binaria de noticias falsas.
1. Planteamiento del problema
es una colección de tweets y es una colección de usuarios. Cada uno es un documento de texto breve (también llamado tweet fuente). Muestra que se compone de palabras. Cada usuario corresponde a un vector de características de usuario. Cuando se publica un tweet, algunos usuarios lo retuitearán, formando así una secuencia de registros de retuiteos, lo que se denomina ruta de propagación. Dado un tweet, su ruta de propagación se expresa como, lo que indica que el enésimo usuario (cuyo vector de características de usuario es) reenviado aquí. El conjunto de usuarios que reenviaron se indica con , el primer usuario que reenvió se indica con , la hora de reenvío se indica con y los usuarios restantes reenviaron con la hora ( ). Cada uno tiene una etiqueta binaria que indica si se trata de noticias falsas (representa noticias falsas). Esperamos poder utilizar los datos anteriores para utilizar un modelo de red neuronal para identificar si se trata de noticias falsas. Además, esperamos que el modelo pueda resaltar un subconjunto de usuarios y algunas palabras en los tweets que puedan indicar autenticidad.
2. Marco GCAN
GCAN incluye principalmente 5 partes:
①extracción de características del usuario, creación de funciones para cuantificar cómo los usuarios participan en las redes sociales en línea
②codificación de nueva historia, genera representación de palabras en los tweets fuente
③representación de propagación del usuario, utiliza características extraídas del usuario para modelar y representar cómo los usuarios propagan los tweets fuente;
④mecanismos duales de coatención, que capturan la correlación entre los tweets fuente y la interacción/propagación del usuario;
⑤hacen predicciones, generando resultados de detección conectando todas las representaciones aprendidas.
El diagrama de arquitectura de GCAN es el siguiente:
3. Modelo
Se define el vector de características del usuario. Específicamente, incluye las siguientes características:
p>
①El número de palabras en la autodescripción del usuario;
②El número de palabras en el nombre de la cuenta del usuario
③El número de usuarios siguientes
;④La cantidad de personas que el usuario sigue Cantidad;
⑤La cantidad de historias creadas por el usuario
⑥Por ejemplo, el tiempo transcurrido de la primera historia del usuario; >
⑦Si la cuenta del usuario ha sido verificada;
⑧Si el usuario permite el posicionamiento geoespacial
⑨La diferencia horaria entre la hora de publicación del tweet de origen y la hora en que el usuario lo reenvió; it;
⑩Entre el usuario y el tweet de origen La longitud de la ruta del retweet (1 si el usuario retuiteó el tweet de origen).
Finalmente obtenemos , que es el número de características.
El tweet fuente dado se codificará usando un codificador a nivel de palabra, y la entrada es el vector one-hot de cada palabra en . Dado que la longitud de cada tweet es diferente, aquí se establece como la longitud máxima y los tweets con menos de están sujetos a relleno de ceros. Se utiliza para representar la representación de codificación one-hot del tweet fuente, es el vector one-hot de la palabra, utiliza una red completamente conectada para obtener la incrustación de palabras, es la dimensión de la incrustación de palabras, el proceso es:
Luego use GRU para aprender La representación de secuencia de palabras, es decir, finalmente se obtiene.
Nuestro propósito es utilizar las funciones de usuario extraídas y la secuencia de propagación de tweets para aprender la representación de la propagación del usuario. El punto fundamental es que las características del usuario en la difusión de noticias reales son diferentes de las características del usuario en la difusión de noticias falsas. La entrada aquí es la secuencia de vectores de características de los usuarios retuiteados del tweet, representado por, y es el número de usuarios retuiteados de longitud fija seleccionados. Si el número de usuarios de reenvío excede , intercepte el primero. Si es menor que , vuelva a muestrear hasta que la longitud sea .
Dada una secuencia de propagación, use GRU para aprender la representación de propagación, y finalmente obtenga la representación de propagación, mediante agrupación promedio.
Utilice la convolución 2D para conocer la correlación de las características internas y considere usuarios continuos para modelar su correlación de secuencia. Por ejemplo, el tamaño del núcleo de convolución es, se utilizan un total de *** núcleos de convolución. De ahí la secuencia de representación aprendida final.
Nuestro objetivo es crear un gráfico que modele las posibles interacciones entre los usuarios que retuitean. La idea es que las correlaciones entre usuarios con características especiales puedan desempeñar un papel a la hora de revelar si el tweet fuente es una noticia falsa. El conjunto de usuarios retuiteados para cada tweet fuente se utiliza para construir un gráfico.
Dado que la interacción real entre los usuarios no está clara, este gráfico está completamente conectado, es decir, cualquier nodo está conectado. Combinado con las características del usuario, cada borde está asociado con un peso, que es la similitud del coseno de los vectores de características del usuario del nodo y, es decir, la matriz de adyacencia del gráfico.
Luego utilice el GCN de tercera generación para aprender la representación de la interacción del usuario. Dada la matriz de adyacencia y la matriz de características del usuario, el proceso de cálculo de la matriz de características del nodo de nueva dimensión es:
es el número de capas, es la matriz de grados, es el parámetro de aprendizaje de la capa y es la función de activación. Aquí, durante el experimento, elegimos apilar dos capas de GCN y la representación final aprendida es.
Creemos que se pueden descubrir pruebas de noticias falsas investigando qué partes de los tweets originales son seguidas por qué tipos de usuarios de retweet, y las pistas pueden reflejarse en cómo los usuarios de retweet interactúan entre sí. Por lo tanto, este artículo propone un mecanismo de coatención dual para modelar:
① Entre los tweets de origen ( ) y la incrustación de difusión del usuario ( ) y
② Tweets de origen ( ) Interacción con el gráfico consciente incrustación() Interacción entre
. Gracias al peso de la atención de la coatención dual, el modelo puede ser interpretable.
Primero calcule una matriz de similitud:
Aquí hay una matriz de parámetros de. Luego obtenga y de la siguiente manera:
Aquí y aquí se puede considerar como una conversión del espacio de atención de la interacción del usuario y el espacio de atención de la palabra de la historia fuente. A continuación, llame la atención:
Aquí está el parámetro de aprendizaje. Finalmente, se puede obtener el vector de atención de la interacción entre el tweet de origen y el usuario:
y describir cómo el usuario interactúa con las palabras del tweet de origen.
Siga el proceso similar mencionado anteriormente para generar los vectores de atención y de y .
Tenga en cuenta que la representación de propagación basada en GRU no se utiliza para conocer las interacciones con . Esto se debe a que las características del usuario de la secuencia de reenvío pueden desempeñar un papel importante en la predicción de noticias falsas. Por lo tanto, este artículo utiliza dos métodos basados en GRU y CNN para aprender la representación de propagación, en los cuales la representación de propagación basada en CNN se usa para aprender la interacción con y la representación de propagación basada en GRU se usa como entrada directa de la final. clasificador al realizar la predicción final.
Finalmente utilizado para la detección de noticias falsas:
La función de pérdida utiliza pérdida de entropía cruzada.
Al comparar los resultados de múltiples líneas de base, el efecto ha mejorado significativamente:
GCAN también se puede utilizar para la detección temprana de noticias falsas, es decir, la detección cuando no hay muchos usuarios. quién lo reenvía, el experimento cambió la cantidad de usuarios de reenvío utilizados para la verificación:
Además, se eliminaron algunos componentes para los experimentos de ablación, -A, -R, -G y -. C representa, respectivamente, la eliminación de la co-atención dual, la representación basada en GRU, la representación con reconocimiento de gráficos y la representación basada en CNN:
-S-A no representa ni la incrustación del tweet fuente ni la co-atención dual, ya que la fuente tweet proporciona pistas básicas, por lo que -S-A tiene una caída de rendimiento significativa.
El peso de la atención aprendido mediante la coatención de propagación de la fuente se puede utilizar para proporcionar evidencia para predecir noticias falsas mediante la identificación de palabras importantes y usuarios sospechosos en los tweets de la fuente. Tenga en cuenta que no consideramos la interpretabilidad de la coatención de la interacción fuente porque las características de interacción del usuario aprendidas del gráfico construido no se pueden explicar intuitivamente.
La siguiente figura es una nube de palabras de dos ejemplos dibujados en función del peso de atención en el tweet de origen (cuanto mayor es el peso, más grandes son las palabras en la nube de palabras):
En la figura, los resultados satisfacen el sentido común, que es que las noticias falsas tienden a utilizar palabras dramáticas y vagas, mientras que las noticias reales utilizan palabras relevantes que están fundamentadas y verificadas.
Además, esperamos utilizar el orden de reenvío en la comunicación para revelar las diferencias de comportamiento entre noticias falsas y noticias reales. La siguiente figura recoge y muestra los pesos de atención en la secuencia de propagación de tres noticias falsas y tres noticias reales:
Los resultados muestran que para determinar si una noticia es falsa, primero se debe comprobar el reenvío temprano del usuario. de la función de tweet de origen. El peso de la atención del usuario de las noticias falsas puede distribuirse uniformemente durante el proceso de propagación.
La coatención de propagación de fuente puede explicar aún más las características de los usuarios sospechosos y las palabras a las que prestan atención, por ejemplo, como se muestra a continuación:
Se puede encontrar que las características Los usuarios sospechosos en el reenvío y la difusión son:
①La cuenta no ha sido verificada
②El tiempo de creación de la cuenta es corto
③La longitud de la descripción del usuario; es corto;
④Distancia Los usuarios que publican tweets fuente tienen longitudes de ruta de gráficos más cortas.
Las palabras a las que prestaron mucha atención fueron palabras como "breaking" y "pipeline". Creemos que tal explicación puede ayudar a interpretar la detección de noticias falsas y así comprender su postura subyacente.