ݺߣ

ݺߣShare a Scribd company logo

Extraction of Users' Personality from FriendFeed Italian Posts

?
?
Luca Rossi
Luca Rossi

Extraction of Users' Personality from FriendFeed Italian Posts - Fabio Celli

1 of 21
Download to read offline
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Computer Science Comp. Linguistics Social Network Analysis Sociology Psychology Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Computer Science Comp. Linguistics Social Network Analysis Sociology Psychology Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results - extract information from text - development of ontologies - development of search engines ... - estrazione di informazioni da testi Comp. Linguistics - sviluppo di ontologie - sviluppo dei motori di ricerca ... Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results 1) collect text data and annotate it 2) build model of information in text 4) develop programs that extract info modelized 1) collezione e annotazione di dati testuali Comp. Linguistics 2) sviluppo di modelli dell'informazione nei testi 3) sviluppo di programmi per estrarre info Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results SNSs provide tons of data (text+users) Problems: 1) formalization of personality 2) annotation of data with personality judgements SNSs I Social Networks contengono un sacco di dati Problemi: 1) formalizzazione della personalit 2) annotazione dei dati con valutazioni della personalit Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results BIG 5: standard model used in Psychology [Norman 1963] Extraversion Emotional stability Psychology Agreebleness Conscientiousness Openness to experience BIG 5: modello standard in Psicologia [Norman 1963] Estroversione Stabilit emotiva Cooperativit Precisione Immaginativit Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Linguistic Features correlating with BIG 5 [Mairesse et al 2007] Tratti linguistici associati al BIG 5 [Mairesse et al 2007] Psychology Features Extrav. Emot. st. Agreebl. Consc. Openn. .:;- - - , + @user - + ! + + Links io mi mio + - - no non - + + - :( + - - 0-9 - ()[]{} - + :) + + di a da + + ? - - + Swears - - + N Words + Word freq - + - Urbino ... sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Example of personality (formalized) Esempio di personalit (formalizzata) Psychology yyonn yes yes balance no no extraversion emotivity agreebleness consciousness openness Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Here comes the hard part: - it is hard for human annotators to reach consensus on personality judgenments. Assumption: - one user has one and only one (complex) personality. So I can evaluate it comparing more posts of the same user. Qui viene il difficile: - il consenso sui giudizi della personalit dato dagli annotatori difficile da ottenere Assunto: -un utente ha una e una sola personalit (complessa). Dunque Possiamovalutarla confrontando pi post dello stesso utente. Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalit -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalit per ciascun utente - compara il modello con tutti i post dell'utente - output: 1) personalit 2) accuracy 3) validity Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalit -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalit per ciascun utente - compara il modello con tutti i post dell'utente Measure of the reliability - output: 1) personalit 2) accuracy 3) validity of the personality model tp=true positives Misura dell'affidabilit del tn=true negatives modello della personalit fp=false positives fn=false negatives Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalit -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalit per ciascun utente Measurecompara il modello con tutti i post dell'utente - of the variability of the user's personality - output: 1) personalit 2) accuracy 3) validity Misura della variabilit a=accuracy della personalit P=number of user's posts dell'utente Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Sample from FriendFeed dataset [Celli, Magnani, DiLascio, Pacelli, Rossi 2010] captured from http://friendfeed.com/public 748 Italian FriendFeed users, 1065 posts. 156 users have more than one post. Mean accuracy = .631 Mean validity = .729 Campione da FriendFeed [Celli, Magnani, DiLascio, Pacelli, Rossi 2010] http://friendfeed.com/public 748 utenti, 1065 posts, 156 utenti con pi di un post. Accuracy media = .631 Validity media = .729 Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Rank Model Freq 1 ynyyn 16.6% 2 ynyon 12.1% 3 onoyn 7.6% 4 ooooo 7.6% 5 ynoyn 4.5% 6 yoooo 4.5% 7 ynooo 3.8% 8 ynoyo 3.8% 9 ynoon 3.2% 10 onyoo 3.2% ... (other) 39.1% Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types Il test di correlazione (Pearson) rivela che c' una forte correlazione tra alcuni tipi di personalit e l'accuratezza Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types Il test di correlazione (Pearson) rivela che c' una forte correlazione tra alcuni tipi di personalit e l'accuratezza Althought there is no correlation (p-value = .413) between personality and posting activity, once ltered out the long tail of users with sparse personality models, emerges that there is one personality type that produces more posts than others Anche se non c' correlazione tra tra le personalit il numero di post prodotti, presi solo i tipi di personalit pi frequenti emerge che c' una personalit che produce pi delle altre Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results A manual look to the data reveals that there are some users (the ones with higher validity) that are focused on a topic, example: styleandthecity, ultimora", cronaca24" Uno sguardo pi ravvicinato ai dati rivela che ci sono alcuni utenti con alta validity che parlano di un preciso argomento. Esempio: styleandthecity, ultimora", cronaca24" Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results CONCLUSIONS The work presented here is a first survey of personality in SNSs. In the future it would be interesting to run experiments following threads of users checking for their personality in order to study how personalities interact together, and what are the features that make a post interesting to a certain personality type (requires topc analysis). CONCLUSIONI Il lavoro presentato qui solo un primo approccio allo studio della personalit nei Social Networks, nel futuro sarebbe interessante studiare l'andamento delle discussioni tra utenti monitorando la loro personalit e studiando come le personalit interagiscono tra loro, e quali contenuti sono interessanti per quali personalit (questo richiede analisi dei topic). Urbino sep.30.2010
Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Thank you!!! Urbino sep.30.2010

More Related Content

Extraction of Users' Personality from FriendFeed Italian Posts

  • 1. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Computer Science Comp. Linguistics Social Network Analysis Sociology Psychology Urbino sep.30.2010
  • 2. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Computer Science Comp. Linguistics Social Network Analysis Sociology Psychology Urbino sep.30.2010
  • 3. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results - extract information from text - development of ontologies - development of search engines ... - estrazione di informazioni da testi Comp. Linguistics - sviluppo di ontologie - sviluppo dei motori di ricerca ... Urbino sep.30.2010
  • 4. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results 1) collect text data and annotate it 2) build model of information in text 4) develop programs that extract info modelized 1) collezione e annotazione di dati testuali Comp. Linguistics 2) sviluppo di modelli dell'informazione nei testi 3) sviluppo di programmi per estrarre info Urbino sep.30.2010
  • 5. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results SNSs provide tons of data (text+users) Problems: 1) formalization of personality 2) annotation of data with personality judgements SNSs I Social Networks contengono un sacco di dati Problemi: 1) formalizzazione della personalit 2) annotazione dei dati con valutazioni della personalit Urbino sep.30.2010
  • 6. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results BIG 5: standard model used in Psychology [Norman 1963] Extraversion Emotional stability Psychology Agreebleness Conscientiousness Openness to experience BIG 5: modello standard in Psicologia [Norman 1963] Estroversione Stabilit emotiva Cooperativit Precisione Immaginativit Urbino sep.30.2010
  • 7. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Linguistic Features correlating with BIG 5 [Mairesse et al 2007] Tratti linguistici associati al BIG 5 [Mairesse et al 2007] Psychology Features Extrav. Emot. st. Agreebl. Consc. Openn. .:;- - - , + @user - + ! + + Links io mi mio + - - no non - + + - :( + - - 0-9 - ()[]{} - + :) + + di a da + + ? - - + Swears - - + N Words + Word freq - + - Urbino ... sep.30.2010
  • 8. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Example of personality (formalized) Esempio di personalit (formalizzata) Psychology yyonn yes yes balance no no extraversion emotivity agreebleness consciousness openness Urbino sep.30.2010
  • 9. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Here comes the hard part: - it is hard for human annotators to reach consensus on personality judgenments. Assumption: - one user has one and only one (complex) personality. So I can evaluate it comparing more posts of the same user. Qui viene il difficile: - il consenso sui giudizi della personalit dato dagli annotatori difficile da ottenere Assunto: -un utente ha una e una sola personalit (complessa). Dunque Possiamovalutarla confrontando pi post dello stesso utente. Urbino sep.30.2010
  • 10. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalit -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalit per ciascun utente - compara il modello con tutti i post dell'utente - output: 1) personalit 2) accuracy 3) validity Urbino sep.30.2010
  • 11. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalit -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalit per ciascun utente - compara il modello con tutti i post dell'utente Measure of the reliability - output: 1) personalit 2) accuracy 3) validity of the personality model tp=true positives Misura dell'affidabilit del tn=true negatives modello della personalit fp=false positives fn=false negatives Urbino sep.30.2010
  • 12. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Personality recognizer: - input: 1) posts+users 2) list of all users - process: calculate features for each user - modelize: produce a personality model for each user Computer Science - evaluate: compare personality model with users' posts - output: 1) personality 2) accuracy 3) validity Riconoscitore della personalit -input: 1) post+utente 2) lista degli utenti - calcola i tratti per ciascun utente - produce un modello della personalit per ciascun utente Measurecompara il modello con tutti i post dell'utente - of the variability of the user's personality - output: 1) personalit 2) accuracy 3) validity Misura della variabilit a=accuracy della personalit P=number of user's posts dell'utente Urbino sep.30.2010
  • 13. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Sample from FriendFeed dataset [Celli, Magnani, DiLascio, Pacelli, Rossi 2010] captured from http://friendfeed.com/public 748 Italian FriendFeed users, 1065 posts. 156 users have more than one post. Mean accuracy = .631 Mean validity = .729 Campione da FriendFeed [Celli, Magnani, DiLascio, Pacelli, Rossi 2010] http://friendfeed.com/public 748 utenti, 1065 posts, 156 utenti con pi di un post. Accuracy media = .631 Validity media = .729 Urbino sep.30.2010
  • 14. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Rank Model Freq 1 ynyyn 16.6% 2 ynyon 12.1% 3 onoyn 7.6% 4 ooooo 7.6% 5 ynoyn 4.5% 6 yoooo 4.5% 7 ynooo 3.8% 8 ynoyo 3.8% 9 ynoon 3.2% 10 onyoo 3.2% ... (other) 39.1% Urbino sep.30.2010
  • 15. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Urbino sep.30.2010
  • 16. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types Il test di correlazione (Pearson) rivela che c' una forte correlazione tra alcuni tipi di personalit e l'accuratezza Urbino sep.30.2010
  • 17. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types Il test di correlazione (Pearson) rivela che c' una forte correlazione tra alcuni tipi di personalit e l'accuratezza Althought there is no correlation (p-value = .413) between personality and posting activity, once ltered out the long tail of users with sparse personality models, emerges that there is one personality type that produces more posts than others Anche se non c' correlazione tra tra le personalit il numero di post prodotti, presi solo i tipi di personalit pi frequenti emerge che c' una personalit che produce pi delle altre Urbino sep.30.2010
  • 18. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Urbino sep.30.2010
  • 19. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results A manual look to the data reveals that there are some users (the ones with higher validity) that are focused on a topic, example: styleandthecity, ultimora", cronaca24" Uno sguardo pi ravvicinato ai dati rivela che ci sono alcuni utenti con alta validity che parlano di un preciso argomento. Esempio: styleandthecity, ultimora", cronaca24" Urbino sep.30.2010
  • 20. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results CONCLUSIONS The work presented here is a first survey of personality in SNSs. In the future it would be interesting to run experiments following threads of users checking for their personality in order to study how personalities interact together, and what are the features that make a post interesting to a certain personality type (requires topc analysis). CONCLUSIONI Il lavoro presentato qui solo un primo approccio allo studio della personalit nei Social Networks, nel futuro sarebbe interessante studiare l'andamento delle discussioni tra utenti monitorando la loro personalit e studiando come le personalit interagiscono tra loro, e quali contenuti sono interessanti per quali personalit (questo richiede analisi dei topic). Urbino sep.30.2010
  • 21. Intro Fabio Celli Personality E x tra c tio n o f U s ers ' P ers o na lity Evaluation fro m FriendFeed I ta lia n P o s ts Results Thank you!!! Urbino sep.30.2010