Un’analisi dei miei follower su Twitter

In questi giorni più o meno tutti ci siamo imbattuti in articoli che parlavano del rapporto tra followers reali e bot su Twitter (quello su Wired.it è stato il primo). Dato che trovo il tema particolarmente interessante (poiché pone ancora una volta l’attenzione sul fatto che le metriche per le attività fatte sui Social Media non siano i numeri grezzi) ho deciso di approfondire il discorso. Prima di tutto ho voluto controllare se lo strumento utilizzato nell’articolo funzionasse o meno.

Per verificare il funzionamento del processo ho quindi analizzato da un lato i dati resi disponibili dai Marco Camisani Calzolari (potete trovarli qui mentre il paper in inglese è qui) e dall’altro ho chiesto al Matteo di fare un’analisi anche su di me per vedere cosa sarebbe emerso. La domanda alla quale volevo rispondere è “lo strumento è affidabile nel determinare quanti sono gli utenti attivi che mi seguono su Twitter?  Questa, secondo me, è la domanda chiave alle quale le aziende devono rispondere e, per trovare la soluzione, sono partito dall’analisi fatta sul mio account e su una selezione dei miei follower.

Sono un bot?

La prima parte del lavoro è stato capire come (e se) l’algoritmo distingue tra un utente reale e un utente definito come bot: per iniziare a rispondere a questa domanda ho guardato a come il sistema analizza i follower e nello specifico a come io sarei stato percepito. Il mio account su Twittter è decisamente interessante da questo punto di vista poiché la maggior parte dei contenuti che pubblico sono articoli (condivisi in automatico secondo lo schema descritto qui) e quindi il mio comportamento (basato solo sulla tipologia e sulle modalità di condivisione) apparentemente è molto vicino a quello di un programma informatico automatizzato.

Lo strumento quindi ha analizzato

• i miei ultimi 20 tweet e la loro struttura: numero di volte in cui ho usato 4square, , che ho twittato dall’iphone, che ho usato instagram, che sono stato ritwittato, numero di reply, numero di update contenenti link, numero di hashtag, uso di client diversi, update segnalati come preferiti;
• le informazioni sul mio account: nome e username, presenza o meno di foto profilo, bio, location, presenza di favoriti, numero di followers e following, numero di update fatti,presenza in liste,;

Alla fine quindi questo è stato il verdetto:

----------------------------------------------------------------
 ANALYSIS
----------------------------------------------------------------
+1 Human since it has a name
+1 Human since it has a profile image
+1 Human since it has location
+1 Human since it has Bio
+1 Human since it has at least 30 followers
+1 Bot since it hasn't  followers*2 < friends
+1 Human since it has been listed by users
+1 Human since it has more than 50 post
+1 Human since it has geo coding
+1 Human since it has url
+1 Human since it has poeple who 'favoured' it
+1 Human since it has been retweeted by other users
+1 Human since it has been retweeted by other users
+1 Human since it has used punctuaction
+1 Bot since it hasn't used hashtag
+1 Bot since it hasn't replied to userd
+1 Bot since it hasn't sent more than only links
----------------------------------------------------------------
 VERDICT
----------------------------------------------------------------
This account has scored 13 Human points and 4 BOT points.

THIS ACCOUNT IS SHOWING STRONG HUMAN BEHAVIOUR

Alla fine, nonostante l’elevato numero di link e la scarsa attività sono risultato essere una persona reale con un comportamento umano.  Il punteggio umano è piuttosto basso in questo caso, quindi ho rifatto il test in un secondo momento (durante il quale ero sicuro di aver interagito di più con alcuni amici) ottenendo 20 Human Points e 3 BOT points e una terza volta ottenendo 14 Human Points e sempre 4 BOT points

In ognuno dei test, senza ombra di dubbio, sono risultato essere umano (e secondo alcune malelingue questo sarebbe sufficiente a inficiare la validità del test 😀 ).

Quanti sono i bot tra i miei followers?

Dopo aver fatto una prima sperimentazione sul mio account sono passato ad analizzare i risultati ottenuti dai miei follower. L’analisi è stata condotta su un campione di 372 utenti su un totale di 1821 follower (il 20%). Ho quindi preso le informazioni fornite dalla piattaforma e ho confrontato i valori Human e Bot. Ho quindi tracciato una linea al 50% per vedere quando sarebbe scattata la prevalenza di comportamenti che sarebbero stati interpretati come automatizzati e non umani.

A questo punto mi sono concentrato sull’analisi dei punteggi Bot  ottenuti dai vari account e sulla loro distribuzione: il 50% nel mio caso è stato superato con Bot value > 10. Ho quindi evidenziato il segmento con punteggio 9 (che possiamo definire il punto di svolta nel grafico) per ottenere a colpo d’occhio una valutazione del rapporto tra utenti definiti umani e bot.

Determinati i livelli e la distribuzione ho iniziato a verificare se quanto segnalato dall’algoritmo corrispondesse alla realtà: ho quindi selezionato alcuni degli account definiti come Bot e come umani in modo da fare un controllo manuale (per quanto possibile) per controllare il livello di affidabilità dei risultati e la presenza eventuale di falsi positivi. Rispetto a quanto ho analizzato non ho trovato errori  ad eccezione di una considerazione terminologica.

L’algoritmo infatti tende a classificare come non umani anche gli account inattivi: da un punto di vista formale questo non è corretto poiché si tratta di soggetti potenzialmente umani e quindi non si può applicare anche a questi account l’etichetta BOT Behaviour. Tuttavia, da un punto di vista sostanziale, il valore dell’analisi non muta poiché l’elemento principale, a mio avviso, è identificare quali e quanti sono gli account attivi. Per calcolare quindi il reach potenziale di un account (il numero di persone che potenzialmente possono vedere i contenuti pubblicati) andrò quindi a fare le dovute valutazioni basandomi solo sulla percentuale di account veri e non sul numero totale dei follower.

Nel mio caso, alla fine, il rapporto tra utenti attivi e Bot/inattivi è il seguente

Andando quindi a fare le dovute proporzioni il numero di account attivi che mi seguono è di circa 1630 (1820-10%). A questo punto posso andare a fare altre valutazioni calcolando l’esposizione potenziale in base all’orario e all’attività dei miei follower e fare delle analisi più precisa sulle performance del mio account: ovviamente il discorso è pensato soprattutto in ottica aziendale.

Considerazioni finali

In base all’analisi fatta sul mio account ritengo che lo strumento d’analisi sia affidabile: non mi spingo a dare una percentuale esatta dal momento che non ho verificato tutti gli account segnati e quindi non posso affermare con certezza che il risultato sia esatto al 100% (purtroppo il tempo è tiranno e non ho tempo per controllare tutti gli account). Ovviamente penso che su grandi numeri il sistema tenda a generare un minimo d’errore ma che non modifica sostanzialmente il risultato (parliamo comunque di un’affidabilità superiore al 90%: sarebbe interessante, avendo tempo, fare la verifica puntuale): il punto chiave, a mio avviso, per ottenere dati affidabili è determinare in maniera chiara il Bot Value superato il quale l’account analizzato è sicuramente o fasullo o inattivo. Questo lavoro può essere fatto da un analista e ritengo che, a seconda dell’Industry e di altri parametri, “il punto di svolta” possa cambiare: a seconda del numero scelto (posso decidere di tenere un punto di svolta particolarmente elevato o particolarmente basso) potrebbero emergere valori diversi con margini d’errore più o meno elevati.

Sicuramente è uno strumento che affiancherei ad altri per andare a vedere da un lato lo stato di salute dei miei follower e dall’altro per andare a determinare con maggior precisione il reach del mio account (facendo anche delle azioni tese a massimizzare la visibilità dei contenuti postati: ad esempio facendo analisi sull’attività degli account attivi)

Da questo punto di vista, più che la singola misurazione, sarebbe interessante condurre delle analisi periodiche e analizzare sia la variazione nel rapporto tra utenti attivi e inattivi/BOT dell’account e verificare se siano presenti delle variazioni significative nei punteggi degli stessi account in modo da verificare la correttezza nella determinazione del punteggio (sinceramente tendo non essere particolarmente fiducioso nelle singole misurazioni, soprattutto all’interno dei Social Media).

La strumento risponde in maniera positiva alla domanda iniziale permettendomi di stimare, con una ragionevole precisione, il numero di utenti attivi che mi seguono. Tuttavia non ritengo corretto l’uso della terminologia Human Behavior vs BOT Behavior dal momento che in alcuni casi vengono classificati come BOT anche utenti inattivi: sarebbe quindi opportuno distinguere tra Human, BOT e Inactive (anche se, dal punto di vista delle Social Media Metrics non è necessario questo livello di specificità: come già affermato in precedenza non è utile, ai fini dell’analisi, andare a distinguere tra BOT e Inattivi).

Una degli elementi che non è possibile individuare (usando solo questo strumento) è determinare con assoluta certezza se ci troviamo davanti a dei follower comprati o semplicemente a rumore di fondo. Andando però a incrociare trend temporali, flussi di crescita, numero di BOT in account, attività dell’account ed eventuali investimenti in advertise è possibile riuscire a stimare se è stato fatto ricorso a pratiche di acquisto di follower: eviterei sempre di fare affermazioni o dichiarazioni del tipo “l’azienda x ha comprato dei fan/follower” dal momento che non è possibile provarlo con assoluta certezza (e le querele per diffamazione sono dietro l’angolo). Per approfondire velocemente questo tema consiglio il post di Gaspar. Inoltre è sempre opportuno procedere in maniera cauta trattando questi temi dal momento che l’acquisto dei follower/fan può essere fatto anche al fine di danneggiare degli avversari: l’ipotesi non è fantasiosa ed è approfondita in questo post di Massimo Melica (sulle attività che possono essere fatte sui Social Media per arrecare danni ai competitor si potrebbero scrivere diversi libri).

Alla fine penso che questo strumento sia utile per migliorare la qualità delle analisi sul Media Owned da parte delle aziende e valutare in maniera sempre più precisa il ritorno delle attività sviluppate sui Social Media, soprattutto per quanto riguarda le PR (il cui scopo è soprattutto incrementare il reach) e le valutazioni sull’engagement: avendo a disposizione il numero di follower/fan attivi si potrebbero ottenere i dati reali sull’engagement che altrimenti sarebbero falsati dalla presenza di BOT/Inattivi.

Featured image: Photo by fallentomato – http://flic.kr/p/apXSjn