Selection bias e Survivorship bias: cosa sono.
Per chi non sapesse di cosa stiamo parlando, iniziamo leggendo la definizione di selection bias e survivorshib bias.
In particolare, il selection bias è quindi un problema che affligge gli astronomi, i quali non possono fare altro se non prendere atto che questo problema esiste e cercare nel tempo di sviluppare tecnologie di osservazione che consentano loro di ridurre il gap tra ciò che possono vedere e ciò che esiste.
L’unica cosa che possono fare è stimare gli effetti del bias sulle osservazioni in modo indiretto e sperare che queste stime siano coerenti con la realtà.
Funziona così anche nel trading, con la differenza che le tecnologie ci sono, ma i traders in generale (me compreso), credo non abbiano la stessa consapevolezza degli astronomi.
Se nel nostro mondo di traders sistematici caserecci, il termine overfitting esce dalle orecchie, molto meno si parla dei due amici qui sopra. Chiunque inizi a sviluppare sistemi, dopo un periodo abbastanza breve, sbatte violentemente il muso contro le conseguenze dell’eccessivo adattamento alla serie storica e inizia una lunga e infinita lotta contro questo nemico oscuro.
Durante questa battaglia estenuante è però molto probabile che i nemici più subdoli, che non ci attaccano frontalmente come l’overfitting, pur procurando ingenti e costanti danni, se non altro rispetto alle nostre aspettative, continuino a farlo indisturbati.
I loro missili lanciati da lontano continuano a cadere sulle nostre teste, senza noi capire mai da dove questi partano e chi li lancia.
Spero sia chiara una cosa. Il selection e survivorship bias non sono un problema solo in logiche rotazionali azionarie come quella oggetto di questo e e successivi articoli, ma riguardano anche la scelta di quali sistemi su futures includiamo o escludiamo dalle analisi.
L’analisi.
Il nostro intento è di condividere un’ analisi, da noi fatta, su una nostra strategia trend follower rotazionale su titoli azionari del Nasdaq 100.
Abbiamo indagato in modo diretto l’impatto storico del selection bias e del survivolship bias, di fatto eliminandolo completamente dalla simulazione.
Analisi che io e Marco non saremo mai riusciti a fare senza la collaborazione e le competenze di Fabio Esposti.
Solitamente come si fanno test di questo tipo?
Si prende il Nasdaq 100 di OGGI, si decide quale strategia analizzare, si imposta un criterio rotazionale e si osserva l’andamento storico. Analisi alla portata di tutti, con un certo lavoro e qualche tool di supporto.
Se è chiaro quanto detto nella premessa, dovrebbe essere evidente che effettuare il test sul Nasdaq 100 di oggi è il nostro selection bias. Immaginiamo di impostare una simulazione dal 1990 ai giorni nostri. Quanti titoli che compongono oggi l’indice erano presenti anche 30 anni orsono? E quanti titoli sono entrati e usciti dall’indice in questo lungo lasso di tempo?
Se non lo sapete ve lo diciamo noi. Solamente una ventina sono ed erano nell’indice e ci sono state circa 400 sostituzioni nella composizione dell’indice in esame.
Con questi numeri dovrebbe essere chiaro che più lo storico in esame è esteso, maggiore è l’effetto distorsivo del bias (presente marcatamente anche nel breve periodo).
Questo rende i dati che ricaviamo sempre meno attendibili man mano che andiamo indietro nel tempo.
Se intendiamo ricavare da queste simulazioni informazioni, quale il rendimento medio atteso e la stima del rischio, sicuramente sovrastimeremo il primo e sottostimeremo il secondo.
Cosa possiamo fare.
A questo punto abbiamo fondamentalmente due opzioni:
- Prendere atto di quanto fin qui detto e, come gli astronomi, sperare che le stime indirette di impatto del bias non siano distruttive per il modello in esame. Non è scontato che tutti lo facciano; molti si limitano a prendere atto che le aspettative di rendimento del modello e il rendimento reale sul mercato sono solo lontanamente parenti, quando e se questo è positivo.
- Costruire una simulazione che elimini il bias, andando a ricostruire la reale composizione dell’indice nel tempo. In questo modo la simulazione che non si porta nel passato alcuna informazione di oggi.
Se ci pensate, non facilissimo da realizzare e per me e Marco, impossibile senza l’aiuto di Fabio.
Nel successivo e suo primo articolo, Fabio stesso racconterà come ha costruito le basi per questa analisi .
Non è un punto di arrivo, ma di partenza verso un modo decisamente più evoluto di analizzare i mercati.
Un’analisi di questo tipo punta a:
- fornire una misura dell’impatto del selection bias;
- restituisce numerose informazioni oggettive su come e perché certe dinamiche cambino nel tempo.
Nel terzo e conclusivo articolo sul tema, sarà Marco ad analizzare in dettaglio i risultati di questo test e relative considerazioni.
E’ per me d’obbligo dire che oltre alle capacità tecniche di Fabio, anche Portfolio Builder é una colonna portante per questo tipo di simulazioni, senza il quale, aggregare le informazioni e applicare su queste i criteri rotazionali sarebbe stato un lavoro titanico.
Il punto di partenza.
Concludo questo articolo, mostrando il punto di partenza, ovvero la simulazione di questa strategia rotazionale applicata al Nasdaq 100 fotografato ad inizio 2021, quindi certamente affetta da selection bias.
La curva azzurra è la strategia rotazionale su base annuale al netto di commissioni e splippage, dal 1999 al 2020 compresi: lavora a lotti fissi (5 titoli azionari sempre in portafoglio) e capitale fisso (10.000$ per ciascun titolo), solo long, su orizzonte temporale di medio periodo, quindi senza ricapitalizzare gli utili. Ogni anno si selezionano dal paniere Nasdaq 100, sulla base di un criterio rotazionale da noi scelto, 5 titoli per poi tenerli in portafoglio i successivi 12 mesi.
La andiamo quindi a comparare con l’andamento di SPY (curva gialla), simulando di aprire e chiudere una posizione su di esso ogni anno, sempre per un controvalore di 50.000$, eliminando l’effetto del reinvestimento all’anno in corso e rendendo quindi la curva comparabile con l’operatività in esame. La nostra strategia rotazione sui titoli del Nasdaq 100 è una strategia di trading, dove gli utili non vengono reinvestiti: non avrebbe quindi senso confrontarla con un buy and hold su Spy che risponderebbe più ad una logica investing, da qui la simulazione di comprare e vendere ogni anno un controvalore pari a quanto investito dalla strategia di trading. Questo rende le due curve, a nostro parere, confrontabili.
Vista in questo modo, sul lungo periodo, la sensazione che si ha è che il risultato della strategia sia portentoso rispetto a SPY.
Ma come disse Mr. Wolf in Pulp Fiction “Non è ancora tempo di farsi i…”