Con questo articolo tiriamo le fila della lunga analisi fatta sul selection bias. Un’analisi volta ad eliminarlo completamente dai test in modo da ottenere delle simulazioni non più viziate dal “senno del poi”. La speranza è quella di non trovarsi, a conti fatti, a chiedersi dove siano finiti i rendimenti…
Il punto di partenza.
Come spiegato da Luca qui, il punto di partenza è stato una simulazione sul paniere Nasdaq 100 fotografato al 31 dicembre 2020.
Come ogni buon trader sistematico, ipotizzando di voler andare a mercato nel 2021 con una strategia che lavori su titoli azionari, abbiamo testato la bontà della stessa nel passato. E visto che la strategia lavora sui titoli del paniere Nasdaq 100, abbiamo fatto il backtest su questo paniere, così come noto a dicembre 2020.
Caratteristiche della strategia.
- Logica trend following di medio periodo che lavora solo long.
- Capitale costante impiegato: 50K$ spalmanti su 5 titoli azionari (10K$ ciascuno).
- I 5 titoli azionari vengono selezionati, dal paniere Nasdaq 100, mediante un logica rotazionale annuale e sono tenuti in portafoglio per tutto l’anno solare. A fine anno si effettua una nuova rotazione per scegliere i titoli da tradare l’anno successivo.
I risultati di questa strategia dal 1999 al 2020 compresi, al netto di costi di transazioni e slippage stimati, sono rappresentati dalle figure sottostanti. Come sempre ci avvaliamo di Portfolio Builder per questi test.
Considerazioni sul drawdown e il capitale di riferimento.
Facciamo un ulteriore passo in avanti nel ragionamento: in questa sede non consideriamo il drawdown ed il capitale necessario per sopportarlo, per due motivi:
- si tratta di una simulazione volta a scolpire una parte del portafoglio: l’azionario americano è solo una componente di un portafoglio ben più diversificato, che sarà costituito anche da altre parti, quali futures, azionario italiano, strumenti di copertura, ecc… dunque i ragionamenti sul drawdown andranno fatti a livello di portafoglio complessivo.
- si tratta di una simulazione che vuole indagare la rispondenza della logica di trading e del criterio rotazionale sul paniere Nasdaq 100.
Non consideriamo quindi il drawdown ed ipotizziamo di avere sempre 50K$ costanti investiti ogni anno.
Analizzando i dati sopra esposti, emerge un rendimento medio annuo, sul capitale costante, di circa il 31%. Questo risultato, unito alla crescita costante e lineare dell’equity line, farebbe dunque propendere per aver individuato un’ottima componente da inserire in un portafoglio più diversificato.
Peccato che ci sia il selection bias a rovinare la festa. Come spiegato da Luca, il paniere Nasdaq preso in esame per i test è quello del 31/12/2020: la sua composizione non ha nulla a che vedere con quella che aveva negli anni passati. Ecco quindi che il test fatto perde di veridicità, semplicemente perchè i titoli che compongono il paniere oggi, non sono necessariamente quelli di ieri.
Ricordo che dal 1999 ad oggi, solo una ventina di titoli erano presenti ieri come oggi; negli ultimi 30 anni ci sono state circa 400 sostituzioni nelle composizione dell’indice.
Qualcuno potrebbe pensare che se si conoscono i venti titoli sempre presenti nel Nasdaq dal 1999 ad oggi, si potrebbe impostare la strategia solo su questi. Ma io vi chiedo: siamo sicuri che questi titoli continueranno ad essere presenti nel paniere anche in futuro?
Il fatto che per vent’anni lo siano stati, non mi dà alcuna garanzia che lo saranno per sempre…le trappole dei bias sono come le vie del Signore…infinite. Occhio!
Un esempio pratico.
Non è una cosa da poco se ci pensate. Provo a spiegarmi meglio con un esempio pratico.
Nel grafico sottostante potete vedere l’andamento della strategia su un titolo azionario che viene scelto dalla simulazione per essere in portafoglio nel 2020. L’equity è esplosiva e contribuisce al risultato eccezionale dell’anno.
Peccato che questo titolo sia entrato nel Nasdaq solo a luglio 2020: è quindi presente nel paniere al 31/12/2020, ma non lo era l’anno prima e dunque noi, nella realtà, a differenza del backtest simulato, non avremmo potuto considerarlo a fine 2019 nella selezione dei titoli per il 2020!
Chiaro l’inganno? Reiterate questo esempio per n volte e capirete quando sia fuorviante il backtest simulato.
La nostra soluzione al problema del selection bias.
La soluzione a questo problema arriva brillantemente da Fabio.
Come spiegato dettagliatamente nel suo articolo, ricostruisce la reale composizione del paniere Nasdaq 100, anno per anno, dal 1999 al 2020, realizzando il nostro personale “flusso canalizzatore”.
A questo punto possiamo davvero tornare indietro nel tempo e con pazienza lanciare, anno per anno, delle simulazioni che replichino fedelmente quello che avremmo fatto nella realtà.
Nel 1999, sulla base della composizione del paniere al 31/12/98, avremmo tradato questi 5 titoli; nel 2000, sulla base della composizione del paniere al 31/12/99, questi altri; e così via fino al 2020.
Mettendo insieme le equity line della strategia, ottenute per ogni anno, avremo finalmente un andamento veritiero della strategia dal 1999 al 2020, privo di qualunque selection bias.
Nell’immagini sottostanti potete vedere l’equity line complessiva della strategia ed i risultati annuali. Il tutto come sempre al netto di slippage e costi di transazione da noi stimati. Si tratta della simulazione più vicina alla realtà che sia, da noi, mai stata fatta.
Ecco la realtà nuda e cruda. Considerando il capitale investito nella stessa maniera fatta per la simulazione affetta da bias, il rendimento medio annuo si abbassa ad un 15% circa. Maledetto bias…
Considerazioni finali.
1 – L’impatto del selection bias.
Confrontando le equity line delle due strategie, quella affetta da bias (azzurra) e quella senza bias (gialla), siamo in grado si definire l’impatto del selection bias sul rendimento, rispetto al capitale investito: le performance degradano del 50% circa, non di poco quindi.
Se osserviamo i risultati annuali (vedere tabelle sopra esposte), questi si ridimensionano molto nella realtà (simulazione priva di bias); alcuni anni particolarmente positivi grazie alla presenza del bias, depurati di questo vizio, restituiscono performance modeste (vi veda il 2020, ad esempio).
Pur non considerando il drawdown per le ragioni sopra esposte, non possiamo comunque trascurare che anche questo dato, nella simulazione priva di bias, peggiora.
2 – Valutazione della strategia – I rendimenti.
Se ci fossimo fermati alla simulazione affetta da bias, non avremmo avuto dubbi sulla bontà della strategia, visto il rendimento medio annuo. Tuttavia, adesso che con la seconda simulazione ci siamo avvicinati alla realtà, non possiamo che storcere il naso a fronte dei rendimenti emersi.
Non sono risultati deludenti, ma impongono comunque di rivedere le logiche rotazionali con cui vengono scelti i titoli: la strategia di per sé è robusta, occorre trovare qualche soluzione per estrarre maggior valore.
3 – Valutazione della strategia – Confronto con i benchmark.
Nel grafico sottostante possiamo confrontare l’andamento delle due simulazioni (azzurra affetta da bias; gialla priva di bias) con quello di un trader che ogni anno avesse acquistato, per un controvalore costante di 50K$, SPY (curva blu) o QQQ (curva rossa) al 1/1 e poi lo avesse venduto il 31/12, per poi riacquistarlo l’anno seguente e così via dal 1999 al 2020 (sulle motivazioni di questo confronto, invece che considerare un semplice buy and hold, rinvio a quanto spiegato da Luca nella parte finale del suo articolo).
Escludendo l’equity line della simulazione affetta da bias, ovviamente bugiarda nel suo andamento, possiamo comunque notare che anche l’equity line della simulazione realistica, sul lungo periodo batte i benchmark di riferimento.
Sul lungo periodo…ma che succede se ad esempio poniamo una lente di ingrandimento sugli ultimi n anni, che ne so, sugli ultimi 5 anni? Ci risponde il grafico sottostante che mostra le equity a confronto dal 2016.
Vediamo come su finestra breve la musica cambi.
Negli ultimi 5 anni la strategia non è riuscita a battere i benchmark, in particolare QQQ ci ha staccati senza pietà.
Altro segnale che forse c’è qualcosa da rivedere, riflessione che non avremmo mai fatto se ci fossimo fermati alla prima simulazione e avessimo ignorato il bias (si veda come l’equity azzurra affetta da bias riesca infatti a dare filo da torcere a QQQ).
Ovviamente le valutazioni da fare sono più complesse di quanto riportato in questo articolo e sicuramente saranno oggetto di prossime pubblicazioni.
La domanda che con questi confronti ci poniamo è: ma vale la pena fare tutto questo “casino”, test, contro test, trading systems attaccati, infrastruttura da sorvegliare, ecc.. rispetto a comprare direttamente ogni anno SPY o QQQ?
Non è una domanda banale e la risposta non può essere affrettata.
Ci sono diversi punti da considerare, in primis il drawdown a cui si va incontro nelle varie ipotesi e di cui in in questo articolo non abbiamo parlato.
Ma, come accettato prima, ci sarà tempo per ulteriori approfondimenti…
4 – Nasdaq 100: composizioni vecchie o attuali?
Adesso che la simulazione priva di bias potrebbe averci rincuorato sulla possibilità di attaccare a mercato la strategia (pur con tutte le riserve sovra esposte), come ci comportiamo per l’anno prossimo?
Ha senso aggiornare ogni anno il paniere Nasdaq100? Oppure, visto che siamo nel presente, conosciamo la composizione esplosiva dei suoi titoli di oggi, conviene utilizzare questa in eterno?
Anche qui, la risposta ce la fornisce il test privo di bias che abbiamo fatto.
Nel grafico sottostante possiamo vedere l’andamento della strategia su ciascun paniere annuale (sempre ruotando 5 titoli annualmente per ciascun paniere), dall’anno in cui è stato scolpito il paniere stesso fino al 2020.
Possiamo notare come in realtà la strategia di ogni paniere, se portata avanti negli anni, produca equity line crescenti.
Questo è sintomo della robustezza di fondo della strategia, informazione che ci portiamo lieti a casa.
Tuttavia l’andamento delle varie equity, negli anni successivi a quello della composizione, è molto più frastagliato. Questo suggerirebbe di adeguarsi, ogni anno, alla composizione aggiornata del Nasdaq100.
6 – Un monito per il lettore.
Se da un lato si potrebbe obbiettare che queste valutazioni nascono e muoiono con la nostra strategia che abbiamo deciso di applicare, è pur vero che, a prescindere dal tipo di strategia, buona o cattiva che sia, il selection bias sul mercato azionario colpisce qualunque trader!
Quindi si faccia molta attenzione a sottovalutare l’impatto di questo bias.
E se poi ci discostiamo dal trading per traghettarci verso l’investing, al selection, si aggiunge anche il survivalship bias. Con l’aggravante che se si sposta l’ottica operativa, ci può accorgere di aver preso lucciole per lanterne molto meno tempestivamente!
Questi bias vanno dunque considerati meticolosamente e quali siano le soluzioni prese per aggirarli, siate sempre molto pessimistici nell’interpretare i risultati dei backtest.
Noi, nel nostro piccolo, per quanto concerne le nostre strategie, siamo arrivati a definire perfettamente l’impatto di questi bias. Vi sprono a fare lo stesso, a prescindere da quale sia il vostro approccio sui mercati finanziari.
5 – Verso l’infinito e oltre.
Da tutte queste elucubrazioni emergono due ulteriori riflessioni:
- Se si considerano dei panieri specifici sui cui poi fare stock picking, si avrà sempre il rischio di non avere tra le mani il titolo esplosivo che porta performance.
Ricordiamoci del titolo azionario che ho citato prima, quello che è entrato nel Nasdaq 100 a luglio 2020. Prima di quella data il titolo aveva comunque delle ottime potenzialità per la nostra strategia, peccato che non lo conoscessimo…e non lo conoscevamo perchè non era nel paniere…e quando è entrato nel paniere, il grosso, in termini di rendimento, lo aveva già fatto. - Analizzando il comportamento della strategia su titoli azionari presi a campione, abbiamo notato che il fatto di essere già nel paniere Nasdaq o esserci entrati da poco, o ancora di uscirne, non influenza le dinamiche della strategia.
Come a dire che se un titolo è sincrono con la strategia, il suo essere o no nel paniere non modifica la sua rispondenza alla strategia stessa.
Ma allora, perchè autolimitarci con i panieri, la loro composizione che cambia, il rischio di bias e quant’altro?
Perchè non prendere tutto l’universo azionario americano? S&P5 00, Nasdaq 100, Russel 3000 e chi più ne ha, più ne metta…
E’ bastato solo sussurrare queste riflessioni che Luca è partito in quarta, schiacciando il pedale dell’acceleratore, seguito da Fabio…
Obbiettivo: raggiungere ancora una volta le 88 miglia orarie…
