ja_mageia

Com o propósito de melhor compreender se houve alguma diferença importante entre a operação estopada pelo Saturno V no dia 25/4/2009 ou se ela é essencialmente igual às outras operações realizadas nos back tests, fizemos alguns estudos:

1) Análise preliminar dos pontos de entrada e evolução das cotações até o momento de fechamento de cada operação. Esta primeira análise é bastante subjetiva e tem como objetivo definir quais análises complementares devem ser feitas. Os interessados em assistir ao vídeo podem obter mais detalhes observando os pontos de entrada e o comportamento das cotações logo em seguida.

2) Análise de como seria a performance do Saturno V com diversos valores de stop entre 30 e 350 pips, variando de 5 em 5 pips. O gráfico a seguir mostra o balanço atingido com cada nível de stop utilizado:

No eixo das abscissas temos o número do teste, sendo 1 = 30 pips, 2 = 40 pips, 3 = 50 pips e assim sucessivamente até 350 pips, somando 5 pips a cada teste. O eixo das ordenadas mostra o balanço alcançado ao final de cada teste. Para ver o relatório completo, clique aqui. Importante: Isto não é um gráfico de evolução de carteira. É um gráfico de balanço em função do tamanho do stop.

3) Comparação das performances entre testes realizados com execuções imediatas e com 6 minutos de atraso para cada tamanho de stop entre 30 e 350 pips, variando de 5 em 5 pips.

Para ver o relatório completo, clique aqui.

Para concentrar o estudo exclusivamente no stop fixo, removemos outros dispositivos de segurança a fim de que não interferissem no resultado. O que pudemos constatar é que:

De modo geral, acima de 160 pips até 225 pips, o balanço fica maior à medida que o stop aumenta. Entre 30 e 160 pips, o balanço fica aproximadamente no mesmo patamar, independentemente do tamanho do stop utilizado, com um pico perto de 55 pips e outros máximos locais.

Quando o stop é posicionado em 30 pips, em 33% das vezes depois de estopado o movimento se inverte antes de chegar em 40 pips.

Usando stop = 40 pips, em 27% das vezes depois de estopado inverte antes 50 pips.

Usando stop = 50 pips, em 70% das vezes depois de estopado inverte antes 100 pips.

Usando stop = 100 pips, em 13% das vezes depois de estopado inverte antes 150 pips.

Usando stop = 150 pips, em 71% das vezes depois de estopado inverte antes 200 pips.

Usando stop = 200 pips, em 50% das vezes depois de estopado inverte antes 250 pips até 350 pips.

Usando stop = 400 pips, não é estopado nenhuma vez, sendo que até abril de 2009, com 250 pips não era estopado nenhuma vez.

O que podemos deduzir disso?

Em primeiro lugar, no estudo 2 pudemos perceber que com stop de 55 pips, embora a performance seja maior do que com 100 pips, ele faz mais operações frustrantes, e em 64% das vezes que é estopado, logo depois as cotações vão na direção originalmente escolhida (antes de se afastar 100 pips do ponto de entrada), ou seja, se o stop fosse um pouco mais longo, não teria sido estopado. Já com 100 pips, apenas 13% das vezes ele inverte antes de chegar a 150 pips. Para esta configuração específica dos parâmetros, o uso de stop 55 pips é mais interessante em alguns aspectos do que o uso de 100 pips, e menos interessante em outros aspectos. No caso de 100 pips ele tem um fator de lucro 2.21 contra 2.28 com 55 pips. Com 100 pips, quando é estopado o movimento se prolonga bastante depois do stop (tem maior probabilidade de se prolongar antes de inverter), assinalando que o ponto para o stop foi bem escolhido, enquanto com 55 pips ele só avança mais um pouco e inverte (tem maior probabilidade de inverter rápido), indicando que o stop poderia ser um pouco mais longo. O balanço final com stop 100 pips é maior do que com 50 pips, porém não muito, e com 55 pips o balanço fica maior do que com 100 pips. Isso poderia causar a ilusão de que um stop de 55 pips é preferível, e uma análise superficial geralmente leva a este tipo de conclusão, porque tem maior balanço, menor drawdown e maior fator de lucro. Provavelmente o stop de 55 pips seria escolhido pela maioria dos especialistas em back tests. No entanto vemos isso como um erro, porque o máximo local de 55 pips é rodeado de regiões mais baixas e uma pequena diferença de 5 pips já conduziria a uma situação inferior à que pudemos obter com 100 pips. Embora no caso de 100 pips também tenhamos um máximo local com regiões vizinhas mais baixas, entre 100 e 150 pips temos um largo intervalo em que poucos movimentos se inverteram após o sinal de entrada ter sido disparado, ao passo que entre 50 e 100 pips temos muito mais inversões. Assim a escolha de um stop um pouco maior que 100 pips (no nosso caso, 105) é mais vantajosa quando se opera num período diferente daquele no qual o sistema foi otimizado e testado, enquanto o stop de 55 pips é mais especializado no período em que o teste foi realizado, porém mais instável quando colocado num período diferente. Quando o stop de 105 pips foi escolhido para ser usado na versão 3.1415926k, o critério de escolha foi menos meticuloso, mas foi baseado quase nos mesmos fatos, e com isso o sistema conseguiu rodar em vários pares diferentes usando uma otimização feita apenas para EURUSD. O estudo que fizemos agora explica porque ele tem essa maior versatilidade.

Com stops a partir de 165 pips, temos balanços cada vez maiores, a custa de uma redução extrema na quantidade de stops acionados, chegando a 0 stops com 225 pips. Ter 0 stops é muito bom, por um lado, mas a incerteza sobre o tamanho do stop ideal para ter 0 stops é grande por não ter eventos negativos a serem computados. No caso de 50 pips, temos 27 operações estopadas num total de 116 operações realizadas, ou seja, temos uma amostra de 27 operações estopadas para prever a probabilidade de ocorrerem novos stops, indicando que cerca de 23% ±3% das operações são estopadas se o tamanho do stop for 50 pips, ou 22 vezes se for 55 pips. Quando usamos stop 150 pips, temos apenas 7 operações estopadas entre 87 operações realizadas, portanto nossa amostra de eventos diminui e a incerteza aumenta, assim a probabilidade de ser estopado em 150 pips cai para 8% ±6%. No caso de stop 250 pips, não temos nenhuma ocorrência entre 128 operações, o que impossibilita calcular a probabilidade de ocorrerem stops com base na proporção de ocorrências passadas. Podemos estimar que seja menos provável do que com 150 pips, e podemos extrapolar com base nas outras freqüências de incidência, mas a estimativa é grosseira devido à alta densidade da cauda, impregnada de outliers. Em se tratando de um momento de alta volatilidade após um longo movimento de queda, estas probabilidades são maiores do que em condições típicas, e talvez um stop em tais condições tenha probabilidades até maiores do que um stop de 150 pips em condições "normais".

Depois de considerados estes fatos, e olhando para os movimentos de hoje (27/04/2009) no EURUSD, percebemos que este stop foi menos surpreendente do que poderia parecer. Claro que uma análise 'post facto' é tendenciosa e se este stop seguido por inversão fosse fácil de prever, teríamos colocado 400 pips em lugar de 250 e evitado o stop, ou então 55 pips e cortado as perdas logo no início. O ponto confortante é que nesta operação o Saturno acertou na direção do movimento como em 6 outras operações do back test, em que ele entrou, o movimento foi contra até cerca de 150 pips, depois inverteu e foi na direção escolhida, resultando em lucro. A diferença neste caso é que o movimento foi 2 vezes mais longo na direção oposta, antes de se inverter e avançar o suficiente na direção escolhida. Não acredito que isso seja indicativo de o stop estar erroneamente posicionado. Um stop de 27% já é bastante largo, e muito acima disso seria um perigo, sobretudo devido às incertezas sobre a freqüência de ocorrências de stops acima de 150 pips. Em lugar de aumentar o stop, outra alternativa é reduzi-lo. Isso deve causar uma perda na performance a longo prazo, porém deve conferir mais estabilidade a curto e médio prazos. O uso de stop 55 pips teria um problema meio grave, e no back test se alguma carteira começasse a ser gerenciada em outubro de 2003, teria ficado negativa até março de 2005. Não seria apropriado ficar um ano e meio negativo. Com o stop de 250 pips nunca teve balanço negativo nos 10 anos de back test. Portanto a escolha do tamanho do stop também não parece estar incorreta. Stops mais curtos, embora mais freqüentes, são compensados mais rapidamente e são menos impactantes. Mas nesse caso específico o aumento de performance a partir de 165 pips de stop é rápido, de modo a ser preferível usar stops maiores. Ainda é cedo para prever que tipo de mudança poderia melhorar algo, se é que alguma mudança seria realmente necessária.

No estudo 1, pudemos confirmar o que já sabíamos: o ponto de entrada foi razoavelmente preciso e pouco depois ele ficou positivo, porém a posição não foi fechada com lucro. Depois disso, chegou a ficar bastante e negativo e, novamente, voltou a ficar positivo, mas não foi fechada com lucro pela segunda vez. Por fim, ficou negativa e foi piorando até ser estopada. Com stops mais curtos, temos várias situações similares a essa nos back tests, em que ele entra precisamente antes de as cotações irem para determinada direção, chega a ficar um pouco positivo, mas depois inverte e fica algum tempo negativo, depois fica novamente positivo e fecha com lucro. A diferença neste caso foi que na segunda vez que ficou positivo, não chegou a fechar, e antes que houvesse uma terceira vez positivo, foi estopado. Uma das maneiras de tentar melhorar isso não funcionou, que seria acionar o trailing stop mais cedo e garantir o lucro com quantidade menor de pips positivos. Neste caso, se o trailing stop entrasse com 40 pips ou menos, a operação teria sido lucrativa, porém se considerar as outras 127 operações anteriores, vários lucros grandes teriam se tornado muito menores em virtude desta alteração. Não podemos "consertar" uma operação negativa e estragar 127 outras, sem contar que não se pode usar dados a posteriori numa otimização séria.

Uma alternativa que estamos considerando é que quando a operação chegar a ter equity positivo, depois ficar negativo acima de certo ponto, e novamente ficar positiva, nesta segunda vez o critério de acionar o trailing stop pode ser diferente do que é na primeira, mais curto, já que a situação de o movimento ter ido contra vários pips pode mudar sensivelmente o quadro geral e sinalizar um perigo maior, justificando um fechamento mais rápido. Além disso, quando esse tipo de situação ocorrer, outros pequenos detalhes podem ser mudados e testados, para avaliar se melhoram a situação.

É importante não tentar mudar um sistema que funciona bem em 10 anos, só para ajustá-lo a uma única operação mal-sucedida de modo a torná-la positiva, isso seria desastroso. A operação negativa precisa ser incorporada ao histórico apenas com o peso que ela merece dentro de um conjunto com mais de 100 outras operações. É uma operação de peso maior que a média, porque pode causar um prejuízo considerável. Por isso deve receber uma atenção especial, e é nisso que estamos trabalhando.

Por fim, esta perda inicial foi extramente positiva em alguns aspectos fundamentais, a começar por nos mostrar que um trabalho incessante de aprimoramento é imprescindível sempre, mesmo quando tudo parece seguro e tranqüilo, pois basta um imprevisto como este para fazer balançar as bases de tudo. Porém se os fundamentos são realmente bons e a estrutura toda é bem alicerçada, ela pode balançar, mas não cai. Outro ponto muito positivo foi a fidelidade demonstrada pelos cotistas.

Pretendemos dar continuidade ao estudo desse caso por meio de uma otimização de 2005 a 2008, com algumas mudanças na gestão de capital, e fazer uma confirmação de 1999 a 2009, a fim de verificar o que seria possível mudar no evento de abril de 2009 sem comprometer a eficiência do sistema no histórico pregresso e sem aplicar diretamente a informação conhecida de antemão sobre esta perda. Meu palpite inicial, com base no que foi apurado até agora, é que mexer no sistema vai piorá-lo. Contudo não podemos negligenciar o fato que causou este susto, portanto veremos se há alguma maneira de reduzir ou evitar que algo equivalente volte a acontecer.

Quanto ao estudo 3, o que pudemos constatar é que mesmo com diferenças de 14 pips nas cotações (atrasos de 6 minutos), o comportamento geral do sistema em função da variação no tamanho dos stops praticamente não se altera. As performances mudam, mas a proporção entre elas fica quase a mesma. Esta informação tem diversas aplicações. Uma delas é sobre a escolha do broker: se o broker escolhido tiver spread grande, até 14 pips, a diferença causada é pequena, ou se houver atrasos de 6 minutos (em média) nas execuções, também não nos prejudica em muito. Outra utilidade é que mudando o tamanho do stop dentro de uma gama razoavelmente larga, isso pouco afeta a performance, e mudanças combinadas de cenário e de parâmetros do sistema também não devem afetar em muito a performance.

Jesse Livermore encarava as perdas como custo de aprendizado. Creio que, além disso, servem como motivação para estudar com mais afinco. Evitar as perdas não é possível, mas cortá-las nos momentos "certos" sim. Definir o que é "o momento" certo constitui um desafio, mas com o estudo que descrevemos acima procuramos dar uma abordagem objetiva e sistemática a esta questão. Em lugar de simplesmente usar o stop que sai pronto de uma otimização, o estudo vai muito além e tenta levar em conta outros fatores mais importantes e menos evidentes. A luz desta análise, apenas reforçamos os indícios de que realmente não parece haver problema com o sistema. O que nos parece que se toda a otimização fosse realizada hoje, incluindo o episódio recente do stop, ainda assim manteríamos toda a estratégia tal como é, toda a gestão de capital tal como é, e até o stop talvez não seja alterado. Será excelente se nos próximos 10 anos ele repetir a proeza dos 10 anteriores, e provavelmente é o que acontecerá, mas melhor ainda será se conseguirmos fazer com que juntando os 10 anos anteriores aos 10 seguintes não haja esta mácula que presenciamos há poucos dias. Por isso vamos nos aprofundar mais e verificar se realmente não precisamos de nenhuma mudança.