O Saturno V está bem?

Escrito por Melao

Domingo, 16 Maio 2010 19:57

Desde nosso primeiro artigo sobre como fazer back tests, publicado em 2006, temos feito diversas modificações em nossa metodologia, mas a essência tem sido praticamente a mesma. Otimizar num período recente e depois confirmar em 1 ou 2 etapas em períodos anteriores. Como complemento, otimizar em períodos anteriores e confirmar nos recentes, otimizar em dois períodos e buscar valores médios para alguns (ou todos os) parâmetros e depois testar com estes parâmetros num período diferente dos dois primeiros, otimizar em um período e verificar em vários outros períodos, encontrar valores médios para alguns parâmetros com base nos melhores genótipos de uma otimização, traçar curvas de performance para variação de alguns parâmetros isolados e assim avaliar a largura e a suavidade com que valores máximos e mínimos locais e globais se dispersam em torno dos valores ótimos, entre outros procedimentos. A formulação do método de otimização, a testagem, a comparação e a seleção do que será usado no final é algo complexo, difícil e em grande parte subjetivo. A mesma subjetividade ocorre em todas as áreas científicas, em que a formulação do experimento e a determinação de quais resultados seriam indicativos da validade da teoria, ou de sua falsidade, de quais previsões a teoria deveria fazer e deveriam ser confirmadas, de quais previsões não confirmadas seriam toleráveis e bastaria ajustar o modelo para “salvar” a teoria, tudo isso depende em grande parte de avaliações subjetivas. A parte subjetiva é mais difícil de avaliar objetivamente se há inexatidões ou erros. No entanto, quando há erros, ainda que de um ponto de vista subjetivo, ele costuma dar sinais de que é um erro, e não identificamos erros metodológicos, falhas na estratégia, erros na otimização, erros na testagem, erro na seleção, nem qualquer outro que indique problemas nos métodos e procedimentos adotados. O que ocorre é que no Xadrez, no Boxe e no Tênis, entre outras modalidades, se você não comete erros, você não é penalizado. No Futebol, Basquete ou Hóquei é pior, porque mesmo que você não cometa erros, corre o risco de ser prejudicado por erros cometidos por outros integrantes de seu time. No Mercado Financeiro é muito pior, porque mesmo que você e seu time não cometam erros, podem ser penalizados por erros alheios, ou até sem erro de ninguém. Nesse contexto, a idéia de “erro” é diferente de “inexatidão”. Todos somos inexatos, por limitações que nos tornam imperfeitos, tanto tenistas quanto futebolistas e traders. A inexatidão é inerente aos seres humanos, porém os erros são inexatidões que excedem determinados limites de tolerância, determinadas margens de segurança, a ponto de causar problemas e prejuízos. Assim quando falamos de “erros” não estamos incluindo inexatidões, do tipo: o valor ótimo para determinado parâmetro é 2,7623 mas o valor adotado é 2,85, que é suficiente para ficar muito positivo, mas não é o melhor valor possível, então é inexato, mas não é um erro, inclusive porque dentro dos limites de tempo disponível, poder de processamento e quantidade de genótipos possíveis a serem testados, pode ser mais vantajoso selecionar em 1 semana um genótipo com valor 2,85 para um parâmetro e começar a usá-lo do que levar 10 anos até conseguir encontrar o valor ótimo 2,7623.

Uma estratégia eficiente precisa se fundamentar em bons critérios que, por sua vez, estejam associados a padrões que se repetem com regularidade quando determinadas condições são atendidas. Munido com uma série histórica de cotações, o máximo que se pode fazer é tentar identificar padrões que se repetem, dentro de certos limites de variabilidade, ao longo dessa série, e supor que estes mesmos padrões continuem a se repetir dentro dos mesmos limites na hipótese de o Mercado não degringolar. Pode-se adotar certas cautelas e eleger limites um pouco mais largos do que os observados no histórico, e com isso estar razoavelmente prevenido para cenários inéditos que não sejam muito destoantes do histórico precedente. Porém se repentinamente o Mercado se torna turbulento, em especial se as propriedades relevantes para o sucesso da estratégia, que determinam as características dos padrões que se repetem, se modificarem significativamente além dos limites, e estas mudanças persistirem por um período considerável, por melhor que tenha sido a formulação da estratégia com base no histórico conhecido de cotações, não será suficiente para ter êxito nesse novo cenário porque ele não conserva as propriedades dos outros cenários para os quais a estratégia foi modelada.

Isso torna o Mercado Financeiro muito interessante em alguns aspectos, e não tão justo em outros. É interessante porque a mente humana, habituada a lidar com problemas determinísticos, depara com uma dificuldade extrema ao ter que modelar um processo estocástico, parcialmente determinístico e parcialmente aleatório, em que surtos de randomicidade podem tornar desprezíveis as propriedades determinísticas e isso pode se manter durante intervalos de tempo relativamente longos. Essa maior dificuldade contribui para selecionar com mais rigor os poucos com chances de sucesso a longo prazo. Um grande boxeador geralmente conserva o título por alguns anos ou décadas, até perdê-lo, e raramente o recupera depois de o perder, porque só mantém o título enquanto é o melhor, e depois que deixa de ser o melhor, já não consegue mais superar o novo campeão, já que no Boxe há pouco peso para o fator “sorte”. No Boxe há um apogeu contínuo de alta performance, diferentemente do Mercado Financeiro, em que gigantes consagrados como George Soros podem ter vários anos negativos, ficando abaixo dos iniciantes em certos períodos, e depois se recuperam, ficando muito acima da maioria quando se considera a performance a longo prazo. Desde 1969, Soros teve 6 anos (não consecutivos) em que ficou negativo, isso seria como 6 perdas do título mundial e 6 vezes recuperar o título. Essas oscilações na performance não refletem as oscilações na competência de Soros ou na eficiência da estratégia de Soros, mas sim nas propriedades gerais do Mercado nas quais Soros se baseia para tomar suas decisões. Se o Mercado muda, a boa estratégia que funciona em 34 dentre 40 anos deixa de funcionar em 6 anos nos quais o Mercado se comporta de maneira anômala se considerado no âmbito dos parâmetros relevantes para o sucesso da tal estratégia. Também é importante lembrar que um Mercado anômalo para determinada estratégia não significa que esteja anômalo para todas as estratégias, embora geralmente uma anomalia afete conjuntamente muitas das propriedades gerais do Mercado, portanto quando está inoperável para uma determinada boa estratégia, normalmente também está inoperável para a maioria das outras.

Além disso, uma estratégia que tenha sido otimizada nos últimos 6 meses, e com os mesmos parâmetros desta otimização ela se mostra eficiente nos últimos 10 anos, com um histórico em que ocorrem poucas perdas consecutivas e atinge um máximo drawdown muito baixo, sendo este o único histórico disponível como referência, então é com base neste histórico que se deve fazer inferências e prognósticos de como devem ser os máximos drawdowns no futuro. Se os resultados observados no futuro diferirem das expectativas com base no histórico pregresso de 10 anos, e há notórias ou notáveis evidências de que o novo cenário é significativamente diferente dos anteriores, então não há indícios de ter havido erro metodológico na concepção, formulação, otimização ou seleção da estratégia, dos genótipos ou da gestão de risco. Trata-se de uma situação crítica, que pode se repetir algumas vezes quando cenários inéditos surgirem, ou cenários raros que não estejam representados no histórico considerado para a otimização e testagem.

Por fim, é importante considerar que tentativas de desenvolver adaptações específicas para atuar num cenário anômalo pode produzir resultados piores do que simplesmente aguardar que as condições “normais” se restabeleçam. O Build 200 do Meta Trader, entre seus bugs, gera alguns problemas exóticos na contagem de posições abertas, no uso de AccountCredit nos back tests, entre outros que dificultam a obtenção de uma solução limpa para o gerenciamento no número de posições abertas. Por isso o uso de margem livre foi uma solução apropriada nas versões que abrem mais de uma posição de cada vez, porém ainda ocorrem problemas pelo fato de alguns brokers compensarem posições de compra com as de venda e não limitar adequadamente o número de posições abertas. O uso combinado de Builds que não apresentam este problema, ainda que não tenham o botão para desativar o “recalcular” (que sobrescreve os ticks da base), possibilitou uma solução que começará a ser testada em contas demo a partir desse domingo. Se a quantidade de posições abertas nestas condições for conforme deveria ser com base no back test, sem exceder os limites de risco, então poderemos começar a usar as versões 4.07b2 e 4.3 em todas as contas reais cujo tamanho da carteira seja apropriado. Além disso, as configurações da 4.02 e 5.0 para o cenário atual também começarão a ser testadas. Mas é importante fazer uma ressalva quanto a uso destas versões otimizadas para uma situação específica. Vamos começar testes com algumas versões 4.x e 5.0 otimizadas para o cenário mais recente, em que acreditamos ter chegado a algumas soluções limpas e, em alguns casos, fizemos “remendos”. Nos dois casos, tentamos introduzir alterações que mantenham bom desempenho em todo o histórico anterior, e ainda consigam pelo menos não afundar com as anomalias dos últimos meses. Se as propriedades relevantes do Mercado continuarem como estão, estaremos bem, se voltarem a ser como antes, estaremos bem, se mudarem para um meio termo, é possível que ainda fiquemos bem, mas se o cenário continuar produzindo quadros inéditos, as tentativas de modelagem continuarão a ser bem difíceis. Por segurança, tentamos também alargar os limites dentro dos quais situações novas possam ocorrer sem nos afetar severamente, porém o alargamento de tais limites implica redução na performance.

Enquanto o Mercado se comporta conforme nos anos que constituem o histórico analisado, pode-se fazer previsões científicas de seu comportamento e com um índice de acerto muito apreciável. Quando o Mercado se torna caótico, os métodos científicos não levam vantagem sobre os esotéricos e as previsões bem fundamentadas não diferem muito das adivinhações. É como num jogo de Poker: um bom jogador pode perder algumas vezes seguidas para um iniciante, mas a longo prazo a sorte e o azar se distribuem de forma aproximadamente equilibrada, e o que acaba prevalecendo é a habilidade do jogador.

A pergunta inicial sobre o Saturno V estar bem é simples de responder: o Saturno V não mudou. Esta tão bem ou tão mal como nos últimos 10 anos de back test. O cenário, porém, está diferente. Decidir se é melhor usar novos parâmetros e adaptações ou manter os antigos é uma decisão difícil, pois não dispomos de dados para saber se daqui para a frente o Mercado voltará a ser como estava antes, se ficará como está agora ou se será diferente de antes e de agora. Também não dá pra saber se, no caso de ficar diferente, se a magnitude dessas diferenças será grande o bastante para inutilizar estratégias funcionais no período atual ou em períodos anteriores. O mais lógico, a meu ver, é tentar buscar soluções que sejam tão abrangentes quanto possível, de modo que tanto para um regresso ao cenário anterior, quanto na preservação da situação atual ou na hipótese de mais cenários inéditos, dentro de certos limites, possamos manter um bom desempenho. Por isso começaremos a testar as versões/configurações adaptadas. O melhor para nós é se o Mercado voltar a se comportar como no histórico pregresso, pois seria um forte sintoma de “regresso à normalidade”, que é a situação que temos mais amplamente testada e consolidada.

Não conheço política internacional, nem macroeconomia, mas a meu ver, conforme comentado no artigo anterior, depois de amenizadas as turbulências na zona do Euro, o mais provável é que a situação anterior seja restabelecida.