|
É freqüente que o Saturno receba críticas que, mediante uma análise superficial, parecem fundamentadas, mas vão progressivamente perdendo o sentido à medida que se aprofunda no assunto. Os artigos sobre o Saturno e sobre os sistemas que o precederam esclarecem todos os pontos citados nas críticas, mas como o volume de texto é relativamente extenso, poucos se dão o trabalho de ler o suficiente para compreender o objeto de suas críticas, mas os poucos que o fazem, acabam elogiando-o, em vez de o criticar.
Menos freqüentes do que as críticas ao Saturno são as mensagens elogiando ou comentando sobre outros sistemas, algumas das quais são em tom de ironia, outras são sérias. Há um amigo que já perdeu dinheiro com EAs, depois reuniu mais um pouco durante alguns meses, perdeu de novo, depois reuniu mais um pouco e agora está novamente usando um EA que comprou recentemente. Na própria publicidade que se faz sobre o tal EA, é muito evidente que se trata de um sistema de péssima qualidade, mas a esmagadora maioria das pessoas, sem o necessário embasamento para farejar “truques” e reconhecer testes mal conduzidos, acaba se empolgando com resultados que deveriam ser evitados. Além deste, há várias outras pessoas perdendo somas consideráveis e de maneira sistemática.
Hoje um amigo e cotista do Saturno me enviou a seguinte mensagem:
Melão,
Parece que temos concorrência.
http://forex-expert-advisor.com/Unique_EA_EUR-USD_PRO.htm
o gajo tem todos os anos positivos.
Cumprimentos,
E.F.
Bom, embora as ilustrações do site sejam do tipo que espanta, e os textos careçam de conteúdo, geralmente com informações extremamente superficiais e apelos ao cientificismo e à tecnofilia, com abundância de informações irrelevantes e ausência de informações úteis, o fato é que os gráficos são muito sugestivos em vários aspectos, e um primeiro olhar sobre os testes não revela as falhas cometidas. Isso torna mais difícil reconhecer onde estão os problemas.
Minha resposta a esta mensagem foi (editada com pequenas correções gramaticais):
Olá, E.
Se isto for real, não é um concorrente. É muitíssimo superior ao Saturno. Acho quase impossível que algum dia o Saturno chegue nesse ponto, aliás, acho muito difícil que qualquer sistema nos próximos milhões de anos chegue a ficar como este. :-) Ele faz 120 operações por ano, enquanto o Saturno faz apenas 12, o que deixa o crescimento muito mais suave e contínuo. O máximo drawdown dele nesse período todo é de 2,5%, enquanto do Saturno é 24%. Com um risco tão pequeno, eu apostaria tudo que tenho, desde que os testes tivessem sido feitos adequadamente. No estado que o Saturno se encontra, que é muito inferior a isso, se confirmar em mais alguns testes em tempo real, em poucos meses pretendo colocar uma parte significativa do que tenho e ir aumentando conforme for confirmando os resultados. Uma das dificuldades é que fazendo 2 a 21 trades por ano, pode levar um tempo considerável até ter um pouco de confirmação dos testes em tempo real. Mas no caso dele, com 86 a 205 trades por ano, é muito mais rápido e consistente a confirmação. Em questão de semanas, já se pode reunir indícios suficientes de que funciona, se de fato funcionar.
O indício mais nítido de fraude está neste gráfico:
No início, nas primeiras 90 operações, enquanto o crescimento era exponencial, a carteira chegou a cerca de 1/10 da altura do ponto indicado como $ 2.693.653, ou seja, cerca de $ 250.000. Como no primeiro ano ele realizou 125 operações e a curva de crescimento é suave, isso dá 2.400% em 9 meses ou 8.600% em 1 ano, com máximo drawdown de 2,44%, aliás, menos que isso, porque se teve máximo drawdown 2,44% em 10 anos, é esperado cerca de 1,5% em 1 ano (seria 0,8% se as oscilações se distribuíssem normalmente). Note que selecionei um período em que o crescimento é exponencial, logo no início, para depois aplicar o equivalente num período maior, porque eles estão mascarando a situação com um pequenino trecho de crescimento exponencial só no início, até atingir o limite de 20 lotes. Pois bem, com um risco tão baixo, se eles ganham 8.600% em 90 operações, devem ganhar, em média, 5,1% por operação. Assim, para ter um risco de até 24% de máximo drawdown (dd), poderiam aumentar 10 vezes cada operação, com ganho, em média, de 51% por operação, e ainda assim um risco muitíssimo baixo, já que o máximo dd no período de 10 anos seria de 24,4%. E nesse caso ganhariam 1.300.000.000.000.000.000% nos primeiros 9 meses ou 23.000.000% nos primeiros 3 meses. Quer dizer, com 100 dólares aplicados, teriam $ 23.000.000 em 3 meses. Note que nenhuma versão atual ou anterior do Saturno chega sequer perto de qualquer perspectiva dessas. O Melao_Tendencia chegava a 6,7% ao mês em 38 meses. Mas não ficava bem em 100 meses. O Saturno 2.6% tinha possibilidade de 100% de drawdown, por isso seria necessário colocá-lo com várias configurações diferentes, para rodarem simultaneamente, a fim de diluir o risco (e os ganhos), resultando em cerca de 3,5% ao mês, em média. Se o Saturno pudesse transformar $ 100 em $ 23 M, em 3 meses, ou mesmo se ele pudesse transformar $ 100 em $ 200 em 3 meses, com este nível de risco citado no site, ou eu não venderia cotas, ou elas custariam muito mais.
Resumidamente: os testes que eles fizeram são de péssima qualidade, e maquiaram a informação de maneira ridícula. Embora não seja muito fácil encontrar o problema, depois de encontrado fica muito clara a baixa qualidade do que fizeram. Qualquer método para gestão de capital não deixaria o máximo drawdown em apenas 2,44%. Um bom método aumentaria as operações até um nível bem maior, sobretudo num caso em que o crescimento se mostra tão suave como nesse caso. Isso indica que não fazem gestão do capital.
Estou evitando comentar sobre o tipo de ilustrações e comentários no site, e me atendo aos problemas objetivamente verificáveis nos aspectos técnicos, mas o visual e o teor dos textos também é muito assustador.
Se eles tivessem uma conta demo para ser acompanhada por 3 meses, e esta conta se comportasse conforme eles dizem (+345% em 3 meses, com máximo drawdown 2,44% ou 23.000.000% com máximo drawdown 24%) eu me debruçaria 30 horas por dia sobre tudo que tiver no site deles para ver se aprendo 1% do que eles fazem, antes que ele ganhem todo o dinheiro do mundo sozinhos.
Abraços.
Melao
Estendendo um pouco mais o que foi dito acima:
O crescimento linear nos gráficos se deve ao uso de lotes fixos. Nesta situação, não se faz o cálculo com juros compostos, mas sim simples. Há muitos problemas que decorrem disso, conforme já expliquei a alguns clientes de consultorias. O único pequeno intervalo em que o crescimento pode ter sido exponencial é nas primeiras 90 operações, que devem coincidir aproximadamente com os primeiros 9 meses. Por isso os cálculos devem ser feitos com base nesse período.
Não está claro se o sistema usa Martingale, mas aparentemente não usa. Se usar, deve ter um limite baixo para o máximo de operações abertas de cada vez, caso contrário haveria alguns sobressaltos para cima e/ou para baixo no gráfico, além de uma linha verde muito destoante da azul, com equity diferindo sensivelmente do balanço.
Como não há referência a nenhum detalhe de como os back tests foram realizados, nem se foram usadas bases tick-by-tick, pode-se presumir que há uma enormidade de falhas. Quando não se tem o máximo de rigor na metodologia para realização dos testes, pode-se chegar a resultados muito animadores e muito irreais. Ao testar em tempo real, as falhas nos testes se evidenciam claramente. Por isso seria interessante se eles mostrassem algo sobre os testes que alegam ter feito na FXDD, Interbank, ODL etc. Se foram testes em tempo real, certamente não correspondem ao que mostram no site. E se foram testes com as séries históricas baixadas nestes brokers, como há indícios de que os testes não tiveram o mínimo de rigor, não se pode levar a sério os resultados.
Algumas vezes tenho a sensação de que alguns cotistas talvez não estejam totalmente inteirados sobre os motivos que fundamentam a eficiência do Saturno. Mas pelo menos percebem que o Saturno é claramente superior aos demais sistemas, devido ao que é descrito em dezenas de artigos, com riqueza de detalhes sobre a metodologia nos testes, sobre erros primários, intermediários e sutis que são evitados nos back tests, sobre os cuidados para que se tenha a máxima similaridade entre back tests e as operações em tempo real etc. O simples fato de outros sistemas não discutirem sequer 5% do que é apresentado sobre nossas metodologias, provavelmente convence a quem faz uma meticulosa comparação entre o Saturno e qualquer outro sistema do gênero. A diferença fundamental é que nós fazemos o que julgamos ser necessário para que os resultados dos testes sejam fidedignos e possam representar as performances a serem esperadas em situação real, enquanto os outros, pelo menos os que tenho visto, fazem os testes de modo a produzir resultados inflacionados e causar a ilusão de que o sistema é fantástico, quando na verdade nem sequer devem ficar positivos.
O amigo Fernando Botti, quando me mostrou um gráfico e um relatório no ano passado, sobre algumas semanas de performance de um EA, em questão de poucos segundos comentei que era interessante ele conseguir aquilo com ratio 1:1 entre stop loss e take profit. Depois de algum tempo, ele fez um comentário demonstrando certa surpresa sobre como eu havia deduzido que usava ratio 1:1 apenas olhando o gráfico. Então expliquei que não foi só com base no gráfico, e que era relativamente simples deduzir aquilo. Como o Fernando tem mais de 12 anos de experiência no Mercado e vários anos com sistemas automáticos, além de ser excepcionalmente inteligente, e mesmo assim não percebeu algumas informações que estavam implícitas no gráfico e no relatório, suponho que a grande maioria que tem muito menos experiência, conhecimento e feeling do que ele, quando olham para um gráfico não “farejam” os prováveis erros que podem ter sido cometidos nas otimizações, as prováveis trapaças que podem encobrir resultados grosseiramente distorcidos etc.
Este deve ser um dos motivos pelos quais o nível intelectual dos cotistas do Saturno é muito alto, porque a pessoa precisa enxergar um volume considerável de diferenciais que não são fáceis de perceber até mesmo para especialistas, e são mais difíceis ainda para não especialistas. Se a pessoa não percebe rapidamente as falhas relativamente graves e evidentes em outros sistemas, certamente não vão reconhecer as virtudes de nosso sistema, nem vão se dar conta dos esforços no sentido de evitar estas falhas. Vários de nossos cotistas estudam ou estudaram Inteligência Artificial, Redes Neurais, Algoritmos Genéticos e temas afins. Com esta bagagem, estão muito melhor capacitados para perceber uma série de detalhes que distinguem o Saturno. O simples fato de um integrante da equipe de Newton da Costa sobre o uso de Redes Neurais para modelagem dos preços no Mercado Financeiro (Thiago Rothen) ter utilizado alguns de nossos artigos em seu trabalho, representa um ponto muito positivo, a julgar pela notável reputação de Newton Da Costa (pai) e a provável notoriedade de Newton Da Costa Jr.
Update (15:00h, 9/12/2008): cometi alguns descuidos nos cálculos citados acima. Refazendo tudo com mais cuidado, usando a ferramenta de medida do Acrobat Writer:
pudemos verificar que o ponto em que o volume de lotes atinge o limite está 28 pontos distante da origem, enquanto o ponto correspondente a 162 trades está 54 pontos distante da origem, podemos concluir que foram realizados 84 trades até aquele ponto, em vez de 90, conforme havíamos estimado inicialmente. A altura do ponto correspondente ao balanço indicado no gráfico como $ 2.693.653 está 35 pontos acima da origem, enquanto a evolução da carteira na região do trade 84 está 4 pontos acima da origem, portanto cerca de 1/9. Assim podemos calcular que em 84 operações foi atingido um balanço de $ 2.693.653 * 4 / 35 = $ 307.846,06, em vez de $ 250.000 (só o primeiro algarismo é significativo, mas deixamos para arredondar tudo no final, para minimizar a propagação de erros). Estes 84 trades, entre um total de 125 trades no primeiro ano, representam cerca de 8,064 meses, em vez de 9. Com 2978% de lucro em 84 trades, temos, em média, 4,123% de lucro em cada operação. Como o máximo drawdown é 2,44%, podemos aumentar 10 vezes cada operação e, respectivamente, 10 vezes o respectivo lucro, em média. Na verdade este cálculo não procede exatamente assim, porque ao aumentar cada ganho, aumenta-se um pouco mais cada perda, de modo que aumentar 10 vezes o tamanho de cada operação deve implicar um aumento no máximo drawdown um pouco acima de 10 vezes. Por outro lado, como em 1 ano o máximo drawdown esperado também é, em média, menor do que em 10 anos, estas diferenças se compensam e podemos simplificar considerando que o aumento seja cerca de 10 vezes. Assim chegamos à conclusão de que é possível aumentar 10 vezes o tamanho de cada operação, e deixar o máximo drawdown ainda menor que 25%. Neste caso, cada trade renderia, em média, um lucro de 41,23%. Isso dá 3546% ao mês ou 4.800.000% em 3 meses.
Como algumas informações visuais no gráfico são quase ilegíveis, por terem poucos pixels (altura de 4 pontos, por exemplo), podemos fazer todo o cálculo de outra maneira mais precisa. Por exemplo: Se em 119,195 meses (3628 dias) temos 1183 operações, com um total de 5453,52% de lucro, então temos, em média, 4,6099% de lucro por operação. Note que como o crescimento é linear, devemos calcular 5453,52% / 1183, em vez de 55,5352^(1/1183)-1, o que só faria sentido se o crescimento fosse exponencial, como no trecho correspondente às primeiras 84 operações. Com isso chegamos a um valor bem semelhante ao calculado anteriormente, de 4,6% contra 4,1% por operação. Prosseguindo com os cálculos: temos que o lucro mensal é de 5089% e em 3 meses é de 14.000.000%.
Também é interessante notar que a forma correta quanto uma gestão de capital com lotes fixos produziria de lucro com lotes proporcionais ao tamanho da carteira consiste em encontrar o ganho médio por operação, para depois multiplicar por quanto se deseja aumentar o risco. Na verdade, seria necessário considerar outros detalhes, mas para isso seria preciso também saber o tamanho de cada perda e cada ganho entre as 1183 operações, ou, pelo menos, saber a média e desvio-padrão das perdas e ganhos, que são informações não disponibilizadas no tal site.
|
