ja_mageia

[UPDATE: Revisão de trecho em azul escuro em 21/11/2009, indicada por Thiago. O texto estava assim: "Enfim, é freqüente que uma pessoa com baixo potencial tente realizar, explicar ou descrever algo acima do que sua capacidade permitira, caba sendo frustrante ou produzindo resultados ex abrangente qd cial. telo menos de acordo com as normas vigentes, mantendo rigporém é muito raro alguém com notável discernimento tentar realizar algo muito abaixo de seu potencial." e foi causado pelo Joomla, já que no original em DOC está correto e não seria possível, mesmo com esforço, cometer tantos erros de digitação que ainda por cima escapassem ao revisor gramatical do Word]

Não é possível descrever como se deve proceder para medir performances num texto de poucas páginas, ou mesmo numa coleção de 10 volumes, mas é possível proporcionar uma visão geral sobre o assunto, de modo a permitir que pessoas realmente interessadas possam encontrar o caminho. Aqui tentaremos primeiramente mostrar a gravidade do problema e, em seguida, fazer alguns apontamentos de como se pode evitar alguns dos erros mais graves e formular métodos de medida que tenham chances reais de produzir resultados consistentes.

Recentemente uma pessoa postou um convite para uma competição de Forex, uma pessoa com vasta experiência nesse assunto, diga-se de passagem, que inclusiva já foi entrevistada sobre esse tema. O convite foi sobre uma competição nos mesmos moldes da maioria e com características gerais basicamente iguais às de outras competições desse gênero. O campeão será aquele com maior performance medida comparando o balanço inicial com o balanço final. Muitas competições desse tipo são realizadas com diferentes periodicidades, desde as semanais até as bienais, como os campeonatos da Windsor, da InterbankFx, o Automated Trading Championship, o Forex World Cup etc.

A classificação e a premiação com base na performance não é a mais apropriada, e alguns brokers tentam inclusive contornar esse problema, exigindo que sejam negociados pelo menos 50 lotes ao longo da competição em mais de 100 trades, ou algo assim, de modo a reduzir o fator sorte (e também incentivando estratégias que paguem mais corretagem ao broker). A idéia é que com 100 operações é mais difícil acertar por sorte do que se fizer apenas 1 que tenha sucesso.

Em alguns de nossos artigos, falamos sobre o índice de Sharpe, que seria comparativamente menos ruim para medida de eficiência e para classificar e premiar os competidores, embora também apresente deficiências já descritas em nossos textos, mas pelo menos estaria num caminho mais razoável e justo de definir quem operou com mais méritos (não com mais sorte).

A maneira que considero apropriada e poderia servir para medir performance, teria que ser baseada em Teoria de Resposta ao Item (com as devidas revisões e aprimoramentos, algumas das quais descrevo nas normas de 2003 e 2004 do Sigma Test e em outros artigos), que é a ferramenta desenvolvida com a finalidade de medir performances e cumpre razoavelmente bem essa função. Creio q seja a única maneira atual para que uma performance durante poucos meses de competição possa gerar resultados razoavelmente corretos de modo que os primeiros classificados tenham alta probabilidade de serem de fato os melhores traders ou trading systems, reduzindo o fator azar/sorte a um patamar bastante tolerável.

Um dos motivos pelos quais não usam essa ferramenta é porque não a conhecem, ou não a dominam, ou não compreendem as vantagens de usá-la, ou não enxergam como adaptá-la, mas creio que o motivo que mais pesa é que geralmente quem promove estas competições não tem interesse em identificar os melhores traders ou melhores estratégias. Eles querem apenas forçar um resultado que incentive consumidores a adquirirem seus produtos ou contratarem seus serviços. As competições da Meta Quotes, por exemplo, incentivam mais traders e mais brokers a utilizarem o Meta Trader, que é a plataforma na qual a competição é realizada. Para eles não importa se o vencedor é o melhor, ou se tem altas probabilidades de ser realmente o melhor. Para eles basta que o evento chame a atenção sobre sua plataforma. Não são competições sérias, mas sim brincadeiras, gincanas. Outros brokers estabelecem regras que privilegiam as estratégias que executam muitas operações com grande quantidade de lotes, como os campeonatos da Windsor, já que maior quantidade de operações implica pagamento de mais corretagem ao broker.

Em 1976, um físico chamado Kirkpatrick escreveu um artigo sobre erros de medida nos esportes, que tornam inválidos muitos recordes olímpicos e mundiais, por não levarem em consideração fatores como pressão atmosférica, aceleração gravitacional etc., que variam em diferentes regiões e interferem no nível de esforço necessário para se obter determinada performance. Arremessos de martelo, dardo, saltos em extensão etc., em determinadas regiões, exigirem mais vigor do que em outras. O autor do artigo exemplifica a situação de que um dardo lançado à distância de 16,75m em Boston exige do atleta o mesmo impulso que seria necessário para lançar o mesmo dardo a 16,71m de distância na Cidade do México. Assim, um lançamento à distância de 16,72m na Cidade do México deveria ser considerado mais valoroso e difícil do que 16,75 em Boston.

Algumas referências:

http://sites.unisanta.br/teiadosaber/apostila/fisica/A_Fisica_no_esporte-Fisica1109.pdf
http://www.cmrj.ensino.eb.br/ensino/fisica/htm/textos01.html
http://www.franciscanos.org.br/agudos/mestreonline/04.php

Se até mesmo em competições internacionais oficiais esses erros são institucionalizados e repetidos sistematicamente, sem que ninguém se preocupe em os corrigir, não é de estranhar que em eventos menores se faça algo semelhante. Com algumas importantes diferenças, porque nos casos dos esportes, a variação nos resultados causada pelas diferenças gravimétricas, barimétricas etc., é bem pequena em comparação à performance inerente ao atleta. Mas nos casos de investimentos, especialmente os de curta duração, a sorte pode ter peso muito maior do que a habilidade do trader ou a eficiência da estratégia. Assim, se nos esportes as diferenças causadas por fatores espúrios ficam no nível de 0,2%, no caso dos investimentos as diferenças podem ser maiores que 900% ou 10.000%, inflacionando resultados ou atenuando sensivelmente resultados realmente promissores. Além disso, nos casos dos esportes é mais fácil medir o tamanho do "erro" causado na medida, por serem bem conhecidos e precisamente quantificados os fatores que interferem, mas nos investimentos é muito mais difícil identificar e medir estes fatores.

A adoção de métodos apropriados para a medida de performance é crucial para que se possa selecionar estratégias e genótipos promissores. Lembrando que o termo "genótipo", em algoritmos genéticos, é sinônimo de "conjunto de parâmetros" que definem um indivíduo ou a "configuração de uma determinada versão de um sistema". Se o método adotado for precário, e forem testadas 20 estratégias com 50 variações nessas estratégias e 10.000 conjuntos de parâmetros para cada variação, num total de 10.000.000 testes (20 x 50 x 10.000), dos quais cerca de 100 genótipos forem realmente promissores (0,001% promissores), se a metodologia de teste não for extremamente rigorosa e bem fundamentada, haverá menos de 0,2% de probabilidade de que os 10 genótipos escolhidos como melhores coincidam com um dos 100 realmente promissores. Mesmo com metodologia muito boa, apenas cerca de 50% dos melhores genótipos se confirmam realmente promissores. Embora 50% seja muito melhor que 0,2%, ainda não é o ideal.

Para chegar a produzir um sistema eficiente, é necessário dispor de dados acurados e precisos sobre o histórico de cotações cobrindo um período suficientemente longo, ter conhecimentos e sensibilidade para analisar estes dados de modo a visualizar padrões que façam sentido e que possam ser representados de forma simplificada numa linguagem de programação, testar nos dados históricos se o padrão identificado realmente faz sentido usando um conjunto inicial de valores estimados para os parâmetros, para depois refinar os valores para estes parâmetros por meio de testes exaustivos, com auxílio de algoritmos genéticos, usando um intervalo de ou mais genótipos que se mostrem realmente promissores. Testar estes genótipos num(ou em mais de um)  intervalo diferente daquele em que a otimização foi realizada, e suficientemente longo e diferente daquele da otimização. Selecionar os genótipos mais promissores e usá-los num teste em tempo real, depois rodar back test no mesmo período em que foi feito o teste em tempo real e comparar os resultados. Isso possibilita chegar a um sistema funcional e confiável. A maioria dos traders profissionais não atende a nenhuma destas condições. Apenas copiam uma estratégia descrita num livro, ou num curso de fim de semana, ou num site, e esperam que aquilo (que é usado por milhões de outras pessoas) vá funcionar. Um grupo mais seleto de traders chega a testar as estratégias sugeridas nestes livros e outras fontes, e facilmente constatam que nenhuma delas serve para nada, e ainda perdem dinheiro. São raríssimos os traders que chegam ao ponto de analisar o Mercado em busca de características que se repitam regularmente de modo a possibilitar previsões em que as probabilidades de acerto sejam um pouco maiores que as probabilidades de erro e num nível suficiente para cobrir também spreads, corretagens e outras taxas (se houver). O gráfico a seguir mostra a evolução da carteira gerenciada pela versão 4.02a do Saturno V, e se pode ver as conseqüências de operar com um pouco mais de probabilidade de ganhar do que de perder:

Este, acima, foi produzido pelo "abominável", e indica vários problemas, a começar pela alta probabilidade de ter utilizado uma série histórica deficiente. Um crescimento sem nenhuma operação negativa precisa ser analisado com extremo cuidado. No caso acima, se a série histórica fosse boa, seria necessário saber se os stops são curtos, qual foi o máximo drawdown no equity, qual foi o período em que rodou, se houve diversidade suficiente de cenários nesse período para que seja representativo de um histórico mais longo. Nesse caso específico, o período foi de apenas 1 mês, com ganho de 500.000.000.000%, com 4.700 operações realizadas. Isso é um sintoma fortíssimo de que a base de dados é uma droga inútil. (veja nosso artigo sobre "o falso santo graal" para mais detalhes sobre esse sistema). Vejamos outro exemplo:

Em alguns aspectos, este gráfico é semelhante ao anterior, com todas as operações lucrativas, porém com algumas diferenças importantes. Ele também é um gráfico que em princípio deve levantar suspeitas, mas uma análise mais profunda revela que se trata de um bom sistema. Para começar, o período que ele cobre é de 10 anos e foram realizadas apenas 130 operações, portanto as operações foram mais longas, e mesmo que a base de dados apresentasse problemas com candles esticados ou excesso de ruídos de grande amplitude, estes seriam bem menos graves, e não haveria como atribuir o crescimento a alguma deficiência na base de dados. O stop dele é cerca de 27%, é um stop grande, porém é compensado pelo fato de gerar mais de 3.500% de lucro antes de ter sido acionado o primeiro stop, logo há menos de 1% de probabilidade de ser acionado um stop antes de o sistema ter gerado lucro suficiente para compensar a perda causada pelo stop e menos de 0,01% de dois stops consecutivos. Nessa situação, não há evidências no gráfico que desqualifiquem esse sistema. Ele é o Saturno V 3.1415926 (anterior ao 3.1415926c). Não havendo indícios de que seja ruim, não significa que seja necessariamente bom. No processo de seleção, tentamos considerar o máximo de fatores relevantes possíveis para descartar os ruins, e os que sobreviverem aos critérios mais rigorosos de seleção terão probabilidades bastante razoáveis de serem bons. No caso do Saturno V 3.1415926 é muito provavelmente um dos melhores, apesar de o 3.1415926c ter sido stopado em sua primeira operação real, em parte devido às seqüelas que ficaram no Mercado após os eventos de outubro de 2008, em que as algumas propriedades que o Mercado apresentava até então começaram a oscilar com amplitude maior. Depois que a poeira assentar e o Mercado voltar a se comportar como fez entre 2000 e meados de 2008, ele deve retomar o crescimento normal. Entre os períodos mais turbulentos de 1999 e 2009, é possível que tenha um comportamento anômalo, lembrando que mesmo nessa situação, antes da perda sofrida pelo stop em abril de 2009, houve um ganho acima do normal em outubro de 2008. Portanto se o sistema estivesse rodando desde antes da crise até agora, apesar da perda em abril, esta estaria coberta pelo ganho acima do normal obtido no início da crise. Vejamos mais um exemplo:

Este é um gráfico típico de uso de Martingale. Os tamanhos dos lotes oscilantes, com lotes subseqüentes em PG (progressão geométrica) e os morrinhos que ondulam na reta de crescimento são dois sintomas muito fortes disso. O uso de Martingale pode ser um recurso legítimo quando usado nas condições que descrevemos no artigo que tratamos dessa forma de gestão de capital. Na esmagadora maioria das vezes, porém, é usado de forma imprópria e causa ilusão de crescimento durante algum tempo, até que leva à ruína completa, zerando a carteira. Vejamos mais gráficos:

Este é um gráfico típico de um teste razoavelmente bem conduzido e que evidenciou que a estratégia é precária. Não há evidência de crescimento. É um dos casos mais fáceis de identificar como ruim, porém não é fácil conduzir os testes de maneira rigorosa, e se o mesmo sistema fosse testado com base em métodos menos apropriados, o gráfico poderia ficar assim:

Cujo aspecto é muito mais atraente, embora seja exatamente o mesmo sistema do gráfico anterior, com mesma estratégia, mesma configuração e no mesmo período. Apenas o método de teste foi diferente, e o resultado também foi completamente diferente. Até o número de operações mudou. Na base de ticks, foram realizadas mais operações, a maioria negativa. Em alguns casos, pode ser o contrário, e a na base de ticks ocorrer menos operações.

Conforme já dissemos no início, não é possível incluir dezenas de milhares de gráficos para exemplificar as situações que podem se produzir, mas apenas dar uma abordagem panorâmica e expor o básico sobre o tema. Estes exemplos são importantes por mostrar que gráficos aparentemente semelhantes podem ter por trás significados completamente diferentes e até opostos.

Em mais de uma ocasião, já vieram me oferecer produtos exóticos, geralmente pessoas que não me conheciam, exceto uma vez, que quem me ofereceu foi o colega Marcelo Sampaio, que já me conhecia e mesmo assim tentou me convencer de que possuía um sistema de scapilng capaz de resultados extraordinários. Por consideração a ele pelo contato que tivemos, e por ele sempre ter se mostrado uma pessoa educada, eu deixei que me mostrasse o que ele desejava, embora tivesse quase certeza de ser ruim mesmo antes de ver os detalhes e argumentos. Depois de cerca de 2 horas de conversa, sugeri alguns testes básicos para conferir se havia alguma possibilidade de o tal sistema pelo menos ficar positivo. Se o sistema sobrevivesse a todos os testes básicos, talvez fosse interessante iniciar um estudo mais sério. Se fracassasse em 1 ou mais dos testes básicos, nem valeria a pena perder tempo com aquilo. Bom, o sistema já deu sinais horríveis de ineficiência quando descrevi o primeiro teste (o Marcelo já o havia testado nas condições que sugeri e constatado que não funcionava), o que já descartava a necessidade de fazer mais testes, porém sugeri ainda mais alguns, mas parecia que ele não estava muito interessado em enxergar os fatos. Ele queria tanto que o sistema funcionasse que não estava disposto a testá-lo com o devido rigor. Então acabamos mudando de assunto.

Em outras ocasiões, fui procurado por um tal Filipe, um Robinson, um Eduardo, e outros cujos nomes não me recordo. O mais recente foi o "Rob". Como sou um cético genuíno, eu sempre dou às pessoas a oportunidade de corroborarem ou demonstrarem o que afirmam, por mais absurdo que possa parecer, à primeira vista, a afirmação delas. Como dizia Voltaire "duvidar de tudo, assim como acreditar em tudo, são duas posturas igualmente cômodas que livram as pessoas da difícil tarefa de pensar". E realmente o que se observa é que há tantos ateus fanáticos como cristãos fanáticos, que "duvidam por um ato de fé" ou acreditam por um ato de fé, e ambos fecham os olhos para os fatos, argumentos e evidências que se oponham às suas crenças. Os ateus fanáticos criticam e zombam dos crentes fanáticos, enquanto, na maioria das vezes, incorrem nos mesmos vícios que eles. Para não incorrer nesse tipo de erro, eu procuro conhecer o assunto antes de opinar, pelo menos o suficiente para avaliar o caso como mais de 99% improvável, antes de o descartar, ou mais de 99% provável antes de o aceitar como seriamente digno de aprofundamento. No caso do Rob, a nossa conversa foi bem rápida, conforme segue (em vermelho as msgs do Rob, em verde as minhas):

De: Este endereço de e-mail está protegido de spam bots, pelo que necessita do Javascript activado para o visualizar [mailto: Este endereço de e-mail está protegido de spam bots, pelo que necessita do Javascript activado para o visualizar ]
Enviada em: quinta-feira, 5 de novembro de 2009 14:58
Para: ***@XXX
Assunto: Formulário para Contatos

boa tarde...sou operador da bolsa de valores ha algum tempo..e baseado em estatisiticas desenvolvi um metodo com risco ganho acima de 40: 1 com perda por trade de 0,1% capital. caso aja interesse.entre em contato

De: Melao
Assunto: RES: Formulário para Contatos
Para: Este endereço de e-mail está protegido de spam bots, pelo que necessita do Javascript activado para o visualizar
Data: Quinta-feira, 5 de Novembro de 2009, 15:18

Prove seus resultados q tenho interesse.

De: robinson trovó [mailto: Este endereço de e-mail está protegido de spam bots, pelo que necessita do Javascript activado para o visualizar ]

Enviada em: quinta-feira, 5 de novembro de 2009 15:57

Para: Melao

Assunto: Re: RES: Formulário para Contatos

este é um plano de trade completo, onde o investidor teria 1 milhao para investir, e neste trade em especificio...ele entraria com somente 6% do capital, rentabilizando todo o capital de 1 milhao em 1%, correndo o risco de perder 250 reias..0,025%.

veja se ha interesse..

ai podemos conversar

abraços

rob

De: Melao
Assunto: RES: RES: Formulário para Contatos
Para: "'robinson trovó'"
Data: Quinta-feira, 5 de Novembro de 2009, 18:47

Não há interesse.

De: robinson trovó [mailto: Este endereço de e-mail está protegido de spam bots, pelo que necessita do Javascript activado para o visualizar ]

Enviada em: sexta-feira, 6 de novembro de 2009 09:39

Para: Melao

Assunto: Re: RES: RES: Formulário para Contatos

ok

quando surgir nova oportunidade de um novo trade, te passo o plano detalhado

como o risco ganho é bem pequeno....vc nao perde .0,1%..por trade

se atingir o alvo...tenho ctz que vc vai se interessar.

se vc nao quiser o plano de trade, me diga..ai nao passo ok..

este nao tera custo nenhum, so para vc poder comprovar a eficiencia do setup de algo que ainda nao aconteceu

abraços

robinson

msm Este endereço de e-mail está protegido de spam bots, pelo que necessita do Javascript activado para o visualizar

rob

De: Melao [mailto:***@XXX]

Enviada em: sexta-feira, 6 de novembro de 2009 09:44

Para: 'robinson trovó'

Assunto: RES: RES: RES: Formulário para Contatos

já disse q não tenho interesse

A planilha Excel que ele anexou pode ser solicitada diretamente com o sujeito, no caso de alguém se interessar (copiei o e-mail dele, já que ele descobriu o meu de algum jeito, decidi divulgar o dele também). Eu não cheguei a ver a planilha, porque o texto dele já me pareceu suficientemente ruim para que eu não perdesse mais tempo com o resto. Até o ponto que ele escreveu "haja" sem "h", enviou uma mensagem sem cabeçalho, sem despedida, sem identificação, sem um histórico sobre quem ele é, com abuso no uso de reticências, com sentenças ininteligíveis de uma retórica pobre e vazia, eu já coloquei o sujeito no grupo dos que mereciam uma resposta de no máximo 1 linha. Dependendo do que ele apresentasse em seguida, descartaria de vez ou, se ele se redimisse na mensagem seguinte, avaliaria se compensaria me aprofundar no que ele teria a dizer. A resposta dele foi pior que a primeira mensagem. Eu procuro ser muito educado com as pessoas que não conheço, exceto se me parece que querem me prejudicar, me tomar tempo inutilmente ou se estão insinuando que sou idiota. Nestes casos, procuro dar a elas respostas compatíveis. Na primeira eu pedi ao sujeito uma prova de que funciona o que ele diz que funciona, e a resposta dele foi pra eu acompanhar uma operação dele! Se a operação desse certo, seria uma *prova* de que ele tinha razão e o método dele tem as características citadas. Não chegou a me fazer rir porque o caso dele não é inédito. [Detalhe: se alguém fizer o teste com o Rob, favor me enviar depois de 12 meses os resultados de quanto perdeu, para que eu possa colocar como apêndice nesse artigo] Também acho importante saber se a pessoa acredita no que está dizendo, ou se é um pilandra. O Marcelo Sampaio, por exemplo, eu acho muito provável que ele realmente acredita e tenta fazer com que sua fé no sistema o torne funcional. Mas a maioria que vende essasacoisas sabe que não funciona e tentam encontrar trouxas para empurrarem seu lixo.

Em Ciência, nunca se pode saber algo sobre a realidade, mas apenas se pode dispor de modelos capazes de representar simplificadamente alguns aspectos da realidade. O modelo de Newton da gravitação universal, por exemplo, é apenas uma teoria capaz de representar com boa precisão o que acontece em nossas proximidades, em nosso tempo, e se supunha que continuasse valendo igualmente em épocas remotas ou futuras, bem como em regiões distantes. Atualmente já se sabe que em regiões sujeitas a um campo gravitacional intenso, o comportamento do tempo e do espaço, bem como dos corpos que se deslocam pelo espaço ao longo do tempo, não é conforme Newton supunha que fariam. Nas imediações de um buraco-negro, por exemplo, a distância do baricentro em que a velocidade circular é igual à da luz no vácuo deveria ser 2 vezes o raio de Schwarzschild, no entanto no modelo relativístico essa distância é 1,5 vezes. Embora não tenhamos como saber qual destes modelos melhor representa o que acontece na situação real, por não ser possível observar o anel de luz formado em torno de um buraco negro pelos fótons que o circundassem, a predominância de predições acuradas da Teoria da Relatividade sugere que ela seja mais apropriada e deve produzir resultados mais próximos aos corretos, sobretudo em condições como essa. O importante é ter em mente que a Ciência opera com modelos, não com fatos. Tenta interpretar e modelar os fatos, de modo a fazer generalizações e previsões. Freqüentemente deparamos com teorias esotéricas e bizarras propostas por cientistas, ou então teorias bem fundamentadas sobre temas totalmente inexpressivos, mas muito raramente se vê alguma teoria realmente boa e expressiva. Diria que os cientistas podem ser classificados em 4 grupos, conforme um bom provérbio árabe:

Aqueles que não sabem e não sabem que não sabem.

Aqueles que não sabem e sabem que não sabem.

Aqueles que sabem e não sabem que sabem.

Aqueles que sabem e sabem que sabem.

O provérbio diz ainda:

Aqueles que não sabem e não sabem que não sabem são tolos. Evite-os.

Aqueles que não sabem e sabem que não sabem são estudiosos. Instrua-os.

Aqueles que sabem e não sabem que sabem são sonâmbulos. Acorde-os.

Aqueles que sabem e sabem que sabem são sábios. Siga-os.

Analogamente, os cientistas que não sabem e não sabem que não sabem, por ignorarem suas limitações, acabam propondo teorias mirabolantes, impregnadas de contra-sensos. Isso é mais comum em Psicologia, Sociologia etc., mas é mais raro em Exatas. Os que não sabem e sabem que não sabem, geralmente se limitam a realizar trabalhos de menor relevo, mas pelo menos de acordo com as normas vigentes, mantendo rigor e seriedade, carecendo apenas de brilhantismo e originalidade. Os que não sabem que sabem acabam atuando aquém de suas potencialidades, mas estes são bem raros, porque geralmente a pessoa com alto potencial possui também auto-conhecimento suficiente para situar-se a si mesmo aproximadamente no patamar correto correspondente ao seu potencial de produção, e opera de acordo com sua capacidade, estabelecendo objetivos compatíveis. É muito comum uma pessoa com pouco discernimento tentar realizar algo muito acima de seu potencial, o que acaba sendo frustrante ao constatar que não conseguirá atingir seu objetivo, ou pior, a pessoa atinge um objetivo muito diferente do que planejava, chegando a algo exótico e sem muito sentido, mas acreditando ser algo grandioso e, devido ao fraco discernimento, acaba não percebendo a diferença. Astrólogos, quiromantes, cromoterapeutas etc. enquadram-se nesse grupo, que por não compreenderem o básico sobre metodologia científica, acabam desenvolvendo trabalhos que acreditam serem corretos e importantes, quando na verdade não têm nenhum valor e destoam completamente da realidade. São geralmente pseudocientistas. Enfim, é freqüente que uma pessoa com baixo potencial tente realizar, explicar ou descrever algo acima do que sua capacidade permitira, porém é muito raro alguém com notável discernimento tentar realizar algo muito abaixo (ou muito acima) de seu potencial. Apesar disso, há exceções, como William James Sidis, por exemplo, que passou a vida adulta trabalhando muito aquém de suas possibilidades de criação intelectual. O último estágio é dos cientistas que produzem trabalho de peso. Muitas vezes uma criação expressiva demora anos até ser reconhecida pela comunidade e, enquanto isso, passa longo tempo sendo criticada, o que torna difícil distinguir, nas fases iniciais, entre os trabalhos criativos que realmente renderão bons frutos e aqueles que apenas ficarão no grupo das idéias bizarras sem fundamento. Tanto as idéias geniais quanto as bizarras são muito diferentes das tradicionais, o que algumas vezes torna difícil distingui-las antes de serem devidamente testadas. Uma das características que possibilitam diferenciá-las mesmo antes de testá-las costuma ser a riqueza de pormenores. Geralmente as boas teorias levam em consideração muitas sutilezas que as teorias ruins negligenciam, inclusive sutilezas que normalmente seriam consideradas irrelevantes, mas se mostram de capital importância. O histórico de realizações dos idealizadores das teorias também pode ser um critério para separar as teorias mirabolantes das brilhantes.

No caso da Relatividade, por exemplo, são detalhes minúsculos que a tornam mais fidedigna do que a Mecânica de Newton, mas estes detalhes a tornam um modelo muito mais abrangente quando se consideram casos extremos. De modo geral, a modelagem precisa de diferenças sutis em condições típicas acaba possibilitando modelagens muito mais apropriadas quando ocorrem situações atípicas. Por isso a riqueza de pormenores implica diferenças substanciais e de suma importância.

Ocorre que a maioria dos cientistas não tem uma noção minimamente razoável sobre a disciplina em que são especialistas e menos ainda sobre aspectos gerais de Metodologia Científica. O nível de entendimento que possuem e crenças erradas que revelam ter é alarmante, e só não causam grandes danos porque costumam trabalhar quase exclusivamente operacionalizando equações e equipamentos, bem como transmitindo aproximadamente e superficialmente algumas informações. Quanto aos não-cientistas, a situação costuma ser muitíssimo pior.

Um bom artigo sobre como aferir a pressão arterial comentava que mais de 99% dos artigos nos quais se usa a pressão arterial para alguma finalidade, se baseavam em medições feitas de maneira inapropriada, inclusive artigos nos quais se ensinava justamente como medir a pressão. Se não me engano, foram considerados mais de 400 artigos nesse levantamento, cobrindo publicações de algumas das principais instituições de várias cidades do país. O autor também supôs que a porcentagem de médicos que medem incorretamente é muito maior do que a quantidade de artigos em que se descreve procedimento incorreto, já que nos artigos se procura tomar mais cuidado, sabendo que outros especialistas vão ler, enquanto os médicos geralmente agem apenas na presença de leigos e de outros menos instruídos que ele sobre como aquela aferição precisa ser feita, o que lhe dá mais "liberdade" para fazer como quiser. Nos casos de enfermeiros, talvez não exista nenhum que faça corretamente. Entre os erros mais comuns, o de não medir pelo menos 3 vezes (para ter média e desvio-padrão) é o mais comum; o de não colocar o braço do paciente à mesma altura do coração é outro erro freqüente; o reconhecimento do som de Korotkov é um dos diferenciais importantes entre o uso de esfigmomanômetros eletrônicos e a auscultação humana (os eletrônicos não diferenciam o som Korotkov de outros ruídos de mesma intensidade), mas poucos humanos fazem o tal reconhecimento. Enfim, erros de medida são tão alarmantemente comuns entre cientistas e acadêmicos que mal dá para imaginar o quão graves e comuns devem ser entre a comunidade menos esclarecida.

Mesmo nos livros que versam sobre Teoria da Medida, encontram-se erros aos montes. Em 2004, enviei cerca de 200 correções a um autor, que muito humildemente reconheceu que já havia se dado conta de alguns erros e me agradeceu pela indicação dos outros, mas esclareceu também que infelizmente não teria como fazer as necessárias revisões na próxima edição e que apenas seria incluída uma nota com erratas que já estava pronta, com apenas os erros que ele mesmo havia notado e outros que colegas lhe haviam apontado antes de a nova edição ir para o prelo. Esse autor lecionou em Michigan e na época era professor Emérito na UnB (atualmente está aposentado).

Durante a maior parte de minha vida, eu achei essa ignorância e incompetência generalizadas um mal gravíssimo para a comunidade, e continuo achando que seja, mas pelo menos vejo agora nisso um ponto muito positivo para mim, que me confere uma brutal vantagem competitiva, já que quase a totalidade da "concorrência" não apresenta a menor chance de concorrer de fato. O desnível é tão grande que posso me dar o luxo de escrever dezenas ou centenas de artigos compartilhando uma parte das informações sobre como se deve proceder para fazer que algo funcione. Naturalmente as informações compartilhadas não são as mais sutis nem as mais preciosas, mas sem dúvida representam um handcap oferecido à concorrência. Também convém esclarecer que embora seja bom que a grande maioria da concorrência é incompetente, é bom que pelo menos uma pequena parte tenha boa competência, a fim de que se possa estabelecer algumas parcerias e formar equipes altamente capacitadas. É justamente o que está acontecendo.

A julgar pela quantidade de pessoas que sabem aproximadamente o método de Ed. Seykota, confiam que o método dele funciona e tentam reproduzir, acredito que cerca de 1% dessas pessoas devem ter sucesso ao desenvolver algo semelhante ao de Seykota. No entanto, muito menos de 0,001% das pessoas conseguem efetivamente encontrar os valores apropriados para os parâmetros desse método de modo que gere resultados com esperança matemática positiva, porque além de desenvolver uma estratégia que funciona, precisam testar muitos valores para os parâmetros dessa estratégia, e precisam de que os testes sejam muito bem fundamentados para que os resultados sejam confiáveis. Conheço pelo menos 2 pessoas que provavelmente já pensaram em estratégias que funcionam, já testaram estratégias que funcionam, porém não conseguiram encontrar os valores ótimos, ou melhor, devem ter encontrado e "passado por cima" sem os identificar, pois não os reconheceram como ótimos porque o método de testagem deixa escapar os melhores resultados e seleciona incorretamente resultados insuficientes. Não acho que possam chegar a resultados muito acima do CDI, ou talvez nem sequer igualar ao CDI, mas o simples fato de conseguirem obter resultados positivos a longo prazo, mesmo que não possa produzir lucro para eles, já representa uma conquista intelectual digna de reconhecimento.

Uma conclusão a que cheguei é que as pessoas não sabem medir. Se nem sequer sabem medir, como poderiam fazer um teste em que a medida é apenas uma das etapas mais básicas? Se a NASA e a ESA, que são instituições consagradas nas áreas de Exatas, não medem adequadamente as distâncias de estrelas e a densidade de planetas exosolares, conforme critico em dois artigos, sendo que seguem os procedimentos recomendados pelos expoentes na área, o que esperar de instituições menores? Certamente eu não conheço tanto quando os melhores pesquisadores da NASA sobre mecânica estatística nem sobre as propriedades e leis físicas dos objetos de estudo da Astronomia e da Física, porém mesmo conhecendo menos eu tenho uma melhor compreensão sobre alguns fenômenos específicos, bem como sobre as ferramentas que devem ser usadas para investigar, modelar e tratar os tais fenômenos, o que me possibilita dar algumas (ainda que poucas) soluções melhores do que as tradicionalmente usadas pela NASA. Além disso, minha compreensão da relação entre os modelos e a realidade provavelmente é muito mais profunda e correta do que da maioria dos pesquisadores da NASA, que apenas operacionalizam estes modelos e não avaliam com a necessária profundidade a relação entre estes modelos e os fenômenos que eles tentam descrever, pois se o fizessem, certamente já teriam corrigido os métodos para cálculos de distâncias de estrelas e da densidade de planetas, em vez de se desesperarem quando surge um resultado inusitado como os 26g/cm^3 de CoRoT-Exo-3b, conforme comento aqui http://www.sigmasociety.com/Corot-Exo-3b.pdf

Conhecimento é fundamental, mas não basta conhecer diversas ferramentas estatísticas e ter vasta experiência com aplicação mecânica dessas ferramentas em casos triviais. Além disso, é imprescindível compreender profundamente e detalhadamente as propriedades dessas ferramentas, bem como compreender as propriedades dos fenômenos nos quais se precisa aplicar as tais ferramentas. Também é preciso interpretar em que medida os modelos matemáticos estão representando de fato os fenômenos físicos e em que medida as propriedades observadas no modelo são inerentes exclusivamente aos modelos, mas não aos próprios fenômenos que eles tentam representar.

Se a pessoa tiver em mente estes conceitos, e os perceber com clareza, ela poderá formular métodos complexos e variados para testar o quão bom é um modelo, bem como poderá selecionar estratégias realmente eficientes. A descrição de um método particular seria quase totalmente irrelevante. Mais valioso (porém muito mais difícil de se tirar proveito) é tocar nos pontos cruciais do problema e indicar o caminho a ser seguido, deixando que cada um proceda de acordo com seu próprio estilo. Fazer boa ciência é para poucos e geralmente é algo que não se ensina nem se aprende. Ou se tem aptidão para isso, ou não. Por isso a "ajuda" que ofereço aqui, provavelmente só terá utilidade para quem já teria condições de lidar com o problema mesmo que não tivesse recebido a tal ajuda. Apenas será um reforço psicológico para que a pessoa saiba que está no caminho certo, mas acho improvável que alguém que esteja num caminho muito errado consiga retomar um bom rumo. Quem está perdido, provavelmente continuará perdido e nem sequer entenderá a maior parte do que foi dito aqui. E quem está enveredando por uma trilha promissora, apenas confirmará que deve continuar a fazer o que provavelmente já continuaria fazendo mesmo que não tivesse lido este artigo. Eu nunca seria um grande compositor, piloto ou futebolista, independentemente da elevada qualidade de "dicas" que eu recebesse de Vangelis, Schumacher ou Ronaldo. E se eu tivesse propensão a ser um dos melhores numa destas áeras, eu não precisaria de dicas deles para isso. Analogamente, este artigo é quase inútil, se analisado sob este aspecto, em que só ajudaria a quem não precisa de ajuda.