Шарлатаны и негодяи прячутся в темных углах, поджидая тех, кто ничего не подозревает. Не становитесь их жертвами.

«Система Stonehenge Plus превратила $5000 в $1 000 000 всего за ПЯТЬ ЛЕТ. Stonehenge Plus была изобретена Stupendus Magnificus (В дословном переводе с латыни «Ошеломительный восхититель». Прим. перев.), ученым из NASA, обнаружившим, что метод, использовавшийся для управления космическими аппаратами, также применим для валютного трейдинга. С ТОЧНОСТЬЮ СВЫШЕ 90 %. У системы не было ни одного проигрышного месяца на протяжении 10 лет. Система настолько хороша, что мы планируем продать ЛИШЬ СТО КОПИЙ. Получите свою копию сейчас, пока она продается по цене всего $1999».

(Рекламное объявление торговцев системами)

Все, кто хотя бы немного занимается трейдингом, наверняка видели подобные объявления, равно как и те, кто интересуется трейдингом и получает прямую рассылку по этой теме. Но берегитесь, покупатели: есть много шарлатанов, использующих безответственные маркетинговые тактики и нереалистичные результаты тестирования прошлого для продвижения своих новых изобретений.

Многие из поставщиков сознательно выстраивают системы, которые никогда не принесут доходности, сопоставимой с той, которую обещают в рекламе. Некоторые из них сознательно меняют условия тестов для того, чтобы заставить системы выглядеть лучше, чем они есть на самом деле. Безусловно, не все продавцы столь неразборчивы в средствах. Некоторые верят в то, что продаваемые ими системы будут работать, не понимая, что их системы ошибочны по сути, или не зная, что тестирование данных прошлого имеет свои ограничения, не позволяющие использовать исторические результаты для предсказания будущего. Безусловно, есть и те, кто умеет избегать ошибок, связанных с историческим тестированием. Однако такие продавцы составляют подавляющее меньшинство, и для неискушенного трейдера крайне сложно распознать системы, разработанные с использованием хороших методов тестирования.

Даже профессиональные трейдеры зачастую не знают причин, по которым на практике их системы работают гораздо хуже, чем при историческом моделировании. Они знают о существовании этого феномена и принимают его во внимание, однако не понимают его причин. Трейдеры выделяют четыре основных источника расхождений между результатами исторического тестирования и реальной практики:

– Эффект трейдера: тот факт, что некий метод позволил кому-то заработать много денег, побуждает прочих трейдеров использовать сходные идеи. Чаще всего это приводит к тому, что метод перестает работать так же эффективно, как в самом начале.

– Случайные эффекты: успешные исторические результаты теста могут быть вызваны случайным стечением обстоятельств.

– Парадокс оптимизации: замена одного из параметров (например, использование 25-дневной скользящей средней по сравнению с 30-дневной в изначальной модели) снижает точность прогноза.

– Подгонка результатов или подгонка кривой: система может быть столь сложной, что окажется неприменимой для реальной практики. Система целиком базируется на ситуации прошлого, и небольшое изменение поведения рынка может привести к существенному искажению результатов ее использования.

В физике есть понятие эффект наблюдателя – суть его заключается в том, что измерение явления иногда влияет на само явление; обозреватель нарушает чистоту эксперимента самим фактом обозревания. Нечто подобное порой происходит и в трейдинге – проводимая сделка может изменить условия рынка, согласно которым предсказывался ее успех. Я называю такую ситуацию эффектом трейдера. Все, что повторяется с определенной регулярностью, рано или поздно будет замечено несколькими игроками на рынке. Таким же образом стратегия, успешно работавшая в недавнем прошлом, наверняка будет замечена многими трейдерами. Однако если слишком многие из них захотят воспользоваться преимуществами этой стратегии, она перестанет работать так же, как в прошлом.

Представьте себе стратегию прорыва. Если вам известно, что многие трейдеры планируют осуществить закупки в момент прорыва на достаточно вялом рынке, что вы можете сделать, чтобы заработать в этой ситуации? Какая стратегия позволит вам получить деньги с той же легкостью, как если бы вы их напечатали?

Возможно, вы захотите разместить свои приказы раньше, чем другие трейдеры, тем самым спровоцировав рост цен до уровней, вызывающих цепную реакцию размещения приказов крупными игроками. Тогда вы сможете продать им свою позицию и получить гарантированную прибыль – по сути, вы продвинули цены и получили преимущества по сравнению с другими игроками.

Представьте себе, что вы торгуете золотом. Что бы вы предприняли, узнав, что ACME планирует закупить, к примеру, 1000 августовских контрактов по цене 410,50 долларов?

Если бы вы смогли купить достаточно контрактов, чтобы поднять цену на рынке до этого уровня, вы могли бы их продать, как только этот уровень будет достигнут. С одной стороны, если текущая цена далека от желаемой, для того чтобы гарантированно поднять рынок до нее, может потребоваться больше денег, чем у вас есть. С другой стороны, если цена достаточно близка к желаемой и составляет, к примеру, 408 долларов, то серия покупок может поднять цену так, чтобы инициировать эти покупки со стороны ACME.

Так как вы сначала покупаете, а потом быстро продаете, вы можете изменить само понятие прорыва. Пока в действие не вступил эффект трейдера, прорыв означал пробитие уровня сопротивления, вследствие чего возникала высокая вероятность движения цены в предпочтительном направлении. Однако с появлением новых сделок, направленных лишь на то, чтобы сдвинуть рынок достаточно для возникновения прорыва, понятие прорыва изменилось.

Давайте изучим эту концепцию на конкретном примере. Представьте, что на рынке нет покупателей, готовых покупать по цене 408 долларов или выше, однако есть продавцы, желающие продать 1000 контрактов по любой цене выше 409 долларов, и эти приказы на продажу будут действовать как потолок, не позволяющий ценам подняться выше 409 долларов. Пока вы не разместили ваши дополнительные приказы на покупку, рынок вряд ли готов вырасти до уровня 410,50 долларов, соответственно, прорыв не происходит. С точки зрения симуляционной модели на базе прорывов в данной ситуации прорыва нет, а значит, сделки не проводятся.

Теперь представьте, что при тех же условиях вы входите в рынок и покупаете 1000 контрактов по средней цене 409 долларов; на рынке больше нет продавцов, готовых продавать по этой цене, поэтому вы покупаете еще 100 контрактов по цене 411 долларов. Эта сделка заставляет крупного покупателя начать действовать, и в это самое время вы продаете ему 1000 контрактов по 411 долларов. Хотя он считает, что получил хорошую цену, вы осуществили прекрасную сделку. Вам остается лишь избавиться от оставшихся 100 контрактов. Поскольку на рынке нет покупателей, готовых купить по недавней цене, вы должны ее снизить – вы продаете 100 контрактов по цене, на которую рынок был согласен, то есть 407 долларов. Вы теряете 4 доллара за 100 унций по 100 контрактам, то есть 40 000 долларов, однако вы заработали 2 доллара за 100 унций по 1000 контрактам и получили прибыль 160 000 долларов без учета комиссионных. Неплохо для нескольких секунд работы.

Что случилось с трейдерами из ACME, которые рассчитывали на перевес при прорыве? Они вошли в крупную позицию по причинам, отличным от тех, которые мог бы показать обратный (исторический) тест. Это – результат действия эффекта трейдера.

Показательный случай произошел с системой, очень популярной в недавнем прошлом, которая на протяжении нескольких лет демонстрировала прекрасные результаты. По этой причине многие брокеры стали предлагать ее своим клиентам. Как-то я слышал, что оборот с использованием этой системы достигал нескольких сотен миллионов долларов. Вскоре после того, как система достигла пика своей популярности, торговавшие с ее помощью трейдеры испытали падение, превосходящее по продолжительности и силе какие-либо аналоги в течение последних 20 лет тестирования. Система обладала одним недостатком. Если цена закрытия проходила определенные уровни, наутро ожидались приказы на покупку или продажу. Так как многие трейдеры знали, на каком уровне могли быть инициированы такие приказы, достаточно легко можно было купить на уровне закрытия в преддверии начала торгов на следующее утро. После этого можно было закрыть позицию продажей на следующее утро по цене открытия. Цена продажи могла быть выше из-за того, что в соответствии с правилами системы к началу утренней торговли формировалось определенное количество приказов на покупку. Чтобы еще больше усложнить ситуацию, авторы системы применяли портфели, в состав которых входили позиции на ликвидных рынках, таких как пиломатериалы и пропан, которые могли динамично двигаться на малых объемах. Многие из тех, кто торговал с помощью системы, также работали на этих ликвидных рынках.

Я уверен, что внезапный крах системы был спровоцирован в большей мере массовыми покупками, которые, по сути, на время разрушили перевес. Некоторые трейдеры используют любые повторяющиеся ситуации, которые замечают. Это один из поводов создать собственную систему, а с ее помощью хоть немного уменьшить вероятность того, что ваш перевес будет уничтожен эффектом трейдера: другие трейдеры не будут точно знать, когда вы собираетесь покупать, а когда – продавать.

Когда мы торговали для Рича, часто случалось так, что мы открывали сделки в одно и то же время. Трейдеры знали, что, когда от нас начинают поступать большие заявки, это может продлиться некоторое время, и начинали двигать рынок в определенном направлении. Это было рискованно для нас: мы использовали приказы с лимитами и в таких обстоятельствах могли не заключить нужных сделок, и нам пришлось бы отзывать приказы. Иногда, когда я планировал покупать и знал, что рынок отреагирует на шаги игроков, пытающихся сдвинуть его в направлении наших покупок, я посылал ложные приказы для обратных действий. А потом, когда рынок сдвигался, я отменял первоначальный приказ и размещал приказ с лимитом, близким к цене рынка или даже к оборотной стороне предложения. Например, если я хотел купить 100 контрактов, то сначала размещал ложный приказ на продажу. Если это был ложный приказ на продажу 100 контрактов по 415 долларов, а цены спроса и предложения на рынке составляли соответственно 410 и 412 долларов, наличие такого приказа могло сдвинуть цены к уровням 405 и 408 долларов. Затем я отменял ложный приказ и открывал сделку по покупке с лимитом 410 долларов и мог купить по 408 или 410 долларов, то есть по первоначальной цене спроса до моего первого приказа.

Такие вещи я делал нечасто, но это позволяло мне вводить других трейдеров в заблуждение относительно наших действий. Это похоже на блеф в покере. Вы не можете блефовать все время, иначе кто-нибудь вам ответит, примет игру и вы все потеряете. Однако если блефовать время от времени, можно выиграть, так как другие игроки, вступающие в игру в расчете на ваш блеф, могут существенно повышать ставки, не зная, что у вас на руках сильная карта. Порой, блефуя, можно сорвать весь банк.

Подобно тому как блеф вводит в заблуждение остальных игроков, Черепахи создавали путаницу тем, кто пытался вычислить стиль трейдинга Ричарда Денниса. Некоторые из нас использовали небольшие стопы, некоторые – большие. Кто-то покупал на прорыве, кто-то чуть раньше или чуть позже; в целом мы создавали дымовую завесу, что, возможно, помогало Ричу заключать больше сделок по нужным ценам.

Эффект трейдера может быть вызван не только сознательными попытками одних трейдеров опередить остальных. Если многие трейдеры пытаются использовать одну и ту же рыночную ситуацию, это может разрушить ее, хотя бы на время, так как их приказы «размоют» прорыв. Такая проблема чаще всего встречается в сделках арбитражного типа, где перевес обычно невелик.

Большинство трейдеров не осознают степени, в которой результаты их работы могут зависеть от совершенно случайных факторов. А типичный инвестор осведомлен о ней еще меньше, чем типичный трейдер. Даже весьма опытные инвесторы, например управляющие и принимающие решения от имени пенсионных и хедж-фондов, в целом не понимают степени этого эффекта. Результаты могут колебаться в фантастических пределах из-за полностью случайных событий. Величина колебаний в серии исторических тестов, включавших случайные события, была удивительно высокой. В этом разделе мы изучим возможности, возникающие вследствие воздействия случайных факторов при долгосрочном следовании трендам.

Обсуждая Е-ratio, я проделал симуляцию модели со случайными входами в короткую или длинную позицию, используя компьютер для генерирования того или иного решения, «бросания монетки». Я создал симуляционную систему, в которой совмещались случайные входы с выходами через определенные промежутки внутри диапазона от 20 до 120 дней. После этого я провел 100 тестов с теми же данными, которые в главе 10 использовались для сравнения стратегий следования трендам. Лучший тест в модели продемонстрировал результат 16,9 процента и превратил 1 миллион долларов примерно в 5,5 миллиона за 10,5 лет теста. Худший тест терял по 20 процентов ежегодно. Это показывает, что в данных ситуациях многовариантность возможна исключительно за счет случайных событий.

Что произойдет, если мы добавим небольшой перевес? Что если мы сделаем нашу систему более похожей на систему следования тренду путем добавления фильтра тренда, подобного тому, что мы используем в системе тренда Дончиана (в итоге этого сделки открываются случайным образом, но только в направлении основного тренда)? Ответы на эти вопросы интересны, потому что если вы изучите историю любого фонда, следующего за трендом, то обнаружите существенные различия в результативности. Если работа отдельного фонда хорошая, то менеджер фонда для объяснения успеха будет, разумеется, ссылаться на прекрасные стратегии и отличное исполнение. Однако прекрасные результаты могут быть достигнуты за счет случайных эффектов, а не прекрасной стратегии. Это становится очевидным, если понимать меру, в которой случайные эффекты могут влиять на результат в случае наличия перевеса.

Если добавить фильтр тренда к системе абсолютно случайно заключаемых сделок, средняя результативность существенно повысится, как показали итоги 100 тестов. В проведенном мной расчете средняя отдача выросла до 32,46 процента, а величина среднего падения упала до 43,74 процента. Но даже при добавлении фильтра тренда отдельные тесты показывают различные результаты. По итогам 100 независимых тестов лучший тест показал отдачу на уровне 53,3 процента, коэффициент MAR на уровне 1,58 и величину максимального падения, равную 33,6 процента. Худший из тестов показал отдачу на уровне 17,5 процента, а падение на уровне 62,7 процента.

Удача или случайные эффекты оказывают существенное влияние на деятельность трейдеров и фондов, несмотря на то что лучшие трейдеры не любят сознаваться в этом своим инвесторам. Инвесторы верят в то, что послужной список значит больше, чем он на самом деле значит. К примеру, человек, инвестирующий в определенный фонд, ожидает, что в результате инвестирования он получит отдачу, сопоставимую с историческими результатами работы фонда. Проблема в том, что, глядя только на послужной список фонда, невозможно определить разницу между отличной трейдерской операцией со средним уровнем удачи и средней трейдерской операцией с огромной долей удачи. Случайные эффекты слишком разнообразны и многочисленны, поэтому их не всегда возможно с точностью определить.

Давайте взглянем на лучший результат из проведенных мной 100 тестов. Если бы какой-нибудь трейдер торговал чуть менее агрессивно, например на уровне 25 процентов от обычного уровня Черепах, то, как показал один из тестов, в течение 10 лет он мог бы обеспечить 25,7 процента отдачи при уровне падения 17,7 процента. Как мы знаем, трейдер, заключающий сделки случайным образом, скорее всего, не сможет обеспечить сопоставимые уровни доходности в будущем, так как в случайной торговле нет перевеса. К сожалению, многие успешные трейдеры, по сути дела, не представляют себе, чему именно они обязаны своими успехами.

Суть случайных эффектов можно также понять, если изучить их присутствие в природе. Интеллект, рост, атлетическое сложение, способности к пению – все эти качества являются результатом действия случайных эффектов. Если ваши гены достаточно хороши для определенной характерной черты (то есть эта черта присутствует у обоих родителей), достаточно велики шансы того, что эта черта будет присутствовать и у вас, хотя, возможно, и не в такой степени. Если ваши отец и мать имеют высокий рост, вы, вероятно, также будете высоким. Однако чем дальше их рост от среднего (нормального) значения, тем больше шансов того, что вы будете ниже их.

В генетике и статистике такая ситуация известна как эффект регрессии или возврат к среднему значению. Человек, чьи родители имеют высокий рост и передали ему свои гены, обладает на первый взгляд достаточно успешной комбинацией генов с точки зрения роста. Однако родители могут передать ребенку свои наследственные признаки просто как генетический потенциал. То есть их ребенок, скорее всего, будет иметь рост более близкий к среднему, так как маловероятно, что у него проявится такая же удачная комбинация генов, как и у его родителей.

Если мы проведем расчеты по разделению групп фондов на успешные и недостаточно успешные, то обнаружим результат действия случайных эффектов. Причина этого заключается в том, что средних удачливых трейдеров больше, чем отличных, но неудачливых. Представьте группу из 1000 трейдеров, 5 или 6 из которых действительно превосходны. Если 80 процентов из 1000 близки к средним трейдерам, только у 5 или 6 есть вероятность быть неудачливыми, а у 800 есть шанс поймать удачу. Если 2 процента трейдеров будут удачливы настолько, что их послужной список за 10 лет будет хорошим – а описанный выше тест показывает, что реальное количество таких трейдеров может быть и больше, – это означает, что группа численностью 21 человек демонстрирует прекрасные результаты, причем только четверть ее состава действительно отличные трейдеры.

Со временем награда приходит к действительно отличным трейдерам, а не только к удачливым. Если 16 трейдеров удачливы на протяжении 10 лет, то по истечении следующих 15 лет их результаты будут, скорее всего, ближе к средним. И наоборот, если рассмотреть итоги пятилетнего периода, то количество трейдеров с высокими результатами, которым на самом деле просто повезло, будет значительно более впечатляющим. Такая взаимозависимость обусловлена тем, что в короткие периоды тестирования роль случайных факторов существенно выше.

Что случится с показателями нашего теста, если мы возьмем короткий промежуток времени, например 3,5 года, с января 2003 года по июнь 2006 года? Для этого периода средняя отдача при случайных входах составляет 35 процентов, а коэффициент MAR составляет 1,06. Настоящие системы показывают более хороший результат. Система тройной скользящей средней принесла 48,5 процента отдачи с коэффициентом MAR, равным 1,50. Система прорывов Боллинджера принесла 52,2 процента отдачи с коэффициентом MAR, равным 1,54, а система двойной скользящей средней – 49,7 процента отдачи с коэффициентом MAR, равным 1,25.

Если говорить о случайных тестах, сколько удачливых трейдеров по итогам 100 тестов смогли показать хорошие результаты? Сколькие счастливчики смогли показать более высокие результаты, чем системы? У 17 тестов из 100 коэффициент MAR был выше 1,54; из этих 17 только у 7 отдача была выше, чем 52,2 процента. А самый удачливый трейдер, торговавший без системы, получил 71,4 процента отдачи с падением на уровне 34,5 процента и коэффициентом MAR, равным 2,07. Эти цифры могли бы дать пищу для размышлений тем, кто склонен изучать успех того или иного трейдера, основываясь лишь на результатах его работы за три года.

Оценивая итоги работы за короткий срок, вы должны понимать, что существенная часть результата связана исключительно с удачей. Чтобы понять, относится ли трейдер к счастливчикам или он действительно великолепно выполняет свою работу, нужно копнуть глубже и сфокусироваться на людях, стоящих за результатами работы фонда.

Хорошие инвесторы вкладывают деньги в людей, а не в исторические результаты. Они знают, как идентифицировать способности, создающие великолепные результаты в будущем, а также могут определить черты, свидетельствующие о средних способностях к трейдингу. Этот метод является лучшим способом преодоления действия случайных эффектов. Однако хорошая новость для любителей исторического моделирования состоит в том, что на самом деле достаточно просто определить, когда результаты обратного теста вызваны случайными эффектами, а когда – наличием перевеса в системе. В главе 12 мы подробно обсудим этот вопрос, но сначала давайте рассмотрим еще две причины, по которым обратное тестирование не соответствует реальности.

Различия между результатами тестирования и реальной работы могут быть вызваны еще одной причиной, которую я называю парадоксом оптимизации. Парадокс часто вызывает путаницу, особенно среди трейдеров, которые слабо знакомы с принципами компьютерного моделирования. Оптимизация – это процесс определения того, какие числовые значения следует использовать при торговле с помощью системы, основанной на расчетах. Эти числовые значения называются параметрами. Например, в длинном скользящем среднем параметром является количество дней. Другим параметром является количество дней в коротком скользящем среднем. Оптимизация представляет собой процесс выбора наилучших, или оптимальных, значений для данных параметров. Многие трейдеры не признают оптимизацию, считая, что она подразумевает подгонку кривой и в итоге ведет к искажению результатов. Но я считаю, что это чушь!

Правильная оптимизация полезна, так как всегда лучше оценивать результаты, изучая изменения какого-либо параметра, чем игнорировать их. Зачастую это помогает выявить, что результаты достигнуты благодаря случайным эффектам, а не наличию перевеса в системе. Оптимизация – это исследование влияния того или иного фактора на результаты, а затем принятие квалифицированного решения о том, какой из них следует использовать при реальной торговле.

Трейдеры, считающие, что оптимизация плоха или даже опасна, либо не понимают парадокса оптимизации, либо видели эффекты некорректной оптимизации, приведшей к тому, что в статистике известно как чрезвычайно близкая подгонка или сверхточность.

Парадокс оптимизации предполагает, что оптимизация параметра приводит к возникновению системы, которая с достаточной вероятностью будет эффективно работать в будущем, однако, скорее всего, не будет работать так же хорошо, как в симуляционной модели. Таким образом, оптимизация улучшает возможное действие системы, одновременно снижая точность исторических измерений для целей прогнозирования. Этот парадокс еще не понят до конца, что приводит многих трейдеров к отрицанию оптимизации систем из-за страха сверхточности или подгонки кривой в системе. Тем не менее я заявляю, что правильная оптимизация целесообразна.

Рисунок 11-1. Изменение значения коэффициента MAR при изменении порога входа

Copyright 2006 Trading Blox, все права защищены.

Использование значений параметров, определенных в ходе корректной оптимизации, должно повысить вероятность получения хороших результатов при реальной торговле в будущем. Это может подтвердить следующий пример. Как вы помните, в системе прорыва Боллинджера присутствуют два параметра. На рисунке 11-1 изображен график значений коэффициента MAR как отправного входного параметра, определяющего ширину канала волатильности в показателях стандартного отклонения, при значениях от 1 до 4 величин стандартного отклонения.

Заметьте, что пиковыми для данной модели являются результаты при ширине канала, равной 2,4 величинам показателя стандартного отклонения. Любое значение входного порога, меньшее или большее 2,4 в рамках данного теста, покажет более низкое значение коэффициента MAR.

Теперь, возвращаясь к моему утверждению о целесообразности оптимизации, давайте предположим, что мы не оптимизировали ширину канала, а решили просто использовать ширину канала, равную 3,0. Мы принимаем такое решение, помня из курса статистики, что в нормальном распределении более 99 процентов значений находятся в пределах 3-процентного отклонения от среднего. Если предположить, что ситуация в будущем не изменится, такое решение приведет к тому, что мы выложим много денег, и при этом наш трейдинг испытает гораздо более глубокое падение, чем можно было бы ожидать при входном значении 2,4. Для того чтобы дать вам представление о том, насколько существенна разница, скажу, что тест при параметре 2,4 приносит за период 10,5 лет в 8 раз больше денег при том же уровне падения, что тест при параметре 3,0. Отдача при параметре 2,4 приносит 54,5 процента по сравнению с 28,2 процентами при входном значении, равном 3,0.

Рисунок 11-2. Изменение значения коэффициента MAR при изменении количества дней скользящей средней

Copyright 2006 Trading Blox, все права защищены.

Отвергая оптимизацию, вы, по сути, оставляете трейдинг на волю случая, сознательно выбирая неведение. Теперь, когда мы увидели, как влияют изменения этого параметра на результат, мы стали лучше понимать, насколько могут различаться результаты в зависимости от величины входного параметра и насколько они действительно зависимы от него. Мы знаем, что, если канал слишком узок, нам придется осуществлять много сделок, а это влияет на наши результаты; если же канал слишком широк, мы пропускаем существенную часть тренда, не входя в него, а это также влияет на конечный результат. Если вы не проводите исследование, потому что боитесь сверхточности или подгонки кривой, вы лишаете себя полезного знания, способного улучшить результаты вашего трейдинга и дать вам идеи по совершенствованию системы в будущем. В последующих разделах мы разберем еще несколько параметров, принимающих, как вы увидите, при изменении значений на графике форму горы.

На рисунке 11-2 изображен график значений коэффициента MAR при изменении количества дней в скользящей средней (определяющего центр канала волатильности в ленте Боллинджера) со 150 до 500 дней.

Заметьте, что пиковыми для данного теста являются результаты для значения 350 дней. Любое значение выше или ниже 350 дней в данном тесте приводит к уменьшению коэффициента MAR.

На рисунке 11-3 изображен график значений коэффициента MAR как пороговых значений выхода. Пороговое значение определяет точку выхода. Ранее, обсуждая в книге систему прорыва Боллинджера, мы говорили о том, что выход из системы производится, когда цена закрытия пересекает скользящую среднюю, определяющую центр канала. В данном тесте я хотел проверить, что случится, если выход из системы будет произведен до или после момента пересечения. Для длинных позиций позитивный порог выхода обозначает количество стандартных отклонений выше скользящей средней, а для коротких позиций – количество стандартных отклонений ниже скользящей средней. Отрицательные значения ниже скользящей средней определяют длинную позицию, а выше него – короткую позицию. Значение параметра, равное нулю, соответствует первоначальной системе, то есть выходу в момент пересечения скользящей средней. Обратите внимание, что происходит на рисунке 11-3 при изменении порога выхода для значений от -1,5 до 1,0. Заметьте, что пиковыми являются значения при величине параметра, равной -0,8. Любое значение, большее или меньшее -0,8, в рамках данного теста приведет к уменьшению значения коэффициента MAR.

Рисунок 11-3. Изменение значения коэффициента MAR при изменении порога выхода

Copyright 2006 Trading Blox, все права защищены.

Исторические тесты позволяют делать прогнозы, то есть показывают уровни эффективности, которых можно ожидать в будущем. Чем больше будущее напоминает прошлое, тем ближе результаты трейдинга будут к результатам исторического тестирования. Большая проблема исторического тестирования как средства системного анализа заключается в том, что будущее никогда не бывает точно таким же, как прошлое. Пока система зарабатывает деньги на неизменном поведении игроков рынка, отражающемся на состоянии рынка, можно говорить о допустимой аппроксимации будущего, хотя и не совсем точной. Исторические результаты теста, проведенного со всеми оптимизированными параметрами, показывают достаточно специфическую картину сделок – это сделки, заключенные при использовании системы в ее наилучшем виде. То есть симуляционная модель показывает, какой наилучший результат мог бы быть продемонстрирован в прошлом.

Можно было бы ожидать таких же результатов от реального трейдинга, если бы будущее в точности соответствовало прошлому. Но это никогда не произойдет! Давайте еще раз посмотрим на графики в данной главе: каждый из них имеет форму, напоминающую гору с вершиной, как, например, на рисунке 11-4.

Если значение в точке A обозначает типичное неоптимизированное значение параметра, а значение в точке B обозначает оптимизированный параметр, я бы сказал, что В представляет лучшее значение параметра с точки зрения трейдинга, при котором, однако, результаты будущего трейдинга будут, скорее всего, хуже, чем в исторических тестах.

Значение параметра A хуже с точки зрения трейдинга, однако лучше с точки зрения прогнозирования, потому что если торговля в системе производится на базе этого значения, то реальные результаты могут быть либо лучше, либо хуже, чем значения исторических тестов на базе значения параметра, равного A.

Рисунок 11-4. Примеры значений A и B

Почему так происходит? Чтобы прояснить ситуацию, давайте предположим, что будущее изменится таким образом, что сдвинет график либо влево, либо вправо – мы точно не знаем куда. Слева и справа от значений A и B на рисунке 11-5 присутствует набор значений – возможных изменений параметра в связи с изменчивостью будущего. Мы называем такие параметры границами ошибки.

В случае значения A любые изменения значения оптимального параметра влево от A приведут к ухудшению результативности, а любые изменения вправо – к улучшению результативности. Таким образом, тесты со значением параметра, равного A, могут использоваться в качестве прогноза вне зависимости от будущих результатов, потому что с этим значением мы можем получить либо слишком негативные, либо слишком позитивные прогнозы.

Рисунок 11-5. Параметры A и B с границами ошибки

В случае значения, равного B, мы придем к другим результатам. Любое изменение, неважно – влево или вправо, приведет к ухудшению результатов.

Это означает, что проведение тестов с использованием значения B, скорее всего, даст слишком оптимистичный прогноз. Если оптимальные значения выставлены по нескольким параметрам, эффект будущих изменений будет еще сильнее. Это означает, что наличие многих оптимизированных параметров снижает вероятность того, что будущее станет столь же прекрасным, как прогнозы, сделанные на основе оптимальных параметров.

Это не означает, что при проведении сделок мы должны использовать параметр A. Даже в случае существенного сдвига значения вокруг B все равно выше, чем вокруг A. Таким образом, даже если оптимизация уменьшает ценность прогноза, вы все равно захотите торговать с использованием значений, которые, по всей видимости, приведут к позитивным результатам, даже в случае сдвига.

Парадокс оптимизации часто является причиной обмана и мошенничества. Многие недостаточно тщательно выстроенные системы демонстрируют высокую отдачу и поразительные результаты (особенно в краткосрочной перспективе), достигнутые, возможно, с помощью оптимизации для конкретных рынков. Поставщики систем декларируют эти результаты, зная, что достижение их в будущем вряд ли осуществимо. Однако тот факт, что оптимизация может привести к тестам, слишком позитивно оценивающим будущие результаты, не означает, что ее не надо проводить. На самом деле оптимизация критически важна для построения устойчивых систем трейдинга.

Жулики часто используют другие методы для получения нереалистичных исторических результатов. Самые беспринципные из них сознательно подгоняют результаты под определенные кривые. Подгонку результатов часто путают с оптимизацией, однако это вопросы разного порядка.

Подгонка возникает в случаях, когда система является слишком сложной. Вполне возможно добавить к системе правила, улучшающие ее исторические результаты, но только при условии, что такие дополнительные правила оказывают влияние лишь на небольшое количество важных сделок. Добавление таких правил может привести к подгонке. Особенно справедливо это для сделок, проводимых в периоды, критические для кривой капитала системы. Например, правило, позволяющее вам выходить из прибыльной сделки на уровне, близком к пиковому, безусловно, улучшит результативность, однако будет являться подгонкой, так как неприменимо в большом количестве ситуаций.

Я наблюдал многочисленные примеры того, как поставщики систем использовали эту технологию для улучшения показателей системы после неудачных периодов. Порой они начинают продавать лучшие, исправленные системы под названием Плюс или Версия 2. Поэтому желающие приобрести «улучшенную систему» должны хорошенько изучить природу правил, составляющих улучшения системы, для того чтобы выяснить, не связано ли улучшение с подгонкой.

Я нахожу полезным для изучения феноменов тестировать их на предельных значениях. Сейчас я представлю вам систему, в рамках которой проводится вопиющая подгонка результатов. Мы начнем с простой системы двойной скользящей средней и станем постепенно добавлять правила для подгонки результатов. Если вы помните, за последние 6 месяцев система испытала достаточно неприятное падение. Поэтому я добавлю несколько правил, чтобы уменьшить эффект такого падения и улучшить результаты. Я буду сокращать размер позиций на определенное количество процентов при достижении определенного уровня падения, а затем, по завершении падения, возобновлю торговлю в обычных объемах.

Для реализации этой идеи мы добавляем правило с двумя параметрами оптимизации: объем сокращения позиции и уровень, на котором производится сокращение. Я смотрю на кривую капитала в нашей модели и принимаю решение о том, что позиции будут сокращены на 90 процентов при уровне падения, равном 38 процентам. Это улучшает результаты с 41,4 процента до 45,7 процента, уровень падения снижается с 56,0 до 39,2 процента, а коэффициент MAR вырастает с 0,74 до 1,17. Кто-то решит, что это отличное правило, улучшающее систему. И будет неправ!

Рисунок 11-6. Изменение коэффициента MAR при изменении количества дней в скользящей средней

Copyright 2006 Trading Blox, все права защищены.

Проблема в том, что это правило действует только один раз в ходе всего теста, в самом его конце; кроме того, я воспользовался моим знанием кривой капитала. Это говорит о том, что система сознательно подгонялась под известные результаты. «Ну и в чем проблема?» – спросите вы. Взгляните на форму кривой на рисунке 11-6, на котором мы изменили порог выхода при падении и сократили позиции.

Вы наверняка заметили резкое падение результативности при использовании порога для выхода при падении, меньшем 37 процентов. Фактически изменение порога выхода при падении всего на один процент изменяет годовые результаты с прибыли на уровне 45,7 процента на убытки в размере 0,4 процента. Нам пришлось применить наше новое правило в августе 1996 года, после чего наши позиции сократились так сильно, что мы не смогли заработать достаточно денег для того, чтобы выбраться из этой ямы. Так что, возможно, это не такое уж хорошее правило. Оно сработало только для первого случая и только потому, что падение произошло достаточно близко к концу периода тестирования.

Трейдеры называют этот феномен обрывом. Наличие обрывов – существенных изменений результатов вследствие небольших изменений значений исходных параметров – отличный индикатор того, что вы подогнали данные; и вследствие этого ваши реальные результаты будут крайне отличаться от результатов, полученных в ходе тестирования. Это еще раз свидетельствует в пользу оптимизации параметров: вы можете сразу видеть обрывы и выявить источник проблемы до начала трейдинга.

Как я уже говорил, люди склонны уделять слишком много внимания редким случаям возникновения какого-то феномена, несмотря на то что со статистической точки зрения из нескольких случаев невозможно извлечь много информации. Это – основная причина подгонки. Правила, которые вступают в действие нечасто, могут вызывать ненамеренную подгонку, приводящую к расхождениям между результатами тестирования прошлого и реального трейдинга.

Хорошим примером этого является сезонность. Тестирование сезонных изменений на протяжении 10 лет предполагает изучение всего 10 случаев возникновения определенного сезонного феномена – со статистической точки зрения такая выборка недостаточна, поэтому все тесты с ее использованием не дают точных прогнозов на будущее.

Давайте рассмотрим правило, которое игнорирует эту концепцию и предполагает использование компьютера для того, чтобы избежать подгонки. Вы могли заметить, что на протяжении нескольких лет результаты сентября были плохими – поэтому мы тестируем правило, улучшающее показатели сентября на некий процент. Вы можете воспользоваться компьютером для поиска любых неудач, связанных с сезонностью, и для улучшения результатов в этих периодах.

Я проделал это для системы, описанной в данной главе. Я провел около 4000 тестов, уменьшавших значение позиции в начале каждого месяца на некоторое количество процентов в течение нескольких дней, а по истечении этого периода начинал вновь торговать в полную силу. За десятилетний период тестирования я обнаружил всего два периода, в которых эти действия приводили к изменениям. Если сокращать позиции на 96 процентов в первые два дня сентября и первые 25 дней июля, можно улучшить результаты. Хотите узнать насколько?

Применение правила улучшает отдачу с 45,7 до 58,2 процента, падение немного вырастает с 39,2 до 39,4 процента, а коэффициент MAR растет с 1,17 до 1,48. И вновь мы думаем, что это отличное правило и что с его применением система заработает лучше.

К сожалению, это правило работает только потому, что в эти периоды в прошлом было существенное падение. Маловероятно, что падения в эти конкретные периоды вновь повторятся. Это – пример самой неправильной подгонки. Удивительно, как много людей, толковых во всех прочих вопросах, умудряются попасться на эту удочку.

Не зная истинной причины, можно подумать, что это отличная система для начала трейдинга. Возможно, вы даже начнете собирать деньги на трейдинг у друзей и родственников, рассказывая им об этой прекрасной системе и ее результатах. Проблема только в том, что на самом деле ваша система приносит не 58,2, а 41,4 процента, падение составляет не 39,4, а 56,0 процентов, а коэффициент MAR равен не 1,48, а 0,74. В итоге все закончится разочарованием в реальных результатах – к сожалению, вы были слишком увлечены легкими поправками системы, что привело к подгонке кривой.

Далее мы обсудим возможности предотвращения проблем, описанных в этой главе. Я покажу вам способы минимизации эффекта трейдера, определения случайных эффектов, корректной оптимизации и предотвращения сверхоптимизации исторических данных – так, чтобы, используя ту или иную систему, вы могли получить реальные сведения, а не иллюзорные прогнозы.