Paukas 3,907 Share Posted September 25, 2015 Можно отсюда поподробнее, как и куда они запаздывают. На самом деле зависит от того что делаешь. Например если покупаешь когда быстрая средняя пересекает медленную снизу вверх, то да, можно сказать что запаздывают. А вот если продаёшь, то наоборот, опережают. Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 форвардные тесты, которые есть лишь иллюзия. "видимо да, если считать Ваши представления абсолютными :-)" 1 Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 На самом деле зависит от того что делаешь. Например если покупаешь когда быстрая средняя пересекает медленную снизу вверх, то да, можно сказать что запаздывают. А вот если продаёшь, то наоборот, опережают. Вы меня запутали, дык запаздывает или опережает? Какую часть средств инвестировать? Link to post Share on other sites
Paukas 3,907 Share Posted September 25, 2015 Вы меня запутали, дык запаздывает или опережает? А мы таки покупаем или продаём? © Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 "видимо да, если считать Ваши представления абсолютными :-)" Безусловно, форвардный тест имеет право на жизнь при определенных условиях, но ему присущи недостатки. В общем случае - это обычно просто еще одна ступень курвафитта, ведь мы проводим отбор лучших из лучших еще и на форварде, делая одурачивание случайностью еще более жестким. Какую часть средств инвестировать? Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 А мы таки покупаем или продаём? © Погодите. У нас есть средняя за N периодов, причем тут покупаем или продаем, вопрос то простой - она запаздывает или опережает, и перед чем запаздывает\опережает. Просто я всегда думал, что средняя (применительно к рынку) - это просто конкретное значение посчитанное в окне за N периодов и куда либо опаздывать оно не может в принципе. Какую часть средств инвестировать? Link to post Share on other sites
kash.forever 212 Author Share Posted September 25, 2015 "видимо да, если считать Ваши представления абсолютными :-)" отвечаю тогда развернуто. нет единого устоявшегося определения подгонки, поэтому делать предположение, что кто-то плохо понимает, что это такое - нелепо, так как у каждого оно, определение и представление, - свое. Это по поводу подгонки. По поводу форвардного теста. Если можете доказать разницу между оптимизацией по 2002-2014 гг. с форвардным тестом по 2015 г. от оптимизации сразу по 2002-2015 гг. я с удовольствием почитаю. Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 (edited) Безусловно, форвардный тест имеет право на жизнь при определенных условиях, но ему присущи недостатки. В общем случае - это обычно просто еще одна ступень курвафитта, ведь мы проводим отбор лучших из лучших еще и на форварде, делая одурачивание случайностью еще более жестким. По поводу форвардного теста. Если можете доказать разницу между оптимизацией по 2002-2014 гг. с форвардным тестом по 2015 г. от оптимизации сразу по 2002-2015 гг. я с удовольствием почитаю.Основной недостаток форварда - это его превращение в обычный же тест неумением его правильно использовать, но при этом по прежнему называние его форвардом с претензией на то, что он что-то доказывает. Например: вместо оптимизации 2000-2015 делать оптимизацию 2000-2012 и форвард 2012-2015. Если вариант не проходит форвард, отбраковывать его и браться за следующий. При таком подходе будет выбран точно тот вариант, который лучше всего прошел бы весь тест 2000-2015. То, что формально называется форвардом, не защищает в таком варианте от подгонки. Чтобы форвард сделать реальным инструментом для дополнительной защиты от подгонки, его нужно применять более интеллектуально. Например, после оптимизации ряда каких-то параметров, делать всего один форвард по группе схожих результатов, и если он не проходит, отбрасывать всю группу разом. Браться за улучшение с другой стороны, оптимизировать другую группу и делать один форвард заново по тому же принципу. Edited September 25, 2015 by AntFX 1 Link to post Share on other sites
Paukas 3,907 Share Posted September 25, 2015 Погодите. У нас есть средняя за N периодов, причем тут покупаем или продаем, вопрос то простой - она запаздывает или опережает, и перед чем запаздывает\опережает. Просто я всегда думал, что средняя (применительно к рынку) - это просто конкретное значение посчитанное в окне за N периодов и куда либо опаздывать оно не может в принципе. Он человек как-то раз в Харькове отстал от поезда. Он тоже считал что раз объявили стоянку 20 минут, то поезд через 10 в принципе уйти не может. Но поезд запаздывал. Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 Основной недостаток форварда - это его превращение в обычный же тест неумением его правильно использовать, но при этом по прежнему называние его форвардом с претензией на то, что он что-то доказывает. Например: вместо оптимизации 2000-2015 делать оптимизацию 2000-2012 и форвард 2012-2015. Если вариант не проходит форвард, отбраковывать его и браться за следующий. Абсолютно верно, и так делает большинство. В общем случае, если по форварду принимается решение об отбраковки реализации, то это банальный курвафитт и ничего хорошего не принесет в будущем. Например, после оптимизации ряда каких-то параметров, делать всего один форвард по группе схожих результатов, и если он не проходит, отбрасывать всю группу разом. Браться за улучшение с другой стороны, оптимизировать другую группу и делать один форвард заново по тому же принципу. Ну это то же самое только более изощренно. Я лично против форварда, хоть двойного, хоть тройного. Какую часть средств инвестировать? Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 (edited) Ну это то же самое только более изощренно.Это не то же самое. Это то же самое, как если бы оптили по текущее время, поставили на демо и смотрели бы как результат ведет себя на реале, в результате либо ставили на реал, либо брались бы за дальнейшую доработку. Можно и без форварда это делать, если не жалко своего времени. Edited September 25, 2015 by AntFX 1 Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 Основная задача форварда в том, чтобы показать, являются ли результаты теста (или улучшения советника) результатом подгонки или же результатом найденной объективной закономерности. В любом случае в полученном с помощью форварда результате есть вероятность, что этот результат является следствием случайного стечения обстоятельств, и не доказывает наличия закономерности, и есть вероятность, что результат является не случайным и подтверждает наличие этой же закономерности на периоде форварда. При различных методологиях форвард-тестирования соотношение этих вероятностей может серьезно меняться. Например, если поступать с отбраковкой результатов 10000-прогонной оптимизации форвардом, то вероятность случайного подтверждения будет стремиться к 100%. А если при обнаружении закономерности всего 1 раз проверять её с помощью форварда и полностью отбрасывать если нет подтверждения, то вероятность достоверного подтверждения будет существенно выше, чем вероятность случайного подтверждения. Хотя, конечно же, вероятность случайности остается всегда при использовании форварда, абсолютно точным инструментом он не может быть в принципе. 1 Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 Это не то же самое. Это то же самое, как если бы оптили по текущее время, поставили на демо и смотрели бы как результат ведет себя на реале, в результате либо ставили на реал, либо брались бы за дальнейшую доработку. Можно и без форварда это делать, если не жалко своего времени. Если вы по форварду принимаете решение об отбраковке, хоть 1 реализации, хоть кучке по схожим параметрам, то это просто ступень курвафиттинга, более изощренная и возможно более эффективная в плане отбраковки случайных результатов. Я против оптимизации, т.к. она не дает никакого преимущества справа, опты нужно ставить исходя из логики компонентов систем. Особенно страшна оптимизация сплошняком, когда перебираются все варианты сразу по всем оптам одновременно. Какую часть средств инвестировать? Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 (edited) Я против оптимизации, т.к. она не дает никакого преимущества справаЭто одна из крайних точек зрения на оптимизацию, я лично придерживаюсь центристской точки зрения, что оптимизировать можно, но только с умом. Edited September 25, 2015 by AntFX 1 Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 (edited) Если вы по форварду принимаете решение об отбраковке, хоть 1 реализации, хоть кучке по схожим параметрам, то это просто ступень курвафиттингаЕсли слово "степень" заменить на "вероятность" - то все так и есть. При использовании форварда ненулевая вероятность курв-фиттинга всегда остается. Но ведь она имеется и без форварда, при любом тесте Особенно если мы имеем дело с мартингейлами кстати Edited September 25, 2015 by AntFX 1 Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 Основная задача форварда в том, чтобы показать, являются ли результаты теста (или улучшения советника) результатом подгонки или же результатом найденной объективной закономерности. В любом случае в полученном с помощью форварда результате есть вероятность, что этот результат является следствием случайного стечения обстоятельств, и не доказывает наличия закономерности, и есть вероятность, что результат является не случайным и подтверждает наличие этой же закономерности на периоде форварда. При различных методологиях форвард-тестирования соотношение этих вероятностей может серьезно меняться. Например, если поступать с отбраковкой результатов 10000-прогонной оптимизации форвардом, то вероятность случайного подтверждения будет стремиться к 100%. А если при обнаружении закономерности всего 1 раз проверять её с помощью форварда и полностью отбрасывать если нет подтверждения, то вероятность достоверного подтверждения будет существенно выше, чем вероятность случайного подтверждения. Хотя, конечно же, вероятность случайности остается всегда при использовании форварда, абсолютно точным инструментом он не может быть в принципе. Ну вот есть у нас изначально 1000 реализаций систем, мы прогнали их на оффсемпл, отбраковали, осталось 100, далее взяли аутсемпл, прогнали 100 там, отбраковали (хоть по группам хоть по одиночке), осталось 2. С чего вы взяли, что вероятность за счет форварда того, что эти 2 реализации неслучайны выросла? Все насамом деле решает не форвард, а то, на чем построенна логика системы и степень ее соответствия рынку, если там ее банально нет, то не поможет форвард ничем, а если она там есть, то форвард просто не нужен. ИМХО. Какую часть средств инвестировать? Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 Особенно если мы имеем дело с мартингейлами кстати Мартингейл - не ТС, всего лишь ММ, там тоже может быть логика и там тоже можно фиттить, а можно и не фиттить. Какую часть средств инвестировать? Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 Ну вот есть у нас изначально 1000 реализаций систем, мы прогнали их на оффсемпл, отбраковали, осталось 100, далее взяли аутсемпл, прогнали 100 там, отбраковали (хоть по группам хоть по одиночке), осталось 2. С чего вы взяли, что вероятность за счет форварда того, что эти 2 реализации неслучайны выросла? Все насамом деле решает не форвард, а то, на чем построенна логика системы и степень ее соответствия рынку, если там ее банально нет, то не поможет форвард ничем, а если она там есть, то форвард просто не нужен. ИМХО.Давайте начнем с того, что у нас нет 1000 качественно отличающихся и прибыльных на тесте реализаций систем для такого эксперимента А значит это является притягиванием чего-то за уши. Ключевым в успешности форварда является качество проверяемых идей - если форвард каждый раз применяется для проверки чего-то качественно иного, то его степень полезности возрастает. А если он применяется для проверки десятков и сотен вариантов оптимизации одного и того же параметра, то его полезность сильно падает. 1 Link to post Share on other sites
Influence 28 Share Posted September 25, 2015 Нет ничего лучше тестирования на разных валютных парах. Взять стандартные евро и фунта, приправить кроссами и йеновыми и посмотреть как ТС выдержит такое. Проблема подгонки отпадает сразу. Link to post Share on other sites
AntFX 6,474 Share Posted September 25, 2015 (edited) Проблема подгонки отпадает сразу.Как чаще всего и сама ТС, даже если она на одной-двух парах вполне рабочая ))) Например, еврабакс ходит значительно техничнее других пар и есть много систем, которые работают хорошо только на нем. Edited September 25, 2015 by AntFX 1 1 Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 (edited) Давайте начнем с того, что у нас нет 1000 качественно отличающихся и прибыльных на тесте реализаций систем для такого эксперимента А значит это является притягиванием чего-то за уши. Ключевым в успешности форварда является качество проверяемых идей - если форвард каждый раз применяется для проверки чего-то качественно иного, то его степень полезности возрастает. А если он применяется для проверки десятков и сотен вариантов оптимизации одного и того же параметра, то его полезность сильно падает. никто не говорил про прибыльные реализации, Вы вот сели делать систему, вы пока ее делаете на оффсемпле вы в процессе создания и оптимизации не то что из 1000 реализаций отбирать будете а из 10000, таким образом заранее забраковывая все то чтосливает на истории. Ну дык если идея качественная, то достаточно посмотреть просто на весь период теста, без разбивок на форвард, а если нет, то качество форвард никак не повысит - он отберет лучшие блестяшки из мусора, определить с хорошей вероятностью рабочие они или нет он не сможет. Т.е. я также могу нагенерить СБ 10000 штук и в 2 этапа (офф и аут) отбраковать эти СБ, оставя 2 реализации - вопрос, повысилась ли вероятность того, что эти 2 реализации не СБ? Edited September 25, 2015 by абыр валГ Какую часть средств инвестировать? Link to post Share on other sites
kash.forever 212 Author Share Posted September 25, 2015 (edited) подогнанная система давала прибыль и сломалась по причине подгонки. правильно оптимизированная система давала прибыль и сломалась по причине изменения рынка. какая из них была работоспособная? Edited September 25, 2015 by kash.forever Link to post Share on other sites
ToB. CyxoB 324 Share Posted September 25, 2015 Мартингейл - не ТС, всего лишь ММ, там тоже может быть логика и там тоже можно фиттить, а можно и не фиттить. Мартингейл это и не ТС, и не ММ. Это просто позор. 1 Link to post Share on other sites
Influence 28 Share Posted September 25, 2015 Как чаще всего и сама ТС, даже если она на одной-двух парах вполне рабочая ))) Например, еврабакс ходит значительно техничнее других пар и есть много систем, которые работают хорошо только на нем. В этом вся суть. Евро завтра может повести себя как угодно. Вместо 10-летнего тестирования EUR/USD, я предпочту годовое на нескольких парах. Link to post Share on other sites
абыр валГ 899 Share Posted September 25, 2015 Мартингейл это и не ТС, и не ММ. Это просто позор. Сухов, что с сигналом то, хочу провести научный эксперимент. Какую часть средств инвестировать? Link to post Share on other sites
Recommended Posts