Качественное моделирование советников и их настройка.

Всем доброго времени суток. у меня вопрос на уже до дыр заезженную тему о качестве моделирования. история такова ...... при первых тестах оптимизировал сову на всей доступной историй и результат всё знают "плохо"... потом брал период в пол года и экспериментировал с разными параметрами и критериями, выбирал лучший результат и приходил к следующим периодам в пол года, так 3,5 лет и суммировал хороший результат в, вроде как, неплохую сову..... но как и всем мне хочется максимально хороший результат (под словами хороший я имею введу на который можно положится в будущем). начал рыскать за инфой, много материала, нашёл, Tick Data Suite (в прошлом он же "birt's patch") и конечно Dukascopy c их котировками. Появилось много вопросов которые я хотел бы поднять в этой теме и самому разобраться и конечно помочь таким как я.

1. Котировки которые мы качаем с Dukascopy в .csv формате ..... есть скрипты которые меняют этот формат на .hst csv2fxt_v0.41 один из них. (если есть ещё прошу кидать ссылки или пакеты, пригодится)))) Если запустить тестирование после роботы скрипта то он его отменит, как я понимаю надо программа которая отменит запрет от МТ4 на вес исторического файла, читал что максимум 2гг а это не более одного года. Tick Data Suite убирает этот запрет...... а вот есть ли что-то ещё что выполняла такую же функцию но только целенаправленно и что немаловажно бесплатно.

2.Если качать файлы с Dukascopy периодом не более одного года делать всю вышеперечисленную процедуру то будет ли тестер выбрасывать ошибку или всё будет работать как надо и можно будет обрабатывать каждый год по отдельности только разве что это будет немного неудобно постоянно перекидывать .hst или может есть другой способ.

3.В нЭт просторах есть "birt's patch" и дополнительные программы для немного другого способа достижения 99% моделирования. http://avtoforex.ru/testirovanie/5-kachestvo-modelirovanija-99-procentov-v-testere-strategij.html тут подробное описание обоих способов с файлами. Только вот для использования этого способа надо терминалы 409 billd. Есть там такие но я не являюсь клиентом не одного из них .... прошу у кого есть скинуть установочный файл для Alpari и других брокеров, чем больше тем лучше.

4.Программа Tick Data Suite выполняет не только функцию отмены рамок для МТ4 но и ...... что ещё делает эта прога? При наличие всех функций можно собрать набор скриптов и других инструментов для создания рабочей зоны с целью качественного моделирования.

Р.С. Заранее ОГРОМНОЕ спасибо всем за помощь и информацию. Я не думаю что 100$ это большая сумма для программы как Tick Data Suite,которую они просят, и ребята действительно постарались на славу и их заслужили, сам планирую её купить (и сделать образ для раздачи на торрентах "без обид" ) но хочется иметь другие варианты не мене хорошие как и при покупки этого продукта.

>> но как и всем мне хочется максимально хороший результат (под словами хороший я имею введу на который можно положится в будущем). начал рыскать за инфой' date=' много материала, нашёл, Tick Data Suite (в прошлом он же "birt's patch") и конечно Dukascopy c их котировками

Чтобы получить максимально хороший результат, нужно использовать не тики Дукаскопи, а тики Альпари (вы же не в Дукаскопи торгуете, они даже не являются контрагентом Альпари сейчас, а на форексе у каждого поставщика котировки отличаются). С недавнего времени Альпари тоже предоставляет свои тики: alpari если хотите получить качественный тестинг для торговли здесь, нужно приспособить TDS к их использованию. В открытом доступе я не видел таких решений.

>> есть скрипты которые меняют этот формат на .hst csv2fxt_v0.41 один из них

Все таки вы имеете в виду получение файлов fxt для тестера, а не hst? Конкретно [b']тиковый[/b] hst качественно получить невозможно (но вполне можно получить минутные бары Bid и Ask на основе тиковой истории). Файлы и fxt и hst формирует сама программа Бирта.

Я лично не встречал бесплатных аналогов TDS.

Пункт 2. тот же ответ. Стоит всего 100 баксов, заплатите их раз и будет вам счастье.

4.Программа Tick Data Suite выполняет не только функцию отмены рамок для МТ4 но и ...... что ещё делает эта прога?

Кроме отмены 2 Гб рамок она дает возможность осуществлять тиковое тестирование с реальными плавающими спредами, что гораздо важнее. Именно это делает тестинг наиболее приближенным к реальному.

Как я понимаю это единственный на данный момент инструмент который даёт возможность тестировать сову с плавающим спредом...... и вообще это как? Вот на примет 23.16.2009 спред был 2 а через день он 3 и программа это всё меняет в процессе тестирования на всём казаном периоде? Потому что есть много скриптов да и на самом тестере есть возможность зафиксировать спред. Но он будет фиксированным как вот 2 и не как иначе а TDS его меняет завися от историй так?

Да и ещё, на многих сайтах, где объясняется как достичь 99% моделирования, упоминалось что именно Дукас является поставщиком котировок для Альпари и поэтому когда я тестил 90% на Альпари и потом 99%, на трале TDS, результаты почти не отличались (стопы и профит были в радиусе 20 40 пунктов так что думаю это хоть немного весомо) или я ошибаюсь.

Да, это единственный инструмент для МТ4, насколько я знаю. Он записывает данные спреда в пунктах на каждом тике в поле объема в файле fxt. И заставляет МТ4 исполнять аски с учетом этой прибавки вместо фиксированного спреда.

Дукас давно не является поставщиком Альпари, это сильно устаревшая информация.

вот если я найду мт4 от Альпари 409 билд и закачаю на него историю с Дукаса и настрою к работе..... результат можно считать не качественным, даже если он 99%, так как у Альпари другие котировки да и тест на Альпари с стандартным пакетом исторических данных, который предоставляет сам Альпари, будет намного точней и достоверен даже если там 90% моделирования, получается так?

И ещё ...... я тут подумал, если можно доверять точности окончательного продукта, после использования всех процедур создания 99% моделирования, то сам тест не обязательно проводить именно на терминале своего брокера, так как исторические данные мы всё равно качаем с одного источника, получается нам надо просто терминал от любого брокера который будет работать с скриптом от TDS?

как в тиковом архиве альпари качь... инфу за несколько лет или у них её пока нет?

Я не помню что делал старый патч, сам пользуюсь купленной программой, если он тоже давал возможность тестов с плавающим спредом, то можно использовать и его.

Я лично не вижу особого смысла заморачиваться чтобы брать Дукасовскую тиковую историю для Альпари. Если уж брать то "родную" историю данного ДЦ или пусть уже моделирует тики из минуток с фиксированным спредом...

То что у вас написано "качество моделирования ХХ%", это число просто записывается в файл fxt и потом отображается в тестере. Можете там 0% или 100% поставить, чуть подправив скрипт формирующий fxt, это ни на что не влияет :=))

Действительно, без разницы на терминале какого брокера проводить тесты, главное содержание файлов fxt, туда записываются все торговые условия брокера при тестировании.

В тиковом архиве Альпари есть история с апреля 2013, более ранней нет.

Как я понимаю вы работаете с Альпари, с его родными графиками просто используете TDS и всё..... вы не советуете обращать внимание на цифры в 99% так как это просто пафосная формальность. Мне просто интересно знать будет ли достаточно, просто скачать историю у Альпари и с 90% моделирование и быть спокойым что результаты будут весьма близки к реальности или это не так?

Это сильно зависит от тестируемой стратегии. Если бы обычного тестинга для моей стратегии было бы достаточно, я бы конечно не заморачивался :=))

Это сильно зависит от тестируемой стратегии. Если бы обычного тестинга для моей стратегии было бы достаточно, я бы конечно не заморачивался :=))

Что вы имеете ввиду под словами обычная стратегия?

Да и тут возник новы вопрос...... вот я написал советника, протестил его во все критерий, запустил на дЭмку, ну и он дал результат. Какой там был результат не важно,а важно вот что, после месяца торгов, и не одним днем пропуска, я записал результаты и потом протестировал его на тестере. Результаты одинаковы, гистограмма прибыли сохранена. После 2 или 3 месяцев я вернулся к тестированию этого советника и при тесте он мне показал абсолютно новый результат. Поясню, история была так же, потом закачал новую, потом установил новый терм. и закачал уже туда, короче как не выёживался результат уже был другой, между собой одинаковый но уже не тот что 3 месяца назад а именно тогда реальная торговля была на демке и именно та гистограмма прибыли была идентична результатом двухмесячной торговли. Подскажите пожалуйста как это....... получается что...... у меня даже нет предположений.

П.С. Тот же процесс и в тоже время был на Альпари, выше описанный вариант был на другом брокере, и результат не меняется до сих пор, но хочется знать почему так или хотя бы понимать почему так может быть, ещё раз спасибо господа!!!

Я не говорил слов "обычная стратегия", я говорил "обычный тестинг" - это тестинг в режиме "все тики" с фиксированным спредом при наличии минутной истории котировок. Если стратегия среднесрочная, то для неё должно вполне хватать этого режима, если это скальпинг, то, возможно, его недостаточно.

При одинаковой истории, одинаковом режиме тестировании и одинаковом установленном спреде результат тестирования должен быть идентичен. Различаться он может только в том случае, если один из этих трех элементов - история, режим тестирования или спред, в двух случаях отличаются.

Прошу прощения что вклиниваюсь, но тоже вопросы по теме.

В тестере возможно учесть вот эти факторы:

1) Закрытие позиции не внутри гэпа, а по цене открытия недели.

2) Имитировать проскальзывания. Например выполнять через 2 секунды искусственное закрытие по стопу в тестере.

Просто если нет, то не понятно для чего нужно такое высокое качество моделирования. Что оно даст? По логике срабатывания тоже самое, что и по всем тикам.

1) Закрытие позиции не внутри гэпа, а по цене открытия недели.

Отложенные ордера тестер исполняет именно так, к сожалению, это изменить, насколько я знаю, невозможно. Но поскольку тестер вызывает советник строго на всех тиках, вы можете заменить отложенные ордера и стопы рыночными ордерами, тогда сможете контролировать их исполнение.

2) Имитировать проскальзывания. Например выполнять через 2 секунды искусственное закрытие по стопу в тестере.

МТ4 не умеет имитировать проскальзывания, зато вполне можно учитывать влияние проскальзываний либо прибавляя среднее проскальзывание к спреду при тестировании, либо к комиссии. Задержек исполнения в МТ4 также не предусмотрено, но можно опять же в советнике сделать так, чтобы ордера исполнялись не на первом же тике, а на следующих. В МТ5 есть эмуляция задержек исполнения.

Просто если нет, то не понятно для чего нужно такое высокое качество моделирования. Что оно даст? По логике срабатывания тоже самое, что и по всем тикам.

Открытие/Закрытие ордеров тестером внутри гэпов это конечно нелогично, но чаще всего оказывает незначительное влияние на результаты тестирования большинства стратегий, влияние проскальзывания как я уже написал можно учесть двумя способами.

Качество моделирования выше 90%, главным образом, дает возможность оценить влияние раздвижения спреда в периоды повышенной и пониженной волатильности, что может быть важно для определенного типа стратегий. Фиксированный спред, который доступен по умолчанию в тестере, это слишком приблизительный режим моделирования потока котировок, хотя его вполне достаточно для тестирования стратегий, результативность которых не сильно зависят от спреда.

Получается что если профит и стоп более 50 пунктов то и парится особо не о чём так как спрЭд большой роли не с играет а вот если стоп и профит нужен не более 20, что уже скальпинг, то тогда прилагающий спрЭд играет не малую роль и тут нужен Tick Data Suite, получается так?

Кстати, мне кажется что сова которая делает более 200,400 ордеров в месяц, не особо изменится из за гепов и всё что обсуждалось.

Отложенные ордера тестер исполняет именно так, к сожалению, это изменить, насколько я знаю, невозможно. Но поскольку тестер вызывает советник строго на всех тиках, вы можете заменить отложенные ордера и стопы рыночными ордерами, тогда сможете контролировать их исполнение.

В том и дело, что стопы срабатывают внутри гэпа.

А закрытие по ТР/СЛ происходитпо первому тику, который перешагнул через их отметку?

У меня в тестере при моделировании на всех тиках закрытие почему-то всегда происходит точь в точь по уровням СЛ/ТП даже на огромных М1 свечках.

Получается что если профит и стоп более 50 пунктов то и парится особо не о чём так как спрЭд большой роли не с играет а вот если стоп и профит нужен не более 20, что уже скальпинг, то тогда прилагающий спрЭд играет не малую роль и тут нужен Tick Data Suite, получается так?

Кстати, мне кажется что сова которая делает более 200,400 ордеров в месяц, не особо изменится из за гепов и всё что обсуждалось.

Гэпы я в качестве примера привел.

Может напишем свой тестер с пасьянсом и дамами?

Есть идея, хотел бы поделится; альпари, берём сову, стопы и профит не больше 40 пип, более 100 ордеров в месяц, 4-5 лет историй, и конечьно бЭк тестинг и тестим его тремя способами:

1. Просто на родной историй от Альпари.

2. На историй от Альпари и с Tick Data Suit.

3. Тот же приславутый Альпари но с историей от Дукаса и TDS.

После чего запускаем их и смотрим через 2,3 месяца что есть лучьший результат. Что скажите или может в чём то нет смысла?

Я же говорю, отложки на гэпах исполняются криво. Между прочим реальные тейки исполняются также в Альпари если не подать претензию Во всяком случае ещё недавно так было...

Да, тестеры с пасьянсом и дамами пишут часто, я и сам написал парочку, каюсь.

В том и дело, что стопы срабатывают внутри гэпа.

А закрытие по ТР/СЛ происходитпо первому тику, который перешагнул через их отметку?

У меня в тестере при моделировании на всех тиках закрытие почему-то всегда происходит точь в точь по уровням СЛ/ТП даже на огромных М1 свечках.

 

 

 

Гэпы я в качестве примера привел.

 

Может напишем свой тестер с пасьянсом и дамами?

рад бы да пока знаниями не владею

Я думаю, что в основном пишут тестеры под особенности конкретных стратегий и дилингов. Причем главным образом это скальперы/арбитражеры/ВЧТ. Потому что для среднесрока вполне хватает тех возможностей, которые есть в МТ4. Неудобства вроде гэпов это мелочь.

да и ребят меня интересует ваше мнение.......

Получается что если профит и стоп более 50 пунктов то и парится особо не о чём так как спрЭд большой роли не с играет а вот если стоп и профит нужен не более 20, что уже скальпинг, то тогда прилагающий спрЭд играет не малую роль и тут нужен Tick Data Suite, получается так?

да и ребят меня интересует ваше мнение.......

Получается что если профит и стоп более 50 пунктов то и парится особо не о чём так как спрЭд большой роли не с играет а вот если стоп и профит нужен не более 20, что уже скальпинг, то тогда прилагающий спрЭд играет не малую роль и тут нужен Tick Data Suite, получается так?

В моей ТС стоп от 25 до 50п. Спред значения не играет. результаты в точности копируют показания тестера за тот же период. Так что да, тут спред значения не играет. Но иногда альпари балуется завышая их раз в 5-10:yesv:

Я думаю, что в основном пишут тестеры под особенности конкретных стратегий и дилингов. Причем главным образом это скальперы/арбитражеры/ВЧТ. Потому что для среднесрока вполне хватает тех возможностей, которые есть в МТ4. Неудобства вроде гэпов это мелочь.

А быстрый рынок? Вот как с ним быть?

Возьмем АВП с его стопом 1000п и трейлингом 1400п. По меркам волатильности золота они очень даже короткие. Скользить можем и на 1000п, что уже бывало не раз на моей памяти.

Как быть? Где взять среднюю величину проскальзывания и объективна ли она?

А быстрый рынок? Вот как с ним быть?

Возьмем АВП с его стопом 1000п и трейлингом 1400п. По меркам волатильности золота они очень даже короткие. Скользить можем и на 1000п, что уже бывало не раз на моей памяти.

Как быть? Где взять среднюю величину проскальзывания и объективна ли она?

Брать по опыту и интуиции, на всякий случай немного завышая. Понятно, что это не идеально. Качество тестинга зависит от бюджета - если есть время и/или деньги на свой тестер, то можно написать что-то по-лучше тестера МТ4, но сначала имхо нужно иметь реально прибыльную стратегию :=))

В этом смысле TDS хороший дешевый вариант, решающий 1/2 проблемы - тестинг по реальным тиковым данным с плавающими спредами. Но это не решает проблему исполнения, такую как проскальзывания, задержки, реджекты, частичные исполнения и так далее. Ну и скорость у тикового тестинга в МТ4 не ахти - оптимизацию качественно сделать не получится, только проверить, насколько адекватны результаты обычного режима тестинга для данной стратегии. Для меня лично "свой" тестер решает в первую очередь задачу быстрой оптимизации, а TDS я использую для тестирования на тиках ДЦ, в котором торгую, в т.ч. Альпари.

выше поделился своим планом по поводу трёх видов теста ТС.... что думате ребят, стоит времени или ответ очевиден?

Может пригодится кому...

Поскольку я бросил пользоваться поделками от MQ, выкладываю свой костыль:

Файл бросить в папку experts/include, в своем советнике сделать некоторые изменения.

После этого, при тестировании в режиме все тики, стоповые ордера будут исполняться не по заявленной цене, а по ближайшей худшей. Не панацея, конечно, но гораздо ближе к реалу.