[Статья] Три основных способа классификации статистических показателей тестирования торговой системы

[!!NIKA!!]

При тестировании торговых систем на исторических данных мы сталкиваемся с огромным количеством имеющихся статистических показателей. Существует масса способов анализа производительности системы, и ни один из них не может сказать вам, что та или иная торговая система является хорошей или плохой. Это связано главным образом с тем, что разные статистические данные измеряют различные аспекты производительности системы, и просто-напросто отсутствует единый критерий, который бы мог охватить данную проблему, ибо просто невозможно свести многомерную проблему до одного-единственного критерия без потери важной информации. Сегодня я собираюсь рассказать о простой классификации - трех категориях статистических данных, которые помогут вам понять, какие из них полезны и как их можно объединить, чтобы дать реальную картину производительности той или иной системы.

Первую категорию производительности статистические данных я бы назвал «экстремальными статистическими данными» – она наименее полезна и, вероятно, наиболее часто используется. Такие данные являются экстремальными значениями свойств бэк-тестирования и могут оказывать значительное влияние на показатели, практически не оказывая влияния на производительность бэк-тестирования. Двумя хорошо известными примерами для этой категории статистических данных являются максимальная длина просадки и максимальная глубина просадки. Эти статистические данные популярны, поскольку они воспринимаются как пределы риска – и, что еще хуже, если вы проверяли их на истории, – но на самом деле они мало полезны, поскольку случайные результаты могут в значительной степени влиять на них. Именно поэтому предполагается, что в будущем эти статистические данные будут хуже, поскольку в будущем будут получены результаты, которые никогда не показывает бэк-тестирование, даже если распределение доходности стратегии остается прежним.

Вторую категорию я бы назвал статистические данные, «основанные на долларе» – они намерены показать, как будет вести себя валюта – к примеру, доллар, – инвестированная в данную стратегию. Такие статистические данные ничего не говорят о том, как стратегия соотносится с функцией времени – они просто демонстрируют, что ожидалось бы для доллара, вложенного в данную стратегию. Двумя типичными примерами для этой категории являются ожидаемость и коэффициент прибыли. Ожидаемость рассчитывается следующим образом: (коэффициент прибыли) * (соотношение прибыли к риску) - (коэффициент риска); этот критерий показывает вам, сколько долларов вы должны заработать в среднем в одной позиции. Коэффициент прибыли показывает, сколько долларов, согласно предположению, вы заработаете на каждый доллар, которым вы рискуете. Эти статистические данные очень полезны, поскольку они очень тесно связаны с торговыми преимуществами; более прибыльные торговые стратегии по своей сути имеют лучшую доходность на каждый инвестированный доллар.

Третью, и последнюю, категорию я называю «статистическими данными качества кривой прироста капитала» – они демонстрирует вам, насколько хорошо ваша кривая прироста капитала соотносится с функцией времени. Чтобы обеспечить «плавный прирост капитала», следует обращать внимание именно на эти критерии. Двумя примерами из этой категории являются коэффициент Шарпа и коэффициент корреляции Пирсона. Коэффициент Шарпа показывает вам, как ваш средний доход связан со средним стандартным отклонением доходности, в то время как коэффициент корреляции Пирсона подсказывает вам, насколько тесно прирост вашего капитала следует прямой (что было бы идеальной прогрессией системы). Эти статистические данные сильно отличаются от двух ранее упомянутых групп, поскольку качество вашей высокой кривой прироста капитала не обязательно означает, что у вас отличные «экстремальные» или «основанные на долларе» статистические данные.

И, наконец, для получения полного представления о том, насколько хорошей является ваша торговая система, необходима оценка всех этих статистических данных. Экстремальные статистические данные очень полезны для более быстрого тестирования, ибо они никогда не достигают минимальных значений: тестирование на исторических данных можно прекратить, если экстремальные значения показателей переходят заданный порог, в то время как статистические данные, основанные на долларе, и статистические данные качества кривой прироста капитала могут использоваться для оценки независимо от того, имеет ли торговая система, которая является результатом моделирования, достаточно сильное преимущество и достаточно стабильное прогрессирование во времени, чтобы считаться полезной.

«Данные не имеют никакого смысла, нам придется прибегнуть к статистике».

К сожалению, статистические данные тестирования на истории имеют ограниченную полезность, а также не описывают будущего поведения торговой системы, а просто демонстрируют ее поведение в прошлом. Поскольку бэк-тестирование проводится с учетом ретроспективного анализа, все они подвержены многим статистическим ошибкам, которые могут воспроизводиться системами, и даже системы с отличными статистическими показателями могут не оправдать своих ожиданий.

Даниэль Фернандез.
Переведено специально для TradeLikeaPro.ru

Изменено 7 августа, 2018 пользователем Pavel888