Давайте зададим себе немного каверзный вопрос) Допустим есть у нас некоторая ТС и мы получаем по ней какой-то результат, так вот этот результат может быть случайным, т.е. его могли породить не наши действия, а просто некие случайные процессы?
Вопрос может показаться странным на первый взгляд, что-то вроде «какая же случайность, это же я что-то делаю и получаю результат», но надеюсь сейчас станет понятнее.
Возьмем «нормальную» монетку, т.е. сбалансированную и будет ее подбрасывать, это называется биноминальным экспериментом, где каждое испытание имеет два возможных исхода орел или решка, такие исходы в формате да\нет называются бинарными, и они не обязательно имеют вероятности 50/50 (возможны любые вероятности, которые в сумме составляют 1). И будем мы подбрасывать эту монетку n раз (по сути симулируя наши исходы отработки ордеров, которые так же относятся к бинарным исходам отработал\не отработал), бросив монетку 5 раз, мы например можем получить 5 орлов или 5 решек, бросив 10 раз, можем получить 7 орлов и 3 решки и тд., но чем больше раз мы будем ее подбрасывать, тем больше наши исходы будут приближаться к вероятности 50 на 50 (монетка сбалансирована). Это кстати весьма важный момент!, мы не будем гарантированно получать 50 на 50 скажем на 10 бросках (но это конечно дело случая)))), однако мы гарантировано будем приближаться к этому при увеличении количества бросков.
Теперь давайте возьмем «не сбалансированную» монетку, попросту что-нибудь приделаем) к одной из сторон, т.е. изменим ее базовую вероятность и опять будем подбрасывать, если груз не слишком большой, что может привести практически к 100% выпадению одной стороны, то подбросив достаточное количество раз, мы приблизимся к измененной вероятности.
Ну вы уже наверное догадались, что наши ТС, это и есть грузик, который мы прицепляем к монетке, в попытке склонить исход в нашу сторону (тут кстати не обязательно количество отработал, должно быть больше чем не отработал, если например отрабатывает 20%, но они каким-то образом покрывают 80% не отработавших, то ТС будет прибыльной).
Вот изначальный вопрос и состоит в том «а действительно наш «грузик» изменяет исход в нашу пользу или это лишь действие случайности, ведь и монетка может выпасть орлом 7 раз из 10?».
Проверить это можно двумя способами, либо количеством ордеров, если их достаточно много, то естественным образом фактическая вероятность отработки будет приближаться к базовой (тут правда отдельный вопрос, а достаточно это сколько))). Или можно провести эксперимент, например, к тем же самым ордерам добавить в случайном порядке отработал\не отработал с вероятностью 50 на 50 сравнить результаты эксперимента с действием реальной ТС и можно получить такие вот картинки (правда не знаю средствами эксельчика можно это сделать???)
На первой картинке распределение вероятностей отработки «случайной» (отработал или нет добавлено с вероятностью 50 на 50) и реальной ТС, но второй картинке вертикальная полоса, это наблюдаемая разница, а распределение результат некоторого стат. теста и если наблюдаемая разница попадает в распределение, то мы не можем сказать, что эффект разницы не мог быть вызван случайным процессом.
В конце опять стоит сказать, что сама по себе «отработка» особо не важна, если 20% отработавших покрывают 80% не отработавших (тут кстати так же будет стат. значимый эффект)))), то все ок, но чем меньше отрабатывает, тем больше они должны приносить прибыли, что может быть весьма затруднительно.