Көп мәрте тестілеу: ең жақсы тарихи тест кездейсоқ сәттілік болғанда

Бір жарияланған стратегия мың сынақты жасыруы мүмкін

Зерттеуші көптеген сигналды, параметр мәнін, активті және іріктеме күндерін сынаған соң бір тартымды тарихи тестті жариялауы мүмкін. Соңғы график толық іздеуді көрсетпейді. Әр үміткерде шынайы артықшылық болмаса да, кейбір кездейсоқ тізбектер қолайлы болғандықтан, ең жақсы көрінетін үміткер әсерлі болуы мүмкін.

Сондықтан талдаудың тиісті бірлігі тек таңдалған ереже емес, оны таңдаған рәсім. Нәтижелерді қарағаннан кейін өзгертілген шек ресми оңтайландыру бағдарламасы іске қосылмаса да іздеудің бөлігі болып саналады. Жадқа сүйенген тәжірибелер, тасталған кестелер және бейресми көрнекі тексеру іріктеу бұрмалауына үлес қоса алады. Адал зерттеу жазбасы бұл таңдауларды көрсетеді.

Қарапайым ықтималдық мысалын түсініңіз

Жиырма тәуелсіз тесттің әрқайсысының жалған оң нәтиже ықтималдығы 5% болса, кемінде бір жалған оң нәтиже ықтималдығы 1 − 0.95²⁰, шамамен 64.2%. Тәуелсіздік болжамы маңызды: сауда нұсқалары жиі корреляцияланған, сондықтан бұл арифметика нақты зерттеу бағдарламасына дәл түзету емес, көрнекі мысал.

Сабақ әр оң тұжырым жалған дегенде емес. Кең іздеуден кейін бір сынақтың шегін бұрынғыдай түсіндіруге болмайды. Байланысты параметр таңдаулары толық тәуелсіз дәлел жасамайды, бірақ олардың корреляциясы іріктеу бұрмалауын жоймайды. Тиімді іздеу ауқымын бағалаудың өзі белгісіз, оны дәл сан етіп көрсетуге болмайды.

p-мәні гипотезаның ақиқат немесе келесі мәміленің пайдалы болу ықтималдығы емес. Ол тест шарттарында статистиканың нөлдік модельмен үйлеспеуін өлшейді. Ескерілмеген тәуелділік пен іріктеп есеп беру жалған маңыздылық туғызуы мүмкін. Статистикалық маңыздылық сауда шығысын өздігінен жаппайды.

Гипотезаны бағалау ережесінің әсерінен қорғаңыз

Байланыс неге сақталуы және неге тоқтауы мүмкін екенін көрсететін экономикалық негізден бастаңыз. Мүмкіндігінше нәтижені көрмей тұрып дерек тазалау, шығын және бағалау критерийлерін анықтаңыз. Бұл бұрмалауды жоймайды, бірақ сәтті үлгіге кейіннен әңгіме құрастыру еркіндігін тарылтады.

Қабылданбаған нұсқалар мен әр өзгерістің себебі жазылған сынақ журналын жүргізіңіз. Қатені түзетуді гипотезаны өзгертуден ажыратыңыз. Уақыт белгісінің қатесін түзету капитал қисығын жақсарту үшін стоп деңгейін жылжытумен бірдей емес. Екеуін де тіркеу керек, өйткені бастапқы өзгеріс орынды болса да, нәтижені көру кейінгі шешімдерге әсер етуі мүмкін.

Қолданылмаған іріктеменің жарамдылық мерзімі шектеулі

Бөлек тексеру кезеңі әзірлеу барысында қолданылмай тұрғанда ғана құнды. Зерттеуші модельдерді таңдау үшін оған қайта-қайта қараған соң, ол тағы бір үйрету ресурсына айналады. Оны таңдаудан тыс деп атау ақпарат ағынын кері қайтармайды. Содан кейін жаңарақ кезең немесе шынымен тәуелсіз басқа бағалау қажет болуы мүмкін.

Алға жылжымалы рәсімдер, ішкі іріктеу және кері сынақты артық бейімдеу зерттеулері таңдау үдерісін тексеруге көмектеседі, бірақ ешқайсысы әлсіз деректі анықтыққа айналдырмайды. Орынды көршілес параметрлер мен экономикалық тұрғыдан бөлек кезеңдердегі тұрақтылықты бағалаңыз. Адал бағаланған тұрақтылық жігерлендіреді; ең жақсы көрінетін тұрақтылық статистикасын іздеу тағы бір сынау қабатын қосады.

Ең биік графикті емес, дәлел сапасын бағалаңыз

Нәтижелерді қарапайым бағдармен, шынайы шығындармен және белгісіздік бағаларымен салыстырыңыз. Шулы өлшемді әрең жақсартатын күрделі модель қосымша еркіндік дәрежелерін ақтамауы мүмкін. Көрінетін артықшылықтың қанша бөлігі бір мәміледен, бір активтен немесе бастапқы күннің бір таңдауынан туатынын тексеріңіз.

Пайдалы есеп іздеу тарихын, соңғы сипаттаманы, сәтсіздіктерді және шешілмеген жорамалдарды қамтиды. Теріс тұжырымдар орынды идеялар кеңістігін тарылтып, болашақ еңбекті үнемдейді. Мақсат — сүйікті стратегияны сақтау емес, қолжетімді дәлел қайталауға төзетіндей күшті мәлімдемені қолдай ма, соны анықтау. Қолдамаса, тәртіпті қорытынды — күрделірек маркетинг графигі емес, белгісіздік.

Жеңімпазды өзгерте алатын әр таңдауды есептеңіз

Тарихтың бес ұзындығы, кірудің төрт шегі және шығудың үш ережесі 60 комбинация береді. Нәтижені көргеннен кейін басталу күнін таңдау немесе қолайсыз активті алып тастау да іздеуді кеңейтеді. Қолмен қабылданған шешімдерді тәжірибе журналына қосыңыз.

Алдын ала белгіленген 20 жарамды тест үшін Бонферрони шегі әрқайсысына 0,05 / 20 = 0,0025 болады. Бұл кемінде бір қате теріске шығарудың ықтималдығын ең көбі 5%-бен шектейді. Тәуелсіздік талап етілмейді, бірақ байланысқан тесттерде әдіс сақтықшыл болуы мүмкін.

Түзету біржақты деректі, жарамсыз тестті немесе жасырылған талпынысты жөндемейді. Кез келген жалған ашылудың ықтималдығын бақылау, ашылулар ішіндегі жалған үлестің математикалық күтімін бақылаудан бөлек. Әдісті ұнаған нәтижеге емес, сұраққа сай таңдаңыз.

Модельдеу кезінде іздеу, таңдау және бағалау үдерісін түгел қайталаңыз. Бұрын таңдалған жеңімпазды ғана қайта іріктеу кең іздеудің артықшылығын елемейді. Маңыздылық пайда болды ма деп қайта-қайта қарау да тест жобасына кіруі тиіс.