მრავალჯერადი ტესტირება: როცა საუკეთესო ბექტესტი იღბლიანი შემთხვევაა

ერთმა წარმოდგენილმა სტრატეგიამ შეიძლება ათასი ცდა დამალოს

მკვლევარმა შეიძლება ერთი მიმზიდველი ისტორიული ტესტი გამოაქვეყნოს მრავალი სიგნალის, პარამეტრის მნიშვნელობის, აქტივისა და შერჩევის თარიღის გამოცდის შემდეგ. საბოლოო გრაფიკი მთელ ძიებას არ აჩვენებს. მაშინაც კი, თუ არცერთ კანდიდატს რეალური უპირატესობა არ აქვს, საუკეთესო გარეგნობის კანდიდატი შეიძლება შთამბეჭდავი გამოჩნდეს, რადგან ზოგი შემთხვევითი მიმდევრობა ხელსაყრელია.

ამიტომ ანალიზის შესაბამისი ერთეული მხოლოდ შერჩეული წესი კი არა, მისი შემრჩევი პროცედურაცაა. შედეგების ნახვის შემდეგ შეცვლილი ზღვარი ძიების ნაწილად ითვლება მაშინაც, როცა ფორმალური ოპტიმიზაციის პროგრამა არ გაშვებულა. მეხსიერებაზე დაფუძნებული ცდები, გადაგდებული ცხრილები და არაფორმალური ვიზუალური შემოწმება შერჩევის მიკერძოებაში მონაწილეობს. პატიოსანი კვლევის ჩანაწერი ამ არჩევანებს ხილულს ხდის.

გაიაზრეთ ალბათობის მარტივი ილუსტრაცია

თუ ოცი დამოუკიდებელი ტესტიდან თითოეულს ცრუ დადებითი შედეგის 5%-იანი ალბათობა აქვს, სულ მცირე ერთი ცრუ დადებითი შედეგის შანსია 1 − 0.95²⁰, დაახლოებით 64.2%. დამოუკიდებლობის დაშვება მნიშვნელოვანია: სავაჭრო ვარიანტები ხშირად კორელირებულია, ამიტომ ეს არითმეტიკა ილუსტრაციაა და არა რეალური კვლევითი პროგრამის ზუსტი შესწორება.

გაკვეთილი არ ამბობს, რომ ყველა დადებითი მიგნება მცდარია. ის ამბობს, რომ ფართო ძიების შემდეგ ერთი ტესტის ზღვარი იმავე მნიშვნელობით ვერ განიმარტება. ერთმანეთთან დაკავშირებული პარამეტრების არჩევანი სრულიად დამოუკიდებელ მტკიცებულებებს არ ქმნის, თუმცა მათი კორელაცია შერჩევით მიკერძოებას არ აქრობს. ძიების ეფექტური სიგანის შეფასებაც გაურკვეველია და ზუსტ რაოდენობად არ უნდა წარმოჩინდეს.

p-მნიშვნელობა არც ჰიპოთეზის ჭეშმარიტების და არც შემდეგი გარიგების მოგებიანობის ალბათობაა. ტესტის დაშვებების პირობებში ის სტატისტიკის ნულოვან მოდელთან შეუთავსებლობას აღწერს. მცირე მნიშვნელობა შეიძლება ხმაურის არასწორმა მოდელმა, დამოკიდებულებამ ან შერჩევითმა ანგარიშგებამაც გამოიწვიოს. სტატისტიკური მნიშვნელობა არ ამტკიცებს, რომ ეკონომიკური ეფექტი გარიგების ხარჯებს დაფარავს.

დაიცავით ჰიპოთეზა შეფასების წესის გავლენისგან

დაიწყეთ ეკონომიკური დასაბუთებით, რომელიც განსაზღვრავს, რატომ შეიძლება კავშირი შენარჩუნდეს და რატომ შეიძლება მუშაობა შეწყვიტოს. სადაც შესაძლებელია, შედეგის ნახვამდე განსაზღვრეთ მონაცემთა გაწმენდა, ხარჯები და შეფასების კრიტერიუმები. ეს მიკერძოებას არ აქრობს, მაგრამ ამცირებს თავისუფლებას, რომ იღბლიან ნიმუშს შემდგომში ამბავი მოარგოთ.

აწარმოეთ ცდების ჟურნალი უარყოფილი ვარიანტებითა და ყოველი ცვლილების მიზეზით. შეცდომის გასწორება ჰიპოთეზის შეცვლისგან განასხვავეთ. დროის ნიშნულის შეცდომის გამოსწორება განსხვავდება სტოპის დონის გადაწევისგან მხოლოდ იმიტომ, რომ კაპიტალის მრუდს აუმჯობესებს. ორივე ცვლილება უნდა აღირიცხოს, რადგან შედეგების ნახვამ შემდგომ გადაწყვეტილებებზე შეიძლება იმოქმედოს მაშინაც, თუ საწყისი ცვლილება გამართლებული იყო.

ხელუხლებელ შერჩევას შეზღუდული სიცოცხლე აქვს

გადანახული სატესტო პერიოდი ღირებულია მხოლოდ მანამდე, სანამ შემუშავებისას ხელუხლებელი რჩება. როგორც კი მკვლევარი მოდელებს შორის არჩევისთვის მას განმეორებით ამოწმებს, იგი კიდევ ერთ სასწავლო რესურსად იქცევა. მისთვის „ნიმუშს გარეთის“ დარქმევა ინფორმაციის ნაკადს ვერ აბრუნებს. ამის შემდეგ შეიძლება ახალი პერიოდი ან სხვა ნამდვილად დამოუკიდებელი შეფასება გახდეს საჭირო.

ეტაპობრივი წინსვლის პროცედურები, ჩაშენებული შერჩევა და ისტორიულ ტესტზე ზედმეტი მორგების კვლევა შერჩევის პროცესის შესწავლაში დაგეხმარებათ, მაგრამ ვერცერთი სუსტ მონაცემებს სარწმუნოობად ვერ აქცევს. შეაფასეთ სტაბილურობა პარამეტრების გონივრულ მეზობელ დიაპაზონებსა და ეკონომიკურად განსხვავებულ პერიოდებში. სტაბილურობა დამაიმედებელია, თუ ის პატიოსნად შეფასდა; ყველაზე მიმზიდველი სტაბილურობის სტატისტიკის ძებნა ტესტირების კიდევ ერთ ფენას ამატებს.

უპირატესობა მიანიჭეთ მტკიცებულების ხარისხს და არა ყველაზე მაღალ გრაფიკს

შედეგები შეადარეთ მარტივ საორიენტაციო მაჩვენებელს, რეალისტურ ხარჯებსა და გაურკვევლობის შეფასებებს. რთული მოდელი, რომელიც ხმაურიან მაჩვენებელს ძლივს აუმჯობესებს, შეიძლება დამატებით თავისუფლების ხარისხებს ვერ ამართლებდეს. შეამოწმეთ, მოჩვენებითი უპირატესობის რა ნაწილი მოდის ერთ გარიგებაზე, ერთ აქტივზე ან დაწყების თარიღის ერთ არჩევანზე.

სასარგებლო ანგარიში მოიცავს ძიების ისტორიას, საბოლოო სპეციფიკაციას, წარუმატებლობებსა და გადაუჭრელ დაშვებებს. უარყოფითი მიგნებები დამაჯერებელი იდეების სივრცეს ამცირებს და მომავალ შრომას ზოგავს. მიზანი საყვარელი სტრატეგიის შენარჩუნება კი არა, იმის აღმოჩენაა, ამყარებს თუ არა არსებული მტკიცებულება გამეორებისთვის საკმარისად მყარ მტკიცებას. თუ არა, დისციპლინირებული დასკვნა გაურკვევლობაა და არა უფრო დახვეწილი სარეკლამო გრაფიკი.

დათვალეთ ყველა არჩევანი, რომელსაც გამარჯვებულის შეცვლა შეეძლო

ისტორიის ხუთი სიგრძე, შესვლის ოთხი ზღვარი და გასვლის სამი წესი უკვე 60 კომბინაციას ქმნის. საწყისი თარიღის შეცვლა, არახელსაყრელი აქტივის ამოღება და ახალი შეფასების კრიტერიუმის არჩევა ძიებას აფართოებს. კვლევის ჟურნალში ავტომატურ ვარიანტებთან ერთად ხელით მიღებული გადაწყვეტილებებიც უნდა შევიდეს. პროგრამის მიერ დათვლილი ცდები სრული კვლევითი თავისუფლების მხოლოდ ნაწილია.

წინასწარ განსაზღვრული ოცი გამართული ტესტის ოჯახისთვის ბონფერონის შესწორება თითოეულის დონეს 0,05 / 20 = 0,0025-მდე ამცირებს. სულ მცირე ერთი ცრუ უარყოფის ალბათობა 5%-ს არ აღემატება. დამოუკიდებლობა საჭირო არ არის, თუმცა ზღვარი შეიძლება კონსერვატიული იყოს. შესწორება გაუმართავ ტესტებსა და დამალულ დამატებით მცდელობებს ვერ ასწორებს.

რომელიმე ცრუ აღმოჩენის ალბათობის კონტროლი განსხვავდება აღმოჩენებს შორის ცრუ შედეგების მოსალოდნელი წილის კონტროლისგან. მეთოდი კითხვას შეურჩიეთ და არა ყველაზე სასიამოვნო პასუხს. მნიშვნელობის უკვე მიღწევის განმეორებითი შემოწმებაც თანმიმდევრულ პროცედურაში უნდა აისახოს. ერთჯერადი ტესტის ზღვარი ყოველდღიური შეჩერების წესის გამართლებას თავისთავად არ იძლევა.

კვლევის სიმულაციამ თავად შერჩევაც უნდა გაიმეოროს. მხოლოდ უკვე არჩეული გამარჯვებულის შეფასება მრავალი კანდიდატის შემოწმებით მიღებულ უპირატესობას გამოტოვებს. ყოველი გამეორება გამოცხადებულ ძიებას, შერჩევის წესსა და შემდგომ შეფასებას უნდა მოიცავდეს. ლამაზი კაპიტალის მრუდის ნდობის ზოლი ამ პროცესს ვერ ანაცვლებს, თუ გამარჯვებულის არჩევის გზა მოდელში საერთოდ არ ჩანს.