Послідовна валідація: не впускайте завтрашній день у навчальну вибірку
Побудуйте хронологічний процес дослідження, що оцінює всю процедуру ухвалення рішень, а не відшліфоване історичне правило.
Перевіряйте процес, а не кінцеву формулу
Дослідження з покроковим просуванням багаторазово підлаштовує модель за інформацією, доступною на історичну дату, фіксує отримані рішення та оцінює їх у пізнішому інтервалі. Потім послідовність просувається вперед. Це імітує дослідницький процес, який має працювати без знання майбутнього. Це не робить стратегію прибутковою та не усуває всіх упереджень.
Запишіть, що може змінюватися на кожному кроці. Параметри сигналу, відбір активів, оцінки волатильності та припущення про витрати — усе це частини процедури. Якщо дослідник вручну змінює їх після перегляду тестового періоду, процедура змінилася, а цей період більше не є чистою оцінкою. Відтворюваний графік інформативніший за графік результатів, складений із довільних переглядів.
Свідомо обирайте рухому історію або історію, що розширюється
Вікно, що розширюється, зберігає всі попередні спостереження з плином часу. Воно може стабілізувати оцінки, але також утримувати дані застарілих ринкових умов. Рухоме вікно використовує фіксований недавній період, полегшуючи адаптацію, але посилюючи вибірковий шум. Жоден підхід не є універсально кращим; компроміс залежить від того, який економічний зв’язок очікується стійким.
Обирайте тривалість вікон з обґрунтованої причини до порівняння результатів. Випробування десятків тривалостей і вибір найкращої лише переносить оптимізацію на вищий рівень. Фіксуйте кількість спостережень, окремих ринкових епізодів і фактичних угод у кожному тестовому інтервалі. Довгий календарний період із дуже малою кількістю незалежних рішень може давати менше доказів, ніж підказує його тривалість.
Витік інформації ховається в підготовці даних
Хронологічний поділ необхідний, але недостатній. Стандартизація ознаки за середнім усієї вибірки дає майбутнім спостереженням впливати на минулі вхідні дані. Відбір лише цінних паперів, що збереглися, використання переглянутих макроекономічних показників або врахування звітності до її оприлюднення створюють інші форми використання майбутнього знання. Налаштовуйте перетворення на навчальних даних і, де можливо, зберігайте відповідність доступності інформації конкретному моменту.
Мітки також важливі. Якщо навчальний приклад прогнозує дохідність за наступні п’ять днів, його результат може перетинатися з початком тестового періоду. Видаліть або відокремте спостереження, чиї вікна міток перетинають межу. Програмне забезпечення може вставити розрив між індексами навчання й тесту, але вибір змістовного розриву потребує розуміння горизонтів міток, затримок публікації та залежностей у конкретному наборі даних.
Дата ознаки не дорівнює моменту, коли стає відомою ціль. Понеділковий сигнал може використовувати доступні тоді дані, але його наступна п'ятиденна дохідність у вівторок ще невідома. Вівторкове перенавчання не має права використовувати її повністю. Перевіряйте весь інтервал цілі, а не лише дату початку рядка.
Налаштовуйте на навчальних даних, зберігайте оцінну вибірку недоторканою
Відбір параметрів має використовувати лише інформацію всередині навчального відрізка, можливо через внутрішню хронологічну процедуру перевірки. Зовнішній тестовий інтервал потім оцінює вибрану процедуру. Така вкладеність відділяє вибір моделі від вимірювання результативності вибору. Вона також робить обчислення дорожчими, що краще за дешевий, але забруднений інформаційним витоком результат.
Агрегуйте послідовні тестові дохідності в їхньому реальному часовому порядку, включно з періодами без позиції. Послідовно застосовуйте комісії та припущення виконання. Не усереднюйте привабливі коефіцієнти окремих блоків без перевірки економічного сенсу: інакше короткий спокійний інтервал може мати ту саму видиму вагу, що довгий волатильний. Показуйте розкид між інтервалами поряд із сукупним результатом.
Слабкий результат — корисний доказ
Покрокове тестування, результат якого погіршується після витрат, залежить від одного інтервалу або різко змінюється через невелике коригування часу, потребує дослідження, а не косметичного виправлення. Відрізняйте дефект даних або реалізації від стратегії, яка просто не має підтвердження. Виправлення справжньої помилки може виправдати новий запуск, але попереднє ознайомлення з результатами має залишатися в історії дослідження.
Завершіть зафіксованою специфікацією та справді новим періодом симуляційного спостереження, якщо подальше оцінювання виправдане. Заздалегідь визначте, які дані збиратимуться та що спростує припущення. Мета — не оптимізувати, доки з’явиться приваблива лінія, а встановити, чи витримує дисциплінована, здійсненна процедура можливості зазнати невдачі.
Переносьте позиції та капітал між тестовими вікнами
Перенавчання моделі не закриває позиції автоматично. Якщо тест за січень–березень завершується з позицією до квітня, заздалегідь визначте продовження старого правила, документовану зміну або закриття з витратами. Тихе повернення до готівки може стерти збитки та складні переходи.
Капітал також продовжується. Прибуток 10 % і наступний збиток 10 % дають 1,10 × 0,90 = 0,99, тобто втрату 1 %. Нульове арифметичне середнє не відтворює рахунок. Якщо тестові вікна перекриваються, не враховуйте той самий день двічі; визначте вибір моделі або розподіл капіталу.
Відбір ознак, стандартизацію, заповнення пропусків і порівняння алгоритмів повторюйте всередині кожного навчального вікна. Перетворення, підігнане до всієї історії, пропускає майбутню інформацію. TimeSeriesSplit розділяє індекси за часом, але не знає про завершення фінансових цілей, перегляди даних або відкриті позиції.
Зберігайте межі навчання, доступні спостереження, параметри, першу здійсненну угоду, початкові позиції, витрати та кінцевий стан. Після виправлення помилки запускайте весь процес узгоджено й залишайте попередні результати. Виправлений тест на вже переглянутих даних не стає новим незалежним експериментом.