Ретроспективне тестування
Ретроспективне тестування — це термін, який використовується в моделюванні для позначення тестування прогнозної моделі на історичних даних. Ретроспективне тестування – це тип ретродикції та особливий тип перехресної перевірки, що застосовується до попередніх періодів часу.
В економічній та фінансовій сфері ретроспективне тестування спрямоване на оцінку ефективності стратегії чи моделі, ящо вона застосовувалася протягом періоду часу у минулому. Це вимагає симуляції минулих умов з достатньою деталізацією, що робить одним з обмежень ретроспективного тестування потребу в детальних історичних даних. Іншим обмеженням є нездатність моделювати стратегії, які б вплинули на історичні ціни. Нарешті, ретроспективне тестування, як і інші методи моделювання, обмежене потенційним перенавчанням . Таким чином, часто можна знайти стратегію, яка добре працювала б у минулому, але не працюватиме добре в майбутньому. [1] Незважаючи на ці обмеження, тестування надає інформацію, недоступну, коли моделі та стратегії тестуються на синтетичних даних.
Історично, ретроспективне тестування проводили лише великі установи та професійні фінансові менеджери через витрати на отримання та використання детальних наборів даних. Однак, на сьогоднішній день ретроспективне тестування використовується все частіше, і з’явилися незалежні веб-платформи ретроспективного тестування. Хоча ця техніка широко використовується, вона схильна до недоліків. [2] Базельські фінансові правила вимагають від великих фінансових установ тестування певних моделей ризику.
| зона | Кількість винятків | Ймовірність | Кумульний |
|---|---|---|---|
| Зелений | 0 | 8,11% | 8,11% |
| 1 | 20,47% | 28,58% | |
| 2 | 25,74% | 54,32% | |
| 3 | 21,49% | 75,81% | |
| 4 | 13,41% | 89,22% | |
| Помаранчевий | 5 | 6,66% | 95,88% |
| 6 | 2,75% | 98,63% | |
| 7 | 0,97% | 99,60% | |
| 8 | 0,30% | 99,89% | |
| 9 | 0,08% | 99,97% | |
| Червоний | 10 | 0,02% | 99,99% |
| 11 | 0,00% | 100,00% | |
| ... | ... | ... |
Для Цінності під загрозою протягом 10 днів при 99% тестуванні 250 днів поспіль тест вважається зеленим (0-95%), помаранчевим (95-99,99%) або червоним (99,99-100%) залежно від наступної таблиці :
| зона | Кількість винятків | Ймовірність | Кумульний |
|---|---|---|---|
| Зелений | 0 | 36,02% | 36,02% |
| 1 | 15,99% | 52,01% | |
| 2 | 11,58% | 63,59% | |
| 3 | 8,90% | 72,49% | |
| 4 | 6,96% | 79,44% | |
| 5 | 5,33% | 84,78% | |
| 6 | 4,07% | 88,85% | |
| 7 | 3,05% | 79,44% | |
| 8 | 2,28% | 94,17% | |
| Помаранчевий | 9 | 1,74% | 95,91% |
| ... | ... | ... | |
| 24 | 0,01% | 99,99% | |
| Червоний | 25 | 0,00% | 99,99% |
| ... | ... | ... |
В океанографії [3] та метеорології [4] ретроспективне тестування також відоме як гайндкаст : гайндкаст — це спосіб тестування математичної моделі ; Дослідники вводять відомі або приблизно оцінені вхідні дані для минулих подій у модель, щоб побачити, наскільки результати відповідають відомим результатам.
Ретроспектива зазвичай відноситься до інтеграції числової моделі історичного періоду, коли жодні спостереження не були засвоєні . Це відрізняє ретроспективний "прохід" від повторного аналізу . Океанографічні спостереження за солоністю та температурою, а також спостереження параметрів поверхневих хвиль, таких як значна висота хвилі, набагато менші, ніж метеорологічні спостереження, що робить ретроспективу більш поширеною в океанографії, ніж у метеорології. Крім того, оскільки поверхневі хвилі являють собою вимушену систему, де вітер є єдиною генеруючою силою, ретроспектива хвиль часто вважається достатньою для створення розумного представлення хвильового клімату з невеликою потребою у повному повторному аналізі. Гідрологи використовують ретроспективне моделювання потоків. [5]
Прикладом ретроспективного аналізу може бути введення кліматичних впливів (подій, які примушують до змін) у кліматичну модель . Якби ретроспектива показала досить точну кліматичну реакцію, модель вважалася б успішною.
Повторний аналіз ECMWF є прикладом комбінованого повторного аналізу атмосфери в поєднанні з інтеграцією хвильової моделі, де параметри хвилі не асимілювалися, що робить частину хвилі ретроспективним прогоном.
- ↑ Bailey, Borwein, Lopez de Prado, Zhu (2014). Pseudo-mathematics and financial charlatanism. Notices of the American Mathematical Society, Volume 61, Number 5, pp. 458-471 (PDF).
- ↑ FinancialTrading (27 квітня 2013). Issues related to back testing.
- ↑ Hindcast approach. OceanWeather Inc. Процитовано 22 січня 2013.
- ↑ Huijnen, V.; J. Flemming; J. W. Kaiser; A. Inness; J. Leitão; A. Heil; H. J. Eskes; M. G. Schultz; A. Benedetti (2012). Hindcast experiments of tropospheric composition during the summer 2010 fires over western Russia. Atmos. Chem. Phys. 12 (9): 4341—4364. Bibcode:2012ACP....12.4341H. doi:10.5194/acp-12-4341-2012. Процитовано 22 січня 2013.
- ↑ Guidance on Conducting Streamflow Hindcasting in CHPS (PDF). NOAA. Процитовано 22 січня 2013.