← КартаSTEPPE / ПЕРЕОБУЧЕННАЯ МОДЕЛЬ
Новые признаки.
Повторное обучение.
Выбран вариант logistic_C1_blend0.5. Исходный XGBoost обучен на 2015–2021. Новый логистический уровень обучен на прогнозах 2019–2021, каждый из которых построен только по более ранним годам. Регуляризация выбрана на 2021; вес смеси 50/50 проверен на 2021 и 2022. Калибровка и порог — 2022.
Данные 2023–2024 не использовались для обучения, выбора признаков, кандидата или порога. Они открыты для этой оценки после фиксации нового релиза. Тест уже публиковался ранее, поэтому это повторная оценка, а не новый независимый holdout.
Результат: 2023–2024
| Модель | Precision | Recall | F1 | AP | ROC-AUC |
|---|
| Исходный XGBoost | 9,76% | 5,16% | 0.0675 | 0.02045 | 0.9237 |
| XGBoost + обученный второй уровень | 7,36% | 7,34% | 0.0735 | 0.02392 | 0.9421 |
Показаны 95% процентильные интервалы: 1000 парных блочных повторов по 100 км × 30 дней, seed 42. Метрики относятся к взвешенной выборке ячеек-дней. Для AP интервал в этом сравнении не рассчитан.
На 2021 модели сравнивались при precision ≥10%. Рабочий порог выбран на 2022 при precision не ниже исходного уровня 2022 (5,95%). На тесте precision всё же снизился до 7,36%; полного сохранения точности не достигнуто. Все метрики учитывают вероятности отбора отрицательных примеров. Цель — первое спутниковое обнаружение нового события в ячейке 5 × 5 км.
Проверка кандидатов: 2021
| name |
precision |
recall |
average_precision |
| logistic_C0.1 |
0.100421 |
0.025903 |
0.016191 |
| logistic_C0.1 |
0.101079 |
0.040053 |
0.025657 |
| logistic_C0.1 |
0.105115 |
0.031625 |
0.024126 |
| logistic_C0.1 |
0.135055 |
0.018248 |
0.021765 |
| logistic_C1 |
0.102865 |
0.029073 |
0.016880 |
| logistic_C1 |
0.101016 |
0.040207 |
0.025796 |
| logistic_C1 |
0.101782 |
0.032011 |
0.024136 |
| logistic_C1 |
0.135550 |
0.018325 |
0.021774 |
Это таблица данных для выбора, а не результаты 2023–2024. Значения precision, recall и AP здесь представлены долями.
Совместная проверка 2021 и 2022
| weight |
minimum_relative_recall |
recall_2021 |
ap_2021 |
recall_2022 |
ap_2022 |
| 1.00 |
0.000000 |
0.029073 |
0.016880 |
0.027781 |
0.013532 |
| 0.75 |
0.887265 |
0.040207 |
0.025796 |
0.042017 |
0.016859 |
| 0.50 |
1.181628 |
0.032011 |
0.024136 |
0.055957 |
0.015956 |
| 0.25 |
1.112676 |
0.018325 |
0.021774 |
0.055759 |
0.014253 |
Для выбора веса максимизировался минимальный относительный прирост полноты между двумя годами; AP должна была улучшиться на обоих. Вес 0,5 удовлетворил условию, вариант 0,75 — нет. В selection.json поля precision/recall/AP внутри selected относятся к начальному выбору регуляризации на 2021, а окончательные значения выбранной смеси находятся в joint_criterion и joint_comparison.csv.
Что изменилось
К исходным 26 признакам добавлены шесть признаков активности пожаров в прошлые периоды. Обученный второй уровень использует их и logit оценки XGBoost. Итоговая оценка до калибровки — 50% оценки XGBoost и 50% оценки второго уровня; это новая модель вероятностей, а не только новый порог. История строится по уникальным активным ячейкам-дням в квадратных окрестностях 15 и 55 км, в окнах 7, 30, 90 и 365 дней. Все окна заканчиваются минимум за двое суток до цели. Будущие метки и связи событий не используются.
Калибровка 2022: precision 6,10%, recall 5,59%; фиксированный порог 3,56%. Сложность выбрана на 2021; вес смеси выбран по улучшению recall и AP на обоих годах до 2023. Эти результаты использовались для настройки, а не как независимая оценка.
Карта использует float16-округление вероятностей, объявленное до финальной оценки. Порог и метрики рассчитаны на тех же округлённых значениях. Все 731 браузерных массива независимо сверены с GeoTIFF. Отсутствующие данные сохранены; оперативная пригодность на текущую дату не подтверждена.
Релиз: eee99c1a8db0012ca27e43d3216f1494cd38405fe3f40d26cead1b5370319523