Какие подходы и метрики вы предложите для оценки качества итоговой картографической продукции (точности плановых и высотных положений, полноты топологических связей, актуальности объектов) при создании топоплана для проектирования
Подходы и метрики для комплексной оценки картографической продукции (топоплана) по трем направлениям: плановые и высотные положения, полнота топологии, актуальность объектов. 1) Общая методика контроля - Разделить данные на контрольные (использованы в создании) и проверочные (независимые) точки/участки; проверочные должны быть стратифицированы по типам объектов и зонам изменений. - Автоматизированные топологические проверки (самопересечения, незамкнутые полигоны, дублирование, висячие вершины). - Полевая выборочная верификация и/или верификация по актуальным АФО/снимкам. 2) Точность плановых положений - RMSE (среднеквадратичная ошибка) по координатам: \[ \mathrm{RMSE}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(e_i)^2}, \] где \(e_i\) — поперечная/продольная ошибка отдельной проверочной точки. - 2D-ошибка на 95% (CE95) для горизонтали (при нормальном распределении ошибок): \[ \mathrm{CE95}=k\cdot\mathrm{RMSE_{2D}},\quad k\approx 2.4477. \] - Линейная ошибка на 95% для отдельной оси (LE95): \[ \mathrm{LE95}\approx 1.96\cdot\mathrm{RMSE_{1D}}. \] - Доп. метрики: средняя абсолютная ошибка (MAE), максимальная ошибка \( \max|e_i| \), распределение ошибок по классам объектов и по пространству. 3) Точность высот (вертикаль) - RMSE по высоте: \[ \mathrm{RMSE}_z=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(h_i^{\text{map}}-h_i^{\text{ref}})^2}. \] - Вертикальная ошибка на уровне доверия 95%: \(\mathrm{VE95}\approx 1.96\cdot\mathrm{RMSE}_z\). - Отдельные проверки по критическим объектам (отметки в планируемых трассах, отметки котлованов и т.д.). 4) Полнота и правильность топологических связей - Коэффициент полноты топологических связей: \[ \mathrm{Completeness}=\frac{\text{число корректно связанных элементов}}{\text{число ожидаемых связей}}. \] - Ошибки топологии на единицу площади/длины: количество нарушений (висячие концы, разомкнутые контуры, пересечения) на \(1\ \text{км}^2\) или на \(1\ \text{км}\) линейных объектов. - Процент корректных узлов/вершин: \( \%\text{correct\_nodes}=\frac{\text{корректные узлы}}{\text{всего узлов}}\cdot100\%\). - Правильность сетевой топологии (для труб, дорог): доля компонент с сохранённой связностью (connected components) и соответствие ожидаемой степени вершин. - Геометрические метрики для соответствия форм (кривизна, центр масс) — например, Хаусдорфово расстояние между репрезентативными полигонами/линиями: \[ H(A,B)=\max\{\sup_{a\in A}\inf_{b\in B}d(a,b),\ \sup_{b\in B}\inf_{a\in A}d(b,a)\}. \] 5) Актуальность объектов (обновлённость) - Доля актуальных объектов: \[ \mathrm{Fresh\_rate}=\frac{\text{число объектов, подтверждённых как актуальные}}{\text{всего объектов}}\cdot100\%. \] - Темп устаревания (mean age): средний возраст атрибута/последнего обновления. - Метрики изменения: precision/recall/F1 при автоматическом детектировании изменений по новым снимкам: \[ \mathrm{Precision}=\frac{TP}{TP+FP},\quad \mathrm{Recall}=\frac{TP}{TP+FN},\quad F1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}. \] - Временной порог соответствия (например, % объектов обновлённых за последние \(t\) месяцев). 6) Ошибки типа «пропуск/ложная засечка» - Оmission rate (пропуски): \[ \text{Omission}=\frac{FN}{TP+FN}. \] - Commission rate (ложные объекты): \[ \text{Commission}=\frac{FP}{TP+FP}. \] 7) Практические требования и целевые значения (примерно для топоплана проектного уровня) - Для проектных топопланов (масштаб 1:200–1:500): горизонтальная RMSE целесообразно держать в пределах \(0.02\text{–}0.10\ \text{м}\) в зависимости от требований проекта; вертикальная RMSE \(0.02\text{–}0.10\ \text{м}\). - Для плановых задач (масштаб 1:1000): горизонтальная RMSE \(0.1\text{–}0.5\ \text{м}\). (Конкретные допуски следует согласовывать с нормативами заказчика/стандартами.) 8) Отчётность и принятие решения - Представлять статистику по всем метрикам, гистограммы ошибок, карты ошибок (пространственное распределение), таблицу несоответствий по приоритету. - Критерии приемки: набор порогов (например, CE95 < заданного значения, omission < допустимого процента, topological errors per km2 < порога). Резюме: комбинируйте статистические метрики (RMSE, CE95, VE95), показатели полноты и ошибок (omission/commission, precision/recall, F1), топологические метрики (ошибки на площадь/длину, доля корректных узлов) и показатели актуальности (fresh_rate, средний возраст). Контроль делайте по независимым проверочным точкам и стратифицированной выборке; результаты оформляйте в виде числовых показателей и пространственных карт ошибок.
1) Общая методика контроля
- Разделить данные на контрольные (использованы в создании) и проверочные (независимые) точки/участки; проверочные должны быть стратифицированы по типам объектов и зонам изменений.
- Автоматизированные топологические проверки (самопересечения, незамкнутые полигоны, дублирование, висячие вершины).
- Полевая выборочная верификация и/или верификация по актуальным АФО/снимкам.
2) Точность плановых положений
- RMSE (среднеквадратичная ошибка) по координатам:
\[
\mathrm{RMSE}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(e_i)^2},
\]
где \(e_i\) — поперечная/продольная ошибка отдельной проверочной точки.
- 2D-ошибка на 95% (CE95) для горизонтали (при нормальном распределении ошибок):
\[
\mathrm{CE95}=k\cdot\mathrm{RMSE_{2D}},\quad k\approx 2.4477.
\]
- Линейная ошибка на 95% для отдельной оси (LE95):
\[
\mathrm{LE95}\approx 1.96\cdot\mathrm{RMSE_{1D}}.
\]
- Доп. метрики: средняя абсолютная ошибка (MAE), максимальная ошибка \( \max|e_i| \), распределение ошибок по классам объектов и по пространству.
3) Точность высот (вертикаль)
- RMSE по высоте:
\[
\mathrm{RMSE}_z=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(h_i^{\text{map}}-h_i^{\text{ref}})^2}.
\]
- Вертикальная ошибка на уровне доверия 95%: \(\mathrm{VE95}\approx 1.96\cdot\mathrm{RMSE}_z\).
- Отдельные проверки по критическим объектам (отметки в планируемых трассах, отметки котлованов и т.д.).
4) Полнота и правильность топологических связей
- Коэффициент полноты топологических связей:
\[
\mathrm{Completeness}=\frac{\text{число корректно связанных элементов}}{\text{число ожидаемых связей}}.
\]
- Ошибки топологии на единицу площади/длины: количество нарушений (висячие концы, разомкнутые контуры, пересечения) на \(1\ \text{км}^2\) или на \(1\ \text{км}\) линейных объектов.
- Процент корректных узлов/вершин: \( \%\text{correct\_nodes}=\frac{\text{корректные узлы}}{\text{всего узлов}}\cdot100\%\).
- Правильность сетевой топологии (для труб, дорог): доля компонент с сохранённой связностью (connected components) и соответствие ожидаемой степени вершин.
- Геометрические метрики для соответствия форм (кривизна, центр масс) — например, Хаусдорфово расстояние между репрезентативными полигонами/линиями:
\[
H(A,B)=\max\{\sup_{a\in A}\inf_{b\in B}d(a,b),\ \sup_{b\in B}\inf_{a\in A}d(b,a)\}.
\]
5) Актуальность объектов (обновлённость)
- Доля актуальных объектов:
\[
\mathrm{Fresh\_rate}=\frac{\text{число объектов, подтверждённых как актуальные}}{\text{всего объектов}}\cdot100\%.
\]
- Темп устаревания (mean age): средний возраст атрибута/последнего обновления.
- Метрики изменения: precision/recall/F1 при автоматическом детектировании изменений по новым снимкам:
\[
\mathrm{Precision}=\frac{TP}{TP+FP},\quad \mathrm{Recall}=\frac{TP}{TP+FN},\quad F1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}.
\]
- Временной порог соответствия (например, % объектов обновлённых за последние \(t\) месяцев).
6) Ошибки типа «пропуск/ложная засечка»
- Оmission rate (пропуски):
\[
\text{Omission}=\frac{FN}{TP+FN}.
\]
- Commission rate (ложные объекты):
\[
\text{Commission}=\frac{FP}{TP+FP}.
\]
7) Практические требования и целевые значения (примерно для топоплана проектного уровня)
- Для проектных топопланов (масштаб 1:200–1:500): горизонтальная RMSE целесообразно держать в пределах \(0.02\text{–}0.10\ \text{м}\) в зависимости от требований проекта; вертикальная RMSE \(0.02\text{–}0.10\ \text{м}\).
- Для плановых задач (масштаб 1:1000): горизонтальная RMSE \(0.1\text{–}0.5\ \text{м}\).
(Конкретные допуски следует согласовывать с нормативами заказчика/стандартами.)
8) Отчётность и принятие решения
- Представлять статистику по всем метрикам, гистограммы ошибок, карты ошибок (пространственное распределение), таблицу несоответствий по приоритету.
- Критерии приемки: набор порогов (например, CE95 < заданного значения, omission < допустимого процента, topological errors per km2 < порога).
Резюме: комбинируйте статистические метрики (RMSE, CE95, VE95), показатели полноты и ошибок (omission/commission, precision/recall, F1), топологические метрики (ошибки на площадь/длину, доля корректных узлов) и показатели актуальности (fresh_rate, средний возраст). Контроль делайте по независимым проверочным точкам и стратифицированной выборке; результаты оформляйте в виде числовых показателей и пространственных карт ошибок.