Программный комплекс улучшения качества распознавания номерных знаков на основе нейросетевых моделей суперрезолюции

Распознавание государственных регистрационных знаков (ГРЗ) является одной из ключевых задач для интеллектуальных транспортных систем. На практике такие факторы, как размытие, шум, неблагоприятные погодные условия или съемка с большого расстояния, приводят к получению изображений низкого разрешения (Low Resolution, LR), что существенно снижает надежность распознавания. Перспективным решением данной проблемы является применение методов суперрезолюции (Super-Resolution, SR), способных восстанавливать изображения высокого разрешения (High Resolution, HR) из соответствующих им LR-версий. Настоящая работа посвящена исследованию и разработке программного комплекса, использующего нейросетевые модели суперрезолюции для улучшения качества и точности распознавания номерных знаков. Программный комплекс реализует нейросетевые архитектуры обнаружения объектов YOLO (You Only Look Once), алгоритм трекинга объектов SORT (Simple Online and Realtime Tracking) и модели суперрезолюции для улучшения изображений номерных знаков. Такой подход обеспечивает достижение высокой точности распознавания ГРЗ даже при работе с изображениями, полученными в сложных условиях съемки, характеризующихся низким качеством или разрешением. Результаты экспериментов демонстрируют, что предложенный подход способен повысить точность распознавания ГРЗ на изображениях низкого разрешения. Качество восстановления изображений оценивалось с использованием метрик PSNR и SSIM, подтвердивших улучшение визуальных характеристик номерных знаков для наиболее эффективных моделей. Разработанный программный комплекс обладает широким потенциалом практического применения и может быть интегрирован в различные системы, например, для контроля доступа на охраняемые территории, мониторинга и анализа дорожного движения, автоматизации парковочных комплексов, а также в составе решений для обеспечения общественной безопасности. Гибкость реализованной архитектуры позволяет адаптировать систему под специфические требования с модификациями, что подчеркивает ее универсальность и практическую значимость.

1. Vašek V., Franc V., Urban M. License Plate Recognition and Super-Resolution from Low-Resolution Videos by Convolutional Neural Networks. In: BMVC 2018: Proceedings of British Machine Vision Conference, 03–06 September 2018, Newcastle, UK. BMVA Press; 2018. URL: http://bmvc2018.org/contents/papers/0537.pdf

2. Tian Yu., Ye Q., Doermann D. YOLOv12: Attention-Centric Real-Time Object Detectors. arXiv. URL: https://arxiv.org/abs/2502.12524 [Accessed 15th June 2025].

3. Jaderberg M., Simonyan K., Zisserman A., Kavukcuoglu K. Spatial Transformer Networks. In: Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, 07–12 December 2015, Montreal, QC, Canada. 2015. P. 2017–2025.

4. Zherzdev S., Gruzdev A. LPRNet: License Plate Recognition via Deep Neural Networks. arXiv. URL: https://arxiv.org/abs/1806.10447 [Accessed 15th June 2025].

5. Ledig Ch., Theis L., Huszár F., et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 21–26 July 2017, Honolulu, HI, USA. IEEE; 2017. P. 105–114. https://doi.org/10.1109/CVPR.2017.19

6. Wang X., Yu K., Wu Sh., et al. ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks. In: Computer Vision – ECCV 2018 Workshops: Proceedings: Part V, 08–14 September 2018, Munich, Germany. Cham: Springer; 2018. P. 63–79. https://doi.org/10.1007/978-3-030-11021-5_5

7. Zhang K., Liang J., Van Gool L., Timofte R. Designing a Practical Degradation Model for Deep Blind Image Super-Resolution. In: 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 10–17 October 2021, Montreal, QC, Canada. IEEE; 2021. P. 4771–4780. https://doi.org/10.1109/ICCV48922.2021.00475

8. Soviany P., Ardei C., Ionescu R.T., Leordeanu M. Image Difficulty Curriculum for Generative Adversarial Networks (CuGAN). In: 2020 IEEE Winter Conference on Applications of Computer Vision (WACV), 01–05 March 2020, Snowmass, CO, USA. IEEE; 2020. P. 3452–3461. https://doi.org/10.1109/WACV45572.2020.9093408

9. Dosovitskiy A., Beyer L., Kolesnikov A., et al. An Image Is Worth 16×16 Words: Transformers for Image Recognition at Scale. In: ICLR 2021: 9th International Conference on Learning Representations, 03–07 May 2021, Virtual Event, Austria. 2021. URL: https://arxiv.org/abs/2010.11929

10. Bu Q., Park S., Khang M., Cheng Yi. SRFormer: Text Detection Transformer with Incorporated Segmentation and Regression. In: Thirty-Eighth AAAI Conference on Artificial Intelligence, AAAI 2024, Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence, IAAI 2024, Fourteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2014, 20–27 February 2024, Vancouver, Canada. AAAI Press; 2024. P. 855–863.

11. Chen X., Wang X., Zhou J., Qiao Yu, Dong Ch. Activating More Pixels in Image Super-Resolution Transformer. In: 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 17–24 June 2023, Vancouver, BC, Canada. IEEE; 2023. P. 22367–22377. https://doi.org/10.1109/CVPR52729.2023.02142

12. Mou Ch., Wu Ya., Wang X., Dong Ch., Zhang J., Shan Yi. Metric Learning Based Interactive Modulation for Real-World Super-Resolution. In: Computer Vision – ECCV 2022: 17th European Conference: Proceedings: Part XVII, 23–27 October 2022, Tel Aviv, Israel. Cham: Springer; 2022. P. 723–740. https://doi.org/10.1007/978-3-031-19790-1_43

13. Liu K., Jiang Yi., Choi I., Gu J. Learning Image-Adaptive Codebooks for Class-Agnostic Image Restoration. In: 2023 IEEE/CVF International Conference on Computer Vision (ICCV), 01–06 October 2023, Paris, France. IEEE; 2023. P. 5350–5360. https://doi.org/10.1109/ICCV51070.2023.00495