CV-модуль DCAP-системы
Разработка микросервиса с computer vision нейросетями для анализа неструктурированных данных
Задача
В рамках работы над нейросетевым модулем computer vision для DCAP (data-centric audit and protection) системы, я столкнулся с задачей анализа неструктурированных данных, значительную часть которых составляли изображения. Эти изображения включали как различные сканы и фотографии корпоративных документов, так и нерабочие изображения (например, фотографии с корпоративов). Для эффективного анализа и классификации этих данных, я обучил несколько нейросетей.
Технологии
YOLO, pytorch, lightning, numpy, matplotlib, plotly, onnx, fastapi, uvicorn, pyinstaller, pywin32, optimum, cvat
Решение
Первая нейросеть была направлена на классификацию изображений. Она успешно отбирала изображения класса «документ» из общего потока данных, что позволило значительно сократить объем данных, требующих дальнейшего анализа. Этот этап был критически важен для повышения точности и скорости обработки данных, так как позволил сосредоточиться на наиболее релевантных изображениях.
Вторая нейросеть была разработана для более детального анализа изображений класса «документ». Она искала на этих изображениях различные графические элементы, такие как подписи, печати, таблицы и другие важные компоненты. Это позволило автоматизировать процесс извлечения ключевой информации из документов, что значительно упростило дальнейшую обработку и анализ данных.
Результаты работы этих нейросетей показали высокую точность и надежность, что подтверждает эффективность выбранных подходов и методов. Внедрение этих модулей в DCAP-систему позволило значительно повысить качество аудита и защиты, обеспечивая более точный и быстрый анализ неструктурированных данных.
Доклад
По итогам работы я выступил с докладом на Moscow Python Meetup 91. Подробно рассказал о задаче и её особенностях, рассмотрел плюсы и минусы полученного решения.