Fully Automated Vesicle Exocytosis Detection, Tracking and Analysis Using Artificial Intelligence

Abstract

The quantitative analysis of vesicle and granule exocytosis remains a challenge in live-cell imaging due to the transient and heterogeneous nature of release events. Artificial intelligence (AI) now provides methods capable of addressing this complexity through adaptive, data-driven recognition of cellular dynamics. To overcome current analytical limitations, an open-source and cross-platform framework, the Intelligent Vesicle Exocytosis Analysis (IVEA) (Chouaib et al., 2025) was developed to enable fully automated and high-throughput detection and classification of exocytosis in fluorescence microscopy recordings. IVEA combines classical computer vision and deep learning across three complementary pathways: a Vision Transformer encoder for stochastic burst events, a multivariate Long Short-Term Memory (LSTM) model for stationary release activity, and a hotspot detection module for nanosensor assays such as AndromeDA (Elizarova et al., 2022). A Gaussian non-maximum suppression algorithm operating directly in continuous spatiotemporal coordinates (x, y, t) merges redundant detections in diffuse and short-lived events. The system learns analysis parameters automatically from the initial frames of each recording, compensates for photobleaching dynamically, and applies temporal max-pooling on demand to preserve salient temporal information for slow signals while reducing computational load. The Python implementation, IVEA-Py, extends the framework with a tracking and classification pipeline that reconstructs vesicle trajectories through Difference-of-Gaussian preprocessing, gradient vector field integration, Euler integration, DBSCAN clustering, and Kalman filtering. This enables reliable linking of vesicle motion to fusion events and supports large-scale, reproducible analysis of vesicle behavior preceding release. IVEA was evaluated across recordings from neurons, cytotoxic T lymphocytes, chromaffin cells, and β-cells labeled with diverse reporters. The IVEA framework achieved high detection accuracy, broad generalization across imaging modalities, and up to sixty-fold faster performance compared to manual review. Benchmarking against established tools such as ComDet, pHusion, SynActJ, and ExoJ demonstrated consistently superior sensitivity, specificity, and reproducibility. By integrating adaptive parameterization, deep temporal modeling, and trajectory-event linking, IVEA demonstrates how AI-based image analysis can enhance quantitative studies of rapid intercellular communication and establish a general framework for automated biological event detection in live-cell microscopy.

Die quantitative Analyse der Vesikel- und Granula-Exozytose stellt in der Lebendzellmikroskopie weiterhin eine Herausforderung dar, da die Freisetzungsereignisse transient und heterogen sind. Künstliche Intelligenz (KI) bietet inzwischen Methoden, die in der Lage sind, diese Komplexität durch adaptive und datengetriebene Erkennung zellulärer Dynamiken zu bewältigen. Zur Überwindung bestehender analytischer Einschränkungen wurde das quelloffene und plattformübergreifende Framework Intelligent Vesicle Exocytosis Analysis (IVEA) (Chouaib et al., 2025) entwickelt, das eine vollständig automatisierte und hochdurchsatzfähige Detektion und Klassifikation von Exozytoseereignissen in Fluoreszenzmikroskopie-Aufnahmen ermöglicht. IVEA kombiniert klassische Computer-Vision-Methoden mit Deep Learning in drei komplementären Analysepfaden: einem Vision-Transformer-Encoder zur Erkennung stochastischer Burst-Ereignisse, einem multivariaten Long Short-Term Memory (LSTM)-Modell zur Analyse stationärer Freisetzungsaktivität sowie einem Hotspot-Detektionsmodul für Nanosensor-Assays wie AndromeDA (Elizarova et al., 2022). Ein Gaußsches Non-Maximum-Suppression-Verfahren, das direkt in kontinuierlichen raumzeitlichen Koordinaten (x, y, t) arbeitet, fusioniert redundante Detektionen bei diffusen und kurzlebigen Ereignissen. Das System erlernt Analyseparameter automatisch aus den Anfangsframes jeder Aufnahme, kompensiert Photobleaching dynamisch und wendet bei Bedarf ein temporales Max-Pooling an, um relevante zeitliche Informationen langsamer Signale zu bewahren und gleichzeitig die Rechenlast zu reduzieren. Die Python-Implementierung IVEA-Py erweitert das Framework um eine Tracking- und Klassifikationspipeline, die Vesikeltrajektorien rekonstruiert. Diese basiert auf Difference-of-Gaussian-Vorverarbeitung, Integration von Gradientenvektorfeldern, Euler-Integration, DBSCAN-Clustering und Kalman-Filterung. Dadurch wird eine zuverlässige Verknüpfung der Vesikelbewegung mit Fusionsereignissen ermöglicht und eine großangelegte, reproduzierbare Analyse des Vesikelverhaltens vor der Freisetzung unterstützt. IVEA wurde anhand von Datensätzen aus Neuronen, zytotoxischen T-Lymphozyten, Chromaffinzellen und β-Zellen mit unterschiedlichen Fluoreszenzreportern validiert. IVEA Framework erreichte eine hohe Detektionsgenauigkeit, starke Generalisierbarkeit über verschiedene Bildgebungsmodalitäten hinweg und eine bis zu sechzigfache Beschleunigung im Vergleich zur manuellen Auswertung. Benchmarking mit etablierten Tools wie ComDet, pHusion, SynActJ und ExoJ zeigte IVEA eine überlegene Sensitivität, Spezifität und Reproduzierbarkeit. Durch die Integration adaptiver Parametrisierung, tiefenzeitlicher Modellierung und Ereignis-Trajektorien-Verknüpfung demonstriert IVEA, wie KI-basierte Bildanalyse die quantitative Untersuchung schneller interzellulärer Kommunikation verbessern und ein allgemeines Framework für die automatisierte Erkennung biologischer Ereignisse in der Lebendzellmikroskopie etablieren kann.