Künstliche Intelligenz in der Endoskopie stellt im Prinzip ein automatisiertes, diagnostisches Assistenzsystem zur Objekterkennung dar.

Die automatisierte Auswertung der in Bild- und Videodaten enthaltenen Informationen ist durch die hohe Rechenleistung heutiger Computer möglich geworden. Hierbei haben sich für die Objekterkennung in Bilddateien sogenannte „Convolutional Neural Networks“ (CNN) durchgesetzt

Die an die visuelle Sinneswahrnehmung von Katzen angelehnte Reiz- und Informationsverarbeitung diente als Vorbild der Algorithmen-Architektur solcher neuronalen Netzwerke, die in verschiedenen Schichten des Netzwerkes verschiedene Abstraktionsgrade an Informationen verarbeiten und verknüpfen.

Dabei reagieren die Neuronen in den unteren Schichten in der Regel zunächst auf sehr abstrakte Daten wie horizontale, senkrechte oder diagonale Kanten im Bild. Diese Informationsfragmente werden dann in den nächst höheren Ebenen zu immer komplexeren Formen aufgelöst und schließlich von der höchsten Ebene des Netzes zu einer Wahrscheinlichkeit für das Vorhandensein einer vorher definierten Kategorie zusammengefasst. Bezogen auf die Endoskopie bedeutet dies also, wie wahrscheinlich anhand der verarbeiteten Bilddaten im dargestellten Bereich ein Polyp vorhanden ist.
   
Um diese Klassifizierung vornehmen zu können müssen die neuronalen Netze  zunächst mit einer großen Anzahl unterschiedlicher Bilder trainiert werden. Anhand dieses Trainingsdatensatzes erstellt die Software schließlich durch sogenanntes maschinelles Lernen sein eigenes visuelles Konzept und lernt zu entscheiden, ob die Pixel im dargestellten Bereich beispielsweise einem Polypen zuzuordnen sind oder nicht und kann diesen dann in Echtzeit graphisch auf dem Bildschirm etwa durch einen farblich abgesetzten Rahmen hervorheben.