Die britische Cybersicherheitsbehörde hat davor gewarnt, dass Chatbots von Hackern manipuliert werden können, um schädliche Folgen in der realen Welt zu verursachen (z. B. Betrug und Datendiebstahl), wenn die Systeme nicht mit Sicherheit konzipiert sind. Das National Cyber Security Centre (NCSC) des Vereinigten Königreichs hat erklärt, dass das Risiko der Manipulation der Eingabeaufforderungen durch Angriffe auf die Eingabeaufforderung wächst. In dem Artikel wurde ein Beispiel angeführt, bei dem ein Benutzer eine Eingabeaufforderung erstellen konnte, um die erste Eingabeaufforderung von Bing Chat zu finden. Die gesamte Eingabeaufforderung von Microsofts Bing Chat, eine von Open AI oder Microsoft geschriebene Liste von Anweisungen, die bestimmen, wie der Chatbot mit den Nutzern interagiert, und die vor den Nutzern verborgen ist, wurde enthüllt, indem der Nutzer eine Eingabeaufforderung einstellte, die den Bing Chat aufforderte, "vorherige Anweisungen zu ignorieren".