iPhone Use ist gerade erschienen – ein Open-Source-Plugin, mit dem OpenAIs Codex über USB ein echtes iPhone steuern kann.
Was es kann:
• Apps öffnen, den Bildschirm auslesen, tippen, scrollen und Text eingeben
• Live-Ansicht des iPhones in der Codex-Seitenleiste
• Kein Jailbreak nötig (aber Xcode und ein Apple-Entwicklerkonto erforderlich)
• Passwörter, 2FA und Face ID müssen weiterhin manuell eingegeben bzw. bestätigt werden
Link zum Repository im Originalbeitrag.
Das ist ziemlich beeindruckend für Automatisierungstests, wirft aber auch Fragen dazu auf, was passiert, wenn eine KI dein Gerät vollständig steuern kann. Die Auswirkungen auf die Sicherheit wären enorm, wenn das missbraucht oder erweitert wird.
Behalte im Auge, wie sich das entwickelt – könnte ein Geheimtipp für Entwickler sein, die Mobile-First-Krypto-Apps entwickeln oder die Nutzererfahrung von Wallets testen.
Was es kann:
• Apps öffnen, den Bildschirm auslesen, tippen, scrollen und Text eingeben
• Live-Ansicht des iPhones in der Codex-Seitenleiste
• Kein Jailbreak nötig (aber Xcode und ein Apple-Entwicklerkonto erforderlich)
• Passwörter, 2FA und Face ID müssen weiterhin manuell eingegeben bzw. bestätigt werden
Link zum Repository im Originalbeitrag.
Das ist ziemlich beeindruckend für Automatisierungstests, wirft aber auch Fragen dazu auf, was passiert, wenn eine KI dein Gerät vollständig steuern kann. Die Auswirkungen auf die Sicherheit wären enorm, wenn das missbraucht oder erweitert wird.
Behalte im Auge, wie sich das entwickelt – könnte ein Geheimtipp für Entwickler sein, die Mobile-First-Krypto-Apps entwickeln oder die Nutzererfahrung von Wallets testen.