Hoe je AI-agents leert om mobiele apps zelf te testen

Bekend verhaal: je vraagt een AI-assistent zoals Cursor of Claude om een feature voor een mobiele app te schrijven, het spuugt een hoop code uit, je kopieert het, en dan... je opent de simulator en klikt handmatig door elk scherm om te controleren of de layout niet is gebroken. Op dat moment voelt het alsof automatisering een verkeerde afslag heeft genomen. AI kan code schrijven, maar het is "blind" voor de echte interface buiten de teksteditor.

De mensen bij Callstack hebben dit probleem opgelost door agent-device uit te brengen. Het is een CLI-tool die een AI-agent transformeert van theoreticus naar praktijkwerker. Nu kan de agent de app openen op een iOS-simulator of Android-emulator, naar schermelementen kijken en op de juiste knoppen tikken.

Waarom de moeite nemen als je Appium of Maestro hebt

Het lijkt misschien alsof er al genoeg mobiele automatiseringstools zijn. Maar hier is het addertje onder het gras: Appium en Maestro zijn ontworpen voor mensen. Een AI-agent hoeft geen complexe YAML-scenario's te schrijven of te rommelen met selectors in de XML-boom. Het heeft een snelle, goedkope en eenvoudige manier nodig om met de hardware te communiceren.

agent-device werkt anders. Het legt screenshots niet vast als alleen maar afbeeldingen, maar als gestructureerde accessibility trees. In plaats van zware screenshots te voeren aan een multimodaal model en tokens te verbranden, krijgt de agent een tekstgebaseerde beschrijving van elementen met korte referenties zoals @e1, @e2. Dit verlaagt de kosten en versnelt het proces.

Wat deze tool kan doen

De tool positioneert zichzelf als de "handen en ogen" van de agent. Dit zijn de belangrijkste functies die mijn aandacht trokken:

1. Slimme screenshots. De snapshot -i opdracht retourneert alleen interactieve elementen. De agent ziet een lijst: @e1 [button] "Sign In", @e2 [text-field] "Email". Geen giswerk waar te tikken.
2. Cross-platform uit de doos. Dezelfde werkstroom werkt voor iOS, Android, TV (tvOS en Android TV), en zelfs desktop-apps op macOS en Linux.
3. Evidentie verzamelen. Als er iets misgaat, kan de agent zelf videoregistratie starten, logs vastleggen of netwerkverkeer extraheren. Dit is van onschatbare waarde voor het debuggen van bugs die alleen bij runtime optreden.
4. React Native-integratie. Aangezien Callstack achter dit project staat, is er diepe RN-ondersteuning: je kunt de componentboom inspecteren en renders profileren.

Hoe het er in de praktijk uitziet

Stel je voor dat je een MCP-server (Model Context Protocol) instelt voor je AI-agent. Nu kan het opdrachten direct in de terminal uitvoeren.

Eerst controleren we de omgeving:

agent-device doctor

Als alles in orde is, kan de agent de app starten:

agent-device open "MyApp" --platform ios

Dan neemt het een kijkje:

agent-device snapshot -i

Zodra het de lijst met elementen heeft, simuleert het simpelweg gebruikersacties:

agent-device fill @e3 "[email protected]"
agent-device tap @e2

Dat is alles. Geen wachten op compilatie of handmatig schakelen tussen vensters.

Onder de motorkap

De tool probeert het wiel niet opnieuw uit te vinden waar standaarden al werken. Voor iOS gebruikt het XCTest, voor Android is het ADB gecombineerd met een aangepaste screenshot-helper. Voor het web draait Playwright op de achtergrond (specifiek logica van vercel/agent-browser).

Interessant is dat agent-device zijn sessies kan converteren naar Maestro-formaat. Dit betekent dat de agent een test kan opstellen terwijl hij de app "verkent", en je deze vervolgens kunt opslaan als een volledige E2E-test voor CI.

Wie zou dit moeten proberen

Ik zie verschillende scenario's waar dit echt tijd zal besparen:

• React Native en Expo-ontwikkelaars. Als je Cursor of Windsurf gebruikt, voeg dan de agent-device-documentatie toe aan de context. De agent kan zijn eigen wijzigingen verifiëren zonder jou te onderbreken.
• QA-engineers. Je kunt het schrijven van basale smoke tests uitbesteden aan AI. Het zal zelf de knoppen vinden en verifiëren dat overgangen werken.
• Teams die met TV-platforms werken. TV-automatisering is altijd een probleem, en hier wordt het meegeleverd.

Het project ontwikkelt zich actief, en hoewel de documentatie nog op sommige plaatsen wordt ingevuld, werkt de main CLI stabiel. Als je in het Agentic Workflows-concept gelooft, is deze tool zeker de moeite waard om een avond aan te besteden.

Je kunt beginnen met hun officiële documentatie, die details geeft over hoe je de CLI kunt integreren met populaire AI-agents.