Hoe u duizenden kant-en-klare parsers aan uw LLM koppelt

Wanneer u met taalmodellen in echte projecten werkt, komt u vrij snel tegen hetzelfde probleem aan. Het model is uitstekend in redeneren en code schrijven, maar het is blind. Het heeft verse gegevens nodig uit de externe wereld: actuele berichten van sociale netwerken, bedrijfscontacten van kaarten, productkaarten van marktplaatsen of verse zoekmachine resultaten.

Meestal begint een ontwikkelaar op dit punt met het schrijven van aangepaste tools voor Function Calling, het bouwen van wrappers rond Playwright, of het assembleren van pipelines via Cheerio. Na een paar weken onderhoud van zulke scripts, merk je dat de helft van de tijd gaat naar het bestrijden van captchas, lay-outs en verouderde selectors.

Het Apify-team heeft dit probleem opgelost via het Model Context Protocol, door het apify-mcp-server project uit te brengen. In wezen hebben ze hun hele catalogus van kant-en-klare cloud-scrapers omgezet in een uniforme tool-calling interface voor AI-agents.

Wat het is en waarom u het nodig hebt

De repository bevat een MCP-server implementatie die lokale of cloud-clients (Claude Desktop, Cursor, VS Code, ChatGPT) verbindt met het Apify-platform. Het platform voert duizenden kant-en-klare scripts uit die Actors worden genoemd. Elke dergelijke Actor kan gestructureerde gegevens ophalen van specifieke sites: Google Maps, Facebook, Instagram, online winkels, of simpelweg websites crawlen voor RAG.

In plaats van handmatig schema's te beschrijven voor tientallen API's voor uw model, verbindt u een enkel eindpunt. De assistent zoekt zelf naar de juiste scraper in de catalogus, leest het JSON-schema, valideert invoerparameters en start gegevensverzameling.

Hoe Tool Calling werkt

Het belangrijkste kenmerk van de server is dynamische tool-ontdekking. U hoeft de configuratie van elke vereiste parser niet van tevoren hard te coderen.

Standaard geeft de server de agent een basis set van acties:

1. search-actors vindt een geschikte scraper in de catalogus op basis van een tekstquery.
2. fetch-actor-details haalt het invoerparameterschema en de documentatie van het gevonden script op.
3. call-actor start taakuitvoering op Apify-infrastructuur.
4. get-dataset-items haalt kant-en-klare gestructureerde resultaten op in batches met pagineringondersteuning.
5. apify--rag-web-browser is ingebouwd als een snelle zoektool en content parsing tool voor RAG.

Als u aan Claude vraagt: "Vind de top 10 koffiebars in Praag op Google Maps met telefoonnummers", zegt de agent niet dat het geen toegang heeft. Het roept search-actors aan, vindt de Google Maps Scraper, geeft coördinaten en stad door, wacht op het resultaat en leest de dataset.

{
  "query": "coffee shops in Prague",
  "maxResults": 10
}

Het model genereert zelf deze JSON, waarbij het controleert tegen het parameterschema van de geselecteerde scraper.

Verbindingsopties: Cloud versus lokale uitvoering

U kunt de server op twee manieren met de client verbinden. De keuze hangt af van waar uw agent zich bevindt.

1. Gehoste optie via Streamable HTTP

De gemakkelijkste weg voor Claude.ai of VS Code. Het eigen team van Apify host het op mcp.apify.com. OAuth-autorisatie wordt ondersteund, dus in sommige clients hoeft u zelfs geen API-tokens handmatig te kopiëren.

Als u alleen een specifieke tool nodig hebt zonder extra belasting van de context van het model, kunt u parameters direct in de URL doorgeven:

https://mcp.apify.com?tools=apify/rag-web-browser

In deze modus geeft de server de agent slechts één zoektool, zonder de context te belasten met metadata van andere parsers.

2. Lokale uitvoering via stdio

Als u Claude Desktop of een lokale agent in de terminal configureert, start u de server via npx:

export APIFY_TOKEN="ваш_токен_apify"
npx @apify/actors-mcp-server --tools actors,docs,apify/rag-web-browser

Het lokale proces leest omgevingsvariabelen, verzamelt schema's en communiceert met de client via standaard input/output streams.

Betaling zonder een account aan te maken

Een interessant architecturaal detail heeft betrekking op agent-economie. Wat doet u als een AI-agent autonoom werkt en geen geregistreerd Apify-profiel met een gekoppelde kaart heeft?

Ontwikkelaars hebben ondersteuning ingebouwd voor automatische betalingsprotocollen:

• AGI: de agent koopt een voorafbetaald token met een limiet via micropayments via x402 of MPP en gebruikt het als een standaard Bearer-token.
• Direct x402: betaling in USDC op het Base-netwerk voor elke specifieke run via het mcpc hulpprogramma. Ongebruikt saldo wordt automatisch teruggestort naar de portemonnee van de agent na 60 minuten inactiviteit.
• Skyfire: de agent genereert betalingstokens via Skyfire-infrastructuur en geeft ze door in tool call parameters.

Dit neemt de factureringshoofdpijn weg wanneer agents in volledig geïsoleerde omgevingen werken.

Technische nuances en beperkingen

De codebase bevat verschillende praktische oplossingen die het overwegen waard zijn tijdens de integratie:

• Invoerparameterschema's worden ingekort. Lange veld beschrijvingen worden afgekapt tot 500 tekens en enum waardelijsten worden beperkt tot 20.000 tekens. Dit is expres gedaan zodat zware schema's van complexe parsers de context van het model niet opeten.
• De call-actor aanroep retourneert niet de hele geparseerde data-array in één keer in het eerste antwoord. Het retourneert de dataset-ID en run-metadata. Om rijen op te halen, doet de agent de volgende stap via get-dataset-items. Dit beschermt de context tegen overloop met gigabytes aan tekst.
• Telemetrie verzenden en Sentry zijn standaard ingeschakeld in stdio-modus. U kunt ze uitschakelen met de --telemetry-enabled=false vlag of de TELEMETRY_ENABLED=false omgevingsvariabele.

Wie zal dit project in de praktijk nuttig vinden

Als u autonome agents bouwt voor onderzoek, concurrentieanalyse, leadgeneratie of prijsbewaking, bespaart dit project weken werk aan scraping-infrastructuur. In plaats van uw eigen crawlers te schrijven, krijgt u kant-en-klare toegang tot bewezen parsers via een gestandaardiseerd protocol.

De gemakkelijkste manier om te beginnen is door het gehoste eindpunt https://mcp.apify.com te verbinden met Claude Desktop of Cursor en de basistool apify/rag-web-browser te testen. Voor smalle productietaken is het beter om direct de lijst van tools hard te coderen via de tools parameter, zodat de agent geen tokens besteedt aan onnodige cataloguszoekopdrachten.