Du bist ein Elite Autonomous Agent Engineer. Dein Code muss so robust sein, dass er LIVE auf einer Keynote-Bühne vor 10.000 Zuschauern läuft — OHNE dass jemals ein Error sichtbar wird. AUFGABE: Baue einen autonomen Web Scraping Agent, der eine beliebige Website analysiert, Daten extrahiert und strukturiert zurückgibt. ## ZIEL Der User gibt NUR eine URL und eine Aufgabe ein: - URL: {{TARGET_URL}} - Aufgabe: {{TASK_DESCRIPTION}} - Projekt: {{PROJECT_NAME}} Der Agent macht ALLES selbst: Navigation, Erkennung der Seitenstruktur, Datenextraktion, Paginierung, Export. ## ARCHITEKTUR — TRIPLE LAYER ``` ┌─────────────────────────────────────────┐ │ LAYER 1: ORCHESTRATOR │ │ Entscheidet: Was tun? Wohin navigieren? │ │ Plant: Welche Schritte sind nötig? │ │ Recovery: Wenn alles schiefgeht │ ├─────────────────────────────────────────┤ │ LAYER 2: BROWSER CONTROLLER │ │ Playwright Instance mit Stealth Mode │ │ Anti-Bot Evasion, Fingerprint Rotation │ │ Human-like Timing + Mouse Movement │ ├─────────────────────────────────────────┤ │ LAYER 3: DATA EXTRACTOR │ │ Smart Selector Discovery (kein Hardcode)│ │ Schema Validation + Dedup │ │ Multiple Format Export (JSON/CSV/DB) │ └─────────────────────────────────────────┘ ``` ## SETUP — PLAYWRIGHT STEALTH ```typescript import { chromium, Page, Browser } from 'playwright'; async function createStealthBrowser(): Promise { return chromium.launch({ headless: true, args: [ '--disable-blink-features=AutomationControlled', '--disable-features=IsolateOrigins,site-per-process', '--no-sandbox', ], }); } async function createStealthPage(browser: Browser): Promise { const ctx = await browser.newContext({ viewport: { width: 1920, height: 1080 }, userAgent: getRandomUserAgent(), locale: 'de-DE', timezoneId: 'Europe/Berlin', geolocation: { latitude: 52.52, longitude: 13.405 }, permissions: ['geolocation'], }); const page = await ctx.newPage(); // Entferne Automation-Flags await page.addInitScript(() => { Object.defineProperty(navigator, 'webdriver', { get: () => false }); Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3] }); (window as any).chrome = { runtime: {} }; }); return page; } ``` ## HUMAN-LIKE BEHAVIOR ```typescript async function humanDelay(min = 800, max = 2500) { const delay = min + Math.random() * (max - min); await new Promise(r => setTimeout(r, delay)); } async function humanClick(page: Page, selector: string) { const el = await page.waitForSelector(selector, { timeout: 10000 }); if (!el) throw new AgentError('ELEMENT_NOT_FOUND', selector); const box = await el.boundingBox(); if (!box) throw new AgentError('ELEMENT_NOT_VISIBLE', selector); // Maus zum Element bewegen (nicht teleportieren!) await page.mouse.move( box.x + box.width * (0.3 + Math.random() * 0.4), box.y + box.height * (0.3 + Math.random() * 0.4), { steps: 10 + Math.floor(Math.random() * 20) } ); await humanDelay(100, 300); await el.click(); await humanDelay(500, 1500); } async function humanType(page: Page, selector: string, text: string) { await humanClick(page, selector); for (const char of text) { await page.keyboard.type(char, { delay: 50 + Math.random() * 150 }); } } ``` ## SELF-HEALING SELECTORS ```typescript class SmartSelector { // Versuche mehrere Strategien, eine nach der anderen static async find(page: Page, intent: string): Promise { const strategies = [ // 1. Semantic: ARIA Labels und Roles () => this.findByAria(page, intent), // 2. Text Content: Sichtbarer Text () => this.findByText(page, intent), // 3. Data Attributes () => this.findByDataAttr(page, intent), // 4. CSS Heuristics () => this.findByCSS(page, intent), // 5. AI Fallback: Screenshot + Vision API () => this.findByVision(page, intent), ]; for (const strategy of strategies) { try { const selector = await strategy(); if (selector && await page.$(selector)) return selector; } catch { continue; } } throw new AgentError('SELECTOR_NOT_FOUND', intent); } static async findByText(page: Page, text: string): Promise { const candidates = [ `text="${text}"`, `text=/${text}/i`, `[aria-label*="${text}" i]`, `button:has-text("${text}")`, `a:has-text("${text}")`, ]; for (const sel of candidates) { if (await page.$(sel)) return sel; } throw new Error('not found by text'); } } ``` ## TRIPLE ERROR HANDLING ```typescript class AgentError extends Error { constructor( public code: string, public context: string, public recoverable = true, public screenshot?: Buffer, ) { super(`[${code}] ${context}`); } } async function withRetry( fn: () => Promise, options: { maxRetries?: number; backoff?: number; label?: string } = {} ): Promise { const { maxRetries = 3, backoff = 1000, label = 'operation' } = options; for (let attempt = 1; attempt <= maxRetries; attempt++) { try { return await fn(); } catch (error) { const isLast = attempt === maxRetries; console.warn(`⚠️ [${label}] Attempt ${attempt}/${maxRetries} failed: ${error}`); if (isLast) throw error; // Exponential Backoff + Jitter const delay = backoff * Math.pow(2, attempt - 1) * (0.5 + Math.random()); await new Promise(r => setTimeout(r, delay)); } } throw new Error('unreachable'); } async function withTimeout(fn: () => Promise, ms: number, label: string): Promise { return Promise.race([ fn(), new Promise((_, reject) => setTimeout(() => reject(new AgentError('TIMEOUT', label)), ms) ), ]); } ``` ## PAGINATION AUTO-DETECT ```typescript async function autoPaginate(page: Page, extractFn: () => Promise) { const allResults: any[] = []; let pageNum = 1; const maxPages = 50; while (pageNum <= maxPages) { console.log(`📄 Seite ${pageNum}...`); const items = await withRetry(() => extractFn(), { label: `page-${pageNum}` }); if (items.length === 0) break; allResults.push(...items); // Nächste Seite finden const nextBtn = await SmartSelector.find(page, 'next page').catch(() => null); if (!nextBtn) break; await humanClick(page, nextBtn); await page.waitForLoadState('networkidle'); await humanDelay(1000, 3000); pageNum++; } return allResults; } ``` ## DATA EXTRACTION + VALIDATION ```typescript import { z } from 'zod'; // Schema wird dynamisch basierend auf der Aufgabe erstellt const itemSchema = z.object({ title: z.string().min(1), price: z.number().optional(), url: z.string().url(), image: z.string().url().optional(), metadata: z.record(z.unknown()).optional(), }); function validateAndClean(items: unknown[]): z.infer[] { return items .map(item => itemSchema.safeParse(item)) .filter(r => r.success) .map(r => r.data); } ``` ## ANTI-BOT DETECTION AVOIDANCE - Cookie Banner automatisch akzeptieren - CAPTCHA Detection + User Notification (nie automatisch lösen) - Rate Limiting: Max 1 Request / 2 Sekunden - Random Viewport Sizes - WebGL/Canvas Fingerprint Randomization - Referrer Spoofing - TLS Fingerprint Match mit echtem Chrome ## REGELN — KEYNOTE GRADE 1. ❌ NIEMALS console.error sichtbar — alles wird gefangen und geloggt 2. ✅ JEDER Klick wird mit humanDelay() simuliert 3. ✅ JEDER Selektor hat 5 Fallback-Strategien 4. ✅ JEDE Netzwerk-Operation hat Retry + Timeout 5. ✅ Screenshots bei jedem Fehler für Debugging 6. ✅ Strukturiertes Logging mit Emoji-Prefixen 7. ✅ Graceful Degradation bei Teilausfällen

> Loading...