0918 | Werkzeugkasten der Woche: KI-Agents, Testing und neue App-Wellen

Lena Vogel: Willkommen zurück beim Podcast, hier ist Lena Vogel.

Felix Hartmann: Und Felix Hartmann. Heute geht es um eine Woche, die in einem Satz zusammenfasst, was gerade passiert: KI-Agents übernehmen nicht nur die Arbeit, sondern jetzt auch das Prüfen der Arbeit. Und natürlich braucht man dafür Infrastruktur, also Rechenleistung, Datenplattformen und Abrechnung. Das ist der rote Faden, der durch alle Geschichten heute läuft.

Lena Vogel: Genau, und dazu kommen noch ein paar nette Desktop-Werkzeuge und am Ende eine richtig schöne Portion Ironie. Fangen wir beim Testen an, denn das ist vielleicht die eigentlich spannendste Verschiebung der Woche. Da gibt es QAgent, ein Werkzeug für automatisierte QA. Die Idee: Man richtet einen Webhook ein, das dauert laut Angaben zwei Minuten, und danach führt der Agent automatisch Qualitätssicherung durch und bewertet das Ergebnis in acht Dimensionen.

Felix Hartmann: Das Preis-Modell ist auch erwähnenswert, weil es gerade bei solchen Tools typisch ist: 100 freie Evaluierungen pro Monat. Man kann also erstmal ausprobieren, ohne gleich zu zahlen. Wer es danach weiter nutzt, zahlt, aber die Details dazu kenne ich nicht. Und genau da sehe ich die entscheidende offene Frage: Wie zuverlässig sind die Bewertungen in der Praxis? Ein Agent, der Software testet, ist nur so gut wie seine Bewertungslogik.

Felix Hartmann: Acht Dimensionen klingen gut, aber was in diesen Dimensionen steckt und wie verlässlich die Urteile sind, weiß man nicht.

Lena Vogel: Und das ist ja kein Einzelfall, sondern ein ganzes Feld, das gerade entsteht. Das zweite Werkzeug in diesem Themenblock heißt MCPJam. Das ist eine Test- und Evaluierungsplattform speziell für MCP-Server. MCP, das Model Context Protocol, ist ja der Standard, mit dem man AI-Systemen Werkzeuge andockt, und MCPJam bietet dafür Swarms, also simulierte Nutzer, dazu User Testing, Evals und CI/CD-Gates.

Felix Hartmann: Dass es CI/CD-Gates dafür gibt, finde ich das eigentlich Aussagekräftigste. Das bedeutet: Man kann Evaluationen so in seine Pipeline einbauen, dass etwas nicht released wird, wenn der Test durchfällt. Das ist der Punkt, an dem Agent-Testing von einer Spielerei zu echter Infrastruktur wird. Genau wie klassische Unit-Tests, nur eben für Systeme, die man nicht deterministisch testen kann.

Lena Vogel: Und es geht noch spezieller: NovaSynth testet Voice-Agents vor dem Launch. Man simuliert echte Anrufer, mit Unterbrechungen, mit Hintergrundgeräuschen, mit Akzenten. Dann bewertet das System über 30 Dimensionen und soll sogar automatisch reparieren, also die Probleme beheben, die es findet.

Felix Hartmann: Diese drei Problemarten sind gut gewählt, weil sie genau das sind, was einen Voice-Agent in der Praxis aufisst. Jeder, der mal mit einem Telefonbot gesprochen hat, kennt das: Man fällt ihm ins Wort, es ist laut im Hintergrund, oder man hat einen Akzent, und schon versteht der Bot nichts mehr. Wenn ein Testwerkzeug genau diese Situationen durchspielt, ist das nachvollziehbar motiviert.

Felix Hartmann: Die 30 Dimensionen wiederum, wie die gewichtet sind und wie gut die automatische Reparatur wirklich funktioniert, bleiben offen. Auch hier gilt: Herstellerangabe, nicht verifiziertes Ergebnis.

Lena Vogel: Bleiben wir noch kurz in dieser Welt, dann kommt das, was ich das "Ergebnis-Liefer-Versprechen" nennen würde: AskDeck. Der Ablauf ist so simpel, dass er fast schon frech ist: Man ruft eine KI an, schickt eine SMS oder eine E-Mail an eine Figur namens Eric, und wenige Minuten später bekommt man eine editierbare PowerPoint-Datei zurück, dazu ein synchrones Erklärvideo. Bezahlt wird einmalig, 29 Dollar.

Felix Hartmann: Man beachte die Wahl der Kommunikationskanäle: Telefon, SMS, E-Mail. Das sind die Kanäle, die alle benutzen können, ohne sich irgendwo ein Tool zu installieren. Man braucht keine App, keinen Account, keine Programmierschnittstelle. Man beschreibt auf dem Kanal, den man ohnehin nutzt, was man braucht, und bekommt ein Produkt zurück. Das ist eine ganz eigene Vorstellung davon, wie Software benutzt wird.

Lena Vogel: Und es verbindet sich gut mit allem, was wir gerade gehört haben, denn egal ob man Agents testet oder Agents Ergebnisse liefern lässt: Irgendwo braucht man Rechenleistung und Infrastruktur. Schauen wir uns also an, womit die Leute das bauen. Da gibt es Bitrise RDE, eine Plattform für Cloud-Entwicklungsmaschinen auf Mac und Linux, die in Sekunden starten. Das Besondere: Die Maschinen nutzen dieselbe Hardware und dieselben Caches wie die CI-Umgebung.

Felix Hartmann: Das ist ein Detail mit Gewicht. Wer schon mal die Erfahrung gemacht hat, dass etwas lokal läuft, aber in CI scheitert, weiß, warum es wichtig ist, wenn Entwicklungsumgebung und CI auf derselben Hardware mit denselben Caches stehen. Und RDE ist laut Beschreibung über MCP steuerbar, das heißt, man kann AI-Agents parallel auf diesen Maschinen arbeiten lassen. Das passt in das Bild der Woche: Agents als Kollegen, denen man Maschinen bereitstellt. 20 Dollar pro Monat ist das Preismodell.

Lena Vogel: Der nächste Baustein sind Daten. Axiom nennt sich eine moderne Machine-Data-Plattform. Was das konkret heißt: Ingestion ohne festes Schema im Petabyte-Bereich, voll verwaltetes Event-Storage, und der Kernversprechen lautet: Man behält alle Daten. Also kein Sampling, kein Wegwerfen von Events, um Kosten zu sparen.

Felix Hartmann: "Man behält alle Daten" ist eines dieser Versprechen, die man hören will, weil man hinterher nie mehr nachvollziehen kann, was man beim Sampling weggeworfen hat. Die offene Frage ist dann freilich die übliche: Was kostet das im Detail? Preisgestaltung ist bei Axiom, genau wie bei Higgsfield, nicht im Detail bekannt. Und das führt uns direkt zu Higgsfield.

Lena Vogel: Higgsfield API ist ein Beispiel für die Trendbewegung "ein Interface, viele Modelle". Über eine einzige asynchrone API hat man Zugang zu über 50 Generative-Media-Modellen, namentlich genannt werden Seedance und Kling. Abgerechnet wird nach Nutzung, und es gibt Software-Entwicklungskits für Python und TypeScript.

Felix Hartmann: Das ist im Grunde das, was man von einem Modell-Aggregator erwartet: Man will nicht fünf Anbieter anbinden, sondern eine Schnittstelle, und abgerechnet wird nach Verbrauch. Die Nachteile liegen dann dort, wo man es als Kunde verliert: Man weiß nicht, welche der 50 Modelle wirklich gut für den eigenen Fall sind, und die Preisdetails im Einzelnen sind offen. Aber als Infrastruktur-Baustein für Leute, die Generative-Media in eigene Produkte einbauen wollen, ist es ein sinnvolles Angebot.

Lena Vogel: Und dann schließt sich der Kreis mit Geld. CREEM 2.0 ist eine Abrechnungsplattform für AI-Entwickler, die sich Merchant of Record nennt. Das heißt konkret: Man übernimmt Zahlungen, Steuer, Revenue-Share und nutzungsbasierte Abrechnung in über 190 Ländern. Und für die Agent-Welt des Jahres: Es gibt eine Anbindung über MCP und ein CLI, sodass auch Agents die Plattform nutzen können.

Felix Hartmann: Merchant of Record ist die Variante, bei der man sich komplett aus dem Bürokratie-Teil rauskauft. Man will ein Produkt verkaufen, nicht in 190 Ländern Steuersätze pflegen. Und die Tatsache, dass CREEM sich über MCP und CLI öffnet, ist mal wieder derselbe Witz des Jahres: Agents dürfen eigene Shops aufmachen. Man kann das witzig finden oder gruselig, es ist auf jeden Fall konsequent.

Lena Vogel: Bevor wir von Infrastruktur weggehen, noch ein kurzer Seitenblick in die Community: Compute:Arena ist eine Plattform, auf der die Community lokale AI-Benchmarks einreicht. Die Testwerkzeuge sind Open Source und decken beliebige Hardware, Runtimes und Quantisierungen ab. Ein Leaderboard ist online.

Felix Hartmann: Das ist die Gegenbewegung zu den geschlossenen Benchmark-Diensten: Der Testcode ist offen, also nachprüfbar, und die Community kann selbst messen, was auf welcher Hardware läuft. Im Kontext unserer Infrastruktur-Geschichten passt das gut, denn Compute ist das, worauf am Ende alles aufbaut.

Lena Vogel: Nun zu einer anderen Art, mit Sprache zu bauen. The Forge ist das radikalste Beispiel der Woche: Man beschreibt eine Idee in natürlicher Sprache, und ein AI-Team plant, entwickelt, deployed und betreibt dann das ganze Produkt. Und zwar nicht nur den Code, sondern inklusive CRM, Zahlungen und Brand-Management.

Felix Hartmann: Das ist das Endbild der Idee "Ich habe eine Idee, und jemand baut sie". Nur dass der Jemand hier nicht ein Freelancer-Team, sondern ein AI-Team ist. Die offene Frage ist dieselbe, die man bei allen so etwas prophezeien sollte: Wie gut skaliert das für echte Produkte? Ein Prototyp ist eines. Ein Produkt mit Kunden, Zahlungen und Brand, das über Monate läuft, ist etwas anderes. Das Versprechen ist riesig, der Beweis steht aus.

Lena Vogel: Etwas bescheidener und dafür ganz praktisch: Opyt. Das Tool verwandelt X-Favoriten, Substack-Abos, Blogs und arXiv-Papers in eine Wissensbasis. Es ist MIT-lizenziert und damit Open Source, kann lokal laufen und sich über MCP an AI-Systeme anbinden lassen.

Felix Hartmann: Das löst ein reales Problem, das viele kennen: Die Dinge, die man gelesen hat, liegen in vier verschiedenen Diensten und sind praktisch unauffindbar. Opyt sammelt sie an einem Ort und macht sie für AI abfragbar. Dass es Open Source und lokal lauffähig ist, ist in diesem Feld fast schon selten geworden. Und wieder taucht MCP auf, das Protokoll des Jahres.

Lena Vogel: Und dann noch ein Blick auf Modaal, das die Cross-Platform-Frage neu beantwortet: Aus einem Projekt erzeugt es gleichzeitig native iOS- und Android-Apps. Auf der iOS-Seite Swift und SwiftUI, auf der Android-Seite Kotlin und Jetpack Compose. Die Logik wird geteilt, die Oberflächen bleiben jeweils nativ.

Felix Hartmann: Das ist ein interessanter Mittelweg. Die klassische Alternative war immer: Cross-Platform-Framework, also geteilte Oberflächen, mit allen Kompromissen. Oder zwei Teams, zwei Codebasen, doppelter Aufwand. Modaal sagt: Logik teilen wir, UI schreiben wir jeweils nativ. Für Teams, die Wert auf native Oberflächen legen, aber keinen doppelten Entwicklungsaufwand leisten können, ist das eine nachvollziehbare Positionierung. Die Bewährungsfrage bleibt, wie bei jedem solchen Ansatz, offen.

Lena Vogel: Und wenn man ein Produkt hat, braucht man auch Marktbeobachtung und Vertrieb. Da gibt es Pitchfire: Man lädt sein Fundraising-Deck hoch, und die KI findet VCs, die passen, und verschickt Intro-E-Mails. Jeden Tag werden drei Investoren empfohlen. Und das Ganze ist kostenlos.

Felix Hartmann: Die Kostenfrage ist bei Pitchfire die naheliegende: Wenn ein Tool kostenlos Investoren-Mails verschickt, was ist dann das Geschäftsmodell, und wem gehört was? Und die Qualität der VC-Matches ist die zweite offene Frage, die man stellen sollte. Ein Match auf Basis eines Decks ist nicht dasselbe wie ein Match auf Basis eines echten Gesprächs. Aber der Ablauf ist für Gründer, die gerade am Anfang stehen, verlockend, weil Intro-E-Mails der Engpass sind.

Lena Vogel: Auf der Konkurrenzseite kommt Figo ins Spiel. Das ist eine Plattform, die automatisch wöchentlich die Wettbewerber überwacht: deren Rankings, deren Seiten, deren Werbung auf Google, Meta und TikTok, deren Social-Media-Präsenz und auch, ob die eigenen Produkte in AI-Antworten empfohlen werden. Jeden Montag gibt es ein Briefing.

Felix Hartmann: Dass AI-Empfehlungen als Überwachungspunkt auftauchen, finde ich erwähnenswert. Das ist eine neue Frage für Marktauftritte: Wird mein Produkt in den Antworten von AI-Systemen genannt, oder das der Konkurrenz? Das ist im Grunde eine neue Form von SEO. Und die Datenschutzfrage bei Figo sollte man nicht wegwischen: Man überwacht ja Mitbewerber, und was dabei rechtlich und datenschutzseitig sauber ist, ist eine echte offene Frage.

Lena Vogel: Und dann das andere Ende der Skala: Text Agent Store. Ein Marketplace mit 137 iMessage-Texting-Agents. Man fügt einen Agent als Kontakt hinzu und kann ihn per SMS benutzen. Kein Account nötig.

Felix Hartmann: 137 Agents, die man als Kontakte hat, das ist im Grunde die Rückkehr eines ganz alten Musters: Man schreibt jemandem, der antwortet. Nur dass der Jemand keine Person ist. Ob die Qualität stimmt, weiß man nicht, aber das Modell ist einfach und niederschwellig. Und es rundet das Bild ab, das wir die ganze Woche zeichnen: Agents sind keine Technologie-Story mehr, sondernkontakte im Telefonbuch.

Lena Vogel: Kommen wir jetzt zu den Werkzeugen, die man auf dem eigenen Rechner hat. Und da fällt mir gleich ein Muster auf: lokale Verarbeitung und Einmalkauf statt Abo. Das erste Beispiel ist MacSentinel. Es kombiniert Monitoring, lokale Diagnose und Bereinigung für den Mac. Es gibt Regeln für über 500 Apps, und der Müll landet erst in einem wiederherstellbaren Papierkorb. Die Pro-Version kostet einmalig 29 Dollar, kein Abo.

Felix Hartmann: Das Detail mit dem wiederherstellbaren Papierkorb ist bemerkenswert, weil das genau das ist, was man von einem Reinigungs-Tool eigentlich erwartet und was viele nicht bieten: Man soll nichts unwiderruflich löschen, bevor man sicher ist. Und die 500-App-Regeln sind ein Zeichen dafür, dass die Macher nachgedacht haben, wie die Reste bei realen Apps tatsächlich aussehen. Einmalkauf statt Abo ist dann die Kirsche auf der Torte.

Lena Vogel: Das zweite Werkzeug in derselben Familie ist TinyKPI. Das zeigt Business-Kennzahlen von Stripe, PostHog oder Google Analytics direkt in der Notch des MacBooks. Es läuft komplett lokal und kostet einmalig 14 Dollar.

Felix Hartmann: Die Notch als Displayfläche zu nutzen ist eine wirklich geschickte Idee, weil sie an einem Ort ist, wo man ohnehin hinschaut, ohne ein Fenster aufmachen zu müssen. Dass die Daten lokal bleiben, ist bei Geschäftsdaten keine bloße preference, sondern oft eine Anforderung. Und wieder Einmalkauf, diesmal 14 Dollar.

Lena Vogel: Das dritte Werkzeug ist Zella. Es schneidet Screencasts vom Mac oder iPhone automatisch: Stille wird entfernt, Untertitel werden erstellt, Zooms werden gesetzt. Und das alles läuft lokal. Die 1080p-Version ist kostenlos, die Pro-Version kostet einmalig 89 Dollar.

Felix Hartmann: Was mich an Zella interessiert, ist die Zielgruppe: Menschen, die Tutorials oder Demos aufnehmen. Das ist mühsame Handarbeit, und die Automatisierung passt gut. Und wieder derselbe Trend: alles lokal, einmalig bezahlen. Das ist der dritte Mac-Tool-Anbieter in Folge mit diesem Modell.

Lena Vogel: Und dann der vierte: Blanc. Ein kostenloser, minimalistischer Desktop-Browser, der keine Tabs in einer Leiste hat, sondern eine schwebende Island. Werbung und Tracker werden auf Netzwerkebene blockiert. Er ist MIT-Open-Source, und er hat ausdrücklich keine AI und keine Extensions.

Felix Hartmann: Dass Blanc explizit ohne AI und ohne Extensions auskommt, ist ein Statement. Es gibt eine Gegenbewegung zu immer dichteren Browsern mit eingebauten Assistenten, und Blanc setzt genau da an: minimal, offen, ohne Extras. Das passt in die Woche, weil es zeigt, dass "einfach lassen" auch eine Positionierung ist.

Felix Hartmann: Der Preis dafür ist natürlich der Funktionsumfang, und die Langzeitpflege bei einem Open-Source-Projekt mit einem Einzelmacher oder kleinem Team ist immer die offene Frage, die man stellen sollte.

Lena Vogel: Bevor wir zum Abschluss kommen, noch ein kurzer Blick auf die Kuriositäten und was sie über den Zustand der Branche verraten. Und hier ist die Ironie der Woche: Die "-Me"-Kultur kehrt zurück. Die App heißt Die With Me, und sie zeigt als AIM-artige Freundesliste, wie viel Kontingent die Freunde bei Claude Code oder Codex noch haben. Und wer unter 20 Prozent fällt, kommt in einen Chatraum.

Felix Hartmann: Das ist gleichzeitig witzig und aufschlussreich. Witzig, weil das Design zurückkommt, das viele von AOL Instant Messenger kennen. Aufschlussreich, weil die begrenzten Nutzungs-Kontingente von AI-Tools heute so präsent sind, dass man eine ganze App baut, um sie unter Freunden zu vergleichen. KI-Nutzung wird sichtbar, messbar und sogar sozial.

Lena Vogel: Die Gegenposition dazu war ja Compute:Arena, das wir kurz erwähnt haben: die Community-Plattform für lokale AI-Benchmarks mit offenem Testcode und Leaderboard. Man könnte sagen: Dort wird genau gemessen, was bei Die With Me eher laut gerufen wird. Die offene Frage bei Die With Me ist natürlich, ob die Solang-Panik, also die Angst, dass das Kontingent ausgeht, ein reales Verhalten verändert, oder ob sie nur ein Gefühl ist.

Felix Hartmann: Und das ist der Punkt, an dem ich die Woche zusammenfassen würde. Wir haben gesehen: Agents testen Agents, Agents bauen Produkte, Agents beobachten den Markt, Agents verkaufen sogar. Und wir haben die Gegenbewegung gesehen: lokale, einfache, einmalig bezahlte Desktop-Werkzeuge, die ohne AI auskommen. Beide Richtungen existieren gleichzeitig, und sie geben sich nicht die Hand.

Lena Vogel: Danke, Felix. Und danke dir da draußen fürs Zuhören. Wir sehen uns in der nächsten Woche.

Felix Hartmann: Bis dann.