WebLLM im Realitätscheck: Geniale Idee, brüchige Umsetzung – ist das Projekt schon tot?
WebLLM positioniert sich als hochperformante In-Browser-Inferenz-Engine, die große Sprachmodelle vollständig clientseitig über die WebGPU-Schnittstelle ausführt – ganz ohne Server-Roundtrips oder API-Kosten. Der Ansatz ist bestechend: Datenschutz durch lokale Verarbeitung, kei…