Nicht die Quants sind schuld: Warum dein lokales LLM dümmer wirkt, als es ist
Ein Reddit-Thread im r/LocalLLM-Subreddit hat eine hitzige Debatte darüber ausgelöst, warum lokal betriebene Sprachmodelle im Alltag oft unterdurchschnittlich performen. Die Artikel-These, dass Quantisierung – insbesondere Q4 – der Hauptgrund für die gefühlte 'Dummheit' sei, w…