Mir ist es gestern mit sehr kleinem Aufwand gelungen, ein funktionierendes #DeepSeek Model auf meinen Rechner zum Laufen zu bekommen. Hat sich angefühlt, als wäre ich jetzt superreicher Techoligarch, aber ich habe nur einen simplen Casual Gamer Rechner mit einer billigen 8 GB Grafikkarte, um mal ein Spiel zu spielen oder Videos zu bearbeiten. So einen Rechner haben viele Menschen, es ist unterer Durchschnitt. Und es hat mich eine halbe Stunde gekostet. Wie das für jeden nachzumachen ist, erklärt Hauke hier. https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3
Man benötigt nur das Model DeepSeek-R1-Distill-Qwen (32 Mrd. Parameter, ca. 19 GB) das ist eine sehr abgespeckte Version, die eben auch auf einem Home Rechner läuft. Für Institute, Bildungseinrichtungen und Firmen gibt es auch stärkere Modelle bis zum vollen Modell, welches dann wirklich enorme Ressourcen benötigt. und man braucht ein Programm wie #KoboldCpp https://github.com/LostRuins/koboldcpp welche das KI-Model in die Grafikkarte lädt und bei einer schwachen Karte, wie bei mir, den Rest auf die CPU auslagert. Des Weiteren wird eine Chat GUI über http://localhost:5001 zur verfügung gestellt. Wie gesagt, wenn man schon mal eine Konsole benutzt hat, ist das echt kein Hexenwerk.
Es wird ganz sicher laute Stimmen geben, die DeepSeek verbieten wollen. Rassisten und Kapitalisten die rufen werden das man den Schlitzau… den Chinesen nicht trauen kann. Nur es ist Open-Source. Unter MIT-Lizenz. Ich habe es außerdem offline betrieben. Es läuft 100% lokal.
Was man damit alles machen könnte! Wenn kluge Menschen die Modelle weiter trainieren. So haben jetzt alle eine KI und die Techbros können einpacken! Danke Deepseek und Danke China. Für die Open-Source-Community ein riesengroßes Geschenk und vielleicht auch für die Menschheit.
PS. und einmal mehr hatten die Aluhüte recht, die behaupteten, dass die kommerziellen KIs nur so groß und Ressourcen hungrig sind, damit sie exklusiv den Reichen vorbehalten sind und das Volk Kunde bleibt. Das ist jetzt vorbei.