FOSS

Yesterday, with very little effort, I managed to get a working #DeepSeek model running on my computer. It felt like I was a super-rich tech oligarch, but I just have a simple casual gaming computer with a cheap 8 GB graphics card for playing a game or editing videos. A lot of people have a machine like that; it’s below average. And it took me half an hour. Hauke explains here how anyone can do the same. https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3

You only need the DeepSeek-R1-Distill-Qwen model (32 billion parameters, approx. 19 GB)https://huggingface.co/mradermacher/DeepSeek-R1-Distill-Qwen-32B-Uncensored-GGUF, which is a very slimmed-down version that will also run on a home computer. For institutes, educational institutions and companies, there are also more powerful models, right up to the full model, which then really requires enormous resources. And you need a program like #KoboldCpp https://github.com/LostRuins/koboldcpp which loads the AI model into the graphics card and, for a weak card like mine, offloads the rest to the CPU. Furthermore, a chat GUI is provided via http://localhost:5001. As I said, if you’ve ever used a console, it’s really not rocket science.

There will certainly be loud voices that want to ban DeepSeek. Racists and capitalists will shout that the Chinese cannot be trusted. But it is open-source. Under an MIT license. I also ran it offline. It runs 100% locally.

What you could do with it! If smart people continue to train the models. Now everyone has an AI and the tech bros can pack up! Thanks Deepseek and thanks China. A huge gift for the open-source community and maybe for humanity.

PS. And once again, the conspiracy theorists were right, claiming that commercial AIs are only so large and resource-hungry so that they are reserved exclusively for the rich and the people remain customers. That’s over now.

Mir ist es gestern mit sehr kleinem Aufwand gelungen, ein funktionierendes #DeepSeek Model auf meinen Rechner zum Laufen zu bekommen. Hat sich angefühlt, als wäre ich jetzt superreicher Techoligarch, aber ich habe nur einen simplen Casual Gamer Rechner mit einer billigen 8 GB Grafikkarte, um mal ein Spiel zu spielen oder Videos zu bearbeiten. So einen Rechner haben viele Menschen, es ist unterer Durchschnitt. Und es hat mich eine halbe Stunde gekostet.  Wie das für jeden nachzumachen ist, erklärt Hauke hier. https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3

Man benötigt nur das Model DeepSeek-R1-Distill-Qwen (32 Mrd. Parameter, ca. 19 GB) das ist eine sehr abgespeckte Version, die eben auch auf einem Home Rechner läuft. Für Institute, Bildungseinrichtungen und Firmen gibt es auch stärkere Modelle bis zum vollen Modell, welches dann wirklich enorme Ressourcen benötigt. und man braucht ein Programm wie #KoboldCpp https://github.com/LostRuins/koboldcpp welche das KI-Model in die Grafikkarte lädt und bei einer schwachen Karte, wie bei mir, den Rest auf die CPU auslagert. Des Weiteren wird eine Chat GUI über http://localhost:5001 zur verfügung gestellt. Wie gesagt, wenn man schon mal eine Konsole benutzt hat, ist das echt kein Hexenwerk.

Es wird ganz sicher laute Stimmen geben, die DeepSeek verbieten wollen. Rassisten und Kapitalisten die rufen werden das man den Schlitzau… den Chinesen nicht trauen kann. Nur es ist Open-Source. Unter MIT-Lizenz. Ich habe es außerdem offline betrieben. Es läuft 100% lokal.

Was man damit alles machen könnte! Wenn kluge Menschen die Modelle weiter trainieren. So haben jetzt alle eine KI und die Techbros können einpacken! Danke Deepseek und Danke China. Für die Open-Source-Community ein riesengroßes Geschenk und vielleicht auch für die Menschheit.

PS. und einmal mehr hatten die Aluhüte recht, die behaupteten, dass die kommerziellen KIs nur so groß und Ressourcen hungrig sind, damit sie exklusiv den Reichen vorbehalten sind und das Volk Kunde bleibt. Das ist jetzt vorbei.