ai

von

It’s a wasps‘ nest with the AIs of this world. I never dealt with it before, only when I was able to run one myself and knew that nothing leaves my computer did I become interested in it. I now have that thanks to deepseek. Now I realize how much ideology and culture war is in it. A GPT AI is, in a sense, an interpreted machine. At least when you leave the realm of logic and mathematics, it will convey a world view. It is very hypocritical (that’s why it bothers me a bit too much) to now accuse the Chinese variant of propaganda, at least when you simultaneously present the US variant as “free and independent”. Since I grew up in both the east and the west, both worlds are part of me. At worst, this will now be a clash of ideologies, at best a dialogue. And always demanding total moral integrity from others and not holding oneself to it is something that has been described as completely crazy in the Bible.

von

das ist ja ein Wespennest mit den KIs dieser Welt. Ich habe mich vorher damit nie beschäftigt, erst als ich selbst eine betreiben konnte und wusste, dass nichts meinen Rechner verlässt, hat mich das interessiert. Das habe ich jetzt dank deepseek. Nun wird mir klar, wie viel Ideologie und Kulturkampf darin steckt. So eine GPT KI ist gewissermaßen eine Interpretiert-Maschine. Zumindestens wenn man den Bereich von Logik und Mathematik verlässt, wird das ein Weltbild vermitteln. Es ist sehr heuchlerisch (deswegen regt mich das auch etwas über Gebühr auf) jetzt der chinesischen Variante Propaganda zu unterstellen, zumindest wenn man gleichzeitig die US-Variante als „freu und unabhängig“ darstellt. Da ich sowohl im Osten als auch im Westen aufgewachsen bin, sind beide Welten ein Teil von mir. Schlechtesten Falls wird das jetzt ein Kampf der Ideologien, bestenfalls ein Dialog. Und immer vom anderen totale moralische Integrität zu fordern und sich selbst daran nicht zuhalten, ist schon in der Bibel als komplett bekloppt bezeichnet worden.

 

von

So there were so many questions coming in, the topic seems to be really hot. Most of the questions were whether the model is good enough to replace the US model. That’s a completely wrong question. I’ll send the benchmarks again: the Deepseek-R1 is the complete model and the Deepseek-R1-32B is what I have on my home computer. So you can see that it is on a par with Open(sic!)AI. The difference, and this is crucial, is that is and under an license. Do what you want with it. Maybe we’ll have it evaluate all the newspaper publications and see which think tank influences which newspaper. Or come up with something of your own.

DeepSeek and the big step forward

von

Yesterday, with very little effort, I managed to get a working #DeepSeek model running on my computer. It felt like I was a super-rich tech oligarch, but I just have a simple casual gaming computer with a cheap 8 GB graphics card for playing a game or editing videos. A lot of people have a machine like that; it’s below average. And it took me half an hour. Hauke explains here how anyone can do the same. https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3

You only need the DeepSeek-R1-Distill-Qwen model (32 billion parameters, approx. 19 GB)https://huggingface.co/mradermacher/DeepSeek-R1-Distill-Qwen-32B-Uncensored-GGUF, which is a very slimmed-down version that will also run on a home computer. For institutes, educational institutions and companies, there are also more powerful models, right up to the full model, which then really requires enormous resources. And you need a program like #KoboldCpp https://github.com/LostRuins/koboldcpp which loads the AI model into the graphics card and, for a weak card like mine, offloads the rest to the CPU. Furthermore, a chat GUI is provided via http://localhost:5001. As I said, if you’ve ever used a console, it’s really not rocket science.

There will certainly be loud voices that want to ban DeepSeek. Racists and capitalists will shout that the Chinese cannot be trusted. But it is open-source. Under an MIT license. I also ran it offline. It runs 100% locally.

What you could do with it! If smart people continue to train the models. Now everyone has an AI and the tech bros can pack up! Thanks Deepseek and thanks China. A huge gift for the open-source community and maybe for humanity.

PS. And once again, the conspiracy theorists were right, claiming that commercial AIs are only so large and resource-hungry so that they are reserved exclusively for the rich and the people remain customers. That’s over now.

DeepSeek und der große Sprung nach vorn

von

Mir ist es gestern mit sehr kleinem Aufwand gelungen, ein funktionierendes Model auf meinen Rechner zum Laufen zu bekommen. Hat sich angefühlt, als wäre ich jetzt superreicher Techoligarch, aber ich habe nur einen simplen Casual Gamer Rechner mit einer billigen 8 GB Grafikkarte, um mal ein Spiel zu spielen oder Videos zu bearbeiten. So einen Rechner haben viele Menschen, es ist unterer Durchschnitt. Und es hat mich eine halbe Stunde gekostet.  Wie das für jeden nachzumachen ist, erklärt Hauke hier. https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3

Man benötigt nur das Model DeepSeek-R1-Distill-Qwen (32 Mrd. Parameter, ca. 19 GB) das ist eine sehr abgespeckte Version, die eben auch auf einem Home Rechner läuft. Für Institute, Bildungseinrichtungen und Firmen gibt es auch stärkere Modelle bis zum vollen Modell, welches dann wirklich enorme Ressourcen benötigt. und man braucht ein Programm wie https://github.com/LostRuins/koboldcpp welche das KI-Model in die Grafikkarte lädt und bei einer schwachen Karte, wie bei mir, den Rest auf die CPU auslagert. Des Weiteren wird eine Chat GUI über http://localhost:5001 zur verfügung gestellt. Wie gesagt, wenn man schon mal eine Konsole benutzt hat, ist das echt kein Hexenwerk.

Es wird ganz sicher laute Stimmen geben, die DeepSeek verbieten wollen. Rassisten und Kapitalisten die rufen werden das man den Schlitzau… den Chinesen nicht trauen kann. Nur es ist Open-Source. Unter MIT-Lizenz. Ich habe es außerdem offline betrieben. Es läuft 100% lokal.

Was man damit alles machen könnte! Wenn kluge Menschen die Modelle weiter trainieren. So haben jetzt alle eine KI und die Techbros können einpacken! Danke Deepseek und Danke China. Für die Open-Source-Community ein riesengroßes Geschenk und vielleicht auch für die Menschheit.

PS. und einmal mehr hatten die Aluhüte recht, die behaupteten, dass die kommerziellen KIs nur so groß und Ressourcen hungrig sind, damit sie exklusiv den Reichen vorbehalten sind und das Volk Kunde bleibt. Das ist jetzt vorbei.

 

 

DeepSeek – der lange Marsch reloaded

von

Ich muss zugeben, alles, was der westlichen (von China aus östlichen) Überheblichkeit entgegensteht, sie vorführt und lächerlich macht, gefällt mir. Ich weiß, ich weiß, die Chinesen essen Hunde und schlagen ihre Frau .. oder war das der Moslem? Na ja wie auch immer. Gerechte Empörung aller Orten. Es war immer nur Rassismus und Chauvinismus.

Um so beeindruckender, wie sich die Dinge entwickeln. Eine chinesische Firma hat, wie bekannt, ein KI-Sprachmodel veröffentlicht, was den kommerziellen westlichen KIs in nichts nachsteht. Das wäre vielleicht ein Achtungserfolg, kaum der Rede wert. Das wirklich Beeindruckende daran ist, es ist vollständig Open Source. FOSS. Unglaublich.

Das heißt, es ist jetzt schon keine chinesische KI mehr, sondern eine Welt KI. Open Source & FOSS hat eine enorme Synergie-Spirale. Jeder der die Szene die letzten Jahrzehnte beobachtet hat, weiß das. Wenn es eine vollwertige KI für alle gibt, heißt das alle Universitäten, alle Firmen, alle Länder und auch private Personen (ich kann DeepSeek auf meinem Spielrechner betreiben) diese nutzen können.

Ein unglaublicher Vorgang, ich bin verblüfft, erfreut, aufgeregt. Und was für ein politischer Erfolg für China. Gegenwärtig ist die DeepSeek Seite down (der Krieg beginnt) nur, die Modelle stehen frei zum Download.