You are viewing a single comment's thread:

RE: Open-source LLM Meta Llama 3.1 reaching GPT-4 levels of reasoning. Amazing. Full-transcript.

Schon krass was da inzwischen möglich ist.

Wieviel Festplattenspeicher braucht man dafür?
Welches Betriebssystem?

Mein PC ist dafür leider viel zu alt, würde ich gern mal selber nutzen.

Und wie lang können die Antworten da werden, unbegrenzt? Dauert dan. Nur bestimmt entsprechend lange.

0.00387813 BEE
1 comments

Man braucht vor allem viel Speicher, am besten 64 GB oder mehr RAM und so viel VRAM (Grafikkarte) wie möglich, hab es unter Windows installiert, Linux geht auch, Festplatte braucht man circa 100 GB würde ich sagen für die ganze Python-Umgebung und das Modell, wobei es unterschiedlich große Modelle gibt, für die kleineren Modelle braucht man weniger RAM, 3-4B Modelle kann man auch auf einem Laptop problemlos betreiben.

0.00557680 BEE

Da würde es momentan schon an dem Speicher scheitern. Naja wenn ich irgendwann nen neuen PC habe...
Wenn der Hivekurs auf 3 Euro geht !LOL

0.00390701 BEE