{
  "checkedAt": "2026-10-27",
  "sources": {
    "sparkcalibration": {
      "name": "llama.cpp · CUDA-Scoreboard · Spark",
      "url": "https://github.com/ggml-org/llama.cpp/discussions/15013",
      "date": "Abruf 27.10.2026",
      "setup": "DGX Spark · 128 GB LPDDR5x · GB10 · Commit 5acd455 · Einreichung @ggerganov.",
      "protocol": "Llama 2 7B Q4_0 · pp512 / tg128 · ngl 99. Zwei getrennte Einträge: Flash Attention an und aus. Kein vorgefüllter Langkontext angegeben. Gleicher Kalibrierungstest wie RTX/Apple, aber unterschiedliche Builds und Backends; kein kontrollierter gemeinsamer Hardwaretest."
    },
    "m5maxraw": {
      "name": "Emi Higgins · Mac Studio M5 Max · Rohdaten",
      "url": "https://github.com/emihiggins/m5-max-llm-bench/blob/34fee99b6df6129fb3c64255c1bfb179a54ca044/data/mac-llm-bench/m5-max_18c-40g_48gb/gguf",
      "date": "Gemessen 27.09.2026 · Abruf 27.10.2026",
      "setup": "Mac Studio · M5 Max · 18 CPU / 40 GPU · 48 GB · macOS 27.0 · Netzbetrieb. llama.cpp b11146 / 7fe450e19 laut Begleitprotokoll; runtime.version in JSON erfasst stattdessen eine Backend-Ladezeile.",
      "protocol": "Q4_K_M · pp512 / tg128 · ngl 99 · Flash Attention an. Keine Langkontexttiefe angegeben. Ein Prozess je Modell; iogpu.wired_limit_mb=32768. Community-Einreichung, keine unabhängige Replikation. Modellrevisionen im Repository. Lizenz: CC BY 4.0 für Daten. Kein automatischer Ersatz durch Werte anderer Mac-Chips."
    },
    "devquasar": {
      "name": "DevQuasar · eigene Llama-3.1-Messungen",
      "url": "https://devquasar.com/gpu-performance-leader-board/",
      "date": "Abruf 27.10.2026 · Messdatum nicht angegeben",
      "setup": "RTX 5090 Desktop und DGX Spark GB10 · Host-CPU/RAM und llama.cpp-Build nicht angegeben. Quelle nennt CUDA 12.8 für RTX und CUDA 12.1 für GB10; letztere Angabe ist unplausibel für Blackwell und nicht verifiziert.",
      "protocol": "Llama-3.1-8B-Instruct aus DevQuasar/Meta-Llama-3.1-8B-Instruct-GGUF · Q4_K_M und Q8_0 · pp512 / tg128. Flash-Attention-Status und Langkontext nicht dokumentiert. Quelle misst selbst, jedoch auf unterschiedlichen Hosts. CUDA-Angabe nicht als bestätigte Laufzeit übernommen."
    },
    "ggmlm2": {
      "name": "llama.cpp · Mac M2 Ultra · Referenzmessung",
      "url": "https://github.com/ggml-org/llama.cpp/blob/master/benches/mac-m2-ultra/mac-m2-ultra.md",
      "date": "Abruf 27.10.2026 · Messdatum nicht angegeben",
      "setup": "Mac M2 Ultra gemäß Repository-Verzeichnis · RAM und GPU-Kernzahl nicht genannt · Darwin 25.2.0 · 16 Threads · Metal/BLAS · b828e18c7 (7948). Ältere Desktop-Referenz, kein M5-Messwert.",
      "protocol": "gpt-oss 20B/120B MXFP4 · llama-bench pp2048 / tg32 · FA an · ubatch 2048. Hier d0 und d8192, Einzelstrom. Sehr ähnlicher Test wie Spark, jedoch anderer Build und Ladepfad. Keine Übertragung auf die konfigurierbaren M5-Macs."
    },
    "llmspeed20": {
      "name": "llm-speed · eigener RTX-5090-Lauf",
      "url": "https://llm-speed.com/r/r_dwp5fgdapmw",
      "date": "Gemessen 17.10.2026 · Abruf 27.10.2026",
      "setup": "RTX 5090 · 32 GB · llama.cpp 0.7.0-dev, Build 1, Commit 1268eda · suite-v1 / CLI 0.0.7 · Run r_dwp5fgdapmw. Vom Anbieter selbst gemessen.",
      "protocol": "gpt-oss-20b · chat-short · Batch 1 · Q4_K_M laut Quelle, nicht mit MXFP4 gleichgesetzt. Kontextkapazität und vollständige Serverflags nicht angegeben; kein pp512/tg128-Test. Keine Ableitung einer normierten Rangfolge. Daten CC BY 4.0."
    },
    "silicon70": {
      "name": "Javat & Kazakov · Silicon Showdown · Tabelle 5",
      "url": "https://arxiv.org/html/2605.00519v2#S4.T5",
      "date": "Preprint v2 vom 04.05.2026 · Abruf 27.10.2026",
      "setup": "RTX 5090 32 GB, Ubuntu 24.04, Host-CPU/RAM unbekannt; Mac M3 Ultra 96 GB, macOS 26, MLX 0.30.6. Ältere Apple-Desktop-Referenz, kein M5-Messwert.",
      "protocol": "Llama-3.3-70B-Instruct · Tabelle 5: lange Prompts, 256 Output-Tokens. Methodik: Promptklassen ca. 16/300/496 Tokens, greedy, zwei Warmups, Mittel aus drei Läufen. RTX: Q4_K_M, 25 % CPU-Offload, llama.cpp-Build unbekannt. Apple: MLX 4-bit, kein Offload. PP nicht berichtet. Andere Quantisierungen als der Spark-Ollama-Lauf; Werte nicht direkt normiert. Preprint, keine unabhängige Replikation."
    }
  },
  "rows": [
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "spark",
      "hardware": "DGX Spark · GB10 · 128 GB",
      "host": "128 GB LPDDR5x · @ggerganov",
      "model": "Llama 2 7B",
      "quant": "Q4_0",
      "contextLabel": "pp512 / tg128",
      "tg": 56.74,
      "pp": 3661.37,
      "source": "sparkcalibration",
      "backend": "llama.cpp · CUDA + FA",
      "build": "5acd455"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "spark",
      "hardware": "DGX Spark · GB10 · 128 GB",
      "host": "128 GB LPDDR5x · @ggerganov",
      "model": "Llama 2 7B",
      "quant": "Q4_0",
      "contextLabel": "pp512 / tg128",
      "tg": 57.21,
      "pp": 3062.31,
      "source": "sparkcalibration",
      "backend": "llama.cpp · CUDA · FA aus",
      "build": "5acd455"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "apple",
      "hardware": "Mac Studio M5 Max · 40 GPU · 48 GB",
      "host": "18 CPU · macOS 27.0 · Netzbetrieb",
      "model": "Llama 3.1 8B",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 101.06,
      "pp": 2758.28,
      "source": "m5maxraw",
      "sourceUrl": "https://github.com/emihiggins/m5-max-llm-bench/blob/34fee99b6df6129fb3c64255c1bfb179a54ca044/data/mac-llm-bench/m5-max_18c-40g_48gb/gguf/llama-3.1-8b_Q4_K_M_ngl99.json",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "7fe450e19 (11146)",
      "reportedAt": "2026-09-27"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "apple",
      "hardware": "Mac Studio M5 Max · 40 GPU · 48 GB",
      "host": "18 CPU · macOS 27.0 · Netzbetrieb",
      "model": "Qwen2.5-Coder 32B",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 26.28,
      "pp": 684.99,
      "source": "m5maxraw",
      "sourceUrl": "https://github.com/emihiggins/m5-max-llm-bench/blob/34fee99b6df6129fb3c64255c1bfb179a54ca044/data/mac-llm-bench/m5-max_18c-40g_48gb/gguf/qwen2.5-coder-32b_Q4_K_M_ngl99.json",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "7fe450e19 (11146)",
      "reportedAt": "2026-09-27"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "apple",
      "hardware": "Mac Studio M5 Max · 40 GPU · 48 GB",
      "host": "18 CPU · macOS 27.0 · Netzbetrieb",
      "model": "Qwen3 8B",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 97.73,
      "pp": 2744.69,
      "source": "m5maxraw",
      "sourceUrl": "https://github.com/emihiggins/m5-max-llm-bench/blob/34fee99b6df6129fb3c64255c1bfb179a54ca044/data/mac-llm-bench/m5-max_18c-40g_48gb/gguf/qwen3-8b_Q4_K_M_ngl99.json",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "7fe450e19 (11146)",
      "reportedAt": "2026-09-27"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "apple",
      "hardware": "Mac Studio M5 Max · 40 GPU · 48 GB",
      "host": "18 CPU · macOS 27.0 · Netzbetrieb",
      "model": "Qwen3 14B",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 57.37,
      "pp": 1584.26,
      "source": "m5maxraw",
      "sourceUrl": "https://github.com/emihiggins/m5-max-llm-bench/blob/34fee99b6df6129fb3c64255c1bfb179a54ca044/data/mac-llm-bench/m5-max_18c-40g_48gb/gguf/qwen3-14b_Q4_K_M_ngl99.json",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "7fe450e19 (11146)",
      "reportedAt": "2026-09-27"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "apple",
      "hardware": "Mac Studio M5 Max · 40 GPU · 48 GB",
      "host": "18 CPU · macOS 27.0 · Netzbetrieb",
      "model": "Qwen3 30B-A3B (MoE)",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 148.53,
      "pp": 3496.85,
      "source": "m5maxraw",
      "sourceUrl": "https://github.com/emihiggins/m5-max-llm-bench/blob/34fee99b6df6129fb3c64255c1bfb179a54ca044/data/mac-llm-bench/m5-max_18c-40g_48gb/gguf/qwen3-30b-a3b_Q4_K_M_ngl99.json",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "7fe450e19 (11146)",
      "reportedAt": "2026-09-27"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "apple",
      "hardware": "Mac Studio M5 Max · 40 GPU · 48 GB",
      "host": "18 CPU · macOS 27.0 · Netzbetrieb",
      "model": "Qwen3 32B",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 26.38,
      "pp": 667.0,
      "source": "m5maxraw",
      "sourceUrl": "https://github.com/emihiggins/m5-max-llm-bench/blob/34fee99b6df6129fb3c64255c1bfb179a54ca044/data/mac-llm-bench/m5-max_18c-40g_48gb/gguf/qwen3-32b_Q4_K_M_ngl99.json",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "7fe450e19 (11146)",
      "reportedAt": "2026-09-27"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "rtx",
      "hardware": "RTX 5090 · 32 GB",
      "host": "Host und FA-Status nicht angegeben",
      "model": "Llama 3.1 8B",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 204.19,
      "pp": 12031.59,
      "source": "devquasar",
      "backend": "llama.cpp · CUDA",
      "build": "nicht angegeben"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "rtx",
      "hardware": "RTX 5090 · 32 GB",
      "host": "Host und FA-Status nicht angegeben",
      "model": "Llama 3.1 8B",
      "quant": "Q8_0",
      "contextLabel": "pp512 / tg128",
      "tg": 143.18,
      "pp": 12207.44,
      "source": "devquasar",
      "backend": "llama.cpp · CUDA",
      "build": "nicht angegeben"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "spark",
      "hardware": "DGX Spark · GB10 · 128 GB",
      "host": "Host und FA-Status nicht angegeben",
      "model": "Llama 3.1 8B",
      "quant": "Q4_K_M",
      "contextLabel": "pp512 / tg128",
      "tg": 43.12,
      "pp": 2671.39,
      "source": "devquasar",
      "backend": "llama.cpp · CUDA",
      "build": "nicht angegeben"
    },
    {
      "context": null,
      "testNote": "Kein vorgefüllter Langkontext angegeben",
      "family": "spark",
      "hardware": "DGX Spark · GB10 · 128 GB",
      "host": "Host und FA-Status nicht angegeben",
      "model": "Llama 3.1 8B",
      "quant": "Q8_0",
      "contextLabel": "pp512 / tg128",
      "tg": 28.28,
      "pp": 1982.69,
      "source": "devquasar",
      "backend": "llama.cpp · CUDA",
      "build": "nicht angegeben"
    },
    {
      "context": 0,
      "testNote": "Einzelstrom · kein M5-Ergebnis",
      "family": "apple",
      "hardware": "Mac M2 Ultra · ältere Desktop-Referenz",
      "host": "RAM / GPU-Kernzahl nicht angegeben · 16 Threads",
      "model": "gpt-oss 20B (MoE)",
      "quant": "MXFP4",
      "contextLabel": "d0 · pp2048 / tg32",
      "tg": 129.97,
      "pp": 2713.4,
      "source": "ggmlm2",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "b828e18c7 (7948)"
    },
    {
      "context": 8192,
      "testNote": "Einzelstrom · kein M5-Ergebnis",
      "family": "apple",
      "hardware": "Mac M2 Ultra · ältere Desktop-Referenz",
      "host": "RAM / GPU-Kernzahl nicht angegeben · 16 Threads",
      "model": "gpt-oss 20B (MoE)",
      "quant": "MXFP4",
      "contextLabel": "d8192 · pp2048 / tg32",
      "tg": 117.39,
      "pp": 1989.82,
      "source": "ggmlm2",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "b828e18c7 (7948)"
    },
    {
      "context": 0,
      "testNote": "Einzelstrom · kein M5-Ergebnis",
      "family": "apple",
      "hardware": "Mac M2 Ultra · ältere Desktop-Referenz",
      "host": "RAM / GPU-Kernzahl nicht angegeben · 16 Threads",
      "model": "gpt-oss 120B (MoE)",
      "quant": "MXFP4",
      "contextLabel": "d0 · pp2048 / tg32",
      "tg": 85.6,
      "pp": 1648.69,
      "source": "ggmlm2",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "b828e18c7 (7948)"
    },
    {
      "context": 8192,
      "testNote": "Einzelstrom · kein M5-Ergebnis",
      "family": "apple",
      "hardware": "Mac M2 Ultra · ältere Desktop-Referenz",
      "host": "RAM / GPU-Kernzahl nicht angegeben · 16 Threads",
      "model": "gpt-oss 120B (MoE)",
      "quant": "MXFP4",
      "contextLabel": "d8192 · pp2048 / tg32",
      "tg": 78.23,
      "pp": 1257.9,
      "source": "ggmlm2",
      "backend": "llama.cpp · Metal + BLAS + FA",
      "build": "b828e18c7 (7948)"
    },
    {
      "context": null,
      "testNote": "Kontextkapazität / Outputlänge nicht angegeben",
      "family": "rtx",
      "hardware": "RTX 5090 · 32 GB",
      "host": "llm-speed · Run r_dwp5fgdapmw",
      "model": "gpt-oss 20B (MoE)",
      "quant": "Q4_K_M (laut Quelle)",
      "contextLabel": "chat-short · Batch 1",
      "tg": 324.2,
      "pp": 586.8,
      "source": "llmspeed20",
      "backend": "llama.cpp · CUDA",
      "build": "1268eda (0.7.0-dev)",
      "reportedAt": "2026-10-17"
    },
    {
      "context": null,
      "testNote": "Tabelle 5 · 3 Läufe · kein llama-bench",
      "family": "rtx",
      "hardware": "RTX 5090 · 32 GB · CPU-Offload",
      "host": "Host-CPU/RAM nicht genannt · 25 % CPU-Offload",
      "model": "Llama 3.3 70B",
      "quant": "Q4_K_M",
      "contextLabel": "Langer Prompt / 256 Output-Tokens",
      "tg": 2.3,
      "pp": null,
      "source": "silicon70",
      "backend": "llama.cpp · CUDA + CPU",
      "build": "nicht angegeben"
    },
    {
      "context": null,
      "testNote": "Tabelle 5 · 3 Läufe · kein llama-bench",
      "family": "apple",
      "hardware": "Mac M3 Ultra · 96 GB · ältere Desktop-Referenz",
      "host": "Kein CPU-Offload · kein M5-Ergebnis",
      "model": "Llama 3.3 70B",
      "quant": "MLX 4-bit",
      "contextLabel": "Langer Prompt / 256 Output-Tokens",
      "tg": 13.1,
      "pp": null,
      "source": "silicon70",
      "backend": "MLX",
      "build": "0.30.6"
    }
  ],
  "notes": [
    "19 zusätzliche Messpunkte; keine Hochrechnung.",
    "M2/M3 Ultra sind ausdrücklich ältere Desktop-Referenzen, keine Messwerte unserer M5-Konfigurationen.",
    "Nicht geschlossen: Spark Qwen3 14B; RTX Qwen2.5-Coder 32B; Apple/Spark Qwen3-30B-A3B-Instruct-2507. Kein Übertragen zwischen Coder, Basismodell und 2507.",
    "Für gpt-oss 120B kein belastbar dokumentierter Lauf auf dem konkreten einzelnen RTX-5090-Referenz-PC übernommen."
  ]
}