On-Device AI -- iPhone 17 Pro laeuft 400B-Modell
Zwei Entwicklungen diese Woche zeigen den Fortschritt bei lokaler AI-Inferenz auf Apple-Hardware.
iPhone 17 Pro mit 400B LLM
Eine Demo auf Hacker News (683 Upvotes) zeigt ein 400-Milliarden-Parameter-Modell, das direkt auf dem iPhone 17 Pro laeuft. Details zur Implementierung sind begrenzt, aber die Tatsache, dass ein Modell dieser Groesse auf einem Mobilgeraet ueberhaupt ausfuehrbar ist, markiert einen Meilenstein.
Apple Foundation Models: Besseres Context Management
iOS 26.4 (Release Candidate) bringt verbessertes Context-Window-Management fuer Apples Foundation Models:
- 4096 Token Context Window -- deutlich kleiner als Cloud-Modelle
- Apple empfiehlt, das Context Window wie Speicher in einem Embedded System zu behandeln
- Entwickler muessen den Kontext aktiv managen und priorisieren
Praktische Relevanz
On-Device-AI bietet Vorteile bei Privacy, Latenz und Offline-Faehigkeit. Die Einschraenkung auf 4096 Token zeigt aber, dass lokale Modelle andere Entwicklungsstrategien erfordern als Cloud-APIs mit 200K+ Token Kontextfenster.
Apple lizenziert Gemini fuer Distillation
Am 26. März 2026 wurde bekannt, dass Apple vollen Zugriff auf Googles Gemini-Modelle erhalten hat -- nicht fuer direkte Nutzung, sondern fuer Distillation. Apple nutzt die großen Gemini-Modelle als Lehrer, um kleinere, effizientere Modelle fuer Siri und On-Device-Inferenz zu trainieren. Im Grunde bezahlt Apple offiziell fuer das, was chinesische AI-Firmen laut Berichten inoffiziell tun.
Dieser Ansatz ergaenzt Apples bisherige On-Device-Strategie: Statt eigene Foundation Models von Grund auf zu trainieren, wird externes Wissen in kompakte Modelle destilliert, die auf iPhone und Apple Silicon laufen.
Quellen
- iPhone 17 Pro Demonstrated Running a 400B LLM | Hacker News
- Apple Improves Context Window Management for its Foundation Models | InfoQ
- Apple gets full Gemini access and uses distillation to build lightweight on-device AI | The Decoder, 26.03.2026