Home Reisen „Unsere Modelle werden von menschlichen Bewertern bevorzugt“: Wie Apples Basismodelle etablierte Konkurrenten...

„Unsere Modelle werden von menschlichen Bewertern bevorzugt“: Wie Apples Basismodelle etablierte Konkurrenten überflügeln – Geräte- oder serverbasierte Antworten zeigen, dass Apple bereits konkurrenzfähig ist

15
0

Apple Intelligence, vielleicht das Highlight der diesjährigen WWDC, ist eng in iOS 18, iPadOS 18 und macOS Sequoia integriert und umfasst erweiterte generative Modelle, die auf alltägliche Aufgaben wie Schreiben, Textverfeinerung, Zusammenfassen von Benachrichtigungen, Erstellen von Bildern und Automatisieren von App-Interaktionen spezialisiert sind.

Das System umfasst ein geräteinternes Sprachmodell mit 3 Milliarden Parametern und ein größeres serverbasiertes Modell, das über Private Cloud Compute (PCC) auf Apple-Siliziumservern läuft. Laut Apple unterstützen diese Basismodelle zusammen mit einem Codierungsmodell für Xcode und einem Diffusionsmodell für visuelle Darstellung eine breite Palette von Benutzer- und Entwickleranforderungen.

Das Unternehmen hält sich außerdem an die Grundsätze der verantwortungsvollen KI und stellt sicher, dass die Tools den Benutzern mehr Handlungsfreiheit lassen, vielfältige Gemeinschaften repräsentieren und die Privatsphäre durch Verarbeitung auf dem Gerät und sichere PCC schützen. Apple sagt, dass seine Modelle mit lizenzierten und öffentlich verfügbaren Daten trainiert werden und dass Filter zum Entfernen persönlicher Informationen und minderwertiger Inhalte vorhanden sind. Das Unternehmen verfolgt eine hybride Datenstrategie, bei der von Menschen annotierte und synthetische Daten kombiniert werden, und verwendet neuartige Algorithmen für Verbesserungen nach dem Training.

Menschliche Bewerter

Apple gibt an, dass es seine Modelle hinsichtlich der Inferenzleistung mit Techniken wie Grouped-Query-Attention, Low-Bit-Palettierung und dynamischen Adaptern optimiert hat. Gerätebasierte Modelle verwenden eine Vokabelgröße von 49 KB, während Servermodelle 100 KB verwenden und zusätzliche Sprachen und technische Token unterstützen. Laut Apple erreicht das gerätebasierte Modell eine Generierungsrate von 30 Token pro Sekunde, wobei weitere Verbesserungen durch Token-Spekulation möglich sind.

Adapter, kleine neuronale Netzwerkmodule, optimieren Modelle für bestimmte Aufgaben, behalten die Basismodellparameter bei und spezialisieren sich gleichzeitig auf bestimmte Funktionen. Diese Adapter werden dynamisch geladen, um eine effiziente Speichernutzung und Reaktionsfähigkeit sicherzustellen.

Sicherheit und Hilfsbereitschaft stehen bei Apple Intelligence an erster Stelle, betont der in Cupertino ansässige Technologieriese, und das Unternehmen bewertet seine Modelle durch menschliche Einschätzung und konzentriert sich dabei auf reale Eingabeaufforderungen in verschiedenen Kategorien. Das Unternehmen behauptet, dass sein On-Device-Modell größere Konkurrenten wie Phi-3-mini und Mistral-7B übertrifft, während das Servermodell mit DBRX-Instruct und GPT-3.5-Turbo konkurriert. Dieser Wettbewerbsvorteil wird durch Apples Behauptung unterstrichen, dass menschliche Bewerter ihre Modelle in mehreren Benchmarks gegenüber etablierten Konkurrenten bevorzugen, von denen einige unten angezeigt werden können.

(Bildnachweis: Apple)

Mehr von TechRadar Pro

Kaynak

LEAVE A REPLY

Please enter your comment!
Please enter your name here