Neu in AWS Quick

Der Artikel skizziert die neuen Funktionen von AWS Quick. Man erfährt, dass Updates das Erstellen und Ausführen von Geschäftsprozessabläufen im Chat erleichtern. Zudem kann man neue Datenquellen wie Meta Ads und Amplitude verbinden.

Self-hosted LLM-Kosten und Latenz reduzieren

Der Beitrag befasst sich mit der Reduzierung der Kosten und Latenzzeiten beim Self-Hosting von LLMs durch verteilt genutztes KV-Caching. Man erfährt, dass durch Amazon ElastiCache die Inferenzkosten um bis zu 40% und die Zeit bis zum ersten Token um bis zu 80% gesenkt werden können. Zudem wird erläutert, wie das Agent Toolkit für AWS den Cache von Ihrem Kodierungsagenten auswertet und einrichtet.

Managed Cluster Extensions in SageMaker

Dieser Artikel handelt von neuen verwalteten Cluster-Erweiterungen in Amazon SageMaker HyperPod, die Observierbarkeit und Benutzermanagement verbessern. Man erfährt, dass diese Erweiterungen eine deklarative, API- und konsolengesteuerte Konfiguration ermöglichen. Außerdem wird dargestellt, wie ein Plattform-Team ein gemeinsames Slurm-Cluster mit diesen Erweiterungen betreibt.

Amazon SageMaker HyperPod Global Inference

Der Artikel skizziert die Einführung des Global Inference Gateways von Amazon SageMaker HyperPod. Man erfährt, dass dieses Gateway Anfragen über HyperPod-Cluster in verschiedenen Regionen routet und dabei die beste Cluster-Auswahl trifft. Auch wird erklärt, dass jede Anfrage automatisch abgesichert und authentifiziert wird.

Standard Bank automatisiert KI-Risikobewertung

Der Artikel skizziert, wie die Standard Bank Group die Risikobewertung für generative KI automatisiert hat. Man erfährt, dass die Bank in Zusammenarbeit mit AWS ein System entwickelt hat, das Anwendungsfälle gegen internationale KI-Standards bewertet. Dieses System bietet Risikoausschüssen konsistente und nachvollziehbare Beweise.

Amazon Textract Insights vorgestellt

Der Beitrag befasst sich mit der Einführung von Amazon Textract Insights, einer neuen Funktion zur generativen KI. Man erfährt, dass Nutzer Felder in natürlicher Sprache beschreiben und Dokumente einreichen können, um strukturierte Ergebnisse zu erhalten. Zudem wird dargestellt, dass die Ergebnisse ohne Modelltraining erstellt werden und mit einem Vertrauenswert und seitenweiser Verankerung geliefert werden.

Einführung erweiterter Überwachbarkeit in SageMaker

Der Beitrag befasst sich mit der verbesserten Überwachbarkeit in Amazon SageMaker HyperPod. Man erfährt, dass diese Neuerung eine schnellere Diagnose von GPU-Trainingsproblemen ermöglicht. Zudem werden Diagnose- und Profiling-Funktionen für Training-Workloads auf Amazon EKS und Slurm vereinigt.

Bekämpfung der adversariellen Distillation

In diesem Blogpost wird erläutert, wie OpenAI mit einem gestaffelten Ansatz die adversarielle Distillation bekämpft. Man erfährt, dass der Ansatz aus einer Kombination von Modeltraining, Schutzmaßnahmen, Erkennung und Durchsetzung besteht. Diese Maßnahmen sollen verhindern, dass Fähigkeiten extrahiert werden.

Amazon SageMaker Inference 2026

Dieser Artikel handelt von den 13 Amazon SageMaker Inferenz-Innovationen aus dem Jahr 2026. Man erfährt, dass diese Neuerungen Konfigurationsempfehlungen und das Platzieren mehrerer Modelle auf jeder GPU umfassen. Auch das Bedienen von Modellen, die zu groß für eine Instanz sind und die Optimierung nach dem Start, wird diskutiert.

Use Kimi Code CLI mit Amazon

In diesem Blogpost wird erläutert, wie Kimi Code CLI v2.7.0 eine native Amazon Bedrock Unterstützung hinzufügt. Man erfährt, dass diese Integration es ermöglicht, mit AWS Anmeldeinformationen auf Modelle wie Kimi K3.1 Pro zuzugreifen. Zudem wird gezeigt, wie man den Provider konfiguriert und eine erste Anfrage sendet.

eBiz Feed AI Competence Center *

* Verweist auf Inhalte von externen Seiten. Die Inhalte wurden unter zur Hilfenahme von Microsoft Azure OpenAI für den eBiz Feed zusammengefasst.