- Der Wert von KI-Beschleunigern in Servern wird 2024 bis auf 21 Milliarden US-Dollar steigen.
- Rechenelektronik wird 47 Prozent des Gesamtmarkts für KI-Chips ausmachen.
- Bis Ende 2026 werden 100 Prozent der PC-Käufe von Unternehmen KI-PCs sein.
Laut einer aktuellen Prognose von Gartner wird der weltweite Umsatz mit KI-Halbleitern im Jahr 2024 71 Milliarden US-Dollar erreichen. Dies entspricht einem Anstieg von 33 Prozent gegenüber 2023.
»Heute treibt generative KI (GenAI) die Nachfrage nach leistungsstarken KI-Chips in Rechenzentren an. Im Jahr 2024 wird der Wert von KI-Beschleunigern in Servern, die die Datenverarbeitung von Mikroprozessoren entlasten, insgesamt 21 Milliarden US-Dollar betragen und bis zum Jahr 2028 auf 33 Milliarden US-Dollar ansteigen«, sagt Alan Priestley, VP-Analyst bei Gartner.
Gartner prognostiziert, dass KI-PCs im Jahr 2024 22 Prozent der gesamten PC-Lieferungen ausmachen werden. Bis Ende 2026 werden alle PC-Käufe von Unternehmen KI-PCs sein. KI-PCs verfügen über eine neuronale Verarbeitungseinheit (NPU), die es ihnen ermöglicht, länger, leiser und kühler zu laufen und KI-Aufgaben kontinuierlich im Hintergrund auszuführen. Dies schafft neue Möglichkeiten, KI in alltägliche Aktivitäten zu integrieren.
Der Umsatz mit KI-Halbleitern wird im Prognosezeitraum weiterhin zweistellig wachsen, wobei 2024 die höchste Wachstumsrate in diesem Zeitraum zu verzeichnen sein wird (siehe Tabelle 1).
Tabelle 1. Umsatzprognose für KI-Halbleiter, weltweit, 2023-2025 (in Millionen U.S. Dollar)
2023 | 2024 | 2025 | |
Umsatz ($M) | 53,662 | 71,252 | 91,955 |
Quelle: Gartner (Mai 2024)
Umsatz mit KI-Chips in der Computerelektronik wird den höchsten Anteil im Segment der elektronischen Geräte verzeichnen
Im Jahr 2024 wird der Umsatz mit KI-Chips in der Computerelektronik voraussichtlich 33,4 Milliarden US-Dollar betragen, was 47 % des Gesamtumsatzes mit KI-Halbleitern ausmacht. Der Umsatz mit KI-Chips in der Automobilelektronik wird im Jahr 2024 voraussichtlich 7,1 Milliarden US-Dollar und in der Unterhaltungselektronik 1,8 Milliarden US-Dollar erreichen.
Harter Kampf zwischen Halbleiteranbietern und Technologieunternehmen
Während sich ein Großteil der Aufmerksamkeit auf die Verwendung von Hochleistungs-Grafikprozessoren (GPUs) für neue KI-Workloads richtet, investieren die großen Hyperscaler (AWS, Google, Meta und Microsoft) alle in die Entwicklung eigener, für KI optimierter Chips. Die Entwicklung von Chips ist zwar kostspielig, aber die Verwendung maßgeschneiderter Chips kann die betriebliche Effizienz verbessern, die Kosten für die Bereitstellung von KI-basierten Diensten für die Nutzer senken und die Kosten für den Zugang der Nutzer zu neuen KI-basierten Anwendungen verringern. »Da sich der Markt von der Entwicklung zur Bereitstellung verlagert, erwarten wir, dass sich dieser Trend fortsetzt«, so Priestley.
Gartner-Kunden können mehr lesen in«Prognose: KI-Halbleiter, weltweit, 2022-2028, 1Q24 Update« und«Prognose-Analyse: AI Semiconductors, Worldwide«.
Es ist unbestritten, dass die Entwicklung von KI eine der größten Herausforderungen unserer Zeit ist. Laut Next Move Strategy Consulting wird der Markt für KI-Technologien im Jahr 2023 rund 200 Milliarden US-Dollar betragen und bis 2028 auf über 1,8 Billionen US-Dollar anwachsen.
Zumindest im letzten Jahr konzentrierte sich der größte Teil dieses Marktes auf das KI-Training, bei dem Hochleistungs-GPU-Produkte eingesetzt wurden, um Modelle zu entwickeln und für den Einsatz vorzubereiten. Jetzt, da diese Modelle trainiert und eingesetzt werden, ist der Markt bereit für die nächste Phase der KI, dem sogenannten »Inferencing«. Tatsächlich ist dieser Wandel bereits im Gange – eine aktuelle Schätzung von D2D Advisory besagt, dass KI-Inferencing heute 85 Prozent der KI-Landschaft ausmacht, während KI-Training nur 15 Prozent des aktuellen Marktes belegt.
Diese Zunahme des KI-Inferencing erfordert ein grundlegendes Umdenken in Bezug auf die Rechenleistung, die für diese Arbeitslasten verwendet werden sollte. Während GPUs für ihre KI-Trainingsfähigkeiten sehr geschätzt werden, ist die Verwendung dieser Prozessoren für KI-Inferencing nicht die beste Wahl. Der Wechsel zu CPUs und der Verzicht auf GPUs für Inferencing wird dazu beitragen, den Energieverbrauch der Rechenzentren in unseren Netzwerken zu senken, eine bessere Leistung zu erzielen und eine leichter zugängliche, kosteneffiziente und skalierbare Lösung anzubieten.
- Unsere Energienetze können die Nachfrage nach KI-Inferenz mit GPUs nicht decken
Nach Angaben der Internationalen Energieagentur werden Rechenzentren im Jahr 2022 etwa 2 Prozent des weltweiten Energieverbrauchs ausmachen. Dieser Anteil könnte sich bis 2026 auf 4,6 Prozent mehr als verdoppeln, wenn man bedenkt, dass die KI-Branche bis 2023 voraussichtlich mindestens zehnmal so viel Energie verbrauchen wird.
Während der Energiebedarf steigt, nimmt der Zugang zu Energie ab, insbesondere in Europa. Die Strompreise in der Region haben vor kurzem Rekordhöhen erreicht, und in England wurden bereits Moratorien für Rechenzentren verhängt, da die Nachfrage die im Netz verfügbare Energie überstieg.
In diesem schwierigen Umfeld wird der Einsatz zusätzlicher, energieintensiver GPUs für KI-Inferenzlasten die Nachhaltigkeitsproblematik weiter verschärfen. Durch den Einsatz von CPUs – insbesondere Cloud-nativen CPUs, die speziell für diese Art von Arbeitslasten entwickelt wurden – können wir mehr Leistung aus unseren bestehenden Rechenzentren und Stromverbrauchsflächen herausholen, anstatt neue Gebäude und zusätzliche Stromquellen zu benötigen.
- GPUs sind zu rechenintensiv für KI-Inferenzanwendungen
Grafikprozessoren verbrauchen nicht nur mehr Strom, sondern sind auch für viele Inferenzanwendungen der KI zu rechenintensiv. Da Inferenzanwendungen weniger anspruchsvolle Workloads darstellen und nicht die Rechenleistung eines Grafikprozessors benötigen, ist die Verwendung von Grafikprozessoren für diesen Zweck vergleichbar mit dem Kauf eines Sportwagens für die morgendliche Fahrt zur Arbeit – es ist mehr, als man braucht. Bei der Verwendung eines Grafikprozessors für Inferenzen wird in der Regel nur ein kleiner Teil der Kapazität des Grafikprozessors genutzt. Da GPUs mehr Strom verbrauchen und teurer sind, spart der Ersatz des Grafikprozessors durch eine CPU in diesen Fällen Strom, Platz und Kosten. In vielen Fällen führt dies auch zu einer besseren Leistung, Erschwinglichkeit und Energieeffizienz.
Zur Einordnung: Bei der Ausführung des Whisper-Modells von OpenAI bieten CPUs bis zu 2,9-mal mehr Leistung als eine Reihe von GPU-basierten Lösungen. Je nach vergleichbarer GPU-Lösung verbrauchen sie auch deutlich weniger Strom pro Schlussfolgerung.
- CPUs sind leicht zugänglich und kostengünstiger, um die Anforderungen der KI-Inferenz zu erfüllen
GPUs sind unglaublich knapp und schwer zu bekommen. Teilweise aufgrund dieser Knappheit sind sie auch sehr teuer. Nach Angaben des Wall Street Journal hat die KI-Branche im vergangenen Jahr 50 Milliarden Dollar für GPUs ausgegeben, die für das Training fortgeschrittener KI-Modelle verwendet werden, aber nur 3 Milliarden Dollar Umsatz erzielt. Da 85 Prozent der KI-Arbeitslasten auf KI-Inferenz entfallen, wird diese Diskrepanz zwischen Aufwand und Ertrag für die meisten Unternehmen schnell untragbar, wenn sie für diese Arbeitslasten GPUs einsetzen.
Im Gegensatz zu GPUs sind CPUs heutzutage leicht verfügbar. Sie können von OEMs für den Einsatz vor Ort erworben oder über eine öffentliche Cloud von einer Vielzahl von Cloud-Dienstleistern bezogen werden. Außerdem sind sie deutlich kostengünstiger. Ein Rack mit vier DGX H100 kann beispielsweise mehr als 41 kW pro Rack verbrauchen und kostet etwa 1,5 Millionen US-Dollar. Dies steht in krassem Gegensatz zu erschwinglicheren und nachhaltigeren CPU-Alternativen für KI-Inferenz. Beispielsweise kann ein einzelnes Rack mit 40 CPUs mit 128 Kernen ein Rack mit vier DGX H100 um 19 Prozent in Bezug auf den Inferenzdurchsatz übertreffen, bei einem Verbrauch von weniger als 15 kW pro Rack und Kosten von etwa 290.000 US-Dollar.
GPU-frei ist die klare Wahl für KI-Inferenz
Während GPUs eine gute Wahl für das KI-Training sind, muss die Industrie ihre Computing-Lösungen für die KI-Inferenzierung überdenken, um die für die Inferenzierung erforderliche Größe zu erreichen. CPUs bieten eine höhere Leistung für diese Arbeitslasten bei geringerem Stromverbrauch und niedrigeren Kosten und sind die klare Wahl für die nächste Phase der KI-Ära.
Jeff Wittich, Chief Product Officer, Ampere
KI-Inferenz: Der Schlüssel zur Anwendung von künstlicher Intelligenz
Künstliche Intelligenz (KI) hat die Art und Weise, wie wir arbeiten, lernen und unser tägliches Leben gestalten, revolutioniert. Ein zentraler Aspekt der KI, der diese Fortschritte ermöglicht, ist der Prozess der KI-Inferenz. Aber was genau ist KI-Inferenz und warum ist sie so wichtig?
KI-Inferenz bezieht sich auf den Prozess, bei dem ein trainiertes maschinelles Lernmodell verwendet wird, um Schlussfolgerungen aus neuen, unbekannten Daten zu ziehen [1]. Dies ist der Schritt, der auf das Training des Modells folgt, bei dem es anhand von Beispieldaten lernt, Muster und Zusammenhänge zu erkennen. Nachdem das Modell ausreichend trainiert wurde, kann es seine »Intelligenz« anwenden, um Vorhersagen zu treffen oder Entscheidungen zu treffen, wenn es mit neuen Daten konfrontiert wird.
Ein einfaches Beispiel für KI-Inferenz könnte ein E-Mail-Filter sein, der darauf trainiert wurde, Spam von regulären Nachrichten zu unterscheiden. Nach dem Training kann das Modell neue E-Mails analysieren und mit hoher Genauigkeit vorhersagen, ob es sich um Spam handelt oder nicht. Ein weiteres Beispiel ist ein autonomes Fahrzeug, das Stoppschilder erkennen kann, selbst wenn es auf eine Straße trifft, die es zuvor noch nie befahren hat [2].
Die Fähigkeit zur KI-Inferenz ist entscheidend für praktisch alle realen Anwendungen von KI. Von der Spracherkennung über die prädiktive Analyse bis hin zur Cybersicherheit ermöglicht die KI-Inferenz Maschinen, intelligent auf neue Situationen zu reagieren und menschenähnliche Entscheidungen zu treffen. Dies eröffnet unzählige Möglichkeiten für Innovationen in verschiedenen Branchen.
Die Qualität der KI-Inferenz hängt stark von der Qualität des Trainings ab. Je besser ein Modell trainiert ist, desto genauer und zuverlässiger sind seine Inferenzen. Allerdings ist es wichtig zu beachten, dass kein KI-Modell perfekt ist und Fehler immer möglich sind. Daher ist es entscheidend, KI-Systeme kontinuierlich zu überwachen und zu verbessern, um ihre Leistung und Zuverlässigkeit zu optimieren.
Zusammenfassend ist die KI-Inferenz ein faszinierender und komplexer Prozess, der die Grundlage für die Anwendung von KI in der realen Welt bildet. Sie ermöglicht es Maschinen, aus Erfahrungen zu lernen und intelligente Entscheidungen zu treffen, die unser Leben verbessern und vereinfachen können. Mit fortschreitender Entwicklung der KI-Technologie wird die KI-Inferenz zweifellos weiterhin eine Schlüsselrolle in der Gestaltung unserer Zukunft spielen.
Genki Absmeier
[1]: https://www.cloudflare.com/de-de/learning/ai/inference-vs-training/ »«
[2]: https://www.allaboutai.com/de-de/ki-glossar/inferenz-ki/ »«
[3]: https://bing.com/search?q=Was+ist+eine+KI-Inferenz %3f »«
[4]: https://ki-echo.de/glossar/inferenz/ »«
[5]: https://www.datacenter-insider.de/was-ist-inferenz-a-670450/ »«
443 Artikel zu „KI Rechenleistung“
Es wird viel über das Training von KI-Modellen geschrieben, aber Datenwissenschaftler verbringen einen Großteil ihrer Zeit mit den Prozessen, die vor und nach dem Modelltraining ablaufen. In all diesen verschiedenen Phasen werden die Daten umgewandelt und erweitert. Um ein effektives und nützliches KI-Modell zu erstellen, müssen die Daten, die dem Modell zugrunde liegen, leicht zu…
Wie Embedded-KI zur Reduzierung des Stromverbrauchs beiträgt und gleichzeitig die Effizienz fördert. Der ungeheure Energiebedarf von künstlicher Intelligenz (KI) gerät zunehmend in den Blickpunkt der Diskussion. Kein Wunder, schon 2019 warnte eine US-Studie davor, dass allein das Training eines einzigen neuronalen Netzwerks so viel CO2-Emissionen verursacht wie fünf (konventionelle) Autos. Allein das Training des GPT-3…
Der »Hochleistungsrechner Karlsruhe« (HoreKa), der seit Juni 2021 am Karlsruher Institut für Technologie (KIT) in Betrieb ist, zählt derzeit zu den schnellsten Rechnern Europas. Nach einem kürzlich erfolgten Upgrade belegt er nun außerdem Rang 6 in der halbjährlich erscheinenden Green500-Liste der energieeffizientesten Rechner der Welt. Damit verbessert sich der Supercomputer um sieben Plätze im Vergleich…
Mit generativer KI werden Prozesse möglich, die vor kurzem noch undenkbar waren. Kein Wunder, dass sich Unternehmen aller Größen und Branchen deutliche Effizienzsteigerungen und damit Kosteneinsparungen versprechen. Ihr volles Potenzial kann die Technologie jedoch nur entfalten, wenn das Rohmaterial stimmt. Quantität, Qualität und Zugänglichkeit der Daten entscheiden maßgeblich über den Erfolg eines KI-Projekts. Künstliche Intelligenz…
Es ist unbestritten, dass die Entwicklung von KI eine der größten Herausforderungen unserer Zeit ist. Laut Next Move Strategy Consulting wird der Markt für KI-Technologien im Jahr 2023 rund 200 Milliarden US-Dollar betragen und bis 2028 auf über 1,8 Billionen US-Dollar anwachsen. Zumindest im letzten Jahr konzentrierte sich der größte Teil dieses Marktes auf das…
Maschinen können mit neuen Verfahren lernen, nicht nur Vorhersagen zu treffen, sondern auch mit kausalen Zusammenhängen umzugehen – Das könnte helfen, Therapien effizienter, sicherer und individueller zu machen, prognostiziert eine internationale Forschungsgruppe – Das Team um LMU-Forscher Stefan Feuerriegel will mit seinen Arbeiten „die Methoden einen Schritt näher an die Praxis bringen“ Künstliche Intelligenz…
KI-Boom lässt Bedarf an DSGVO-konformen Hyperscaler-Leistungen stark steigen. Zwei neue ISG-Studien zeigen, welche IT-Dienstleister in Deutschland und Europa profitieren werden. Nach dem Auslaufen der Sonderkonjunktur durch Corona ist Künstliche Intelligenz der Toptreiber für weiteres Wachstum im Hyperscaler-Markt. In Europa und insbesondere auch in Deutschland geht diese Rechnung aber nur auf, wenn Unternehmen ihre KI-Modelle…
Der PKI & Digital Trust Report 2024 von Keyfactor verdeutlicht Herausforderungen im Bereich digitaler Identitäten und Hindernisse bei der Vorbereitung von Organisationen auf die Post-Quanten-Kryptografie. Keyfactor, die Identity-first Security-Lösung für moderne Unternehmen, und Vanson Bourne geben die Ergebnisse des PKI & Digital Trust Report 2024 bekannt, für den weltweit 1.200 IT-Experten und -Führungskräfte (300…
In der AgiProbot-Fabrik arbeiten Forschende am Realisieren der automatisierten Demontage. (Foto: Amadeus Bramsiepe, KIT) Wie können sich Fabriken autonom an laufend neue Bedingungen anpassen? Wie lässt sich Beton ressourcen- und klimaschonend herstellen? Wie schaffen wir Speicherkapazitäten für den Ausbau erneuerbarer Energien? Das Karlsruher Institut für Technologie (KIT) entwickelt Lösungen für vielfältige Herausforderungen. Unter dem…
Anlässlich der Data & AI World Tour (DAIWT) baten wir Marco Lohaus, Head of Business Intelligence der Firma flaschenpost SE, über die Zusammenarbeit mit Databricks zu sprechen. Herr Lohaus, können Sie uns ihr Unternehmen kurz vorstellen? Die flaschenpost startete im Jahr 2016 als erster Onlineshop für die Sofortlieferung von Getränken innerhalb von 120 Minuten…
Künstliche Intelligenz bietet enorme Chancen, stellt aber auch hohe Anforderungen an die IT-Infrastruktur. Die Cloud hilft, indem sie Rechenleistung und Speicherplatz flexibel bereitstellt und Unternehmen von großen Anfangsinvestitionen in IT-Systeme und deren aufwendiger Verwaltung befreit. Künstliche Intelligenz ist über alle Branchen hinweg zu einer transformativen Kraft geworden, die Unternehmen völlig neue Möglichkeiten eröffnet und…
Large Language Models (LLMs) sind voll im Trend. Ob privat oder in Unternehmen, auf LLMs basierende Chatbots wie beispielsweise ChatGPT von OpenAI generieren mit Deep-Learning-Modellen Texte in menschenähnlicher Weise. Auf Basis von massiven Mengen von Textdaten trainiert, können sie so auf viele Fragen Antworten liefern und Befehle ausführen. Unternehmensentscheider prüfen momentan, welche Vorteile diese Sprachmodelle für ihre Organisation haben und wie man…
In Europa entsteht ein Large Languange Model, das zuverlässiger, offener, transparenter und energiesparender sein soll als ChatGPT. Der Schlüssel dazu ist Europas größter Computer, der derzeit in Jülich gebaut wird. Seit das amerikanische Unternehmen OpenAI im November 2022 die Sprachmaschine ChatGPT zugänglich machte, geht das Thema durch die Decke. Können jetzt Personaler ihre Zeugnisse,…
Unternehmen nutzen vermehrt künstliche Intelligenz zur Optimierung ihrer operativen Effizienz und Produktinnovation. Eine aktuelle Umfrage des Beratungsunternehmens McKinsey zeigt, dass 40 Prozent der befragten Unternehmen aufgrund der rapiden Fortschritte im Bereich der generativen KI ihre Investitionen in KI-Technologien generell erhöhen wollen [1]. Ein Nachteil des zunehmenden Einsatzes ist jedoch, dass KI – insbesondere generative…
Zwei Drittel der deutschen Unternehmen halten künstliche Intelligenz (KI) für die wichtigste Zukunftstechnologie, so eine Umfrage des Bitkom. Inzwischen nutzen demnach bereits 15 Prozent der Unternehmen hierzulande die Technologie praktisch, gegenüber neun Prozent im Jahr 2022. Es spricht alles dafür, dass der Wachstumstrend auch im Jahr 2024 anhalten wird. Doch damit gehen auch neue Herausforderungen…
Der Megatrend des Jahres 2023 wird sich 2024 immer öfter und konkreter auswirken – KI bleibt damit auch in diesem Jahr prägend. Doch auch jenseits davon wird es mit Änderungen bei der Cloud-Nutzung und dem Zuwachs von Szenarien rund um das Internet der Dinge (IoT) prägende technische Entwicklungen geben. Da Technologie immer nur Mittel…
Generative KI-Systeme wie ChatGPT und Copilot haben ihren Siegeszug gestartet und werden sich nicht mehr stoppen lassen. Technologien, die eigenständig Texte und Bilder über einfache Prompts erstellen und Ideen generieren können, haben die Art, wie wir kreativ denken und Probleme lösen, in kurzer Zeit signifikant verändert. Obwohl die (generative) KI anfangs auf einige Vorbehalte stieß…
Am vergangenen Montag, 23.10.2023, endete eine Verhandlung von Kommission, Rat und Parlament der Europäischen Union (EU) zu neuen Regeln für künstliche Intelligenz (KI) ohne Ergebnisse. Da die Beratungen zum AI Act der EU weiter anhalten, scheint eine Einigung bis Dezember 2023 unwahrscheinlich. Die Deutschsprachige SAP-Anwendergruppe e. V. (DSAG) hat die neuesten Entwicklungen zum Anlass genommen…