Cloudflare maakt het ontwikkelaars mogelijk direct AI-applicaties vanuit Hugging Face op hun eigen platform uit te rollen. Met behulp van de Cloudflare Workers AI-applicatie kunnen zij deze applicaties verder distribueren waar zij maar willen.
Clouflare en Hugging Face hebben hun samenwerking al vorig jaar aangekondigd, maar nu is eindelijk de echte integratie tussen beide platforms van start gegaan, meldt Cloudflare. Binnen deze samenwerking is het nu mogelijk 14 gecureerde open-source LLM's van de AI-specialist naar Cloudflare te brengen en deze zeer gemakkelijk verder te distribueren.
Volgens beide partijen maakt dit het ontwikkelaars van AI-applicaties mogelijk makkelijker en vooral ook goedkoper hun applicaties te ontwikkelen. Recente LLM's die meedoen zijn onder meer Mistral 7B v0.2, de Nous Research Hermes 2 Pro verbeterde versie van Mistral 7B, Google Gemma 7B en Starling-LM-7B-beta van OpenChat.
Cloudflare Workers AI belangrijke schakel
Een belangrijke schakel in deze samenwerking is de tool Workers AI van Cloudflare. De tool, die nu ook algemeen beschikbaar is gemaakt, is het serverless door GPU's ondersteunde inference-platform van de webinfrastructuur- en securityspecialist.
De 14 geselecteerde open-source LLM's van Hugging Face worden via de Workers AI-inference tool ondersteund voor tekstgeneratie, inbeddingen en zinsgelijkenis. Verder distribueert de tool de benodigde modellen waar zij op dat moment nodig zijn en op meerdere plekken tegelijk. Dit alles zonder vertraging of procesfouten.
Ontwikkelaars krijgen hiermee de vrijheid en flexibiliteit om de juiste LLM's te kiezen en hun AI-applicaties in korte tijd op te schalen naar wereldwijde distributie.
Workers AI werkt overigens niet alleen met de LLM's van Hugging Face. Het inference-platform van Cloudflare werkt bijvoorbeeld ook met Llama 2 van Meta en Mistral 7b.
Beschikbaarheid en toekomstige features
Het inference-platform is nu wereldwijd toegankelijk door het plaatsen van 150 GPU's in 150 steden, waaronder Kaapstad, Durban, Johannesburg, Lagos, Amman, Buenos Aires, Mexico-Stad, Mumbai, New Delhi en Seoul.
Cloudflare gaat Workers AI nog upgraden met features voor het ondersteunen van gefinetunde modeldata. Hierdoor kunnen ontwikkelaars straks gespecialiseerde domeinspecifieke applicaties ontwikkelen en uitrollen.