SALT LAKE CITY – KUBECON + CLOUDNATIVECON NA – November 12, 2024
Red Hat Powers Up AI Scale and Adaptability with Latest Release of Red Hat OpenShift AI
Red Hat predstavlja Red Hat OpenShift AI 2.15
Red Hat je predstavio Red Hat OpenShift AI 2.15, novu verziju svoje AI/ML platforme temeljene na Red Hat OpenShiftu, s ciljem ubrzanja AI inovacija i skalabilnosti. Nova verzija donosi značajna poboljšanja u performansama, efikasnosti i sigurnosti za javne oblake, podatkovne centre i rubna okruženja. Ključne značajke uključuju:
- Registar modela: Omogućuje centralizirano upravljanje AI modelima i metapodacima, uz podršku za više registara.
- Detekciju odstupanja podataka: Pruža uvid u promjene u podacima za osiguranje točnosti predikcija modela.
- Alate za prepoznavanje pristranosti: Pomažu u osiguravanju pravičnosti modela tijekom razvoja i implementacije.
- Efikasno fino podešavanje LLM-ova: LoRA (low-rank adapters) tehnologija omogućuje optimizirano treniranje modela uz niže troškove.
- Podrška za NVIDIA NIM i AMD GPU: Pruža opcije za brže AI aplikacije i bolje performanse.
Dodatno, poboljšana je podrška za model serving putem vLLM runtime i KServe Modelcars, te unaprijeđeni alati za eksperimentiranje i optimizaciju modela. OpenShift AI 2.15 bit će dostupan od sredine studenog 2024. godine.