Google расширила линейку ИИ-ускорителей

Google представила две новые системы на базе тензорных процессоров (TPU) восьмого поколения — TPU 8tx и TPU 8i Max, нацеленные на работу с конфиденциальными данными и ресурсоёмкими приложениями.

По данным Google, TPU 8tx обеспечивает шифрование конфиденциальных данных в процессе обработки — в отличие от стандартных решений, где данные приходится расшифровывать в памяти при работе процессора. Система использует сеть Boardfly, разработанную Google для работы ИИ-моделей в реальном времени, и, по заявлению Google, может сократить задержки до двух раз по сравнению с TPU 8t.

По заявлению Google, TPU 8i Max решает проблему нехватки памяти: за счёт размещения двух чипов TPU 8i в одном корпусе система удваивает вычислительную мощность, объём памяти и пропускную способность памяти по сравнению с TPU 8i в стойке прежнего размера. Это позволяет существенно увеличить производительность на квадратный метр пространства дата-центра.

Помимо аппаратных решений, Google упрощает использование TPU — выпустила в открытый доступ TorchTPU, чтобы код на PyTorch мог работать на TPU с минимальными изменениями. Также поддерживаются популярные фреймворки для запуска ИИ-моделей, такие как vLLM и SGLang. Компания стремится превратить TPU в платформу для внешних клиентов — сейчас у неё около 100 внешних заказчиков.

Ранее по теме: ИИ-чипы Google впервые «позвонили домой» из космоса

Источник: The Decoder