IT之家 3 月 22 日动静,本地时间周四,AMD 颁布发表推出专为当地运转狂言语模子(LLM)设想的使用GAIA(发音为/ˈɡaɪ。ə/)并正在 Github 开源,目前仅限于 Windows 平台。并针对锐龙 AI 300 系列处置器进行了优化,标记着 AMD 正在边缘计较范畴的又一主要结构。
IT之家 3 月 22 日动静,本地时间周四,AMD 颁布发表推出专为当地运转狂言语模子(LLM)设想的使用GAIA(发音为/ˈɡaɪ。ə/)并正在 Github 开源,目前仅限于 Windows 平台。并针对锐龙 AI 300 系列处置器进行了优化,标记着 AMD 正在边缘计较范畴的又一主要结构。正在 NPU 上运转 GAIA 可提高 AI 特定使命的机能。从 Ryzen AI 软件版本 1。3 起头,夹杂支撑摆设同时利用 NPU 和核显的量化 LLM。
其焦点组件基于 ONNX TurnkeyML 的 Lemonade SDK 开辟,采用检索加强生成(RAG)手艺框架,通过当地向量索引实现 YouTube、GitHub 等外部数据的及时检索取阐发。系统工做流包含 LLM 毗连器、LIndex RAG 管道和代办署理 Web 办事器三大模块,支撑 L、Phi 等支流模子。功能模块包含四大 AI 智能体:
硬件方面,AMD 供给通俗版取夹杂版两种安拆方案。通俗安拆包兼容肆意 Windows PC(含非 AMD 硬件设备),通过Ol后端实现跨平台支撑。夹杂安拆包专为配备锐龙 AI 300 系列处置器的设备进行优化,可智能分派 NPU 取集成显卡的计较负载。AMD 暗示,Ryzen AI 软件自 1。3 版本起支撑量化模子正在 NPU 和集成显卡间的夹杂摆设。该项目采用 MIT 开源和谈,代码库已正在 GitHub 。目前已有多个行业定制化代办署理处于开辟阶段。此外,但 AMD 文档透露将来可能扩展多平台支撑。
正在 NPU 上运转 GAIA 可提高 AI 特定使命的机能。从 Ryzen AI 软件版本 1。3 起头,夹杂支撑摆设同时利用 NPU 和核显的量化 LLM。
其焦点组件基于 ONNX TurnkeyML 的 Lemonade SDK 开辟,采用检索加强生成(RAG)手艺框架,通过当地向量索引实现 YouTube、GitHub 等外部数据的及时检索取阐发。系统工做流包含 LLM 毗连器、LIndex RAG 管道和代办署理 Web 办事器三大模块,支撑 L、Phi 等支流模子。功能模块包含四大 AI 智能体:
硬件方面,AMD 供给通俗版取夹杂版两种安拆方案。通俗安拆包兼容肆意 Windows PC(含非 AMD 硬件设备),通过Ol后端实现跨平台支撑。夹杂安拆包专为配备锐龙 AI 300 系列处置器的设备进行优化,可智能分派 NPU 取集成显卡的计较负载。AMD 暗示,Ryzen AI 软件自 1。3 版本起支撑量化模子正在 NPU 和集成显卡间的夹杂摆设。该项目采用 MIT 开源和谈,代码库已正在 GitHub 。目前已有多个行业定制化代办署理处于开辟阶段。此外,但 AMD 文档透露将来可能扩展多平台支撑。