Chrome 127 版本内置AI大模型了(本地模型 无需网络)

测试 Chrome 内置 Gemini Nano 大语言模型(4bit 3.25B)的方法:
1. 下载 Chrome 127,可以到 Chrome Release Channels 下载 Canary 版本 网页链接

2. 打开 chrome://flags/
a) 找到 Prompt API for Gemini Nano 设置为 Enable
b) 找到 Enables optimization guide on device 设置为 Enable BypassPerfR
c) 重启 Chrome

3. 打开 chrome://components/,检查 Optimization Guide On Device Model 中模型是否成功下载,点击 Check for update

4. 打开控制台,输入 window.ai 测试是否能有返回结果,可以用下面的完整代码测试:

const canCreate = await window.ai.canCreateGenericSession()

if (canCreate !== "no") {
    const session = await window.ai.createTextSession();
    const stream = session.promptStreaming("Tell me a joke!")
    for await (const chunk of stream) {
        console.log(chunk)
    }
    session.destroy()
} else {
    console.error(" can't create generic session", canCreate)
} 


注:如果第三步么有Optimization Guide On Device Model出现,检查
- 语言是不是English US
- Enables optimization guide on device 是设置的 Enable,而不是 Enable BypassPerfR,修改后重启一下就可以了
 
 
Back to Top
OKHK