从 PCB 到 AI Agent 全开源,这款开源多模态的AI掌机是怎么做出来的?

博主:旭日财富者旭日财富者 2026-08-09 4843

5fa4ceea-914a-11f1-ab55-92fbcf53809c.png

目前,华秋开源硬件社区与涂鸦开发者联合主办的 涂鸦智能 T5 开源 AI 助理征集活动正在火热进行中,想参与免费复刻或DIY的朋友可以扫描下方入群二维码立即参与~

把一块开发板接上大模型不算太难,真正麻烦的是把屏幕、摄像头、麦克风、扬声器、传感器和联网能力装进一个能随手拿起来用的设备里。Tuya-T5-Pocket做的就是这件事,而且项目方把硬件、结构、驱动和应用代码都放进了复刻链路。

外形是一台复古掌机,里面用的是涂鸦 T5 模组。项目资料给出的无线连接能力是 Wi-Fi 6 和 BLE 5.4,正面配一块 2.9 英寸单色低功耗 LCD,旁边还有 GC2145 摄像头、麦克风、喇叭、摇杆和按键。

— Tuya-T5-Pocket 整机

这块单色屏没有手机屏幕那么漂亮,却让整台设备有了很明确的取向:低功耗、便携,以及一点老掌机的味道。摄像头采集到彩色图像后,可以通过 Floyd-Steinberg、Bayer 等抖动算法转成黑白层次,在不支持灰阶的屏幕上显示出来。

5fe7d4c4-914a-11f1-ab55-92fbcf53809c.png

— 摄像头单色抖动显示示例 (图片经AI拼接处理)

01

MULTIMODAL

不只是一个聊天框

我更看重的是,它没有把“多模态”停在一个聊天界面上。

按键或 KWS 可以启动语音流程,音频经过 VAD、AEC、ANR、AGC 等端侧处理后再交给云端 AI;摄像头、文本和 6 轴传感器也能进入同一套事件链路。设备不仅能接收回答,还可以通过Function Call 控制功能,或者把状态同步到 App。

这条链路在软件上分得比较清楚。底层 BSP 通过 Tuya Abstract Layer 管理屏幕、摄像头、音频、传感器和按键,board_register_hardware()负责板级初始化;云 IoT 层处理 MQTT、DP、OTA 和时间同步;上面再接 LVGL UI 与 AI 层。

6000d118-914a-11f1-ab55-92fbcf53809c.jpg

— Tuya-T5-Pocket 硬件架构

比如 App 调整音量时,云端通过 MQTT 下发 DP 数据,设备收到TUYA_EVENT_DP_RECEIVE_OBJ,再调用ai_audio_set_volume(),硬件音量和 UI 显示一起更新。这个例子不复杂,却能看出项目真正有用的地方:传感器、界面、云端和设备控制已经走在同一条通路上,不需要开发者重新拼一套事件系统。

板载 Demo 也在围绕这条通路展开。除了 AI 虚拟宠物,还有贪吃蛇、Dino Jump、BMI270 水平仪、SD 卡 TXT 电子书、虚拟键盘和 I2C 检测工具,音频、视觉、传感器、UI 和存储基本都找得到对应示例。

AI 宠物用 Health、Hungry、Clean、Happy 四项状态驱动交互,每项范围是 1~5。项目资料称 Debug 模式下状态每 3 分钟随机变化,也可以从Info → DEV: Randomize Pet Data手动触发。拍照聊天、情绪反馈和更完整的游戏机制仍在 TODO 里,所以它现在更像一个可以继续开发的样机,不是已经封装好的消费产品。

600c3e40-914a-11f1-ab55-92fbcf53809c.png

— AI 宠物示例

02

HARDWARE

扩展很多,装配更要小心

硬件扩展留得比较足。Pogo Pin 带电源UART,顶部 10 针排针可以引出 I2C、SPI、UART 和 GPIO;USB Type-C 2.0 同时用于充电、烧录和调试。项目还展示了温湿度、RFID 和热敏打印机等扩展方向,拿来做桌面 AI 助手、传感器终端或者带打印功能的小设备都说得通。

6021c4f4-914a-11f1-ab55-92fbcf53809c.jpg

— 项目资料展示的热敏打印机扩展方向

选型说明

4G 模块可以选中移 ML307R 或移柯 L511C,资料标注两者 Pin to Pin 兼容。项目方的测试判断是,L511C 在 TuyaOpen 下的协议优化更深入,语音延时更低。这个结论和固件版本、网络环境、供应批次都有关系,做产品选型时不能只看这一句话,还是要按自己的链路重新验证。

主板是4 层、1.2 mm线宽,Pogo Pin FPC 是 2 层、0.15 mm,并使用 0.15 mm PI 补强。这里别顺手把 PI 换成钢片,项目明确提醒钢片会影响 Pogo 磁铁的磁力。

602fd9f4-914a-11f1-ab55-92fbcf53809c.jpg

PCB设计文件截图

复刻这台掌机,机械装配建议前往项目主页先看装配教程,避免出现装配问题。5 颗磁铁要用少量 PP 结构胶固定,Pogo Pin FPC 用 4 颗 M1.6 × 3 mm 沉头螺丝锁紧,摄像头的导电泡棉要准确对到 PCB 的 GND。

屏幕垫高件可以 3D 打印,也可以使用 3 mm 透明亚克力,正反两面贴 3 mm 双面胶。垫高件局部悬空,压屏幕时不能在悬空位置猛用力,否则可能直接把屏幕压裂。

这些细节看起来琐碎,却比“代码能不能编译”更早决定复刻能不能继续。

603d35ea-914a-11f1-ab55-92fbcf53809c.jpg

— 开发板正面与接口布局—

03

BUILD AND FLASH

先走通最短链路

软件部分可以先走最短路径。进入 TuyaOpen 根目录导出环境,再进入口袋机应用目录完成配置、编译和烧录

...bash

cd /path/to/TuyaOpen

. ./export.sh

cd apps/tuya_t5_pocket/tuya_t5_pocket_ai

tos.py config

tos.py build

tos.py flash

Windows 使用.\export.ps1.\export.bat。目标板选择TUYA_T5AI_POCKET;需要调整功能模块时运行tos.py config menu,按 S 保存、按 Q 退出。

不能漏

编译前要在 include/tuya_config.h 中写入与涂鸦 IoT 平台一致的 UUID 和 AUTHKEY。占位符不改,设备就无法连接云端;AUTHKEY 也不要提交到公开仓库。

烧录后电脑会识别出两个串口。CH1 用于下载和烧录,波特率由工具自适应;CH2 用于日志,固定为460800。我的建议是,先看 CH2 能不能给出正常启动日志,再继续查配网、DP 和 AI,别一上来同时排查四五层问题。

配网还有一个很硬的限制:设备只支持 2.4 GHz Wi-Fi,不支持 5 GHz。

绑定信息异常时,可以连续完成三次开关机,第四次开机会清除配对和 Wi-Fi 信息,重新进入配置流程。

THE END

适合谁做

Tuya-T5-Pocket 比较适合两类开发者。一类想快速做出多模态 AI Agent 的硬件原型,不想从音频、显示、云端和设备控制重新搭框架;另一类对成品功能没那么着急,更想研究传感器、端云事件和真实交互怎样组合。

如果准备复刻,别先追求所有 Demo 一起跑。先完成上电和 CH2 日志,再处理 2.4 GHz 配网与 DP 交互,最后逐个打开摄像头、音频、AI 和扩展外设。这个顺序不花哨,但能把问题留在当前这一层,也最容易把它改成自己的设备。

项目资料地址:https://p.eda.cn/d-1381483246914633728

已包含所有硬件资料、采购BOM清单、3D打印源文件等;

目前,华秋开源硬件社区与涂鸦开发者联合主办的 涂鸦智能 T5 开源 AI 助理征集活动正在火热进行中,可以扫描下方二维码立即参与~

604a073e-914a-11f1-ab55-92fbcf53809c.png

项目来源:华秋开源硬件社区《TuyaOpen 多模态 AI 口袋机》

项目链接:https://p.eda.cn/d-1381483246914633728

文中项目能力、测试判断与 Demo 效果为小编根据资料整理,如有出入请以作者项目主页为准。

END

这里是华秋开源硬件社区,我们持续分享值得复刻的开源硬件项目与工程经验。

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。

声明:本文由华秋·开源硬件社区发布,转载请注明以上来源。如需平台合作及入群交流,请咨询18925255684(微信同号:elecfans123),谢谢!6061e4c6-914a-11f1-ab55-92fbcf53809c.png

开源加速权益包

606a89d2-914a-11f1-ab55-92fbcf53809c.png

扫码填写申请表,获2,000 元打样金 + 批量专属折扣

申请入选后直接发放打样金,无订单门槛、无抵扣比例、无需任务解锁;后续批量需求由专属顾问跟进,并提供项目专属折扣。(https://p.eda.cn/act/ohap2026)