Petoi Doc Center
🇨🇳中文版
🇨🇳中文版
  • 欢迎查阅派拓艺文档中心
  • 快速上手指南
  • Petoi 机器人关节序号
  • 蓝牙连接
  • 上传固件
  • 关节校准
  • 红外遥控
    • 遥控器
  • 手机应用
    • 总览
    • 关节校准
    • 控制面板
  • 桌面应用
    • 总览
    • 固件上载
    • 关节校准
    • 技能创作坊
    • 调试器
  • 图形化编程
    • Petoi 编程积木
    • Mind+中的Python代码模式
    • Arduino UNO 编程积木
  • Arduino IDE
    • 为NyBoard上传程序
    • 为BiBoard上传程序
    • 使用Arduino IDE校准舵机
    • 串口监视器
  • API
    • 🖇️串口协议
    • 🐍Python serialMaster使用指南
    • 🐛MicroPython控制器
      • MicroPython上手玩
      • 配置WebREPL
      • 使用ESP-NOW协议
    • 🍓通过树莓派控制机器人
    • 🤖ROS
  • NYBOARD
    • 总述
    • NyBoard V1_0
    • NyBoard V1_1 & NyBoard V1_2
  • BiBoard
    • BiBoard V0 快速上手指南
    • 例程介绍
      • 1. GPIO例程
      • 2. 串口
      • 3. 模拟-数字转换器
      • 4. 数字-模拟转换器
      • 5. EEPROM(电擦除存储器)
      • 6. 陀螺仪IMU(MPU6050)
      • 7. 红外遥控
      • 8. PWM
      • 9. 舵机(施工)
      • 10. 经典蓝牙串口SPP
      • 11. 蓝牙低功耗(BLE)串口透传
      • 12. 文件系统SPIFFS
      • 13. Arduino IDE增加硬件分区配置选项
      • 14. 播放MP3
      • 15. WiFi和OTA的使用
    • BiBoard V1 用户指南
  • 通信模块
    • 通信模块概要说明
    • USB上载模块(CH340C)
    • 双模蓝牙模块
    • WiFi模块(ESP8266)
      • 使用ESP8266 + Python 脚本实现无线群控
  • 扩展模块
    • 扩展模块概要说明
    • MU摄像头模块
    • 超声波传感器
    • 光强传感器
    • 触摸传感器
    • 手势传感器
    • 人体移动探测器
    • 语音指令模块
    • Petoi AI Vision摄像头模块
    • 深度开发应用AI视觉模块
      • 🏋️模型训练
      • ⚖️模型量化
      • 🏌️模型部署
      • COCO数据集DIY训练
    • 机械臂
      • 升级旧款 Bittle/Bittle X
    • Micro:bit 游戏手柄
  • 应用实例
    • 技能创作
    • 姿势模仿教程
    • 可编程木偶角色
  • 历史文档
    • 为NyBoard上传1.0版本程序
  • 技术支持
    • 🛠️配套应用软件
    • 🙋‍♂️常见问题 (FAQ)
    • 烧录Bootloader
  • 资源链接 🕸
    • 🔭Official Site of Petoi
    • 💿GitHub of OpenCat
    • 📀GitHub of OpenCatEsp32
    • 🎪PetoiCamp (Forum)
Powered by GitBook
On this page
  • 功能简介
  • 硬件设置
  • BiBoard V0
  • BiBoard V1
  • 软件设置
  • Petoi 桌面应用程序
  • Arduino IDE
  • 验证模块功能(可选)

Was this helpful?

Export as PDF
  1. 扩展模块

Petoi AI Vision摄像头模块

Previous语音指令模块Next深度开发应用AI视觉模块

Last updated 24 days ago

Was this helpful?

功能简介

Petoi AI 视觉模块是基于 Arm Cortex-M55 和 Ethos-U5开发的嵌入式视觉模块。它支持 TensorFlow 和 PyTorch 框架,并与 Arduino IDE 兼容。借助 SenseCraft AI 算法平台,无需编码即可将训练好的 ML 模型部署到传感器。它具有标准 CSI 接口、板载数字麦克风和 SD 卡插槽,非常适合各种嵌入式 AI 视觉项目。

  • 强大的 AI 处理能力:采用 WiseEye2 HX6538 处理器,配备双核 Arm Cortex-M55 和集成 Arm Ethos-U55 神经网络单元。

  • 多功能 AI 模型支持:轻松部署 SenseCraft AI 的现成或自定义 AI 模型,包括 Mobilenet V1、V2、Efficientnet-lite、Yolo v5 和 v8。支持 TensorFlow 和 PyTorch 框架。

  • 丰富的外设:包括PDM麦克风、SD卡槽、Type-C、Grove接口等外设。

  • 高兼容性:兼容XIAO系列、Arduino、Raspberry Pi、ESP32开发板,方便进一步开发。

  • 完全开源:所有代码、设计文件和原理图均可修改和使用。

硬件设置

BiBoard V0

BiBoard V1

具体使用时可以将连接摄像头的一端固定在机器人的头部(比如含在Bittle X的嘴中, 或者卡在Bittle X+Arm的机械臂上)。

软件设置

Petoi 桌面应用程序

您可以在 Petoi 桌面应用程序中使用固件上载。

请选择正确的产品类型、主板型号及串口名称,模式设置为"标准",点击“升级固件”按钮。例如,BittleX、BiBoard_V0_2、COM3 如下所示:

Arduino IDE

如果提示摄像头模块启动失败,如下图所示:

验证模块功能(可选)

#include <Seeed_Arduino_SSCMA.h>

SSCMA AI;

void setup()
{
    AI.begin();
    Serial.begin(9600);
}

void loop()
{
    if (!AI.invoke())
    {
        Serial.println("invoke success");
        Serial.print("perf: prepocess=");
        Serial.print(AI.perf().prepocess);
        Serial.print(", inference=");
        Serial.print(AI.perf().inference);
        Serial.print(", postpocess=");
        Serial.println(AI.perf().postprocess);

        for (int i = 0; i < AI.boxes().size(); i++)
        {
            Serial.print("Box[");
            Serial.print(i);
            Serial.print("] target=");
            Serial.print(AI.boxes()[i].target);
            Serial.print(", score=");
            Serial.print(AI.boxes()[i].score);
            Serial.print(", x=");
            Serial.print(AI.boxes()[i].x);
            Serial.print(", y=");
            Serial.print(AI.boxes()[i].y);
            Serial.print(", w=");
            Serial.print(AI.boxes()[i].w);
            Serial.print(", h=");
            Serial.println(AI.boxes()[i].h);
        }
        for (int i = 0; i < AI.classes().size(); i++)
        {
            Serial.print("Class[");
            Serial.print(i);
            Serial.print("] target=");
            Serial.print(AI.classes()[i].target);
            Serial.print(", score=");
            Serial.println(AI.classes()[i].score);
        }
        for (int i = 0; i < AI.points().size(); i++)
        {
            Serial.print("Point[");
            Serial.print(i);
            Serial.print("] target=");
            Serial.print(AI.points()[i].target);
            Serial.print(", score=");
            Serial.print(AI.points()[i].score);
            Serial.print(", x=");
            Serial.print(AI.points()[i].x);
            Serial.print(", y=");
            Serial.println(AI.points()[i].y);
        }
    }
}

固件上传完成后,打开发送串口命令“XC”切换到摄像头模式。

具体步骤请参考。

程序上传完成后,打开发送串口命令“XC”切换到摄像头模式。

您可以使用升级模块固件并上传人脸检测模型。

要运行库Seeed_Arduino_SSCMA中的示例程序,您应该下载,通过选择项目>加载库>添加 .zip 库,选择下载的.zip库文件添加到Arduino IDE中。或者,您可以在Arduino IDE的库管理器中搜索安装库文件,如下图所示:

下面是一个Seeed_Arduino_SSCMA库中的示例程序(inference.ino),您可以将其到机器人主板BiBoard中,测试Grove Vision AI V2 的功能是否正常。您也可以参考该函数将模型输出结果用于其他功能:

正常运行时,打开,效果如下图所示:

为BiBoard上传程序
web调试页面
最新版本的库代码
上传
串口监视器
串口监视器
串口监视器
Bittle X
Bittle X
Bittle X+Arm