VoiceLab · mạch giả lập

Chạy đúng cơ chế của mạch reSpeaker đang nạp: bấm nút để mở phiên, rồi rảnh tay — server chốt lượt bằng VAD. Bấm lần nữa lúc bot đang nói là ngắt lời. Chế độ auto: mic TẮT khi bot nói, và mỗi lượt mạch gửi listen start mới sau khi bot nói xong.

chưa bậtbấm Bật mic để bắt đầu

Nút giữa làm đúng hai việc mà nút trên mạch làm: bấm lúc đang chờ thì mở phiên, bấm lúc bot đang nói thì ngắt lời — gửi abort KHÔNG kèm lý do, y như kAbortReasonNone. Bấm lúc đang nghe thì không làm gì, mạch cũng vậy.

Mic

Loa (tiếng bot phát ra đây)

Xử lý audio của trình duyệt

Channel mic

Màn hình giả lập

Muốn nghe bằng mảng mic + AEC của reSpeaker Lite thay vì mic laptop:

Board xuất xưởng mang firmware USB — lúc đó nó là một sound card, cắm vào laptop là hiện ra trong danh sách Mic ở trên. Fork này nạp firmware I2S cho nó (để ESP32 dùng), nên phải đổi lại:

cd ~/OFFLINE_FILES/Code/IOS/VoiceDemo/server
deploy/respeaker-xmos-mode.sh status   # đang ở chế độ nào
deploy/respeaker-xmos-mode.sh usb      # đổi sang sound card USB
# rút cáp, cắm lại, rồi chọn "ReSpeaker Lite" ở ô Mic

deploy/respeaker-xmos-mode.sh i2s      # trả về chế độ dùng với ESP32

Cắm cáp vào cổng USB của board reSpeaker, không phải cổng của ESP32-S3. Ở chế độ USB thì mạch ESP32 câm hoàn toàn và không có thông báo lỗi nào — XMOS không phát I2S nữa.

Màn hình mạch — dựng theo OledDisplay::SetupUI_128x64

Chờ

😐

Chuỗi lấy từ locales/vi-VN/language.json — mạch build với --language vi-VN (xem flash.sh), nên màn thật hiện tiếng Việt.

Tên bạn — tách riêng lịch sử hội thoại từng người

Giáo trình đang áp cho phiên này — GET /api/giaotrinh?what=tiendo

chưa nạp

Mở sổ theo dõi ↗

Panel này CHỈ ĐỌC — /api/giaotrinh không nhận tham số ghi, nên xem ở đây không làm lệch buổi học. Nó tồn tại vì hỏng ở tầng giáo trình không để lại dấu nào ở tầng audio: bot vẫn nói trôi chảy khi kế hoạch buổi rỗng, khi tình huống bị lặp lần thứ ba, hay khi plan_session chưa từng chạy. Tự nạp lại lúc bật mic và mỗi lần vào NGHE cho tới khi thấy kế hoạch — không poll đều, vì trang này ở chung VPS với ~40 service khác.

Hội thoại

Log — mọi dòng dưới đây cũng được ghi vào log của server

Bản giả lập này KHÔNG đại diện cho mạch ở bốn chỗ

Mở phiên và ngắt lời bằng NÚT, không bằng wake word. Mạch có cả hai đường: nút (đường này) và bộ nhận hi pika chạy trên chip. Nút thì bấm là ăn 10/10; wake word trên mạch đo được 3/10 ở âm lượng 44, 4/5 ở mức 70 — mn7_en thiết kế cho từ tiếng Anh thật, mà "pika" không có trong bảng BPE nên vỡ thành 4 token rời. Đó là thứ hay hỏng nhất của mạch, và trang này không cho bạn gặp nó. Cũng vì thế trang KHÔNG gửi listen detect và không gửi 2 giây audio đệm — hai thứ chỉ có trên đường wake word.
Chống vọng (AEC). Mic laptop + echoCancellation của trình duyệt cho kết quả tốt hơn XU316 trên tiếng tự phát. Còn chọn mic reSpeaker qua USB mà loa vẫn là loa laptop thì không có AEC nào cả — XMOS chỉ có tham chiếu cho tiếng do chính nó phát. Không cấu hình nào ở đây giống mạch.
Màn hình. Vẽ bằng HTML theo layout của SetupUI_128x64, không phải ảnh thật của SSD1306: không có nhiễu, không có độ tương phản thật, phông chữ khác.

Kết luận nào thuộc bốn nhóm trên thì vẫn phải đo trên mạch. Những thứ trang này nghiệm thu ĐƯỢC: prompt, chất lượng trả lời, giọng đọc, cổng lọc câu, độ trễ, hội thoại nhiều lượt, và toàn bộ giao thức ở tầng message.