Un chiosco browser che legge un gesto e una parola, poi prepara un vero espresso

Contesto

Il cliente stava lanciando una nuova macchina per espresso e voleva un'esperienza da stand che mettesse il prodotto nelle mani del visitatore: ti avvicini, fai un gesto, dici una parola, e la nuova macchina ti prepara una tazza vera — una prova pratica che chiunque poteva fare in pochi secondi in fiera. Due vincoli hanno plasmato tutto. Doveva girare su un tablet qualsiasi allo stand, senza nulla da installare. E doveva pilotare la macchina reale davanti al visitatore — erogare un espresso vero, non riprodurne il video.

Problema

Il cuore del problema è la percezione in tempo reale collegata a un esito fisico.

• Leggere una persona, un gesto e una parola insieme — dal vivo. Accorgersi quando qualcuno si mette in posizione, riconoscere il gesto della mano «perfetto» e sentirlo dire «perfetto» — tutto da una sola fotocamera e un solo microfono del tablet, in tempo reale, in una sala rumorosa.
• Accompagnare, non solo giudicare. Un visitatore che ci va quasi va incoraggiato, non bocciato. Il riconoscimento deve alimentare un ciclo indulgente e a fasi — «continua così», «ci sei quasi» — invece di un pass/fail binario.
• Raggiungere una macchina reale da una pagina web. La ricompensa è fisica: l'istante del successo deve arrivare alla macchina per espresso a un braccio di distanza e avviare l'erogazione — dal browser, in modo affidabile.
• Girare non presidiato, tutto il giorno. A uno stand non c'è un operatore. Deve attirare, rilevare, eseguire, festeggiare, erogare e resettarsi per la persona successiva — su qualunque tablet ci sia sul tavolo.

Approccio

Il tutto è un'unica pagina browser, installata sulla home del tablet come PWA — nessuna app nativa, nessuno store. Due modelli MediaPipe Tasks Vision girano sul flusso live della fotocamera: un pose landmarker che si accorge quando un visitatore è presente e centrato, e un gesture recognizer che traccia la mano per cogliere il pizzico «perfetto» e il suo movimento. In parallelo, il riconoscimento vocale ascolta il «perfetto» pronunciato; per le sale rumorose dove il riconoscitore del browser fatica, abbiamo previsto come fallback un percorso Whisper on-device compilato in WebAssembly.

Una piccola state machine orchestra il rituale end to end — attract loop → visitatore rilevato → intro → il momento gesto-e-voce → successo → erogazione → una foto «perfetto» che il visitatore può tenere — e si smonta da sola quando la persona se ne va o scade il tempo, così gira tutto il giorno senza che nessuno la sorvegli. Il coaching è scaglionato sui tentativi: sale da dì perfetto a continua così a ci sei quasi, ognuno con il proprio audio, così un quasi-successo viene incoraggiato invece di respinto.

L'erogazione è una scrittura Bluetooth diretta. Al successo la pagina si connette alla macchina via Web Bluetooth e scrive il comando di erogazione del produttore sulla sua caratteristica BLE — l'integrazione che siamo stati ingaggiati a costruire sul loro protocollo — così la nuova macchina eroga, davanti al visitatore, avviata dal suo gesto.

Risultato

Un visitatore si avvicina, fa il gesto «perfetto», dice la parola, e la nuova macchina gli prepara un espresso vero — dall'inizio alla fine in pochi secondi, su un tablet qualsiasi, senza app e senza addetto. Il lancio di un prodotto diventa qualcosa che fai con le mani invece di qualcosa che guardi: un'unica pagina browser che vede, ascolta, accompagna e arriva via Bluetooth a far erogare una macchina fisica — il tipo di lavoro a cavallo tra software e hardware che non sta in una sola casella.