A Google elérhetővé tette a Guided Vision funkciót a Gemini Live-ban. Az akadálymentesítést segítő eszköz valós időben, beszélgetéses formában értelmezi a telefon kamerája által látott környezetet, így a felhasználó hangos leírásokat kérhet, majd további kérdéseket tehet fel.
A rendszer akkor is jelez, ha a kamera túl magasra, túl közelre vagy kissé oldalra irányul. Ilyenkor beszéddel kérheti a felhasználót, hogy lassan fordítsa jobbra a készüléket, döntse lefelé, vagy lépjen hátrébb a tisztább kép érdekében.
Mindennapi feladatokban segíthet
A Guided Vision használható apró betűs és összetett szövegek, például élelmiszercímkék, készülékbeállítások vagy étlapok felolvasására. A kamera segítségével tárgyak is kereshetők a közelben, például egy leesett fülhallgató vagy egy fűszertartóban lévő fekete bors. A rendszer színekről, mintákról és formákról is adhat leírást, valamint egy helyiség vagy egy asztalon elhelyezett tárgyak áttekintését is elkészítheti.
A funkciót a vak és gyengénlátó közösségekkel együtt fejlesztették. A Google az Aira vállalattal együttműködve több tízezer órányi vizuális értelmezési adatot használt fel, az Aira Trusted Tester hálózatának több mint 1000 tagja pedig a mindennapi használat során tesztelte a rendszert. A Guided Vision több nyelven működik, és a fejlesztésben indiai, brazil, szingapúri, indonéziai és japán közösségek visszajelzéseit is felhasználták.
Beállítás és korlátozások
A Gemini mobilalkalmazás profilbeállításaiban kapcsolható be a Use Guided Vision in Live lehetőség, ezután a Gemini Live-ban meg kell osztani a kamerát. Az Android akadálymentesítési beállításai között gyorsparancs is létrehozható, a TalkBack felhasználói pedig a háromujjas érintéssel megnyitható menüből érhetik el a funkciót.
A Google figyelmeztetése szerint a generatív mesterséges intelligencia hibázhat. A Guided Vision nem orvostechnikai eszköz, mozgást segítő berendezés vagy fehér bot helyettesítője, és nem navigációra, biztonságos közlekedési útmutatásra vagy akadályok felismerésére szolgál.
