به گزارش خبرگزاری مهر به نقل از اینترستینگ انجینرینگ، این سیستم مبتنی بر هوش مصنوعی NaviSense نامیده می‌شود و از هوش مصنوعی برای شناسایی اشیا به طور واقعی و هدایت کاربران به سمت آنها با استفاده از نشانه‌های لمسی و صوتی استفاده می‌کند. این محققان از فناوری مذکور در بیست و پنجمین کنفرانس ACM SIGACCESS ASSETS رونمایی کردند.

هدف NaviSense برطرف کردن مشکلاتی قدیمی در نرم افزار کمک ناوبری است. بسیاری از ابزارهای فعلی به گروه‌های پشتیبانی انسانی متکی هستند. برخی از آنها به مخزنی از اشیا که باید از قبل بارگذاری شود، وابسته هستند.

به گفته محققان این امر انعطاف پذیری را محدود می‌کند. یکی از آنها در این باره می‌گوید: پیش از این باید مدل‌های اشیا برای شناسایی شدن در حافظه سرویس بارگذاری می‌شد. این فرایند ناکارآمد است و هنگامیکه کاربران از این ابزارها استفاده می‌کنند، انعطاف پذیری دارد.

اپ مذکور به یک سرور خارجی که مدل‌های بزرگ زبانی و مدل‌های زبانی بصری را فعال می‌کند، متصل می‌شود. این سیستم‌ها به NaviSense اجازه تفسیر دستورهای صوتی، اسکن محیط و شناسایی اهداف نزدیک را بدون اتکا به مخزن داده اشیای ثابت می‌دهد.

محققان این اپ را پس از مصاحبه‌های طولانی با شرکت کنندگان دچار اختلال بینایی توسعه دادند.