通过 AI 驱动的交互式叙事促进视障和低视力用户探索视觉媒体.pdfVIP

通过AI驱动的交互式叙事促进视障和低视

力用户探索视觉媒体

ShuchangXu

sxuby@connect.ust.hk

ComputerScienceandEngineering

TheHongKongUniversityofScienceandTechnology

HongKong,China

本

译

中

2

v

1

6

0图1:我的博士研究探索了由AI驱动的互动叙事范式，该范式利用AI生成互动叙事内容，使盲人和低视力（BLV）

3

0用户能够以连贯的故事叙述体验来探索视觉媒体。我通过三种技术实现了这一范式：(A)分层叙事，支持在不同

8.详细程度下探索照片集[28]；(B)平行叙述，为视频中的时间同步用户评论提供无缝访问[29]；以及(C)分支叙

0事，使能够沉浸式导航360°视频[30]。这些技术展示了由AI驱动的互动叙事在为BLV用户提供引人入胜的媒

5

2体体验方面的有效性。

:

v摘要媒体的深入参与。为了解决这些问题，我的博士研究

i

x引入了人工智能驱动的互动叙事的范式，该范式利用

r赋能盲人和低视力（BLV）用户探索视觉媒体可以提高

a人工智能生成互动叙事，使BLV用户能够在连贯的故

内容理解，增强用户的自主性，并满足多样化的信息

事讲述体验中探索视觉媒体。我通过三种技术实现了

需求。然而，大多数现有的工具将探索与主要叙述分

这一范式：（1）分层叙事，支持以不同细节层次探索照

开，这会破坏叙事流程，增加认知负荷，并限制对视觉

片集合；（2）平行叙述，提供无缝访问时间同步的视频

Permissiontomakedigitalorhardcopiesofallorpartofthisworkforpersonal

orclassroomuseisgrantedwithoutfeeprovidedthatcopiesarenotmadeor评论；（3）分支叙述，使360°视频的沉浸式导航成为可

distributedforprofitorcommercialadvantageandthatcopiesbearthisnotice能。这些技术共同证明，人工智能驱动的互动叙事能

andthefullcitationonthefirstpage.Copyrightsforcomponentsofthiswork够有效平衡用户自主性与叙述连贯性在各种媒体格式

ownedbyothersthantheauthor(s)mustbehonored.Abstractingwithcreditis

permitted.Tocopyotherwise,orrepublish,topostonserversortoredistribute中的应用。我的未来工作将进一步推进这一范式，为

tolists,requirespriorspecificpermissionand/orafee.RequestpermissionsfromBLV观众提供更加个性化和表达力丰富的故事讲述体

permissions@.

验。

Conference’17,Washington,DC