黄雅君
(泉州师范学院 外国语学院,福建 泉州 362000)
2022年10月,泉州市人民政府提出保护、传承与活化世界遗产,讲好泉州故事,提升泉州“宋元中国·海丝泉州”城市品牌(1)转引自泉州市人民政府官方网站.《泉州市推进国家文化和旅游消费试点城市建设实施方案》.http://www.quanzhou.gov.cn/zfb/xxgk/zfxxgkzl/zfxxgkml/srmzfxxgkml/ghjh/202210/t20221018_2788156.htm,2022-09-27.(2)转引自泉州市人民政府官方网站.《泉州市加快推进21世纪“海丝名城”建设实施方案(2022-2026年)》.http://www.quanzhou.gov.cn/zfb/xxgk/zfxxgkzl/zfxxgkml/srmzfxxgkml/ghjh/202210/t20221018_2788144.htm,2022-10-12.的基本思路。城市品牌的构建和传播不仅有利于提升城市的竞争力,也有利于塑造国家形象。智媒时代,大众对城市形象的认知开始由现实空间转向“媒介空间”[1],城市品牌的传播格局被改变。在这样的大背景下,“媒介空间”衍生的多模态符号资源,如图像、音频、视频、文字等,在城市品牌的构建与传播过程中就发挥着越来越重要的作用。本文以建设“宋元中国·海丝泉州”城市品牌传播多模态语料库为例,基于符号学的角度,探讨多模态视域下城市品牌传播研究的可行性,详述泉州城市品牌传播多模态语料库的建设背景、意义与构建流程,进而展望该多模态语料库在城市品牌传播研究中的应用前景。
多模态语料库是经科学取样并加工的大规模语言及非语言文本的集合数据库,建库目的在于采用实证的方法系统地研究语言符号与非语言符号之间的相互作用[2]。目前,多模态语料库的研究已经成为自然语言处理、计算机视觉和跨文化等领域的热点之一。随着社交媒体和在线平台的普及,大量的多模态数据被用户生成与共享。这些数据包括文本、图像、视频等多种模态,为多模态语料库的构建和研究提供新的机会和挑战。多模态语料库按照其功能大致可以分为“综合性多模态语料库”与“专门用途多模态语料库”等两类。其中,专门用途多模态语料库是指出于某种特定的研究目的而收集该特定领域的多模态语料样本建成的用以研究并解决不同问题的语料库。
国外的多模态语料库建设历史较长,建库技术较为复杂。现有的多模态语料库虽涉及领域广泛、语种丰富,但每个语料库只为某一专门领域的语料集合,即专门用途多模态语料库,如人机对话[3]、商务会议[4]、婴儿话语及行为[5]、 教材分析[6]等。
国内多模态语料库建设还处于起步阶段。与国外多模态语料库建设现状相似,国内现有的多模态语料库项目亦服务于某一特定专门领域的发展,如中国传统故事[7]、旅游翻译[8]、情感表达[9]、老年语言学[10]327-335、护理英语[11]、外语课堂教学[12]、口译教学[13]等。专用型多模态语料库建设是近年来国内学者关注的课题。但迄今为止,以城市品牌多模态传播资源为语料的多模态语料库建设与应用研究还未展开。
近年来,城市品牌传播研究已从关注单一模态逐渐转向关注多模态。Wang等[14]选取西安市旅游局在抖音发布的294条短视频,以多模态批评话语分析作为框架进行研究,发现随着现代技术和全球消费主义的发展,二线城市在品牌建设过程中创造独特的地方符号至关重要。Lam等[15]以旅游网站TripAdvisor用户对香港的图文评价作为语料,用批评话语分析作为框架探求城市品牌在网络空间的塑造与传播。现有的研究证明了多模态视域下城市品牌传播研究的可行性。
目前,泉州“宋元中国·海丝泉州”城市品牌传播实践初见成效,但借助多模态语料库开展的相关传播内容研究尚为空白。因此,构建一个科学、动态、有代表性的基于泉州城市品牌多模态传播资源的语料库及其传播研究,对推进泉州城市品牌建设与传播具有重要的学术意义和实践意义。
城市作为一个主体,其品牌是一种具有商业价值的无形资产[16]。城市品牌传播是以“城市要素”为主的品牌建设与塑造过程。智媒时代,技术赋能传播,城市品牌的传播由图文转向短视频[16],由单模态转向多模态,城市品牌建设与塑造的主场由现实空间转向“媒介空间”[1],品牌传播的过程嬗变成为多模态的传播过程,调动受众的听觉、视觉等多种感官。城市品牌传播短视频通过视频图像、声音、动画等手段,以影像符号传递城市信息,在特定的社会文化背景下塑造城市品牌[14]。
索绪尔指出,在一定的社会文化背景下,无意义的符号能通过聚合和组合形式构成意义[17]124。其中,“聚合”指的是在一类要素中进行选择的结果,而“组合”指的是通过剪辑手段将不同的镜头放在一起进行编排。在这样的视角下,短视频作为影像语言,正是一种通过聚合和组合符号形成的表意系统。巴特等进一步指出,影像通过转喻、隐喻和象征等修辞手段将实体符号转换为表达意识形态的内涵因子[18]93。基于此,符号经“聚合”和“组合”后形成的意义和内涵,是以短视频为主要传播方式的多模态城市品牌传播研究的基本问题。泉州城市品牌传播多模态语料库的设计与建构是以2021年7月以来主流媒体平台发布的泉州城市品牌相关的短视频为语料,以符号学分析法为方法论,探索城市品牌传播短视频的文本、表意过程和基本叙事结构类型。
(一)城市品牌传播的多模态特征
从符号学的角度观察,城市品牌传播短视频是一个从现实城市中获取传播要素进行编码的符号系统。作为视听影像的一种,城市品牌传播短视频实现城市的媒介再现,其类型包括图像、文字、色彩、声音符号。其中,图像符号包括人和景;文字符号包括标题和字幕等;色彩符号包括被拍摄物的真实色彩和具有象征意义的色彩(如闽南红);声音符号包括音乐、旁白和画面原声等。
以上4种类型符号综合了视、听等多模态,可归纳为语言模态和非语言模态。这两大类模态所蕴含的意义潜势[19]28最终构成城市品牌传播的整体意义。在意义系统中,交际者选择恰当的符号资源,建构多模态话语[20]。城市品牌传播短视频在创作的过程中,首先经由创作者根据脚本进行拍摄、配乐(声音),最后根据叙事表意剪辑成片。其中,短视频的文字符号(标题、字幕)和声音符号(旁白、画面原声、音乐)构成语言模态,图像符号和色彩符号组成非语言模态。本研究基于符号学的分析框架,从城市品牌传播的多模态性、模态关系和意义建构3个方面解析短视频的多模态特征,证实多模态视域下城市品牌传播研究的可行性及相关多模态语料库构建的必要性。城市品牌传播的语言模态和非语言模态之间是相辅相成的关系。2种模态中的符号资源共同完成城市品牌传播的再现、互动和构图等意义建构(图1)。
图1 城市品牌传播的多模态特征
(二)泉州城市品牌传播多模态语料库的设计与构建
泉州城市品牌传播多模态语料库有助于观察城市品牌传播的多模态特征,揭示多模态视角下城市品牌传播的意义。根据泉州城市品牌建设规划,“宋元中国·海丝泉州”城市品牌建设分为5个系列——“万亿之城”“世遗之城”“奋斗之城”“国潮之城”和“烟火之城”。因此,本研究构建的“宋元中国·海丝泉州”城市品牌传播多模态语料库分为5个子库,对应“宋元中国·海丝泉州”城市品牌建设的5个系列。具体的建库步骤为:第一,语料采集,即采集建库所用的语料;第二,语料预处理,即利用工具进行语料的格式转换、数据导入等工作;第三,语料转录与标注,包括元语料转写录入、初步标注、复审标注、确认标注和储存标注;最后将标注导出整合,建成泉州城市品牌传播多模态语料库。
1.语料采集 本语料库的建库目的在于研究泉州城市品牌传播的多模态特征,因此,所选语料应能代表泉州城市品牌传播这一现象。综观现有社交媒体短视频的传播现状,笔者团队确定选取自2021年7月以来主流中文社交媒体平台(抖音、微信视频号)发布的泉州城市品牌相关短视频作为语料,为保证语料的时效性和代表性,采用动态补充方式。同时,笔者团队将语料搜索范围集中在泉州市文化广电局和旅游局的官方抖音号、官方微信视频号、“海丝泉州文旅之声”(表1)。该社交媒体账号为官方号,现有用户数量超17.5万(3)数据来源:闽南网新媒体工作室《泉州新媒体影响力排行榜》,统计时间2023年10月02日-10月08日。,有较稳定且不断增长的受众人群(4)数据来源:闽南网新媒体工作室《泉州新媒体影响力排行榜》,统计时间2023年10月02日-10月08日。,其制作、发布的泉州城市品牌推广短视频更代表着泉州对其城市品牌的构建意愿,具有权威性和代表性。经观察,同名的社交媒体账号在不同的社交媒体平台所发布的内容不尽相同,为了较全面地覆盖泉州城市品牌传播的相关语料,笔者团队同步收录2个主流社交媒体平台账号为“海丝泉州文旅之声”发布的短视频作为语料,手动筛选重复的语料,获取有价值的短视频语料共1 015则。
表1 “海丝泉州文旅之声”语料采集来源
为保障语料的代表性,本研究采取分层分类抽样方法进行整理。语料收集完成后,根据泉州城市品牌建设构思,笔者团队将语料按5个主题(“万亿之城”“世遗之城”“奋斗之城”“国潮之城”和“烟火之城”)进行编排整理。同一个主题的短视频放在同一个文件夹内,并以发布时间、平台、视频名称等语料元信息命名,每一个主题构建一个子库。该库的短视频长短不一,短则1分钟,长则8分钟,入库视频总时长为2 030分钟。
2.语料预处理 语料预处理环节包括格式转换和数据导入2个步骤。该多模态语料库的语料以短视频为主,内含语言模态与非语言模态,这些模态包含文字符号、图像符号、色彩符号和声音符号。因此,在预处理环节,笔者团队既分析视觉上的文字、图像和色彩,又分析听觉上的声音符号。建库时,首先在电脑端安装VLC media player,借助该软件将短视频统一转换为wav格式,再将同源的视频文件与音频文件保存在同一文件夹里。最后,建库者将同一名称的音频和视频文件导入ELAN6.0(EUDICO Linguistic Annotator)软件中。ELAN6.0是一款可对视频和音频数据进行创建、编辑、可视化和搜索的标注工具(5)软件来源:https://archive.mpi.nl/tla/elan.。这些导入ELAN6.0的数据为未经加工的原始语料,称为元语料。元语料整理后,该多模态语料库的导入和预处理工作随即完成。但由于原始语料未经筛选,可能存在无益于研究的数据,因此建库者仍需要对这些语料进行深加工,即语料的转录与标注。
3.语料转录与标注 原始语料预处理完成后,笔者团队借助ELAN6.0对语料进行转录和标注。首先是语料的转录。建库者按照短视频内容播放顺序记录短视频所表达的内容和方式,将短视频中的文字、声音、图像和色彩符号转写记录为文字片段,如将原短视频(6)视频来源:视频号“联合国教科文组织”:《印象泉州》,2023-06-11.中分画面呈现的字幕“海风、鲜花、香火、红墙,市井与人间,这是泉州”整合转录为一个句子(图2)。
图3 《印象泉州》短视频截图 (2023-06-11)
完成语料转录后,笔者团队着手语料的标注工作。语料的标注工作是多模态建库的核心环节。标注工作细分为标注分层和标注内容,二者按次序进行。如前所述,本库的多模态语料以泉州城市品牌在传播过程中所制作和发布的社交媒体短视频为主,社交媒体短视频通过多符号资源调动人们的多感官(听觉、视觉等),具有典型的多模态特征。再者,泉州将其城市品牌定位于“宋元中国·海丝泉州”,兼具城市的历史与现代元素。为便于本库用于后期的语料多模态话语分析探索泉州城市品牌传播过程中的历史与现代元素的互动,在构建语料库的过程中,我们首先考虑将相关的社交媒体短视频标注分为“宋元中国(历史)”和“海丝泉州(现代)”两层,在此基础上,标注分层以社交媒体短视频的多模态特征为依据,体现城市品牌传播过程中符号资源的应用,又进一步分层为“语言层”和“非语言层”(图3)。语料标注分层后,笔者团队借用ELAN6.0软件现有的功能,结合社会符号学分析框架,将标注内容细化为:(1)地点描述:标注视频展示的具体地点或景点,如“泉州西街”“中山路”“洛阳桥”等;(2)视觉元素:标注视频显著的视觉元素,如建筑风格(“闽南红砖厝”“蚝壳厝”“庙宇”等)、“人物服饰”(“闽南服饰”)等;(3)音频元素:标注背景音乐、旁白、当地的方言或语言、民间歌曲等;(4)情感氛围:根据视频片段传递的情感氛围进行标注,如“宁静”“热闹”“庄重”等;(5)文化与历史:标注反映泉州历史文化的元素,如“丝绸之路的海上交通”“伊斯兰文化”“南少林武术”等;(6)民生与日常:标注市民的日常活动和互动,如“茶馆聚会”“闽南小吃摊”“街头表演”等;(7)文字与标识:标注视频中的文字、地名、广告、路标等;(8)自然景观:标注与泉州自然景观相关的内容,如“清源山风景”“泉州湾”等。
经转写与标注后的语料以eaf格式进行存储,存储目录分2个层级。第一层为主题层(宋元中国和海丝泉州);第二层为资源层(语言层和非语言)。层级编排便于使用者进行后续的研究。
图3 语料的标注分层与标注内容
虽然该类型的多模态语料库建设处于起步阶段,但具有应用价值和前景,如用于城市品牌传播的多模态话语研究。随着城市形象构建由现实空间转向媒介空间,城市品牌既由不同的符号学资源实现,又由社会文化塑造,具有评价属性。城市品牌既不是“透明的”,也不是“为自己说话”。相反,它是复杂的意义建构的结果,应基于多模态话语的系统分析来解释[21],因此多模态话语分析成为城市品牌传播研究的可行方法[22]9-10。泉州城市品牌传播专用型多模态语料库选取近3年(2021年7月至今)来抖音和微信视频号两大主要社交媒体平台中的泉州市文化广电和旅游局的官方号“海丝泉州文旅之声”所发布的短视频为入库语料,借由多模态语料库的独特性,将城市品牌传播的语言模态和非语言模态同步考量,在后期的应用研究中有望基于该语料库和符号学框架,阐明泉州城市品牌是如何通过语言和视觉资源构建的。
建立专用型多模态语料库且基于语料库开展相关研究是近年来国内外语言及传播研究的新趋势。语料库研究中先进的语料处理手段、真实的语言与非语言数据、严格的设计标准和独特的分析模式更有利于对相关问题进行全面、系统的研究。城市品牌传播是城市国际化建设过程中的一个重要环节,基于丰富的多模态数据展开的城市品牌传播研究为提高城市国际化建设形象构建与传播提供更加真实可靠的参考。“宋元中国·海丝泉州”城市品牌传播多模态语料库构建是对智媒时代城市品牌传播的探索,建库成果有助于建立城市对外传播的多模态话语体系、赋能语言及传播研究,为地方文化对外传播教育提供数据支持。
猜你喜欢 海丝泉州语料 泉州幼儿画刊(2022年8期)2022-10-18论泉州北管的“杂揉性”中国音乐学(2022年1期)2022-05-05——泉州宋船">镇馆之宝——泉州宋船奇妙博物馆(2022年3期)2022-03-23和你一起成长——写在福师大泉州附中50周年校庆之际福建基础教育研究(2020年1期)2020-05-28海丝泉州 20余项科技成果在这里对接纺织科学研究(2017年7期)2017-07-25海丝源头——泉州纺织科学研究(2017年6期)2017-07-03海丝海博会四月启幕纺织科学研究(2017年4期)2017-05-17基于语料调查的“连……都（也）……”出现的语义背景分析海外华文教育(2016年1期)2017-01-20华语电影作为真实语料在翻译教学中的应用当代教育理论与实践(2015年9期)2015-12-16合浦汉墓群 见证汉代的繁荣“海丝”大众考古(2015年7期)2015-06-26