Variability of the boundaries of semantic priming: the role of informativeness of primes
- Autores: Filippova M.G.1, Chopchik D.Y.1, Gnedykh D.S.2, Kostina D.I.2, Perikova Е.I.3
-
Afiliações:
- Bekhtereva Institute of the Human Brain of the Russian Academy of Sciences
- Saint Petersburg State University
- London Metropolitan University
- Edição: Volume 75, Nº 1 (2025)
- Páginas: 24-30
- Seção: ФИЗИОЛОГИЯ ВЫСШЕЙ НЕРВНОЙ (КОГНИТИВНОЙ) ДЕЯТЕЛЬНОСТИ ЧЕЛОВЕКА
- URL: https://journal-vniispk.ru/0044-4677/article/view/291222
- DOI: https://doi.org/10.31857/S0044467725010038
- ID: 291222
Citar
Texto integral
Resumo
The study was aimed to identify which account, inhibition or episodic retrieval, is more relevant for newly learned semantic pairs. At the learning stage, 34 participants were presented with nonwords matched with images of unknown fruits as semantic referents. At the testing stage, we used a semantic priming paradigm with a color identification task, where in 50% of cases, images of fruits were targets and their names (pseudowords) were primes, and in the other 50%, vice versa, the names were used as targets and the images as primes. The congruence of the primes (whether the images and their learned names matched each other) was also varied. In parallel, oculomotor activity was recorded. We found positive priming for image primes in the congruent condition and negative priming for word primes regardless of their congruence. The results did not allow us to make a choice in favor of one of the accounts, however, by revealing the expansion of the negative priming effect boundaries, they did demonstrate the ability of the cognitive system to flexibly switch between more general and more specific levels of processing depending on the characteristics of the stimuli.
Texto integral
Прайминг – это влияние предыдущей информации (т.н. прайма) на восприятие последующей (т.н. цели). В рамках экспериментальной парадигмы прайминга показано, что предъявление перед целью связанного с ней прайма способствует более быстрому и точному опознанию цели. Однако это не всегда так: прайм может не только способствовать, но и препятствовать опознанию связанных с ним целей (Labossière, Leboe-McGowan, 2018). На основании того, улучшает ли прайм опознание последующего стимула, или, напротив, ухудшает, различают позитивный и негативный прайминг-эффекты (далее – ПП и НП).
Для объяснения того, почему в некоторых случаях доступные для осознания праймы вызывают позитивный, а в других – негативный прайминг-эффект, существуют две наиболее распространенные группы теорий. Теория извлечения эпизодов и ее модификации утверждают, что при столкновении с целью из памяти автоматически извлекаются процедуры обработки, применявшиеся к ней ранее, и, если они совпадают, это позволяет быстрее дать ответ и обеспечивает ПП, если же не совпадают (в частности, включают в себя метку «не обращать внимания»), то НП (по (Костина, 2023)). Теория торможения в разных своих вариациях рассматривает НП в контексте процессов активации, т.е. в том же ключе, в каком принято рассматривать ПП (Семенова, 2023). Так, в модели Houghton и Tipper (1994) говорится о двойном механизме избирательного внимания, активирующем репрезентации, соответствующие цели, и одновременно оттормаживающем репрезентации неконгруэнтных стимулов (дистракторов). Ввиду временного остаточного торможения возникает НП, если дистрактор затем становится целью, требующей реакции. ПП же возникает из-за возросшей активации, когда цель повторяется вновь в качестве цели (Houghton, Tipper, 1994).
Итак, ПП возникает в результате повторения прежней цели, а НП – в результате повторения в качестве цели игнорируемого прежде стимула (например, (Kahan et al., 2023)). В своем исследовании мы предположили, что НП может быть вызван неявным игнорированием менее информативного типа праймов. Выбрав задачу цветового решения в отношении изученных объектов, мы использовали изображения этих объектов и их названия в качестве праймов. Поскольку визуальная информация соотносится с восприятием цвета непосредственно, в то время как названия связаны с цветом опосредованно через семантические ассоциации, изображения-праймы являлись для нашей задачи более информативными подсказками, чем слова. Тем самым мы побуждали участников опираться на праймы-изображения и игнорировать праймы-слова. Время предъявления праймов составляло 200 мс, как в исследовании Милликена, где был получен НП в условии, когда участникам предлагалось игнорировать прайм (Milliken еt al., 1998).
Помимо условия информативности праймов, мы также использовали условие их конгруэнтности. Конгруэнтные праймы соответствовали целям и были связаны с правильным ответом, неконгруэнтные не соответствовали целям и были связаны с неправильным ответом. В качестве контрольного условия, относительно которого вычислялись прайминг-эффекты в обозначенных экспериментальных условиях, было использование новых праймов в виде несуществующих изображений и слов.
Для используемых условий были сформулированы предсказания с точки зрения теории торможения и теории извлечения эпизодов относительно ожидаемых прайминг-эффектов (табл. 1).
Таблица 1. Ожидаемые согласно теории торможения и извлечения эпизодов эффекты
Table 1. The expected effects of priming based on inhibition account or episodic retrieval account
Прайм | Теория торможения | Теория извлечения эпизодов | ||
конгруэнтный (идентичный) | неконгруэнтный (любой из предъявленных на этапе запоминания) | конгруэнтный (идентичный) | неконгруэнтный (любой из предъявленных на этапе запоминания) | |
Информативный (картинка) | ПП | НП | ПП | НП |
Неинформативный (слово) | НП | ПП | НП | – |
Согласно теории извлечения эпизодов, если участники пытаются использовать прайм (как в случае с изображениями-праймами), то для конгруэнтных праймов должен наблюдаться ПП. Для неконгруэнтых же мы ожидали НП, поскольку попытка использования прайма, подсказывающего неверный ответ, должна вести к извлечению эпизода, связанного с неверным ответом, и замедлять ответ.
Если же прайм игнорируется (что мы в своем исследовании моделируем использованием неинформативных праймов-слов), то для конгруэнтных праймов теория извлечения эпизодов предсказывает НП, т.к. извлекаются процедуры обработки, подразумевающие игнорирование прайма, тогда как для неконгруэнтных праймов эффекта быть не должно, поскольку в случае, когда участник не использует прайм, эпизод просто не извлекается.
Для праймов-изображений теория активации/торможения предсказывает те же результаты, что и теория извлечения эпизодов: конгруэнтные изображения-праймы должны способствовать ПП, увеличивая активацию верной репрезентации цели. Активация же репрезентации неверного ответа при попытке использования неконгруэнтных изображений-праймов, активирующих неверную репрезентацию, должна вызывать НП.
Если прайм игнорируется (как в ситуации с праймами-словами), то для конгруэнтных праймов должен наблюдаться НП, а для неконгруэнтных с точки зрения теории торможения можно ожидать ПП, поскольку торможение неверного ответа (конкурента) ускоряет выбор верного.
Таким образом, в задачи настоящего исследования входила проверка предположения о том, что НП может быть получен при использовании неинформативных праймов без прямой инструкции их игнорирования, а также выявление, какая из существующих теорий лучше описывает эти результаты.
МЕТОДИКА
Выборка: в исследовании приняли участие 34 человека (средний возраст 22.8 ± 4.7, 17 женщин), все праворукие, носители русского языка, с нормальным или скорректированным до нормы зрением.
Исследование состояло из двух этапов: запоминания и проверки.
Цель этапа запоминания заключалась в получении предварительного знания: участники запоминали 5-буквенные псевдослова (например, «БАРОХ») с семантической привязкой, в качестве которой выступали цветные изображения малоизвестных плодов. Каждый плод с названием предъявлялся 8 раз. Процедура: сначала в центре монитора предъявлялся фиксационный крест на 800 мс, затем на 3000 мс – изображение цветного плода на белом фоне, сопровождаемое аудиальным предъявлением его названия.
На этапе проверки использовался семантический прайминг с задачей цветового решения с параллельной записью глазодвигательной активности. В половине случаев целями являлись черно-белые изображения, которым предшествовали слова-праймы (или «неинформативные праймы», согласно заданным нами условиям), в другой половине – названия плодов, которым предшествовали черно-белые изображения-праймы («информативные праймы»). Участники исследования выполняли 64 задания каждого типа, предъявляемых в случайном порядке. Задача участника состояла в выборе соответствующей предъявляемому стимулу цветовой гаммы (выбор осуществлялся из четырех вариантов с помощью клавиш Q, W, A, S на клавиатуре компьютера). Цветовая гамма была представлена в виде двух цветных колец (внутреннее относилось к мякоти плода, внешнее – к кожуре). Временные параметры предъявления стимулов и варианты выбора ответа представлены на рис. 1.
Рис. 1. Варианты выбора ответа и последовательность предъявления стимулов в проверочном задании.
Fig. 1. Response options and the trial example for illustration the test task.
Используемые праймы могли быть конгруэнтными или неконгруэнтными. Конгруэнтные праймы предполагали соответствие изображения плода изученному названию и названия – изображению плода; неконгруэнтные праймы не были идентичны целям, а подразумевали сочетание плода с любым из запомненных названий или названия с любым из запомненных плодов. В контрольном условии использовались специально сгенерированные праймы – псевдослова, составленные на основе названий реально существующих плодов с аналогичной 5-буквенной структурой, и плоды, сгенерированные в программе Craiyon.V3 на основе изображений реально существующих плодов.
Запись движений глаз производилась с помощью оборудования EyeLink 1000 Plus (SR Research Ltd., Канада) с камерой, расположенной под монитором, с частотой дискретизации 1000 Гц. Положение головы фиксировалось на расстоянии 65 см от монитора Dell S2716DG с диагональю 27 дюймов. Для калибровки и валидации использовалось девять точек с включением в анализ данных с точностью измерения от 0.15 до 0.5 °. Карты уникальных изображений определения цветовой гаммы, соответствующей предъявляемому стимулу, во всех условиях имели размер 1770 × 770 пикселей.
Задание запоминания было реализовано в Presentation v.23.1 (Neurobehavioral Systems Inc., США), проверочное задание – в программе SR Research Experiment Builder (Version 2.3.1).
С контрольным условием сопоставлялось количество ошибок, время правильных реакций, а также 5 показателей глазодвигательной активности: время попадания первой саккады в квадрант с соответствующей цели цветовой гаммой (верный квадрант), длительность (мс) и количество фиксаций взгляда на верном квадранте, общая длительность (мс) и общее количество фиксаций взгляда на всех квадрантах при принятии цветового решения в отношении целей с учетом конгруэнтности и информативности праймов.
Для статистического анализа использовалась программа SPSS Statistics, 26.0. Для вычисления прайминг-эффектов экспериментальных и контрольного условий при попарных сравнениях использовался T-критерий Вилкоксона; для анализа распределения ошибок – критерий Х²; для выявления наличия или отсутствия корреляций между интересуемыми показателями – коэффициент Ро (ρ) Спирмена.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ
Время реакции. Анализ времени реакции показал следующие закономерности. Для праймов-изображений ПП наблюдался в конгруэнтном условии (2875 < 3323 мс, Z = –2.2, p = 0.028), тогда как в неконгруэнтном время реакции не отличалось от контроля. Для праймов-слов наблюдался НП, причем как в конгруэнтном (2775 > 2088 мс, Z = –4.881, р < 0.001), так и в неконгруэнтном условии (3300 > 2088 мс, Z = –2.12, р = 0.034). Обнаруженные прайминг-эффекты приведены в табл. 2.
Таблица 2. Прайминг-эффекты, полученные в используемых условиях
Table 2. Obtained priming effects under the conditions used
Конгруэнтный (идентичный) | Неконгруэнтный (любой из предъявленных на этапе научения) | |
Время реакции | ||
Информативный (картинка) | ПП – 448 мс | – |
Неинформативный (слово) | НП – 686 мс | НП – 1212 мс |
Ошибки | ||
Информативный (картинка) | ПП – 8% | – |
Неинформативный (слово) | НП – 11 % | НП – 13 % |
Ошибки. Анализ распределения правильных и ошибочных ответов практически повторил результаты по времени реакции (табл. 2). Количество ошибок для конгруэнтных праймов-изображений было на уровне тенденции меньше, чем в контроле (62.4 < 70.3%, Х² = 2.9, df = 1, p = 0.09), тогда как для неконгруэнтных праймов отличий от контроля обнаружено не было. Для праймов-слов как в конгруэнтном (43.5 > 33.3 %, Х² = 22.4, df = 1, p < 0.001), так и в неконгруэнтном условии (46.2 > 33.3 %, Х² = 4.4, df = 1, p = 0.041) ошибок было больше, чем в контрольном, т.е. наблюдался НП.
Движения глаз. Анализ глазодвигательной активности показал, что для праймов-изображений в неконгруэнтном условии меньше, чем в контрольном, были время (369 < 404 мс, Z = –2.4, р = 0.015) и количество фиксаций на верном квадранте (1.4 < 1.7, Z = –2.9, р = 0.004). Для праймов-слов те же показатели в сравнении с контролем, напротив, были больше в конгруэнтном условии (время: 380.3 > 303.5 мс, Z = –4.4, р < 0.001; количество фиксаций на верном квадранте: 1.6 > 1.3, Z = –3.99, р < 0.001). Кроме того, для праймов-слов как в конгруэнтном, так и в неконгруэнтном условии больше, чем в контрольном, были: общее время фиксаций (4428 > 3796 мс, Z = –5.0, р < 0.001 и 4846 > 3796 мс, Z = –2.0, р = 0.044), общее количество фиксаций (14.4 > 10.8, Z = –1.95, р = 0.049 и 12.7 > 10.8, Z = 4.5, р < 0.001), a также быстрее происходило попадание первой саккады в верный квадрант (3585 > 3388 мс, Z = –3.5, р = 0.001 и 3790 > 3388 мс, Z = –1.8, р = 0.069).
Сопоставление исходной сложности задачи цветового решения для слов и изображений в качестве целевых стимулов. Чтобы понять, различалась ли сложность задачи цветового решения для целей-слов и целей-изображений, мы сравнили время реакции и распределение ошибок для них в контрольном условии. Как оказалось, для целей-слов изначально было больше время реакции (3323 > 2088 мс, Z = –5.1, р < 0.001) и больше ошибок (70.3% > 33.8 %, Х² = 288.5, df = 1, p < 0.001), чем для целей-изображений.
Корреляция поведенческих показателей и движений глаз. Для конгруэнтных праймов-слов обнаружена корреляция времени реакции и количества фиксаций на верном квадранте (ρ = 0.423; р = 0.013), тогда как для неконгруэнтных праймов-слов такой корреляции нет (р = 0.226).
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Определение цвета плода по его названию оказалось для участников исследования, как мы и предполагали, более сложной задачей, чем по его черно-белому изображению. Об этом говорит большее число ошибок и более длительное время принятия решения в контрольном условии для целей-слов в сравнении с целями-изображениями. Этот результат косвенно подтверждает и большую информативность праймов в виде изображений, чем в виде слов (поскольку цели-изображения облегчают задачу определения цвета, то и праймы-изображения должны оказывать схожий эффект).
Поведенческие данные показывают ПП для информативных праймов-изображений в конгруэнтных условиях и НП для неинформативных праймов-слов, независимо от их конгруэнтности целям. Этот результат устойчив: он проявляется как во времени реакции, так и в распределении ошибок. Движения глаз показывают НП для праймов-слов вне зависимости от их конгруэнтности по показателям: общее время и количество фиксаций, а также время попадания первой саккады в верный квадрант. Последний показатель, отражающий скорость нахождения правильного ответа, является наиболее типичным в парадигме прайминга (например, (Odekar et al., 2009)). Показатели же, связанные с правильным квадрантом (время и количество фиксаций на нем), продемонстрировавшие противоположную динамику для неконгруэнтных праймов-изображений и конгруэнтных праймов-слов, в исследованиях парадигмы прайминга имеют противоречивую интерпретацию. Согласно одним авторам, позитивному праймингу соответствует увеличение (Odekar et al., 2009), согласно другим – сокращение (Lee, Thompson, 2015) времени фиксации на правильном ответе. В этой связи мы можем обсуждать связь данных показателей с обнаруженными эффектами прайминга лишь на уровне предположений. Так, согласно нашим предположениям, увеличение времени и количества фиксаций на верном квадранте при наличии конгруэнтных праймов-слов говорит о возрастании сложности принятия решения. В пользу этого предположения свидетельствует и наличие положительной корреляции между временем ответа и количеством фиксаций на верном квадранте для конгруэнтных праймов-слов. Сокращение же времени и количества фиксаций на верном квадранте при наличии неконгруэнтных праймов-изображений, согласно нашим представлениям, говорит о снижении внимания, уделяемого правильным ответам.
В целом, наши предсказания о поведенческих эффектах прайминга подтвердились только для конгруэнтных праймов, что не позволяет отдать предпочтение ни теории торможения, ни теории извлечения эпизодов. Обсудим, почему могли не подтвердиться предсказания этих теорий в отношении неконгруэнтных праймов.
Поведенческие данные, демонстрирующие отсутствие НП в неконгруэнтных условиях для изображений-праймов, указывают на их нейтральность для опознания целей. Несмотря на информативность этого типа праймов, участники, по всей видимости, использовали только конгруэнтные праймы, успешно дифференцируя их от неконгруэнтных. И хотя неконгруэнтные изображения-праймы активировали неверные семантические репрезентации (что отражалось на глазодвигательной активности участников), они, вероятно, не требовали явного торможения.
Использование же неинформативных праймов в виде слов затрудняло опознание целей независимо от их конгруэнтности. Вероятно, несмотря на то что неконгруэнтные слова-праймы не способствовали цветовому решению, они все равно автоматически активировали связанные с ними семантические репрезентации или неверные процедуры обработки. Учитывая, что единственной связью между неконгруэнтными праймами и целями был факт их совместного предъявления на этапе запоминания, можно предположить, что предъявление праймов-слов вызывало процесс торможения или извлечение метки «игнорировать» для всей категории «знакомые фрукты» (т.е. при предъявлении любой цели, поскольку любая цель в таком случае связана с любым праймом, кроме контрольного). Таким образом, мы предполагаем, что данный тип праймов обрабатывался на более обобщенном уровне, чем изображения. Допущение способности когнитивной системы переключаться между разными уровнями обобщения в зависимости от характеристик стимулов и контекста задачи (о динамической природе когнитивной обработки см., например, в (Labossière, Leboe-McGowan, 2018)) может являться не учтенным заранее фактором, объясняющим расхождение между ожидаемыми и фактическими результатами нашего исследования.
Использование менее дифференцированных семантических категорий в случае с праймами-словами может быть связано как с их недостаточной усвоенностью, так и с расширением границ эффекта НП в целом. О распространении негативного прайминга за ожидаемые границы ранее сообщалось рядом авторов (например, (Neumann et al., 1999; Frings et al., 2008; Filippova, 2011; Maciejewski еt al., 2019; Maciejewski, Klepousniotou, 2020; Storm, Patel, 2014)). Наши результаты демонстрируют, что этот эффект расширения границ НП распространяется в том числе на только что изученные стимулы. В контексте семантической обработки это может означать, что: 1) торможение охватывает более широкую область семантической сети, чем активация (аналогично развиваемой отечественными физиологами (например, Ухтомский, 1923) идее о большем распространении процессов торможения по нервной системе); 2) эпизоды (или процедуры) игнорирования обобщаются на более широкую категорию, чем эпизоды внимательной обработки, для минимизации затрат на обработку отвлекающих стимулов.
Ограничение данного исследования мы видим в том, что его результаты получены для сочетания разных типов праймов и целей, т.е. пар «слова–изображения» и «изображения–слова». Это указывает на необходимость дополнительных исследований возможности переключения когнитивной системы между разными уровнями обобщения на стимулах одного вида.
ЗАКЛЮЧЕНИЕ
Реализованное исследование предоставляет свидетельства динамической природы семантической обработки информации, демонстрируя способность когнитивной системы обрабатывать неинформативные праймы на более широком категориальном уровне по сравнению с информативными.
ИНФОРМАЦИЯ О ВКЛАДЕ КАЖДОГО АВТОРА
Филиппова М.Г. – идея статьи и написание черновика, статистический анализ данных, интерпретация результатов; Чопчик Д.Ю. – тестирование кода, сбор данных, участие в написании статьи, подготовка визуальных материалов; Гнедых Д.С. – разработка концепции исследования и экспериментального дизайна, редактирование текста статьи; Костина Д.И. – анализ существующих исследований в контексте темы статьи, интерпретация результатов, участие в написании текста; Перикова Е.И. – разработка концепции исследования и экспериментального дизайна, программирование и тестирование кода, статистический анализ данных, редактирование текста статьи.
ФИНАНСИРОВАНИЕ
Работа выполнена в рамках государственного задания Министерства образования и науки РФ (номер темы АААА-А19-122041500046-5).
БЛАГОДАРНОСТИ
Авторы выражают благодарность Дарье Николаевне Макаровой за помощь в подготовке стимульного материала, а также Анастасии Романовне Гемзюк и Марии Игоревне Куприяновой за помощь в сборе данных.
КОНФЛИКТ ИНТЕРЕСОВ
Авторы заявляют об отсутствии конфликта интересов.
СОБЛЮДЕНИЕ ЭТИЧЕСКИХ СТАНДАРТОВ
Протокол одобрен Этическим комитетом Санкт-Петербургского психологического общества (Протокол № 22 от 25.05.2023).
УКАЗАНИЕ НА ДОСТУПНОСТЬ ПЕРВИЧНЫХ ДАННЫХ
Первичные данные предоставляются по запросу.
Sobre autores
M. Filippova
Bekhtereva Institute of the Human Brain of the Russian Academy of Sciences
Autor responsável pela correspondência
Email: filippova2margarita@gmail.com
Rússia, Saint Petersburg
D. Chopchik
Bekhtereva Institute of the Human Brain of the Russian Academy of Sciences
Email: filippova2margarita@gmail.com
Rússia, Saint Petersburg
D. Gnedykh
Saint Petersburg State University
Email: filippova2margarita@gmail.com
Rússia, Saint Petersburg
D. Kostina
Saint Petersburg State University
Email: filippova2margarita@gmail.com
Rússia, Saint Petersburg
Е. Perikova
London Metropolitan University
Email: filippova2margarita@gmail.com
Reino Unido da Grã-Bretanha e Irlanda do Norte, London
Bibliografia
- Костина Д.И. Косвенное измерение негативного прайминг-эффекта. Психология. Журнал Высшей школы экономики. 2023. 20(1): 107–128.
- Семенова М.А. Современные и классические представления о негативном прайминге. Сибирский психологический журнал. 2023. 90: 175–187.
- Ухтомский А.А. Доминанта как рабочий принцип нервных центров. Русский физиологический журнал. 1923. Т. VI. В. 1–3. С. 31–45.
- Filippova M.G. Does Unconscious Information Affect Cognitive Activity: A Study Using Experimental Priming. Span. J. Psychol. 2011. 14(1): 17–33.
- Frings C., Bermeitinger C., Wentura D. Center-surround or spreading inhibition: which mechanism caused the negative effect from repeated masked semantic primes? Exp. Psychol. 2008. 55: 234–242.
- Houghton G., Tipper S. A model of inhibitory mechanisms in selective attention. In: Dagenbach, Dale and Thomas Carr (eds.). Inhibitory Processes of Attention, Memory and Language. Academic Press, Florida. 1994. Pp. 53–112.
- Kahan T.A., Slowiaczek L.M., Harrison A.C., Bogue C.M. Temporal and sequential negative priming generalise across visual and auditory modalities and are dependent on relative rather than absolute speed. Q. J. Exp. Psychol. 2023. 76(4): 922–941.
- Labossière D., Leboe-McGowan J. Specific and non-specific match effects in negative priming. Acta Psychol. 2018. 182: 138–153.
- Maciejewski G., Klepousniotou E. Disambiguating the Ambiguity Disadvantage Effect: Behavioral and Electrophysiological Evidence for Semantic Competition. Exp. Psychol. Learn. Mem. Cogn. 2020. 46(9): 1682–1700.
- Maciejewski1 G., Rodd J.M., Mon-Williams M., Klepousniotou Е. The cost of learning new meanings for familiar words. Lang. Cogn. Neurosci. 2019. 35(2): 188–210.
- Milliken B., Joordens S., Merikle P.M., Seiffert A.E. Selective attention: A reevaluation of the implications of negative priming. Psychol Rev. 1998. 105(2): 203–229.
- Neumann E., McCloskey M. S., Felio A.C. Cross-language positive priming disappears, negative priming does not: Evidence for two sources of selective inhibition. Mem. Cognit. 1999. 27: 1051–1063.
- Storm B.C., Patel T.N. Forgetting as a Consequence and Enabler of Creative Thinking. J. Exp. Psychol. Learn. Mem. Cogn. 2014. 40(6): 1594–1609.
Arquivos suplementares


