Особенности построения и оценки качества выборок в телефонных опросах населения России

Аннотация

В статье анализируются особенности и проблемы построения и оценки качества выборок, реализуемых в телефонных опросах населения России. Методологический и методический анализ сосредоточен на проблемах определения основы выборки для телефонных опросов, способов выборочного отбора телефонных номеров, оценки качества выборочных телефонных опросов, построенной на стандартах AAPOR.

Полный текст

Введение

Можно с уверенностью утверждать, что телефон (смартфон) для подавляющего количества россиян сегодня является важнейшим средством (девай-сом) межличностной и массовой коммуникации, что позволяет использовать этот канал для исследовательского контакта с респондентами. Так по данным опроса ESOMAR Global Market Research на российском рынке в 2021 году в сегменте количественных исследований телефонные опросы занимали второе место после количественных онлайн-исследований. В следующем 2022 году ситуация коренным образом изменилась: телефонные исследования (обычные / CATI) устойчиво заняли первое место. Их доля увеличилась до 41 % по сравнению с количественными онлайн- и мобильными исследованиями (32%)1

Однако проектирование выборки и оценка качества телефонных опросов населения как у нас в стране, так и за рубежом сопряжены с немалым количеством особенностей и проблем. Нельзя не сказать, что эти особенности не находят своего отражения в профессиональной дискуссии. В качестве примера научно-практического осмысления особенностей проектирования выборок в телефонных опросах можно представить книгу А. В. Чурикова «Основы построения выборки для социологических исследований» [Чуриков, 2020]. Знаковыми в оценке качества выборочных телефонных опросов можно назвать исследования, анализирующие результаты сравнительных методических экспериментов, проведенных различными колл-центрами [Османов, Рогозин, 2013], а также телефонного и поквартирного опроса населения страны [Караева, 2015]. 

В анализируемом контексте особенно необходимо отметить оригинальные и переводные работы, описывающие требования к выборочным массовым, в том числе, и телефонным опросам, основанные на стандартах, разработанных Американской ассоциацией исследователей общественного мнения (AAPOR)2. Наконец полезной научный и прикладной опыт представляет анализ сложившихся практик и перспектив выборочных телефонных опросов в США [Будущее исследований населения США ... 2018]. Вместе с тем мы убеждены, что системный анализ особенностей построения и оценки качества выборок в телефонных опросах на стандартах ААРО1Я будет полезен не только в научных целях, но и в прикладном выборочном проектировании как практикующих, так и начинающих исследователей-социологов, что и составляет цель статьи.

1Состояние рынка социологических и маркетинговых исследований в 2022 году. URL: https://researchfund.ru/files/industry_report_2022.pdf (дата обращения: 05.02.2024)

2Standards for minimal disclosure // AAPOR code of professional ethics and Practice. Part III. Deerfield, IL: AAPOR, 2010 ; Standards for minimal disclosure // AAPOR code of professional ethics and Practice. Part III. Deerfield, IL: AAPOR, 2010. P 3-5.

Особенности определения основы выборки для телефонных опросов населения

Сам по себе номер любого абонента представляет собой уникальный и универсальный набор знаков, список которых можно использовать в качестве основы выборки. Напомним, что непосредственный отбор единиц анализа осуществляется из основы выборки, списка, в данном случае телефонных номеров потенциальных участников, удовлетворяющий требованиям полноты, точности, адекватности, удобства работы с ним, отсутствия упорядоченности и дублирования. Однако, как показывает практика выборочных телефонных исследований, формирование (определение) основы выборки далеко не простое мероприятие, требующее учета целого ряда специфических особенностей.

Прежде всего, есть смысл учитывать различный уровень и структуру телефонизации населения РФ. Телефон сегодня в основном используется в системе как стационарной, так и мобильной связи. Так по данным опросов в 2015 году стационарный телефон имели около половины населения страны (49 %). В 2022 году таких уже было только около четверти (24 %), из которых только 9 % активно использовали телефон для связи3.

Очевидно, что сегодня основным каналом связи стала мобильная сеть. По данным опросов, проводимых Фондом «Общественное мнение» (ФОМ), доля обладателей личных мобильных телефонов в 2010 году составлял 84,2 % взрослого населения России, а в 2017 году - уже 94,3 % [Чуриков 2020]. Эти данные подтверждаются и другими опросами: мобильного телефона не было в 2017 году только у 3 % взрослых россиян4. Почти треть населения имела и стационарный, и мобильный телефоны. Всё это позволяет рассматривать мобильную связь как основной канал исследовательской коммуникации с владельцем телефона (смартфона).

3Опрос: около четверти жителей России всё еще держат дома стационарный телефон. URL:https://news.rambler.ru/ gadgets/49604137/?utm_content=news_media&utm_medium=read_ more&utm_source=copylink (дата обращения: 05.02.2024)

4ВЦИОМ: у 3 % россиян нет мобильных телефонов URL: https://www. vedomosti.ru/technology/news/2017/08/24/730852-vtsiom-mobilnih (дата обращения: 05.02.2024)

Однако и в мобильной телефонизации существуют свои особенности ее использования в телефонных опросах. Так, например, доля мобильных телефонов среди молодежи и лиц среднего возраста почти на 10 % выше, чем среди тех, кто старше 55 лет (96 % против 85 %). При этом мобильный телефон порождает у некоторых людей старшего возраста множество надуманных фобий («необходимость оплаты входящих звонков», «прослушка», «облучение» и пр.), что затрудняет его использование в телефонных опросах. Такое же различие (10 %) в пользовании мобильным телефоном у жителей крупных городов и сел. Не меньшую проблему создает наличие нескольких мобильных устройств и / или сим-карт у пользователей, что подтверждают данные Росстата: в среднем на каждого россиянина приходится по два мобильных устройства1. Это обстоятельство обостряет другие важные проблемы в построении выборки для телефонных опросов. Суть их не только в неоднозначной идентификации, сколько в большом количестве неиспользуемых или несуществующих телефонных номеров. Проблему усугубляет нередко низкое качество используемых баз номеров. Генерация телефонных номеров может выдать такие, которые еще или уже не задействованы операторами или пользователями. Всё это усложняется еще и тем, что при звонке на несуществующий номер его не всегда можно отличить от существующего. Поэтому телефонные интервьюеры могут потратить много времени на повторные звонки на такие номера. Для этого используют функцию DEX (автодозвона), возможности САТ1 (автоматизированная система телефонных опросов), голосовые роботы, чат-боты и другие программно-технологические средства, что снимает остроту проблемы, но не решает полностью.

Однако в целом нельзя не согласиться с практикующими исследователями в том, что сегодня при проведении телефонных опросов ошибка неполноты охвата всего населения страны, владеющих мобильными устройствами, а особенно отдельных совокупностей, относительно невелика. При обследовании некоторых категорий граждан (например, городских жителей, молодежи, граждан средних лет, со средними и высокими доходами) ошибка покрытия практически отсутствует. С другой стороны, при необходимости могут реа-лизовываться дизайны, предусматривающие выборку номеров их двух основ, как стационарной, так и мобильной сети.

1 Платное обслуживание населения в России. 2023: Стат. сб./ Рос-стат. М.: 2023. URL: https://rosstat.gov.ru/storage/mediabank/Platnoe_ obsluj_2023.pdf (дата обращения: 05.02.2024)

Еще одна существенная особенность формирования основы выборки для телефонных обследований связана с тем, что формат телефонных номеров различен и возможность их географической геолокализации неоднозначна. Так в РФ полные телефонные номера, помимо кода страны (+7), состоят из десяти цифр. Для стационарной телефонной сети первые три цифры - это код зоны, по которой можно определить географическую привязку номера. Эти коды называют АВС-кодами. По этим цифрам можно определить субъект РФ. Например, коды Москвы - 495 и 499, Московской области - 496. При этом необходимо учитывать, что границы, например, Москвы и Московской области (как и любой другой, что бывает значительно реже) могут меняться.

Следующие от одной до трех цифр (в зависимости от величины муниципального образования) задают код городского округа или муниципального района. Последние - это, как правило, номер абонента внутри городского или сельского поселения. При этом необходимо отметить, что в крупных населенных пунктах (например, в столичных, областных городах) по номерам стационарных телефонов невозможно определить район проживания, что, порою, важно для построения выборки для опроса. Но в целом по стационарному номеру можно, как правило, геолокализовать абонента по субъекту РФ, городам и районам, отдельным населенным пунктам. Исключением, возможно, остается только столица.

Для мобильной телефонной связи используют DEF-коды. Они фиксируются в первых трех цифрах номера, кроме кода страны. Ими пользуются операторы телефонных сетей. При этом мобильные телефонные номера, их интервалы нежестко, с определенными оговорками, но привязаны к регионам. Например, коды всех мобильных операторов Москвы можно найти в открытом доступе: (901) - «Скайлинк»; (903, 905, 906, 909) - ОАО «Вымпелком» (Билайн); (910, 915, 916, 917, 919, 985) - ОАО «МТС»; (925, 926, 929, 936) - «МЕГАФОН» (Столичный филиал) и другие. В открытом доступе также есть информация о номерных емкостях сотовых сетей (начало и окончание серии номеров, выданных в конкретном регионе) и дате выдачи. Например, ОАО «Мобильные ТелеСистемы» (МТС) выданы с кодом 985 номера от 0000000 до 9999999, дата выдачи 01.07.2007 года.

Однако при использовании таких списков в качестве основы выборки также возникают сложности и проблемы. Проблемы с локализацией номера мобильного абонента возникают в целом ряде регионов страны, особенно в Москве и Московской области, Санкт-Петербурге и Ленинградской области, а также в Архангельской области, Краснодарском крае, Республике Адыгея и некоторых других. Но особенно остро эти проблемы проявляются с номерами жителей Республики Крым, Севастополя, новых субъектов, вошедших в состав РФ. Кроме того, купив сим-карту в одном регионе, человек может проживать и пользоваться ею в другом. Серьезные проблемы породила возможность перехода от одного оператора к другому с сохранением номера. И эти проблемы также пока не разрешимы, оговоримся, на уровне формирования основы выборки.

Все предыдущие рассмотренные нами особенности и проблемы определения основы выборки проявляются в качестве и релевантности баз телефонных номеров, причем как стационарной сети, так и мобильной. В самом общем подходе такие базы существуют в следующих видах:

• базы (справочники) телефонных номеров стационарной связи, локально создававшиеся и выпускавшиеся по определенным территориям (город, район), а вернее по АТС (автоматическая телефонная станция), обслуживающих эти территории. Важно заметить, что в настоящее время справочники АТС системно не формируются и не обновляются. Да и в прошлые времена такие справочники были не для широкого, а, скорее, «для служебного пользования». Существуют локальные справочники. Например, «Единый государственный телефонный справочник по Москве» содержащий не только телефоны, но и адреса квартир (без персональных данных жильцов). Очевидно, что потенциальные респонденты, не попавшие в подобные списки, не имеют вероятности быть отобранными;

• Реестр российской системы плана и нумерации, утвержденный приказом Министерства связи и массовых коммуникаций Российской Федерации от 27.11.2008 № 100, в котором для каждого телефонного кода (АВС и DEF) указаны интервалы телефонных номеров с привязкой к регионам. Однако значительная часть людей, как мы уже отмечали, проживает не там, где приобреталась сим-карта, переезжают, сохраняя номера, меняют мобильных операторов и т. п., что вносит свои проблемы в локализацию владельца сим-карты;

• различные (локальные, корпоративные, коммерческие и иные) списки номеров, как правило, мобильных и, нередко, с данными об их владельцах. Такие списки создаются на предприятиях, учреждениях и в организациях различного профиля, в которых мы оставляем свой номер телефона. По сути, все эти списки есть ничто иное как определенным образом созданные панели, причем, с некоторыми профилирующими данными. Более того, такие панели могут создаваться с помощью случайных (либо целенаправленных) телефонных звонков специально для возможностей последующего телефонного опроса или для web-анкетирования на смартфоне. Очевидно, что основной их недостаток - это неполнота и несоединимость в силу различных владельцев и форматов, что сужает возможности реализации случайного отбора. А вот панельные либо целенаправленные выборки на таких основах выборки вполне обоснованы; • базы данных телефонных номеров без верифицируемого источника ее создания, предлагаемые различными владельцами на коммерческой основе. Такие базы данных за редким исключением содержат информацию, профилирующую абонентов по признакам, значимым для конкретного выборочного исследователя. Тем не менее такие базы данных существуют, нередко приобретаются и вынужденно используются в социологической практике. Очевидно, что основной их недостаток связан с низкой достоверностью, полнотой и актуальностью телефонных номеров и, как следствие, необходимостью проверки этих качеств.

Особенности формирования выборки в телефонных опросах

Что касается способов формирования выборки телефонных номеров, то на практике применятся в основном два: отбор телефонных номеров из базы (баз) и генерация случайных телефонных номеров.

1. Отбор телефонных номеров из базы / баз. Основная идея такого отбора проста - из списка (базы) телефонных номеров определенным образом, чаще всего случайным, отбираются номера для последующего телефонного опроса. Основной недостаток такого отбора в выборку связан с тем, что практически все рассмотренные нами базы номеров, пусть и в разной степени, но не являются стопроцентно полными и актуальными. Именно это обстоятельство обусловливает необходимость их верификации. Для этого на практике используется множество приемов и способов, но и они не гарантируют полной уверенности в их качестве. Например, проверяют такую базу по достоверным номерам и / или потенциальным респондентам, или осуществляют разведывательные звонки с целью перепроверки телефонных номеров и содержащихся в них данных об их владельцах.

Отметим, что важной особенностью и сложностью рассматриваемого способа отбора телефонных номеров является тот факт, что выборка в принципе может формироваться из нескольких баз таких номеров, что не является распространенной и целесообразной практикой. Исключение может составлять разве что соединение нескольких однопорядковых баз при условии наличия программных средства удаления повторяющихся номеров. Например, две базы мобильных телефонов соединяются, и исключаются такие номера. В случае соединения базы данных мобильных и стационарных номеров исследователю следует серьезно подумать о последствиях повторного звонка одному и тому же владельцу телефонных номеров. Очевидно, что такая соединенная, или как ее еще называют, двухосновная база телефонных номеров, требует серьезной проверки на отсутствие повторений их владельцев.

Следует признать, что даже с необходимостью учета вышеперечисленных особенностей выборка телефонных номеров из баз данных обладает весьма заметным преимуществом, а именно - возможностью построения случайной (вероятностной) выборки, что значительно труднее осуществить без использования даже таких телефонных баз. Для этого используют либо встроенный в такие базы механизм случайного отбора, либо их переводят в формат статистических программ, способных осуществить такой отбор (например, Excel или SPSS). В дальнейшем, исходя из проекта выборочного отбора и под конкретные исследовательские задачи, подбираются способы случайного отбора (простой случайный, стратифицированный (районированный), систематический, а также кластерный).

Если требуется составить список равновероятностных единиц анализа и нет необходимости выделения отдельных частей (страт) совокупности, то может быть использована простая случайная либо систематическая выборка телефонных номеров из базы (списка). Если существует необходимость исследовать отдельные совокупности, группы и возможно, осуществить сравнительный анализ, целесообразно воспользоваться стратифицированной выборкой.

Кластерные выборки применяются в телефонных опросах относительно редко. Необходимость концентрировать телефонные номера в отдельных кластерах возникает, когда нужно таргетировать выборку телефонных номеров на определенные географические зоны. К кластерному телефонному отбору также можно отнести способы отбора из панелей (списков) номеров респондентов, имеющихся в распоряжении исследователя.

Как пишут опытные практики, выборка для телефонного опроса должна содержать достаточное число телефонных номеров, отобранных из базы с равной или с заданной вероятностью. Количество номеров в выборке целесообразно формировать с запасом, поскольку далеко не по каждому номеру получится провести интервью. И причин этому немало - от отказа участия в опросе до недействующих номеров.

2. Генерация случайных телефонных номеров (RDD - Random digit dialing) - еще один распространенный способ формирования выборочной совокупности. Основу выборки для такого отбора может составлять Реестр российской системы и плана нумерации1, в котором указаны диапазоны телефонных номеров, выделенных для разных регионов и разных операторов телефонной связи. В этот реестр включены как коды по АВС, так и DEF-коды. Так, для каждого профиля кода дается диапазон номеров от первого и до последнего, емкость (количество номеров в диапазоне), название оператора и региональная привязка. В качестве примера представим фрагмент такой выписки (табл. 1).

Таблица 1.

Фрагмент выписки их Реестра российской системы и план нумерации

ABC/ DEF	От	До	Емкость	Оператор	Регион
391	3290100	3290399	300	ПАО «Вымпелком»	р-н Минусинский, Красноярский край
391	3292000	3292511	512	ПАО «Ростелеком»	р-н Минусинский, Красноярский край
900	4895000	4899999	5000	ООО «Сим Телеком»	г. Москва и Московская обл.

Для создания случайной выборки телефонных номеров необходимо сначала выделить в реестре диапазоны, которые включают всех представителей изучаемой совокупности, а потом обеспечить генерацию любого телефонного номера. Можно рассматривать каждый из диапазонов как определенный географический кластер с количеством номеров, равным его емкости. При таком способе сначала отбирается кластер с вероятностью, пропорциональной емкости диапазона. Затем внутри кластера случайным образом генерируется необходимое количество телефонных номеров.

Можно использовать разные случайные способы генерации телефонных номеров с равной или заданной вероятностью. Случайный телефонный номер можно получить при помощи датчика случайных чисел, который с равной вероятностью выдает цифры от 0 до 9. Последовательность из десяти цифр образует случайный телефонный номер. Далее нужно проверить, попадает ли этот номер в какой-либо из отобранных диапазонов, и если попадает, то номер включается в выборку. Из сформированной таким способом выборки нужно удалить все дубликаты телефонных номеров, после чего ее можно использовать для опроса. В результате получается простая случайная выборка. Можно также создавать и систематическую выборку.

При генерации телефонных номеров в проекте стратифицированной выборки страты формируются на основе диапазонов телефонных номеров, взятых также из Реестра российской системы и плана нумерации. Далее для каждой страты генерируется отдельная выборка требуемого размера. Например, при опросах населения создаются отдельные страты для стационарных и мобильных телефонов.

Важно напомнить, что число телефонных номеров в выборке должно выдаваться с запасом. При создании выборки методом генерации случайных номеров запас должен быть больше, чем при формировании выборки из базы, из-за наличия несуществующих номеров.

Особенности оценки качества выборок телефонных опросов

Необходимо отметить, что вопрос о качестве выборок в телефонных опросах достаточно дискуссионный. Ранее, например, в конце прошлого столетия в российской исследовательской практике в силу различных причин вопрос о качестве практически не ставился. Прежде всего, потому, что не было ни единых стандартов, ни методик оценки. С 1998 года после того, как Американской ассоциацией изучения общественного мнения (ААРО1Я) был предложен вариант стандартов оценки качества выборочного исследования, многие из отечественных исследователей стали опираться на эти рекомендации. Рассмотрим их кратко через коэффициенты, отражающие качество выборок телефонных опросов.

Уровень достижимости (RR1) – нижняя граница достижимости, отношение успешных интервью ко всем номерам, по которым были сделаны звонки.

Коэффициент ответов (RR3) или отноше­ние полностью взятых интервью ко всем но­мерам, потенциально удовлетворяю­щих критериям отбора.

Коэффициент кооперации (COOP1), то есть доля опрошенных ко всем единицам наблю­дения, удовлетворяющим условиям отбора, и с которыми удалось установить контакт.

Коэффициент контактов (CON2) или доля номеров, с которыми удалось установить контакт, ко всем ра­ботающим номерам, включенным в выборку.

Коэффициент отказов (REF2) – отношение отказавшихся от участия в опросе людей от всех потенциально удовлетворяющих условиям выборки единицам наблюдения.

Расчет и учет этих коэффициентов в практике выборочных телефонных опросов дает возможность не только оценить их качество, но и обоснованно выработать рекомендации по его повышению. Так, например, низкие показатели достижимости телефонного опроса (в ряде методических сравнительных исследований коэффициент достижимости при телефонных опросах - КК1 колебался от 1 % до 10 %) ставят вопрос о необходимости детального изучения системы дозвона, программ ее обеспечения, работы телефонистов и интервьюеров, оценки качества используемых баз номеров, их проверки и актуализации, обоснованной классификации неработающих номеров и др. Для повышения доли эффективных контактов рекомендуется пересмотреть инструкции проведения отбора респондентов и увеличить число попыток дозвониться до абонентов из категории «не взяли трубки / занято» до 5-10 раз. Это позволит снизить совокупность набираемых номеров и уменьшить категорию «нет ответа», что приведет к увеличению общих показателей достижимости. При этом многие исследователи подтверждают, что значимых отличий между контактами по стационарной и мобильной связи не наблюдается - доли отказов от числа установленных контактов в обоих типах связи примерно схожи - около 60 % [Караева, 2015].

Не менее важно и другое. Эти коэффициенты создают единую и понятную методологическую и методическую основу для формирования стандартов качества выборочных исследований, в том числе и телефонных, которых должны придерживаться все исследовательские коллективы. Так, в минимальных требованиях ААРОК рекомендуется в обязательном порядке предоставлять информацию о характеристиках выборочного исследования:

1. Определение генеральной совокупности: описание исследуемого населения, географического расположения, определение основы выборки, необходимой для идентификации этого населения; если основа выборки предоставляется третьим лицом, поставщик должен быть назван; если при формировании выборки не использовалась основа или список, это должно быть отражено в тексте.

2. Описание дизайна выборки,точное и понятное представление метода отбора респондентов, включая любое квотирование или дополнительные элементы отбора в ходе опроса или после его завершения; в описании выборки должно быть однозначно представлено, где применялся случайный и неслучайный отбор респондентов.

3. Размер выборки и обсуждение точности измерения, включая ошибку выборки для случайного отбора и описание переменных, используемых для процедур взвешивания или оценки; следует отдельно отметить, какие обнаруженные ошибки выборки, с учетом дизайн-эффекта, были скорректированы за счет кластеризации или взвешивания. [Османов, Рогозин, 2013].

Отметим, что эти требования закреплены в профессиональном кодексе социолога и в решениях общественных профессиональных исследовательских организаций России.

Заключение

Не будет преувеличением сделать вывод, что телефонизация и распространение Интернета коренным образом изменили опросную индустрию как у нас в стране, так и за рубежом. Подавляющее большинство выборочных социологических исследований сегодня конструируется на основе использования телефонного или онлайн-опросов. При этом по программно-технологическим параметрам проектирования и организации осуществления они все более сближаются.

Телефон (смартфон) сегодня становится универсальным средством и идентификации, и отбора, и репрезентации, и фиксации первичной социологической информации, и связи с исследователем.

Несмотря на очевидную привлекательность телефонных опросов, выборка для них характеризуется серьезным набором особенностей, связанных со структурой телефонизации страны, специфическими практиками использования телефонов (стационарных и мобильных) различными группами населения, несуществующими номерами, их географической геолокализацией, различных форматов и отсутствием гарантированной верификации баз телефонных номеров, методическим и организационным несовершенством методов отбора абонентов в выборку и некоторыми другими.

Все эти особенности влияют на качество выборок в телефонных опросах. Помощь в ее оценке может оказать профессиональная методическая ориентация исследователей на стандарты опросных инструментов, разработанных AAPOR и связанных, прежде всего, с контролем выборки и регистрацией систематических смещений, связанных с недостижимостью определенных групп владельцев телефонных номеров.