История изменений ОКТМО

История изменений

Дата	Версия	Автор	Описание изменений
25.11.2021	1.0	Гостева Инесса Игоревна	Документ создан
		Сёмин Павел Олегович

Общая информация о датасете

Датасет позволяет отследить изменения, происходившие с муниципалитетами в 2015-2021 гг.: состав населенных пунктов, код ОКТМО и название МО. Для отслеживания истории, воспользуйтесь инструментом ovrazhki из библиотеки Susanin на Github: https://github.com/CAG-ru/susanin/ovrazhki

Датасет был собран на основе публичной информации: наборы данных с ОКТМО и перекодировочные таблицы ОКТМО, размещенные на сайте Росстата; таблицы соответствия ОКАТО и ОКТМО, размещенные на сайте Минфина; и акты, устанавливающие изменение ОКТМО на сайте «Консультант Плюс». В результате сопоставления источников был в том числе сгенерирован GUID – глобальный ID (внешний ключ) населенного пункта, с помощью которого можно отследить изменение кода ОКТМО и/или названия во времени. Таким образом, датасет можно использовать для построения длинных рядов показателей муниципальных образований с 2015 по 2021 гг.

Единица наблюдения в датасете — муниципальное образование / населенный пункт на определенную дату. Данные для каждого наблюдения приведены по следующим атрибутам: ОКТМО, наименование, тип, хэш и уровень (для муниципальных образований), GUID и т.д.

Датасет состоит из трех плоских таблиц:

• np_mun_mapping.csv: 233 042 наблюдения по 3 атрибутам;
• mun_obr.csv; 25 056 наблюдений по 9 атрибутам;
• np.csv: 189 213 наблюдений по 7 атрибутам;

Датасет доступен для работы в формате CSV (кодировка: «UTF-8», разделитель: «;»).

Общее описание набора данных

Атрибут	Значение
Общие сведения
Полное наименование набора данных	История изменений муниципалитетов в России: наименования, коды ОКТМО и входящие в состав населенные пункты
Сокращенное наименование набора данных	История изменения ОКТМО
Краткое описание набора данных	Датасет позволяет отследить изменения, происходившие с муниципалитетами в 2015-2021 гг.: состав населенных пунктов, код ОКТМО и название МО. Для отслеживания истории, воспользуйтесь библиотекой: https://github.com/CAG-ru/susanin/ovrazhki Датасет был собран на основе публичной информации: наборы данных с ОКТМО и перекодировочные таблицы ОКТМО, размещенные на сайте Росстата; таблицы соответствия ОКАТО и ОКТМО, размещенные на сайте Минфина; и акты, устанавливающие изменение ОКТМО на сайте «Консультант Плюс». В результате сопоставления источников был в том числе сгенерирован GUID – глобальный ID (внешний ключ) населенного пункта, с помощью которого можно отследить изменение кода ОКТМО и/или названия во времени. Таким образом, датасет можно использовать для построения длинных рядов показателей муниципальных образований с 2015 по 2021 гг. Единица наблюдения в датасете — муниципальное образование / населенный пункт на определенную дату. Данные для каждого наблюдения приведены по следующим атрибутам: ОКТМО, наименование, тип, хэш и уровень (для муниципальных образований), GUID и т.д. Датасет состоит из трех плоских таблиц: np_mun_mapping.csv: 233 042 наблюдения по 3 атрибутам; mun_obr.csv; 25 056 наблюдений по 9 атрибутам; np.csv: 189 213 наблюдений по 7 атрибутам
Краткое описание источника набора данных	Информацию о кодах ОКТМО и изменениях границ и состава населенных пунктов муниципалитетов в России собирают три ведомства: Росстандарт, выпускающий нормативные акты, которые устанавливают изменение ОКТМО; Росстат, собирающий разные версии ОКТМО и перекодировочные таблицы и Минфин, собирающий таблицы соответствия кодов ОКАТО кодам ОКТМО.
Покрываемый временной период	28.01.2015–03.11.2021
Доступные форматы	CSV (кодировка: «UTF-8», разделитель: «;»)
Размер набора данных	42,1 МБ
Тематика набора данных	Статистика
Режим доступа	Открытый (у Вас есть возможность работать с данными на своем личном ПК, в том числе и скачивать данные)
Периодичность публикации и обновления
Дата размещения в каталоге	25.11.2021
Периодичность обновления в каталоге	Ежегодно
Дата последнего обновления набора данных в каталоге	Отсутствует
Характер последнего обновления	—
Дата следующего обновления набора данных	—
Дополнительные сведения
Цитирование набора данных на русском языке	История изменений муниципалитетов в России: наименования, коды ОКТМО и входящие в состав населенные пункты // Росстат; обработка: Гостева И., Сёмин П., Инфраструктура научно-исследовательских данных, АНО «ЦПУР», 2021. Доступ: Лицензия CC BY-SA. Размещено: 25.11.2021. URL: http://data.rcsi.science/data-catalog/datasets/186
For references (English)	History of changes in municipalities in Russia: names, OKTMO codes and settlements // Rosstat; data-processing: Gosteva I., Syomin P., The Research Development Infrastructure (RDI), CAG, 2021. Access: License CC BY-SA. Posted: 09.23.2021. URL: http://data.rcsi.science/data-catalog/datasets/186
Ссылка на открытый репозиторий	https://github.com/CAG-ru/susanin/ovrazhki
Геоданные (пространственная привязка набора данных)	Нет
Лицензия, под которой публикуется набор данных	СС BY-SA (Creative Commons) https://creativecommons.org/licenses/by-sa/4.0/ Допускается использование, копирование и распространение данных в научно-исследовательских, коммерческих и любых иных целях. При преобразовании материала разрешается распространять переделанные части материала на условиях этой же лицензии — CC BY-SA
Стандарт публикации	http://opendata.gosmonitor.ru/standard/3.0
Параметры запросов API	Интеграция через API не предусмотрена

Структура набора данных (Codebook)

Датасет представлен в виде трёх плоских таблиц (формат данных: CSV; кодировка: «UTF-8», разделитель: «;»):

• Таблица «Соответствие между муниципальными образованиями и населенными пунктами, входящими в их состав в определенный промежуток времени» (np_mun_mapping.csv); 233 042 наблюдения по 3 атрибутам за 28.01.2015–03.11.2021.
• Таблица «Муниципальные образования» (mun_obr.csv); 25 056 наблюдений по 9 атрибутам за 28.01.2015–03.11.2021;
• Таблица «Населённые пункты» (np.csv); 189 213 наблюдений по 7 атрибутам за 28.01.2015–03.11.2021;

Соответствие между муниципальными образованиями и населенными пунктами, входящими в их состав в определенный промежуток времени (np_mun_mapping.csv)

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
guid	Cгенерированный в ходе обработки данных глобальный ID населённого пункта в рамках этого датасета. В отличие от ID, не меняется при изменении кода ОКТМО или наименования населённого пункта. GUID позволяет отследить изменение кода ОКТМО или наименования в привязке ко времени.	0 (0%)			integer
hash1	Хэш муниципального образования второго уровня, внутри которого находится населённый пункт с указанным guid. Соответствует полю hash в таблице mun_obr.csv.	0 (0%)			string
hash2	Хэш муниципального образования второго уровня, внутри которого находится населённый пункт с указанным guid. Соответствует полю hash в таблице mun_obr.csv. Если не заполнено, то населённый пункт находится напрямую в муниципальном образовании первого уровня, которое не включает в свой состав другие муниципальные образования (например, в муниципальном округе).	0 (0%)			string

Муниципальные образования (mun_obr.csv)

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
id	ID наблюдения в рамках набора данных	0 (0%)			integer
hash	Хэш муниципального образования. Хэш рассчитан как md5sum от строки, включающей в себя guid’ы населённых пунктов, входящих в данное муниципальное образование. Одинаковый хэш означает, что список населённых пунктов в муниципальном образовании не менялся. Если в муниципальном образовании нет населённых пунктов, то хэш считается от строки, включающей в себя код ОКТМО и наименование муниципального образования. В таком случае одинаковый хэш означает, что ни название, ни код ОКТМО муниципального образования не менялись.	0 (0%)			string
oktmo	Код ОКТМО муниципального образования.	0 (0%)			string
municipality	Наименование муниципального образования.	0 (0%)			string
lvl	Уровень муниципального образования. К первому уровню относятся: муниципальные округа; городские округа; муниципальные районы; внутригородские территории городов федерального значения. Ко второму уровню относятся: городские поселения; сельские поселения; межселенные территории; внутригородские районы.	0 (0%)			integer
odate_start	Дата начала действия записи. Период от даты начала до даты окончания — это «время существования» муниципального образования в указанном составе. Даты начала и окончания соответствуют датам опубликования разных версий набора открытых данных Росстата.	0 (0%)			date
odate_end	Дата окончания действия записи.	0 (0%)			date
region	Субъект РФ, в котором находится муниципальное образование.	0 (0%)			string
mun_type	Тип муниципального образования: муниципальный округ, городской округ, муниципальный район, внутригородская территория города федерального значения, городское поселение, сельское поселение, межселенная территория, внутригородской район.	0 (0%)			string

Населённые пункты (np.csv)

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
id	ID наблюдения в рамках набора данных	0 (0%)			integer
guid	Cгенерированный в ходе обработки данных глобальный ID населённого пункта в рамках этого датасета. В отличие от ID, не меняется при изменении кода ОКТМО или наименования населённого пункта. GUID позволяет отследить изменение кода ОКТМО или наименования в привязке ко времени.	0 (0%)			integer
oktmo	Код ОКТМО населённого пункта.	0 (0%)			string
settlement	Наименование населённого пункта.	0 (0%)			string
np_type	Тип населённого пункта. Возможные значения: город, посёлок городского типа, сельский населённый пункт.	0 (0%)			string
odate_start	Дата начала действия записи. Период от даты начала до даты окончания — это «время существования» населённого пункта с указанным кодом ОКТМО и указанным наименованием. Даты начала и окончания соответствуют датам опубликования разных версий набора открытых данных Росстата.	0 (0%)			date
odate_end	Дата окончания действия записи.	0 (0%)			date

Известные ограничения данных

Полнота данных

• Несмотря на то, что текущая версия классификатора ОКТМО ведётся с 2013 г., в набор данных включена история ОКТМО с 2015 г., потому что первая версия открытых данных Росстата, которая послужила источником информации, датируется январём 2015 г.
• В наборе данных не отражены планируемые изменения ОКТМО, которые не вступили в силу на 25.11.2021.
• В таблице np_mun_mapping.csv примерно для 29 тысяч guid не указан хэш «родительского» муниципального образования второго уровня (поле hash2), т.к. населённые пункты находятся непосредственно внутри муниципальных образований первого уровня и эти муниципальные образования не содержат внутри себя муниципальных образований второго уровня. Примеры таких муниципальных образований первого уровня — это муниципальные округа, внутригородские территории городов федерального значения и большинство городских округов (кроме городских округов с внутригородским делением).

Описание проведенных проверок и их результатов

Сгенерированный в ходе обработки данных внешний ключ guid населённых пунктов (см. подробнее п. «внесенные в набор данных изменения») проверялся на реалистичность значений:

• максимальное число строк с одним guid в таблице np.csv не должно превышать 41 (по числу версий набора открытых данных Росстата на ноябрь 2021 года). Проверка пройдена, исключения (42 штуки) обработаны вручную и исправлены;
• наименование населённых пунктов с одним guid должно быть одинаковым, за исключением случаев переименования без изменения кода ОКТМО (например, 25 636 434 106 д Еловая → 25 636 434 106 д Еловое). Проверка пройдена;
• наименование населённых пунктов с одним кодом ОКТМО должно быть одинаковым, за исключением случаев переименования без изменения кода ОКТМО. Проверка пройдена;
• одному guid могут соответствовать несколько кодов ОКТМО, но одному коду ОКТМО должен соответствовать один guid. Иначе говоря, населённый пункт может поменять код ОКТМО, но при этом, по общему правилу, не должно быть ситуаций, когда код ОКТМО передан от одного населённого пункта другому. Проверка пройдена, исключения (35 штук) обработаны вручную. В этих исключительных случаях код ОКТМО действительно был передан от одного населённого пункта другому. Такое случается, когда меняется административный центр муниципального образования. По правилам ведения ОКТМО, у административного центра должен быть код, заканчивающийся на 1. Если этот код раньше принадлежал другому населённому пункту, то он передаётся новому административному центру. Пример: до середины 2016 года в Липецкой области было с Шишкино (код 42 656 484 101 — административный центр) и п Рощинский (код 42 656 484 106). В середине 2016 года п Рощинский сделали административным центром и передали ему код 42 656 484 101, а с Шишкино получило новый код — 42 656 484 103. В результате один код ОКТМО соответствует разным населённым пунктам и разным guid (93703 и 93704) в таблице np.csv.

Проведён поиск и устранение ошибок в открытых данных и перекодировочных таблицах Росстата. Скорректированы записи со следующими guid:

• 59197 и 59413 (с учётом оригинального текста изменения 121/2015 ОКТМО);
• 144112, 144302, 144341, 144947, 147190 (в перекодировочной таблице 352/2019 были ошибки);
• 179628 и 203550 (из-за переименований, упразднений и передачи кодов несколько населённых пунктов в Дагестане перепутались);
• 203549 (в Пермском крае, судя по имеющейся информации, две д Сюзи)

Проведена проверка на переполнение кода. Пример ситуации, когда возможно переполнение: допустим, что есть муниципальный район с кодом 58 601 000. Тогда сельские поселения в данном муниципальном районе получат коды вида 58 601 4NN, где NN — число от 01 до 99. Следовательно, если в муниципальном районе больше 99 сельских поселений, то свободные номера закончатся. По правилам ведения ОКТМО, в таком случае необходимо делать дополнительный код для муниципального района (например, 58 602 000), включать в него оставшиеся сельские поселения и в примечании указывать отсылку к основному коду. При переполнении становится сложнее отслеживать состав муниципальных образований, так как они оказываются разделены между несколькими кодами. Однако проверка показала, что переполнений не наблюдается. Исключение — это переполнение внутригородских территорий городов федерального значения (их больше 99, поэтому отведённые коды вида 40 3NN закончились), однако этот случай специально оговорён в правилах ведения ОКТМО и не требует дополнительных проверок. Проведены различные проверки соответствия правилам кодирования муниципальных образований и населённых пунктов. Пример проверки: внутри муниципального округа не может быть муниципальных образований второго уровня.

Ответственные за набор данных

№	ФИО ответственного лица	Электронная почта ответственного лица
1.	Гостева Инесса Игоревна	i.gosteva@cpur.ru
2.	Сёмин Павел Олегович	p.semin@cpur.ru