Характеристики нормотворческого процесса в России

История изменений

Дата	Версия	Автор	Описание изменений
28.09.2021	1.0	Василевская Мария Михайловна	Документ создан
		Зорин Семён Юрьевич
		Вяткин Илья Олегович

Общая информация о датасете

Набор данных состоит из трех частей:

1. мета-данные проектов нормативно-правовых актов (НПА), размещенных на портале regulation.gov.ru с 2012 по 2021 г. (все время существования портала);

2. мета-данные законопроектов, внесенных в Госдуму России с 1994 по 2021 г.;

3. приведенные в структурированный вид результаты сводных отчетов об оценке регулирующего воздействия (ОРВ) за 2015-2021 гг.

Сведения о проектах НПА собраны в таблицу regulation_projects.csv и содержат информацию об авторах, сроки разработки, коды ОКВЭД, типы и сроки проведенных сопроводительных процедур, метрики вовлеченности пользователей портала regulation.gov.ru в обсуждение проектов НПА. Сведения о законопроектах, внесенных в Госдуму, собраны в таблицу duma_projects.csv и содержат информацию о датах, стадиях, результатах рассмотрения и др. Для части проектов НПА на ОРВ с помощью поиска ближайшего по косинусному расстоянию текста законопроекта был восстановлен номер проекта, рассмотренного Госдумой (regulation_duma_matches.csv).

Сведения о сводных отчетах об ОРВ собраны в таблицу ria_reports_main.csv и содержат метаданные об отчетах, а также графы отчетов в структурированном виде, включая цели и задачи принятия акта, оценки доходов и расходов и т.д.; а также еще 15 таблиц вида ria_reports_XXX.csv, которые соответствуют разделам отчетов, заполнение которых подразумевает перечисление нескольких значений (one-to-many соответствие).

Все таблицы доступны в формате CSV (кодировка: «UTF-8», разделитель: «;»)

Общее описание набора данных

Атрибут	Значение
Общие сведения
Полное наименование набора данных	Характеристики нормотворческого процесса в России: результаты оценки регулирующего воздействия и метаданные проектов НПА, подлежащих оценке
Сокращенное наименование набора данных	Характеристики нормотворческого процесса в России за 2013-2021 гг.
Краткое описание набора данных	Набор данных состоит из трех частей: (1) мета-данные проектов нормативно-правовых актов (НПА), размещенных на портале regulation.gov.ru с 2012 по 2021 г. (все время существования портала); (2) мета-данные законопроектов, внесенных в Госдуму России с 1994 по 2021 г. и (3) приведенные в структурированный вид результаты сводных отчетов об оценке регулирующего воздействия (ОРВ) за 2015-2021 гг. Сведения о проектах НПА собраны в таблицу regulation_projects.csv и содержат информацию об авторах, сроках разработках, коды ОКВЭД, типы и сроки проведенных сопроводительных процедур, метрики вовлеченности пользователей портала regulation.gov.ru в обсуждение проектов НПА. Сведения о законопроектах, внесенных в Госдуму, собраны в таблицу duma_projects.csv и содержат информацию о датах, стадиях, результатах рассмотрения и др. Для части проектов НПА на ОРВ с помощью поиска ближайшего по косинусному расстоянию текста законопроекта был восстановлен номер проекта, рассмотренного Госдумой (regulation_duma_matches.csv). Сведения о сводных отчетах об ОРВ собраны в таблицу ria_reports_main.csv и содержат метаданные об отчетах, а также графы отчетов в структурированном виде, включая цели и задачи принятия акта, оценки доходов и расходов и т.д. А также еще 15 таблиц вида ria_report's_'XXX'.csv, которые соответствуют разделам отчетов, заполнение которых подразумевает перечисление нескольких значений (one-to-many соответствие). Все таблицы доступны в формате CSV (кодировка: «UTF-8», разделитель: «;»)
Краткое описание источника набора данных	С началом разработки нового проекта НПА ведомство-разработчик обязано разместить документацию к проекту на портале Минэкономразвития regulation.gov.ru в открытом доступе. В случае, когда для данного НПА необходимо проведение ОРВ, разработчик также размещает данные сводных отчетов, составленных в результате этой процедуры. Отчеты выкладываются в форматах, не приспособленных для машинной обработки. При этом выделяется время на публичное обсуждение, и пользователи сайта могут прислать авторам свои комментарии; в результате сайт собирает статистику просмотров, лайков, дизлайков и комментариев. Последним этапом ОРВ является вынесение экспертами Минэкономразвития экспертного заключения, которое может быть положительным либо отрицательным. С внесением законопроекта на рассмотрение в Государственную Думу проекты публикуются на сайте sozd.duma.gov.ru. По мере прохождения проектом различных стадий и по получению решения статус проекта на сайте обновляется и доступен по API.
Покрываемый временной     период	Для проектов НПА: 2012-2021 гг. Для сводных отчетов ОРВ: 2015-2021 гг. Для законопроектов, внесенных в Госдуму: 1994-2021 гг.
Доступные форматы	CSV (кодировка: «UTF-8», разделитель: «;»)
Размер набора данных	254,9 Мбайт
Тематика набора данных	Право, Нормотворческий процесс
Режим доступа	Открытый (у Вас есть возможность работать с данными на своем личном ПК, в том числе и скачивать данные)
Периодичность публикации и обновления
Дата размещения в каталоге	28.09.2021
Периодичность обновления	Ежегодно
Дата последнего обновления набора данных	28.09.2021
Характер последнего  обновления
Дата следующего обновления набора данных	28.09.2022
Дополнительные сведения
Цитирование набора данных на русском языке	Нормотворческий процесс в России: результаты оценки регулирующего воздействия и метаданные проектов НПА c regulation.gov.ru и sozd.duma.gov.ru // Минэкономразвития России, Госдума России; обработка: Василевская М.М., Вяткин И.О., Зорин С.Ю., Инфраструктура научно-исследовательских данных, АНО «ЦПУР», 2021. Доступ: Лицензия CC BY-SA. Размещено: 28.09.2021. URL: https://data.rcsi.science/data-catalog/datasets/177
For references (English)	Rule-making process in Russia: results of regulatory impact assessment and metadata of regulations drafts from regulation.gov.ru & sozd.duma.gov.ru // Ministry of Economic Development of Russian Federation, Federal State Duma; data processing: Vasilevskaia M., Vyatkin I., Zorin S., The Research Development Infrastructure (RDI), CAG, 2021. Access: License CC BY-SA. Posted: 28.09.2021. URL: https://data.rcsi.science/data-catalog/datasets/177
Ссылка на открытый репозиторий	https://github.com/CAG-ru/cag-public/tree/master/projects/ria
Геоданные (пространственная привязка набора данных)	нет
Лицензия, под которой публикуется набор данных	СС BY-SA (Creative Commons) https://creativecommons.org/licenses/by-sa/4.0/  Допускается использование, копирование и распространение данных в научно-исследовательских, коммерческих и любых иных целях. При преобразовании материала разрешается распространять переделанные части материала на условиях этой же лицензии —  CC BY-SA
Стандарт публикации	http://opendata.gosmonitor.ru/standard/3.0
Параметры запросов API	Интеграция через API не предусмотрена

Структура набора данных (Codebook)

Датасет представлен в виде 19 плоских таблиц в формате CSV (кодировка: «UTF-8», разделитель: «;»)

Таблица «Проекты НПА» (regulation_projects.csv)

Атрибут	Описание	Пояснение	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru		0 %			integer
act_title	Название проекта нормативно-правового акта		0 %			string
creation_date	Дата создания проекта НПА		2.4 %			date
publication_date	Дата публикации проекта НПА на сайте		2.4 %			date
developer	ФОИВ - разработчик НПА		2.4 %			string
okved_list	Список ОКВЭДов	Отражает виды экономической деятельности, регулируемые проектом	2.4 %			string
views_num	Количество просмотров страницы, на которой размещён проект НПА		2.4 %			integer
comments_num	Количество комментариев к проекту НПА		2.4 %			integer
likes_num	Количество «лайков» проекта НПА		2.4 %			integer
dislikes_num	Количество «дизлайков» проекта НПА		2.4 %			integer
development_stage	Стадия разработки	Стадии в логическом порядке: Уведомление, Текст, Оценка, Завершение, Принятие	2.4 %			string
project_status	Статус проекта	Одно значение из: Разработка, Подготовка к обсуждению, Идет обсуждение, Обсуждение завершено, Разработка завершена, Отказ от продолжения разработки	2.4 %			string
procedure_type	Процедура оценки проектов нормативных правовых актов и вступивших в силу нормативных правовых актов	Одно значение из: Раскрытие информации о подготовке проектов нормативных правовых актов, Оценка регулирующего воздействия, Независимая экспертиза проектов административных регламентов, Независимая антикоррупционная экспертиза, Оценка фактического воздействия, Оценка применения	0 %			string
act_type	Вид разрабатываемого нормативного правового акта	Ведомственный акт Постановление Правительства Российской Федерации Проект Указа Президента Российской Федерации Проект ведомственного акта Проект плана проведения ОФВ Проект поправок к проекту федерального закона Проект постановления Правительства Российской Федерации Проект решения Евразийской экономической комиссии Проект указа Президента Российской Федерации Проект федерального закона Публикация проекта перечня нормативных правовых актов, содержащих обязательные требования, подлежащие оценке применения Распоряжение правительства РФ Федеральный закон	2.4 %			string
regulatory_impact	Степень регулирующего воздействия	Не определена, Высокая, Средняя, Низкая	2.4 %			string
added_by	ФИО создателя проекта нормативного правового акта		2.4 %			string
responsible	ФИО ответственного за проект нормативного правового акта		2.4 %			string
public_discussion_start	Дата начала публичного обсуждения		2.4 %			date
public_discussion_end	Дата завершения публичного обсуждения		2.4 %			date
parallel_stage_discussion_start	Дата начала дополнительной процедуры по оценке проекта		2.4 %			date
parallel_stage_discussion_end	Дата окончания дополнительной процедуры по оценке проекта		2.4 %			date
is_regionally_signigicant	Затрагивает вопросы экономического развития регионов		2.4 %			boolean
act_changes_controlling_activities	Предполагает требования, которые проверяются в рамках контрольно-надзорной деятельности, или изменения в порядке контрольно-надзорной деятельности		2.4 %			boolean
mineco_solution	Заключение Минэкономразвития об оценке регулирующего воздействия	Положительное Отрицательное Не определено	2.4 %			string
last_updated_date	Последняя дата обновления записи в наборе данных		2.4 %			date
problem_addressed	Краткое описание проблемы, на решение которой направлен предлагаемый способ регулирования		2.4 %			string
act_objectives	Краткое изложение целей регулирования		2.4 %			string
persons_affected_by_act	Круг лиц, на которых будет распространено действие нормативного правового акта		2.4 %			string
relations_regulated_by_act	Общая характеристика соответствующих общественных отношений		2.4 %			string
act_significance	Обоснование необходимости подготовки проекта нормативного правового акта		2.4 %			string
estimated_effective_date	Планируемый срок вступления проекта нормативного правового акта в силу		2.4 %			date
estimated_transition_period	Планируемая длительность переходного периода после вступления проекта нормативного правового акта в силу		2.4 %			integer
departamental_number_if_passed	Ведомственный номер акта		2.4 %			string
passing_date_if_passed	Дата принятия акта		2.4 %			date
registration_number_if_passed	Регистрационный номер акта		2.4 %			string

Таблица «Законопроекты, внесенные в ГД» (duma_projects.csv)

Атрибут	Описание	Пояснение	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
number	Номер внесенного законопроекта		0 %			string
name	Название внесенного законопроекта		0 %			string
law_type	Тип внесенного законопроекта	Федеральный закон, Федеральный конституционный закон, Закон Российской Федерации о поправках к Конституции Российской Федерации Закон Российской Федерации о поправке к Конституции Российской Федерации	0 %			string
status	Статус законопроекта	отклонен (снят) ГД подписан Президентом РФ рассмотрение завершено отозванный или возвращенный СПЗИ рассмотрение завершено по прочим причинам находится на рассмотрении в ГД внесен в ГД	0 %			string
solution	Принятое решение по законопроекту		16.4 %			string
stage	Стадия законопроекта	Повторное рассмотрение закона, отклоненного Советом Федерации Повторное рассмотрение закона, отклоненного Президентом Российской Федерации Прохождение закона у Президента Российской Федерации Опубликование закона Рассмотрение законопроекта в первом чтении Рассмотрение законопроекта во втором чтении Предварительное рассмотрение законопроекта, внесенного в Государственную Думу Внесение законопроекта в Государственную Думу Рассмотрение законопроекта в третьем чтении Рассмотрение закона в Совете Федерации	0 %			string
phase	Фаза законопроекта	Повторное рассмотрение закона (проекта закона) Государственной Думой с учетом рекомендации ответственного комитета Рассмотрение Советом Государственной Думы отклоненного закона Рассмотрение закона Президентом Российской Федерации Повторное рассмотрение закона Государственной Думой с учетом предложений специальной комиссии Опубликование закона в "Российской газете" Рассмотрение Советом Государственной Думы закона (проекта закона) Рассмотрение Советом Государственной Думы предложений специальной комиссии Рассмотрение Советом Государственной Думы законопроекта, представленного ответственным комитетом Рассмотрение законопроекта Государственной Думой Рассмотрение Советом Государственной Думы законопроекта, внесенного в Государственную Думу Повторное рассмотрение закона (проекта закона) Государственной Думой с учетом предложений согласительной комиссии Принятие профильным комитетом решения о представлении законопроекта в Совет Государственной Думы. Повторное рассмотрение закона Государственной Думой с учетом рекомендации ответственного комитета Рассмотрение Советом Государственной Думы предложений согласительной комиссии Принятие решения ответственным комитетом о представлении законопроекта в Совет Государственной Думы Принятие ответственным комитетом решения о представлении закона (проекта закона) в Совет Государственной Думы Прохождение законопроекта у Председателя Государственной Думы Принятие ответственным комитетом решения о представлении закона в Совет Государственной Думы Регистрация законопроекта и материалов к нему в САДД Государственной Думы Опубликование закона в "Парламентской газете" Рассмотрение закона на заседании Совета Федерации Принятие ответственным комитетом решения о представлении законопроекта в Совет Государственной Думы Направление Советом Государственной Думы закона, отклоненного Президентом Российской Федерации, в ответственный комитет	0 %			string
department	Субъект права законодательной инициативы		50.8 %			string
introduction_date	Дата внесения законопроекта		0 %			date

Таблица соответствий (regulation_duma_matches.csv)

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
duma_project_id	Идентификатор проекта на sozd.duma.gov.ru	0 %			string
text_similarity	Терминологическая близость текста НПА с regulation.gov.ru и текста НПА c sozd.duma.gov.ru Посчитано как косинусное расстояние между векторами, соответствующими (2, 4)-граммам слов, за вычетом стоп-слов	0 %	процентные пункты		float

Таблица ria_reports_main.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %
header: id	Идентификатор проекта, присвоенный системой автоматически (каким он указан в сводном отчете)	0 %			string
header: start	Дата начала разработки (каким она указана в сводном отчете)	0 %			string
header: end	Дата окончания разработки (каким она указана в сводном отчете)	0 %			string
general_info: Федеральный орган исполнительной власти (далее – разработчик)	Из раздела сводного отчета «Общая информация»	0 %			string
general_info: Сведения о федеральных органах исполнительной власти – соисполнителях	Из раздела сводного отчета «Общая информация»	0 %			string
general_info: Вид и наименование проекта акта	Из раздела сводного отчета «Общая информация»	0 %			string
general_info: Краткое описание проблемы, на решение которой направлен предлагаемый способ регулирования	Из раздела сводного отчета «Общая информация»	0 %			string
general_info: Основание для разработки проекта акта	Из раздела сводного отчета «Общая информация»	0 %			string
general_info: Краткое описание целей предлагаемого регулирования	Из раздела сводного отчета «Общая информация»	0 %			string
general_info: Краткое описание предлагаемого способа регулирования	Из раздела сводного отчета «Общая информация»	0 %			string
general_info: Контактная информация исполнителя разработчика	Из раздела сводного отчета «Общая информация»	0 %			string
degree: Степень регулирующего воздействия проекта акта	Из раздела сводного отчета «Степень регулирующего воздействия проекта акта»	0 %			string
degree: Обоснование отнесения проекта акта к определенной степени регулирующего воздействия	Из раздела сводного отчета «Степень регулирующего воздействия проекта акта»	0 %			string
problem: Описание проблемы, на решение которой направлен предлагаемый способ регулирования, условий и факторов ее существования	Из раздела сводного отчета «Описание проблемы, на решение которой направлен предлагаемый способ регулирования, оценка негативных эффектов, возникающих в связи с наличием рассматриваемой проблемы»	0 %			string
problem: Негативные эффекты, возникающие в связи с наличием проблемы	Из раздела сводного отчета «Описание проблемы, на решение которой направлен предлагаемый способ регулирования, оценка негативных эффектов, возникающих в связи с наличием рассматриваемой проблемы»	0 %			string
problem: Информация о возникновении, выявлении проблемы, принятых мерах, направленных на ее решение, а также затраченных ресурсах и достигнутых результатах решения проблемы	Из раздела сводного отчета «Описание проблемы, на решение которой направлен предлагаемый способ регулирования, оценка негативных эффектов, возникающих в связи с наличием рассматриваемой проблемы»	0 %			string
problem: Описание условий, при которых проблема может быть решена в целом без вмешательства со стороны государства	Из раздела сводного отчета «Описание проблемы, на решение которой направлен предлагаемый способ регулирования, оценка негативных эффектов, возникающих в связи с наличием рассматриваемой проблемы»	0 %			string
problem: Источники данных	Из раздела сводного отчета «Описание проблемы, на решение которой направлен предлагаемый способ регулирования, оценка негативных эффектов, возникающих в связи с наличием рассматриваемой проблемы»	0 %			string
problem: Иная информация о проблеме	Из раздела сводного отчета «Описание проблемы, на решение которой направлен предлагаемый способ регулирования, оценка негативных эффектов, возникающих в связи с наличием рассматриваемой проблемы»	0 %			string
int_exp: Международный опыт в соответствующих сферах деятельности	Из раздела сводного отчета «Анализ международного опыта в соответствующих сферах деятельности»	0 %			string
int_exp: Источники данных	Из раздела сводного отчета «Анализ международного опыта в соответствующих сферах деятельности»	0 %			string
goals: Обоснование соответствия целей предлагаемого регулирования принципам правового регулирования, программным документам Президента Российской Федерации и Правительства Российской Федерации	Из раздела сводного отчета «Цели предлагаемого регулирования и их соответствие принципам правового регулирования, программным документам Президента Российской Федерации и Правительства Российской Федерации»	0 %			string
goals: Иная информация о целях предлагаемого регулирования	Из раздела сводного отчета «Цели предлагаемого регулирования и их соответствие принципам правового регулирования, программным документам Президента Российской Федерации и Правительства Российской Федерации»	0 %			string
description: Описание предлагаемого способа решения проблемы и преодоления связанных с ней негативных эффектов	Из раздела сводного отчета «Описание предлагаемого регулирования и иных возможных способов решения проблемы»	0 %			string
description: Описание иных способов решения проблемы (с указанием того, каким образом каждым из способов могла бы быть решена проблема)	Из раздела сводного отчета «Описание предлагаемого регулирования и иных возможных способов решения проблемы»	0 %			string
description: Обоснование выбора предлагаемого способа решения проблемы	Из раздела сводного отчета «Описание предлагаемого регулирования и иных возможных способов решения проблемы»	0 %			string
description: Иная информация о предлагаемом способе решения проблемы	Из раздела сводного отчета «Описание предлагаемого регулирования и иных возможных способов решения проблемы»	0 %			string
groups: Источники данных	Из раздела сводного отчета «Основные группы субъектов предпринимательской и иной экономической деятельности, иные заинтересованные лица, включая органы государственной власти, интересы которых будут затронуты предлагаемым правовым регулированием, оценка количества таких субъектов»	0 %			string
expenses: Итого единовременные расходы	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
expenses: Итого периодические расходы за год	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
expenses: Итого возможные поступления за год	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
expenses: Иные сведения о расходах (возможных поступлениях) бюджетов бюджетной системы Российской Федерации	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
expenses: Источники данных	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
group_expenses: Источники данных	Из раздела сводного отчета «Оценка расходов и доходов субъектов предпринимательской и иной экономической деятельности, связанных с необходимостью соблюдения установленных обязанностей или ограничений либо изменением содержания таких обязанностей и ограничений»	0 %			string
risks: Источники данных	Из раздела сводного отчета «Риски решения проблемы предложенным способом регулирования и риски негативных последствий, а также описание методов контроля эффективности избранного способа достижения целей регулирования»	0 %			string
business: Источники данных (оценка структуры)	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Оценка влияния проекта акта на достижение целевых ориентиров Стратегии развития малого и среднего предпринимательства в Российской Федерации	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Итого единовременные издержки (содержательные и информационные)	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Итого периодические издержки (содержательные и информационные)	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Итого единовременные преимущества и (или) иные выгоды	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Итого периодические преимущества и (или) иные выгоды	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Источники данных (оценка влияния)	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Нормативно-правовые меры, предпринятые для сокращения диспропорций в нагрузке	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
business: Организационные меры, предпринятые для сокращения диспропорций в нагрузке	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
necessary_measures: Общий объем затрат на необходимые для достижения заявленных целей регулирования организационно-технические, методологические, информационные и иные мероприятия (млн. руб.)	Из раздела сводного отчета « Необходимые для достижения заявленных целей регулирования организационно-технические, методологические, информационные и иные мероприятия»	0 %			string
kpi: Информация о программах мониторинга и иных способах (методах) оценки достижения заявленных целей регулирования	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
kpi: Оценка затрат на осуществление мониторинга (в среднем в год, млн. руб.)	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
kpi: Описание источников информации для расчета показателей (индикаторов)	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
supposed_date: Предполагаемая дата вступления в силу проекта акта	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Необходимость установления переходных положений (переходного периода)	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Срок (если есть необходимость)	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Обоснование необходимости установления эксперимента	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Цель проведения эксперимента	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Срок проведения эксперимента	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Необходимые для проведения эксперимента материальные и организационно-технические ресурсы	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Перечень субъектов Российской Федерации, на территориях которых проводится эксперимент	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
supposed_date: Индикативные показатели, в соответствии с которыми проводится оценка достижения заявленных целей эксперимента по итогам его проведения	Из раздела сводного отчета «Предполагаемая дата вступления в силу проекта акта, необходимость установления переходных положений (переходного периода), а также эксперимента»	0 %			string
notification_info: Полный электронный адрес размещения уведомления в информационно-телекоммуникационной сети «Интернет»	Из раздела сводного отчета «Сведения о размещении уведомления, сроках предоставления предложений в связи с таким размещением, лицах, предоставивших предложения, и рассмотревших их структурных подразделениях разработчика»	0 %			string
notification_info: Сведения о лицах, предоставивших предложения	Из раздела сводного отчета «Сведения о размещении уведомления, сроках предоставления предложений в связи с таким размещением, лицах, предоставивших предложения, и рассмотревших их структурных подразделениях разработчика»	0 %			string
notification_info: Сведения о структурных подразделениях разработчика, рассмотревших предоставленные предложения	Из раздела сводного отчета «Сведения о размещении уведомления, сроках предоставления предложений в связи с таким размещением, лицах, предоставивших предложения, и рассмотревших их структурных подразделениях разработчика»	0 %			string
notification_info: Иные сведения о размещении уведомления	Из раздела сводного отчета «Сведения о размещении уведомления, сроках предоставления предложений в связи с таким размещением, лицах, предоставивших предложения, и рассмотревших их структурных подразделениях разработчика»	0 %			string
anticorr_expertise: Указать (при наличии) количество поступивших заключений от независимых экспертов (шт.)	Из раздела сводного отчета «Сведения о размещении уведомления, сроках предоставления предложений в связи с таким размещением, лицах, предоставивших предложения, и рассмотревших их структурных подразделениях разработчика»	0 %			string
anticorr_expertise: Выявленные коррупциогенные факторы и их способы устранения	Из раздела сводного отчета «Сведения о проведении независимой антикоррупционной экспертизы проекта акта»	0 %			string
other_notification_info: Иные необходимые, по мнению разработчика, сведения	Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»	0 %			string
other_notification_info: Источники данных	Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»	0 %			string
public_discussion: Полный электронный адрес размещения проекта акта в информационно-телекоммуникационной сети «Интернет»	Из раздела сводного отчета «Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»»	0 %			string
public_discussion: Сведения о федеральных органах исполнительной власти и представителях предпринимательского сообщества, извещенных о проведении публичных консультаций	Из раздела сводного отчета «Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»»	0 %			string
public_discussion: Сведения о лицах, представивших предложения	Из раздела сводного отчета «Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»»	0 %			string
public_discussion: Сведения о структурных подразделениях разработчика, рассмотревших предоставленные предложения	Из раздела сводного отчета «Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»»	0 %			string
public_discussion: Иные сведения о проведении публичного обсуждения проекта акта	Из раздела сводного отчета «Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»»	0 %			string
cancel_duties: Нормативный правовой акт, в котором содержатся отменяемые обязанности, запреты или ограничения	Из раздела сводного отчета «Информация об отмене обязанностей, запретов или ограничений для субъектов предпринимательской и инвестиционной деятельности»	0 %			string

Таблица ria_reports_business_profit_loss.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Содержательные издержки: Описание социально-экономических последствий реализации проекта акта	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Содержательные издержки: Единовременные	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Содержательные издержки: Периодические	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Информационные издержки: Описание социально-экономических последствий реализации проекта акта	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Информационные издержки: Единовременные	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Информационные издержки: Периодические	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Преимущества и (или) иные выгоды: Описание социально-экономических последствий реализации проекта акта	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Преимущества и (или) иные выгоды: Единовременные	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Преимущества и (или) иные выгоды: Периодические	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string

Таблица ria_reports_business_sizes_as_is.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Оценка структуры регулируемых субъектов по категориям	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Количественная (интервальная) оценка	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Удельный вес(%)	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string

Таблица ria_reports_business_sizes_to_be.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Прогноз количественной динамики структуры регулируемых субъектов по категориям при введении предлагаемого регулирования	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Микропредприятия	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Малыепредприятия	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string
Средниепредприятия	Из раздела сводного отчета «Анализ влияния социально-экономических последствий реализации проекта акта на деятельность субъектов малого и среднего предпринимательства»	0 %			string

Таблица ria_reports_cancel_duties.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Описание отменяемых обязанностей, запретов или ограничений	Из раздела сводного отчета «Информация об отмене обязанностей, запретов или ограничений для субъектов предпринимательской и инвестиционной деятельности»	0 %			string
Описание и оценка затрат на выполнение отменяемых обязанностей, запретов или ограничений	Из раздела сводного отчета «Информация об отмене обязанностей, запретов или ограничений для субъектов предпринимательской и инвестиционной деятельности»	0 %			string

Таблица ria_reports_expenses.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Наименование новой или изменяемой функции, полномочия, обязанности или права	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
Наименование органа	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
Единовременные расходы в год возникновения	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
Периодические расходы за период	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string
Возможные поступления за период	Из раздела сводного отчета «Оценка соответствующих расходов (возможных поступлений) бюджетов бюджетной системы Российской Федерации»	0 %			string

Таблица ria_reports_goals.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Цели предлагаемого регулирования	Из раздела сводного отчета «Цели предлагаемого регулирования и их соответствие принципам правового регулирования, программным документам Президента Российской Федерации и Правительства Российской Федерации»	0 %			string
Установленные сроки достижения целей предлагаемого регулирования	Из раздела сводного отчета «Цели предлагаемого регулирования и их соответствие принципам правового регулирования, программным документам Президента Российской Федерации и Правительства Российской Федерации»	0 %			string

Таблица ria_reports_group_changes.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Группа участников отношений	Из раздела сводного отчета «Основные группы субъектов предпринимательской и иной экономической деятельности, иные заинтересованные лица, включая органы государственной власти, интересы которых будут затронуты предлагаемым правовым регулированием, оценка количества таких субъектов»	0 %			string
Описание новых преимуществ, обязанностей, ограничений или изменения содержания существующих обязанностей ограничений	Из раздела сводного отчета «Основные группы субъектов предпринимательской и иной экономической деятельности, иные заинтересованные лица, включая органы государственной власти, интересы которых будут затронуты предлагаемым правовым регулированием, оценка количества таких субъектов»	0 %			string
Порядок организации исполнения обязанностей и ограничений	Из раздела сводного отчета «Основные группы субъектов предпринимательской и иной экономической деятельности, иные заинтересованные лица, включая органы государственной власти, интересы которых будут затронуты предлагаемым правовым регулированием, оценка количества таких субъектов»	0 %			string

Таблица ria_reports_group_expenses.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Группа участников отношений	Из раздела сводного отчета «Оценка расходов и доходов субъектов предпринимательской и иной экономической деятельности, связанных с необходимостью соблюдения установленных обязанностей или ограничений либо изменением содержания таких обязанностей и ограничений»	0 %			string
Описание новых или изменения содержания существующих обязанностей и ограничений	Из раздела сводного отчета «Оценка расходов и доходов субъектов предпринимательской и иной экономической деятельности, связанных с необходимостью соблюдения установленных обязанностей или ограничений либо изменением содержания таких обязанностей и ограничений»	0 %			string
Описание и оценка видов расходов (доходов)	Из раздела сводного отчета «Оценка расходов и доходов субъектов предпринимательской и иной экономической деятельности, связанных с необходимостью соблюдения установленных обязанностей или ограничений либо изменением содержания таких обязанностей и ограничений»	0 %			string

Таблица ria_reports_groups.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Группа участников отношений	Из раздела сводного отчета «Основные группы субъектов предпринимательской и иной экономической деятельности, иные заинтересованные лица, включая органы государственной власти, интересы которых будут затронуты предлагаемым правовым регулированием, оценка количества таких субъектов»	0 %			string
Оценка количества участников отношений	Из раздела сводного отчета «Основные группы субъектов предпринимательской и иной экономической деятельности, иные заинтересованные лица, включая органы государственной власти, интересы которых будут затронуты предлагаемым правовым регулированием, оценка количества таких субъектов»	0 %			string

Таблица ria_reports_kpi.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Цели предлагаемого регулирования	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
Индикативные показатели	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
Единицы измерения индикативных показателей	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
Способы расчета индикативных показателей	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string

Таблица ria_reports_necessary_measures.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Цели предлагаемого регулирования	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
Индикативные показатели	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
Единицы измерения индикативных показателей	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string
Способы расчета индикативных показателей	Из раздела сводного отчета «Индикативные показатели, программы мониторинга и иные способы (методы) оценки достижения заявленных целей регулирования»	0 %			string

Таблица ria_reports_new_functions.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Описание новых или изменения существующих функций, полномочий, обязанностей или прав	Из раздела сводного отчета «Новые функции, полномочия, обязанности и права федеральных органов исполнительной власти, органов государственной власти субъектов Российской Федерации и органов местного самоуправления или сведения об их изменении, а также порядок их реализации»	0 %			string
Порядок реализации	Из раздела сводного отчета «Новые функции, полномочия, обязанности и права федеральных органов исполнительной власти, органов государственной власти субъектов Российской Федерации и органов местного самоуправления или сведения об их изменении, а также порядок их реализации»	0 %			string
Оценка изменения трудозатрат и (или) потребностей в иных ресурсах	Из раздела сводного отчета «Новые функции, полномочия, обязанности и права федеральных органов исполнительной власти, органов государственной власти субъектов Российской Федерации и органов местного самоуправления или сведения об их изменении, а также порядок их реализации»	0 %			string
Наименование органа	Из раздела сводного отчета «Новые функции, полномочия, обязанности и права федеральных органов исполнительной власти, органов государственной власти субъектов Российской Федерации и органов местного самоуправления или сведения об их изменении, а также порядок их реализации»	0 %			string

Таблица ria_reports_notification_info.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Срок, в течение которого разработчиком принимались предложения в связи с размещением уведомления о подготовке проекта акта	Из раздела сводного отчета «Сведения о размещении уведомления, сроках предоставления предложений в связи с таким размещением, лицах, предоставивших предложения, и рассмотревших их структурных подразделениях разработчика»	0 %			string

Таблица ria_reports_public_discussion.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Срок, в течение которого разработчиком принимались предложения в связи проведением публичного обсуждения проекта акта	Из раздела сводного отчета «Из раздела сводного отчета «Иные сведения, которые, по мнению разработчика, позволяют оценить обоснованность предлагаемого регулирования»»	0 %			string

Таблица ria_reports_risks.csv

Атрибут	Описание	Количество пропусков (NaN) (шт/%)	Единица измерения	ОКЕИ	Формат
regulation_project_id	Идентификатор проекта на regulation.gov.ru	0 %			string
Риски решения проблемы предложенным способом и риски негативных последствий	Из раздела сводного отчета «Риски решения проблемы предложенным способом регулирования и риски негативных последствий, а также описание методов контроля эффективности избранного способа достижения целей	0 %			string
Оценки вероятности наступления рисков	Из раздела сводного отчета «Риски решения проблемы предложенным способом регулирования и риски негативных последствий, а также описание методов контроля эффективности избранного способа достижения целей	0 %			string
Методы контроля эффективности избранного способа достижения целей регулирования	Из раздела сводного отчета «Риски решения проблемы предложенным способом регулирования и риски негативных последствий, а также описание методов контроля эффективности избранного способа достижения целей	0 %			string
Степень контроля рисков	Из раздела сводного отчета «Риски решения проблемы предложенным способом регулирования и риски негативных последствий, а также описание методов контроля эффективности избранного способа достижения целей	0 %			string

Известные ограничения данных

Полнота данных

Значимая часть неполноты данных касается таблицы ria_reports_main.csv и таблиц вида ria_reports_XXX.csv.

Общее количество проектов НПА на ОРВ (в таблице regulation_projects.csv) 11351 проектов; при этом в таблице ria_reports_main.csv содержится только 9 676 проектов НПА, для которых были опубликованы сводные отчеты об ОРВ. Это связано с тем, что некоторые проекты НПА могли быть сняты с разработки до стадии начала процедуры ОРВ, а некоторые до неё ещё не дошли. Кроме того, часть проектов также была загружена разработчиками некорректно.

Во время приведения документов в структурированный вид в связи с различными особенностями представленных документов (сканированные копии документов, ошибки ручного ввода информации, постоянное изменение формы самого сводного отчета и др.) итоговый уровень распознавания для сводных отчетов с 2013 года составляет 64%, а с 2015 - 78%. При этом была соблюдена равномерность распределения успешно распарсенных отчётов в разрезе ведомств-разработчиков. Для большинства из них доля распознанных отчётов лежит в интервале 70-85%. Исключение составили Росалкогольрегулирование и Росреестр.

Итоговый процент распознанных отчетов по годам представлен в графике ниже.

Большое число пустых ячеек в таких графах, как «краткое изложение целей регулирования» в таблице regulation_projects.csv, и в таблицах вида ria_reports_XXX.csv связано с тем, что большинство разработчиков не заполняют эти пункты. Во-первых, этом может быть вызвано тем, что некоторые пункты неприменимы для соответствующих проектов НПА разной степени регулирующего воздействия (в таком случае в соответствующих колонках таблиц датасета записано значение non-applicable). Во-вторых (и это большинство случаев), по причине того, что соответствующая часть процедуры ОРВ ведомством-разработчиком НПА не была проведена. В ходе обработки данных эти пропуски были перенесены в датасет с сохранением факта пропуска (пустая ячейка) в изначальных данных и обозначены пустой ячейкой в таблицах.

Описание проведенных проверок и их результатов

Ручное тестирование распарсенных отчетов на выборке из 100 наперед взятых отчетов, сбалансированной по году и разработчику, показало, что лишь в 3% случаев парсинг работает некорректно в одном или нескольких пунктах отчетов.

Внесенные в набор данных изменения по сравнению с источниками

Публичное API портала regulation.gov.ru ограничено лишь базовыми характеристиками проектов НПА. В частности, оно не содержит данных сводных отчетов, данных об общественных обсуждениях и посещаемости страниц проектов НПА на портале, кодов ОКВЭД и проч. Для того, чтобы получить больше информации о процедуре ОРВ, был разработан собственный скрипт, осуществляющий постраничный обход портала, а также скачивание и парсинг документов. Во время парсинга были сохранены авторские варианты заполнения граф отчетов об ОРВ для того, чтобы сохранить возможность для проведения анализа качества заполнения отчетов.

Для того, чтобы восстановить процесс поступления покинувших процедуру ОРВ проектов НПА, нужно было сопоставить проекты с regulation.gov.ru и sozd.duma.gov.ru. Так как законопроект не имеет единого идентификатора на разных стадиях его разработки и принятия, а название законопроекта в качестве сквозного идентификатора использовать невозможно, так как проекты, вносящие разные поправки в один и тот же закон, часто имеют одинаковое название, в качестве связующего звена между этапом прохождения ОРВ и этапом рассмотрения в Государственной Думе были выбраны тексты законопроектов.

Процедура разработки и принятия НПА не ограничивает ведомства в редактировании текста проекта, прошедшего ОРВ, перед внесением на рассмотрение в Правительство и затем в Государственную Думу. Тем не менее, ожидается, что большая часть текста должна сохраняться. В связи с этим вывод о том, что законопроект с текстом, опубликованным на regulation.gov.ru, и законопроект, внесенный на рассмотрение в Госдуму, – это один и тот же документ, был сделан по следующему алгоритму:

для каждого текста проекта НПА с regulation.gov.ru и sozd.duma.gov.ru было проведено распознавание текста при помощи библиотеки textract;

с помощью ручной проверки соответствия текстов были отобраны 66 случаев в качестве тестовой группы;

для каждого текста проекта НПА с regulation.gov.ru и sozd.duma.gov.ru был проведен препроцессинг, лемматизация и векторизация по методу TF-IDF;

измерили статистики похожести полученных векторов по косинусному расстоянию для тестовой группы и выбрали пороговое значение похожести так, чтобы 75% документов в него попали (0.65);

все пары, значение похожести для которых по косинусному расстоянию превышало пороговое значение, посчитали совпадающими и поместили в таблицу regulaton_duma_matches.csv.