Компонент конвейера exampleValidator TFX
Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
Компонент конвейера exampleValidator выявляет аномалии в обучении и обслуживании данных. Он может обнаруживать различные классы аномалий в данных. Например, он может:
- выполнять проверки достоверности, сравнивая статистику данных со схемой, которая кодифицирует ожидания пользователя.
- обнаружить несоответствие между обучением и обслуживанием путем сравнения данных обучения и обслуживания.
- обнаружить дрейф данных, просматривая серию данных.
- выполнять пользовательские проверки с использованием конфигурации на основе SQL.
Компонент конвейера SampleValidator выявляет любые аномалии в данных примера, сравнивая статистику данных, вычисленную компонентом конвейера СтатистикаGen, со схемой. Выведенная схема кодифицирует свойства, которым, как ожидается, будут удовлетворять входные данные, и может быть изменена разработчиком.
- Потребляет: схему из компонента SchemaGen и статистику из компонентаStatisticsGen.
- Выдает: результаты проверки
Пример валидатора и проверка данных TensorFlow
ПримерValidator широко использует проверку данных TensorFlow для проверки входных данных.
Использование компонента exampleValidator
Компонент конвейера exampleValidator обычно очень прост в развертывании и требует незначительной настройки. Типичный код выглядит так:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Более подробная информация доступна в справочнике по API SampleValidator .
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons "С указанием авторства 4.0", а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2025-07-25 UTC.
[[["Прост для понимания","easyToUnderstand","thumb-up"],["Помог мне решить мою проблему","solvedMyProblem","thumb-up"],["Другое","otherUp","thumb-up"]],[["Отсутствует нужная мне информация","missingTheInformationINeed","thumb-down"],["Слишком сложен/слишком много шагов","tooComplicatedTooManySteps","thumb-down"],["Устарел","outOfDate","thumb-down"],["Проблема с переводом текста","translationIssue","thumb-down"],["Проблемы образцов/кода","samplesCodeIssue","thumb-down"],["Другое","otherDown","thumb-down"]],["Последнее обновление: 2025-07-25 UTC."],[],[],null,["# The ExampleValidator TFX Pipeline Component\n\n\u003cbr /\u003e\n\nThe ExampleValidator pipeline component identifies anomalies in training and serving\ndata. It can detect different classes of anomalies in the data. For example it\ncan:\n\n1. perform validity checks by comparing data statistics against a schema that codifies expectations of the user.\n2. detect training-serving skew by comparing training and serving data.\n3. detect data drift by looking at a series of data.\n4. perform [custom validations](https://github.com/tensorflow/data-validation/blob/master/g3doc/custom_data_validation.md) using a SQL-based configuration.\n\nThe ExampleValidator pipeline component identifies any anomalies in the example data\nby comparing data statistics computed by the StatisticsGen pipeline component against a\nschema. The inferred schema codifies properties which the input data is expected to\nsatisfy, and can be modified by the developer.\n\n- Consumes: A schema from a SchemaGen component, and statistics from a StatisticsGen component.\n- Emits: Validation results\n\nExampleValidator and TensorFlow Data Validation\n-----------------------------------------------\n\nExampleValidator makes extensive use of [TensorFlow Data Validation](/tfx/guide/tfdv)\nfor validating your input data.\n\nUsing the ExampleValidator Component\n------------------------------------\n\nAn ExampleValidator pipeline component is typically very easy to deploy and\nrequires little customization. Typical code looks like this: \n\n validate_stats = ExampleValidator(\n statistics=statistics_gen.outputs['statistics'],\n schema=schema_gen.outputs['schema']\n )\n\nMore details are available in the\n[ExampleValidator API reference](https://www.tensorflow.org/tfx/api_docs/python/tfx/v1/components/ExampleValidator)."]]
