swh.loader.core package

Submodules

• swh.loader.core.converters module
  • prepare_contents()
  • content_for_storage()
• swh.loader.core.loader module
  • BaseLoader
    • BaseLoader.visit_type
    • BaseLoader.origin
    • BaseLoader.loaded_snapshot_id
    • BaseLoader.parent_origins
    • BaseLoader.from_config()
    • BaseLoader.from_configfile()
    • BaseLoader.save_data()
    • BaseLoader.get_save_data_path()
    • BaseLoader.flush()
    • BaseLoader.cleanup()
    • BaseLoader.prepare()
    • BaseLoader.get_origin()
    • BaseLoader.fetch_data()
    • BaseLoader.process_data()
    • BaseLoader.store_data()
    • BaseLoader.load_status()
    • BaseLoader.post_load()
    • BaseLoader.visit_status()
    • BaseLoader.pre_cleanup()
    • BaseLoader.build_partial_snapshot()
    • BaseLoader.load()
    • BaseLoader.load_metadata_objects()
    • BaseLoader.build_extrinsic_origin_metadata()
    • BaseLoader.statsd_timed()
    • BaseLoader.statsd_timing()
    • BaseLoader.statsd_average()
  • NodeLoader
    • NodeLoader.extid_version
    • NodeLoader.prepare()
    • NodeLoader.load_status()
    • NodeLoader.cleanup()
    • NodeLoader.fetch_artifact()
    • NodeLoader.process_artifact()
    • NodeLoader.fetch_data()
    • NodeLoader.store_extids()
  • ContentLoader
    • ContentLoader.visit_type
    • ContentLoader.fetch_artifact()
    • ContentLoader.process_artifact()
    • ContentLoader.process_data()
    • ContentLoader.store_data()
    • ContentLoader.visit_status()
  • BaseDirectoryLoader
    • BaseDirectoryLoader.visit_type
    • BaseDirectoryLoader.path_filter()
    • BaseDirectoryLoader.process_artifact()
    • BaseDirectoryLoader.build_snapshot()
    • BaseDirectoryLoader.store_data()
    • BaseDirectoryLoader.visit_status()
  • TarballDirectoryLoader
    • TarballDirectoryLoader.visit_type
    • TarballDirectoryLoader.fetch_artifact()
• swh.loader.core.metadata_fetchers module
  • MetadataFetcherProtocol
    • MetadataFetcherProtocol.SUPPORTED_LISTERS
    • MetadataFetcherProtocol.FETCHER_NAME
    • MetadataFetcherProtocol.get_origin_metadata()
    • MetadataFetcherProtocol.get_parent_origins()
  • get_fetchers_for_lister()
• swh.loader.core.nar module
  • Nar
    • Nar.str_()
    • Nar.update()
    • Nar.serialize()
    • Nar.digest()
    • Nar.hexdigest()
    • Nar.b64digest()
    • Nar.b32digest()
• swh.loader.core.tasks module
• swh.loader.core.utils module
  • clean_dangling_folders()
  • CloneTimeout
  • CloneFailure
  • clone_with_timeout()
  • parse_visit_date()
  • compute_hashes()
  • compute_nar_hashes()
  • get_url_body()
  • download()
  • release_name()
  • cached_method()

Module contents

swh.loader.core.register_content() → Mapping[str, Any]

Register the current worker module’s definition

swh.loader.core.register_directory() → Mapping[str, Any]

Register the current worker module’s definition