Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Error fetching metrics #1578

Closed
ntn-x2 opened this issue Dec 4, 2023 · 14 comments
Closed

Error fetching metrics #1578

ntn-x2 opened this issue Dec 4, 2023 · 14 comments

Comments

@ntn-x2
Copy link

ntn-x2 commented Dec 4, 2023

Issue Description

Kubernetes-based setup with the following config:

[settings]
enable_tracing = false
provider = "kubernetes"

# Env variables:
# * RELAY_IMAGE: Docker image for relaychain nodes
# * RELAY_ALICE_RPC: RPC port for the `relay-alice` relaychain node
# * PROVIDER_IMAGE: Docker image for the DIP provider nodes
# * PROVIDER_ALICE_RPC: RPC port for the `provider-alice` provider node
# * CONSUMER_IMAGE: Docker image for the DIP consumer nodes
# * CONSUMER_ALICE_RPC: RPC port for the `consumer-alice` consumer node

[relaychain]
chain = "rococo-local"
default_image = "{{RELAY_IMAGE}}"
default_substrate_cli_args_version = 1

[[relaychain.nodes]]
name = "relay-alice"
rpc_port = "{{RELAY_ALICE_RPC}}"

[[relaychain.nodes]]
name = "relay-bob"

[[relaychain.nodes]]
name = "relay-charlie"

[[parachains]]
id = 2000

[parachains.collator]
command = "node-executable"
name = "provider-alice"
image = "{{PROVIDER_IMAGE}}"
rpc_port = "{{PROVIDER_ALICE_RPC}}"

[[parachains]]
id = 2001

[parachains.collator]
command = "node-executable"
name = "consumer-alice"
image = "{{CONSUMER_IMAGE}}"
rpc_port = "{{CONSUMER_ALICE_RPC}}"

Network spawn with the following command yarn zombienet --spawn-concurrency 3 spawn tests/zombienet/network.toml.

Relevant parts of GitHub CI configuration file:

name: Lint and Test

jobs:
  lint-and-test:
    runs-on: ubuntu-latest
    timeout-minutes: 10

    steps:
      - name: Install minikube
        uses: medyagh/[email protected]
      - name: Download source
        uses: actions/checkout@v4
        with:
          fetch-depth: 0
      - name: Setup Node.js
        uses: actions/setup-node@v3
        with:
          node-version-file: ".nvmrc"
          cache: "yarn"
      - name: Install dependencies
        run: yarn install --immutable
      - name: Lint
        run: yarn lint
      - name: Set environment variables
        run: cat ./tests/.env.test >> $GITHUB_ENV
      - name: Spin up network
        run: yarn test:e2e:start-network

Idea is to have the step to spin up the network run in the background with &, and have one more step listening for the ports: until (nc -w 3 127.0.0.1 ${{ env.RELAY_ALICE_RPC }} && nc -w 3 127.0.0.1 ${{ env.PROVIDER_ALICE_RPC }} && nc -w 3 127.0.0.1 ${{ env.CONSUMER_ALICE_RPC }}) ; do sleep 1; done.

The metrics problem stops the whole network from going up.

Additional details:

  • "@zombienet/cli": "^1.3.85"
  • .nvmrc -> lts/Hydrogen (Node 18)

Screenshot 2023-12-04 at 12 28 01

Steps to reproduce the issue

Metrics errors seems arbitrary when running locally, but it always reproduce when running on the CI environment. See above for more details.

Describe the results you received

See above.

Describe the results you expected

See above.

Zombienet version

1.3.85

Provider

Kubernetes

Provider version

See above.

Upstream Latest Release

Yes

Additional environment details

Additional environment details

Additional information

Additional information like issue happens only occasionally or issue happens with a particular architecture or on a particular setting

Screenshots

No response
@ntn-x2
Copy link
Author

ntn-x2 commented Dec 4, 2023

Using concurrency of 1 does not fix the issue.

@ntn-x2
Copy link
Author

ntn-x2 commented Dec 4, 2023

Can the metrics endpoint be made optional? Not working would still be enough for integration tests. Maybe an explicit flag in the config file?

@ntn-x2 ntn-x2 mentioned this issue Dec 4, 2023
Merged
2 tasks
@pepoviola
Copy link
Collaborator

Hey @ntn-x2,
We use the prometheus metrics endpoint to query the ready state of the pods, looks like the port-fw is failing. Are you running all in the same CI right? can you set the env var
RUN_IN_CONTAINER=1
This will disable the port-fw for the network since the endpoints should be accesible locally.

Thx!

@ntn-x2
Copy link
Author

ntn-x2 commented Dec 5, 2023

With the following env configuration

Screenshot 2023-12-05 at 16 59 54

the CI now hangs when spinning up relaychain nodes. In this case, it was Charlie.

Screenshot 2023-12-05 at 17 10 15

@pepoviola
Copy link
Collaborator

Hi @ntn-x2, are you running this on GH actions? can you enable the debug with the env varDEBUG=zombie?
Thx!

@ntn-x2
Copy link
Author

ntn-x2 commented Dec 6, 2023 

Run yarn test:e2e:start-network
  yarn test:e[2](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:2)e:start-network
  shell: /usr/bin/bash -e {0}
  env:
    RELAY_IMAGE: parity/polkadot:v1.0.0
    RELAY_ALICE_RPC: 10001
    PROVIDER_IMAGE: kiltprotocol/dip-provider-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a
    PROVIDER_ALICE_RPC: 10011
    CONSUMER_IMAGE: kiltprotocol/dip-consumer-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a
    CONSUMER_ALICE_RPC: 10021
    RUN_IN_CONTAINER: 1
    DEBUG: zombie
202[3](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:3)-12-06T11:38:[4](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:4)9.784Z zombie Concurrency: 3
2023-12-06T11:38:49.78[5](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:5)Z zombie {
    "configBasePath": "/home/runner/work/dip-sdk/dip-sdk/tests/zombienet",
    "relaychain": {
        "defaultImage": "parity/polkadot:v1.0.0",
        "defaultCommand": "polkadot",
        "defaultArgs": [],
        "defaultKeystoreKeyTypes": [
            "aura",
            "babe",
            "imon",
            "gran",
            "audi",
            "asgn",
            "para",
            "beef",
            "nmbs",
            "rand",
            "rate"
        ],
        "randomNominatorsCount": 0,
        "maxNominations": 24,
        "nodes": [
            {
                "name": "relay-alice",
                "key": "de8cbceea99f22ad9dbecfa40f595[6](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:6)5d13de356d8da6e9a08[7](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:7)bf61e97152da6f",
                "accounts": {
                    "seed": "//Relay-alice",
                    "mnemonic": "jar return mask hobby exit radar notice mistake hurdle pact empty jewel",
                    "sr_account": {
                        "address": "5DXRPTrtd4gLiuxf2TCHaSY[8](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:8)VoTC2BgSyCxgaJvYqcppu71U",
                        "publicKey": "0x40[9](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:9)c6b6b9a4575af48c5b09dcf46feff0465f4c34868eb993758a2276ab48d7e"
                    },
                    "sr_stash": {
                        "address": "5FHqZ2u9g4kdCUQ35Mc5Tim26k46JfiyyTvk5mnsC4kH5PMN",
                        "publicKey": "0x8eb8cc275f9861d1113bd378bbc44799aa3b381abdcd023db6966d595768a733"
                    },
                    "ed_account": {
                        "address": "5HABcCt5aKZrmuaeiGyXbboWXC1xB7cd8PTvF76qTGLZnxNT",
                        "publicKey": "0xe15acfae740376dd384069a121c4396e385429cded0d8147c7c33963fdd6d9e9"
                    },
                    "ec_account": {
                        "publicKey": "0x02f20fce4c5e20ac128c74af3a6935e49a930bf247fa1e52947150947771944e7e"
                    }
                },
                "command": "polkadot",
                "image": "parity/polkadot:v1.0.0",
                "chain": "rococo-local",
                "validator": true,
                "balance": 2000000000000,
                "args": [],
                "keystoreKeyTypes": [
                    "aura",
                    "babe",
                    "imon",
                    "gran",
                    "audi",
                    "asgn",
                    "para",
                    "beef",
                    "nmbs",
                    "rand",
                    "rate"
                ],
                "env": [
                    {
                        "name": "COLORBT_SHOW_HIDDEN",
                        "value": "1"
                    },
                    {
                        "name": "RUST_BACKTRACE",
                        "value": "FULL"
                    }
                ],
                "bootnodes": [],
                "telemetryUrl": "",
                "telemetry": false,
                "prometheus": true,
                "overrides": [],
                "addToBootnodes": false,
                "zombieRole": "node",
                "imagePullPolicy": "Always",
                "p2pPort": 30333,
                "wsPort": 9944,
                "rpcPort": 9933,
                "prometheusPort": 9615,
                "externalPorts": {
                    "p2pPort": 37913,
                    "wsPort": 39353,
                    "rpcPort": "[10](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:10)001",
                    "prometheusPort": 39695
                },
                "prometheusPrefix": "substrate",
                "group": "relay-alice"
            },
            {
                "name": "relay-bob",
                "key": "dd97bc3b1a154dd49b44aacec3a36d8976f5f8a9fb01bc2d495d13c40efaa7bf",
                "accounts": {
                    "seed": "//Relay-bob",
                    "mnemonic": "viable april demise combine end cover spin birth caution athlete mind genuine",
                    "sr_account": {
                        "address": "5FbZEzLLoVSynFbmhsvft7ooaShpZoj5BhJwQ2fKbxft8yVD",
                        "publicKey": "0x9c3c4e820c34d6de12dc39194749dea8[11](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:11)0e11c958ebb1[12](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:12)8f6a60541d2ad316"
                    },
                    "sr_stash": {
                        "address": "5DWsCTWKTVUC8UL6eaKyHAQNjzvEz3QQdfDFCZXanKtsrydD",
                        "publicKey": "0x40300f28d9ba7779c28a0f60b7f8ad4636bf1dbdf19e20f4ca2c80d53de8f56a"
                    },
                    "ed_account": {
                        "address": "5Hqo2svPREFuoPSQsJVUeUvpccC94REm9AUBFHvmnhksYzHd",
                        "publicKey": "0xff90a271a68394c1a8a2847195125a723530544e3d5d18448f3d16865a3c274f"
                    },
                    "ec_account": {
                        "publicKey": "0x0373a626321[13](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:14)65962d1c8ab7b80c6e1a135b7274893ae2aeae7319917b4eccfac"
                    }
                },
                "command": "polkadot",
                "image": "parity/polkadot:v1.0.0",
                "chain": "rococo-local",
                "validator": true,
                "balance": 2000000000000,
                "args": [],
                "keystoreKeyTypes": [
                    "aura",
                    "babe",
                    "imon",
                    "gran",
                    "audi",
                    "asgn",
                    "para",
                    "beef",
                    "nmbs",
                    "rand",
                    "rate"
                ],
                "env": [
                    {
                        "name": "COLORBT_SHOW_HIDDEN",
                        "value": "1"
                    },
                    {
                        "name": "RUST_BACKTRACE",
                        "value": "FULL"
                    }
                ],
                "bootnodes": [],
                "telemetryUrl": "",
                "telemetry": false,
                "prometheus": true,
                "overrides": [],
                "addToBootnodes": false,
                "zombieRole": "node",
                "imagePullPolicy": "Always",
                "p2pPort": 30333,
                "wsPort": 9944,
                "rpcPort": 9933,
                "prometheusPort": 9615,
                "externalPorts": {
                    "p2pPort": 42815,
                    "wsPort": 39667,
                    "rpcPort": 37587,
                    "prometheusPort": 33455
                },
                "prometheusPrefix": "substrate",
                "group": "relay-bob"
            },
            {
                "name": "relay-charlie",
                "key": "6f8ffe5e11808060665ed772a562e18e7f4836f5a7[14](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:15)d4ffd0cb97a2d034a835",
                "accounts": {
                    "seed": "//Relay-charlie",
                    "mnemonic": "slim ordinary between search off fork price make ostrich chimney onion pond",
                    "sr_account": {
                        "address": "5EU27sLAWTjmETfr9uhpDYYQPvePnA75CybQ9RCkksZtSAcZ",
                        "publicKey": "0x6a40963890253f4bc490a21a74a4a70304ed04174e50a0b82541ea327997ec26"
                    },
                    "sr_stash": {
                        "address": "5FHjK9GMzGp1awDQUAXNoAhBgT5N2fMad8FjB23ZV6pFek2Q",
                        "publicKey": "0x8ea3cb222cff2513bbd4c8aecdc317db5dbfb38c6aaf8bf2663a36bd55903670"
                    },
                    "ed_account": {
                        "address": "5DvDpdNsytpArcrRdhyfEvqBWmjBi6wWdQoAsJHUPDhVwqW2",
                        "publicKey": "0x520020faad3a63d8335117e8191703502dca3e59db5179be[15](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:16)df3283839069ce"
                    },
                    "ec_account": {
                        "publicKey": "0x0347[16](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:17)fde8890ce8544bcb41fdfc2a528e1afae7e4bd7c6b439d4e38b756a41f70"
                    }
                },
                "command": "polkadot",
                "image": "parity/polkadot:v1.0.0",
                "chain": "rococo-local",
                "validator": true,
                "balance": 2000000000000,
                "args": [],
                "keystoreKeyTypes": [
                    "aura",
                    "babe",
                    "imon",
                    "gran",
                    "audi",
                    "asgn",
                    "para",
                    "beef",
                    "nmbs",
                    "rand",
                    "rate"
                ],
                "env": [
                    {
                        "name": "COLORBT_SHOW_HIDDEN",
                        "value": "1"
                    },
                    {
                        "name": "RUST_BACKTRACE",
                        "value": "FULL"
                    }
                ],
                "bootnodes": [],
                "telemetryUrl": "",
                "telemetry": false,
                "prometheus": true,
                "overrides": [],
                "addToBootnodes": false,
                "zombieRole": "node",
                "imagePullPolicy": "Always",
                "p2pPort": 30333,
                "wsPort": 9944,
                "rpcPort": 9933,
                "prometheusPort": 9615,
                "externalPorts": {
                    "p2pPort": 46321,
                    "wsPort": 39375,
                    "rpcPort": 37651,
                    "prometheusPort": 38323
                },
                "prometheusPrefix": "substrate",
                "group": "relay-charlie"
            }
        ],
        "chain": "rococo-local",
        "overrides": [],
        "defaultPrometheusPrefix": "substrate",
        "chainSpecCommand": "polkadot build-spec --chain {{chainName}} --disable-default-bootnode"
    },
    "parachains": [
        {
            "id": 2000,
            "name": "2000",
            "para": "generic",
            "cumulusBased": true,
            "addToGenesis": true,
            "registerPara": true,
            "onboardAsParachain": true,
            "collators": [
                {
                    "name": "provider-alice",
                    "key": "22846f9407a57863718d53aae4c54c38f1ae5e8d19866c24f65afa928688f19d",
                    "accounts": {
                        "seed": "//Provider-alice",
                        "mnemonic": "kind melody shock stadium vacant movie trim shaft possible auto welcome net",
                        "sr_account": {
                            "address": "5D2EpEHfHcHmhELW3Fn46h7hzpVCZrEfyiXEfqwtH3Myh5do",
                            "publicKey": "0x2a5ab6039b[17](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:18)6e9406d[18](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:19)1401f896511b117945b8ec9047ca2b05371611a5b43"
                        },
                        "sr_stash": {
                            "address": "5GdaJAtofju4FkJUKkDwPixGoswweBFKJvpjPjW71uKaNwJW",
                            "publicKey": "0xca0294f8adf4b5cbe93e336a37c638d6c8b5f02c1363b3e2a122d76d6acaa029"
                        },
                        "ed_account": {
                            "address": "5CcBqFgohyEJdxyo4UVUZqW4n2sdneWdkzkEFR4frAt4o2xn",
                            "publicKey": "0x1802c825d52d37a9943200559e2d28da0e7a72a8c27a5a16ac16b3e64f233073"
                        },
                        "ec_account": {
                            "publicKey": "0x0395a55c84abbec89572acb54fabd24b9b3d92f[19](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:20)739f0a170d91e360a94b984ac"
                        }
                    },
                    "validator": true,
                    "image": "kiltprotocol/dip-provider-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a",
                    "command": "node-executable",
                    "keystoreKeyTypes": [
                        "aura",
                        "babe",
                        "imon",
                        "gran",
                        "audi",
                        "asgn",
                        "para",
                        "beef",
                        "nmbs",
                        "rand",
                        "rate"
                    ],
                    "args": [],
                    "chain": "rococo-local",
                    "bootnodes": [],
                    "env": [
                        {
                            "name": "COLORBT_SHOW_HIDDEN",
                            "value": "1"
                        },
                        {
                            "name": "RUST_BACKTRACE",
                            "value": "FULL"
                        }
                    ],
                    "telemetryUrl": "",
                    "prometheus": true,
                    "overrides": [],
                    "zombieRole": "cumulus-collator",
                    "parachainId": [20](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:21)00,
                    "imagePullPolicy": "Always",
                    "p2pPort": 30333,
                    "wsPort": 9944,
                    "rpcPort": 9933,
                    "prometheusPort": 9615,
                    "externalPorts": {
                        "p2pPort": 42727,
                        "wsPort": 42951,
                        "rpcPort": "10011",
                        "prometheusPort": 41385
                    },
                    "prometheusPrefix": "substrate",
                    "group": "provider-alice"
                }
            ],
            "chainSpecCommand": "node-executable build-spec  --disable-default-bootnode",
            "genesisWasmGenerator": "node-executable export-genesis-wasm {{CLIENT_REMOTE_DIR}}/genesis-wasm",
            "genesisStateGenerator": "node-executable export-genesis-state {{CLIENT_REMOTE_DIR}}/genesis-state"
        },
        {
            "id": 2001,
            "name": "2001",
            "para": "generic",
            "cumulusBased": true,
            "addToGenesis": true,
            "registerPara": true,
            "onboardAsParachain": true,
            "collators": [
                {
                    "name": "consumer-alice",
                    "key": "99e5d30e1372a03ae599eaccffb293c52cd65cd2dfbb6dffb96df66c30e4b9a3",
                    "accounts": {
                        "seed": "//Consumer-alice",
                        "mnemonic": "pigeon wisdom olive path supply grant lamp cancel early drink lake focus",
                        "sr_account": {
                            "address": "5Dnr6TGzSiCTnHyMHowhajG6TJZ1haGt1kczMQ6VcZtLjg33",
                            "publicKey": "0x4c60455af0ff23a6ebb269a5e65976738a2376d95edc80d27d858c6f493f7523"
                        },
                        "sr_stash": {
                            "address": "5Fuvu1nkpuqf81QLHFWLcapk8hUTkFLwYsjXQXb3TgvM7oLC",
                            "publicKey": "0xaa3f9f8b0a04325a2aafbe77ef654ae9d0f03064755393907103a8ebc54d[21](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:22)62"
                        },
                        "ed_account": {
                            "address": "5GCeoka9HapFj3oGoogjRaRefXjrJAPgXdQ644644pZmUhDz",
                            "publicKey": "0xb700a0fd1b8ee25f0771898475b29dd13d233f5a73a4a4fc815e92f8798ea378"
                        },
                        "ec_account": {
                            "publicKey": "0x02cfe2d643e934a21957b8ae980ba03180fcd3294d3279150977d06faae32d15db"
                        }
                    },
                    "validator": true,
                    "image": "kiltprotocol/dip-consumer-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a",
                    "command": "node-executable",
                    "keystoreKeyTypes": [
                        "aura",
                        "babe",
                        "imon",
                        "gran",
                        "audi",
                        "asgn",
                        "para",
                        "beef",
                        "nmbs",
                        "rand",
                        "rate"
                    ],
                    "args": [],
                    "chain": "rococo-local",
                    "bootnodes": [],
                    "env": [
                        {
                            "name": "COLORBT_SHOW_HIDDEN",
                            "value": "1"
                        },
                        {
                            "name": "RUST_BACKTRACE",
                            "value": "FULL"
                        }
                    ],
                    "telemetryUrl": "",
                    "prometheus": true,
                    "overrides": [],
                    "zombieRole": "cumulus-collator",
                    "parachainId": 2001,
                    "imagePullPolicy": "Always",
                    "p2pPort": 30333,
                    "wsPort": 9944,
                    "rpcPort": 9933,
                    "prometheusPort": 9615,
                    "externalPorts": {
                        "p2pPort": 46185,
                        "wsPort": 36009,
                        "rpcPort": "10021",
                        "prometheusPort": 35291
                    },
                    "prometheusPrefix": "substrate",
                    "group": "consumer-alice"
                }
            ],
            "chainSpecCommand": "node-executable build-spec  --disable-default-bootnode",
            "genesisWasmGenerator": "node-executable export-genesis-wasm {{CLIENT_REMOTE_DIR}}/genesis-wasm",
            "genesisStateGenerator": "node-executable export-genesis-state {{CLIENT_REMOTE_DIR}}/genesis-state"
        }
    ],
    "settings": {
        "timeout": 1200,
        "enable_tracing": false,
        "provider": "kubernetes"
    },
    "types": {}
}
2023-12-06T11:38:49.808Z zombie 	 Launching network under namespace: zombie-84665e6673753eca384d2ffab5d2ee1a
╔════════════════════╤════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ 🧟 Zombienet 🧟    │ Initiation                                                                                         ║
╟────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────╢
║ Provider           │ kubernetes                                                                                         ║
╟────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────╢
║ Namespace          │ zombie-84665e6673753eca384d2ffab5d2ee1a                                                            ║
╟────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────╢
║ Temp Dir           │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg                                    ║
╚════════════════════╧════════════════════════════════════════════════════════════════════════════════════════════════════╝
2023-12-06T11:38:51.391Z zombie Cleaner job configured
2023-12-06T11:38:51.391Z zombie Creating static resources (bootnode and backchannel services)
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp                                                                                               │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ parity/polkadot:v1.0.0                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c polkadot --help || echo ""                                                                 │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-1                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-provider-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable --help || echo ""                                                          │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-2                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-consumer-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable --help || echo ""                                                          │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-2                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp                                                                                               │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-1                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-3                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ parity/polkadot:v1.0.0                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c polkadot build-spec --chain rococo-local --disable-default-bootnode > /cfg/ro              │
│                         │ coco-local-plain.json && echo done > /tmp/zombie-tmp-done && until [ -f /tmp/finished.txt          │
│                         │ ]; do echo waiting for copy files to finish; sleep 1; done; echo copy files has finished[39m          │
│                         │ 0m                                                                                                 │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-3                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-4                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-provider-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable build-spec  --disable-default-bootnode > /cfg/undefined-plain              │
│                         │ .json && echo done > /tmp/zombie-tmp-done && until [ -f /tmp/finished.txt ]; do echo waiti         │
│                         │ ng for copy files to finish; sleep 1; done; echo copy files has finished                           │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-5                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-consumer-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable build-spec  --disable-default-bootnode > /cfg/undefined-plain              │
│                         │ .json && echo done > /tmp/zombie-tmp-done && until [ -f /tmp/finished.txt ]; do echo waiti         │
│                         │ ng for copy files to finish; sleep 1; done; echo copy files has finished                           │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-4                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ 🧹 Starting with a fresh authority set...                                                                              │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌──────────────────────────────┬────────────────────┬──────────────────────────────────────────────────────────────────────┐
│ 👤 Added Genesis Authority   │ provi              │ 5GdaJAtofju4FkJUKkDwPixGoswweBFKJvpjPjW71uKaNwJW                     │
│                              │ der-alice          │                                                                      │
│                              │ [0m                │                                                                      │
└──────────────────────────────┴────────────────────┴──────────────────────────────────────────────────────────────────────┘
┌──────────────────────────────┬────────────────────┬──────────────────────────────────────────────────────────────────────┐
│ 👤 Added CollatorSelection   │ provi              │ 5D2EpEHfHcHmhELW3Fn46h7hzpVCZrEfyiXEfqwtH3Myh5do                     │
│                              │ der-alice          │                                                                      │
│                              │ [0m                │                                                                      │
└──────────────────────────────┴────────────────────┴──────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-6                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-provider-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable build-spec  --disable-default-bootnode --chain /cfg/2000-roco              │
│                         │ co-local-plain.json  --raw > /cfg/2000-rococo-local-raw.json && echo done > /tmp/zombie-tm         │
│                         │ p-done && until [ -f /tmp/finished.txt ]; do echo waiting for copy files to finish; sleep          │
│                         │ 1; done; echo copy files has finished                                                              │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-5                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ 🧹 Starting with a fresh authority set...                                                                              │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌──────────────────────────────┬────────────────────┬──────────────────────────────────────────────────────────────────────┐
│ 👤 Added Genesis Authority   │ consu              │ 5Fuvu1nkpuqf81QLHFWLcapk8hUTkFLwYsjXQXb3TgvM7oLC                     │
│                              │ mer-alice          │                                                                      │
│                              │ [0m                │                                                                      │
└──────────────────────────────┴────────────────────┴──────────────────────────────────────────────────────────────────────┘
┌──────────────────────────────┬────────────────────┬──────────────────────────────────────────────────────────────────────┐
│ 👤 Added CollatorSelection   │ consu              │ 5Dnr6TGzSiCTnHyMHowhajG6TJZ1haGt1kczMQ6VcZtLjg33                     │
│                              │ mer-alice          │                                                                      │
│                              │ [0m                │                                                                      │
└──────────────────────────────┴────────────────────┴──────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-7                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-consumer-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable build-spec  --disable-default-bootnode --chain /cfg/2001-roco              │
│                         │ co-local-plain.json  --raw > /cfg/2001-rococo-local-raw.json && echo done > /tmp/zombie-tm         │
│                         │ p-done && until [ -f /tmp/finished.txt ]; do echo waiting for copy files to finish; sleep          │
│                         │ 1; done; echo copy files has finished                                                              │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/2000-rococo-local-plain.json       │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ 4a348cb9731c7c2edde95a7338df9d75931682ef329265bd07a1b18d73dbe66f                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/2001-rococo-local-plain.json       │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ a7b8916490b977b4a432a436387741b7bc2f0a840ef0b5a91893e6ab385dcc61                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-6                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-collator                                                                                      │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-provider-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable export-genesis-state --chain /cfg/2000-rococo-local.json /cfg              │
│                         │ /genesis-state-2000 && node-executable export-genesis-wasm --chain /cfg/2000-rococo-local.         │
│                         │ json /cfg/genesis-wasm-2000 && until [ -f /tmp/finished.txt ]; do /cfg/coreutils echo "wai         │
│                         │ ting for copy files to finish"; /cfg/coreutils sleep 1; done; /cfg/coreutils echo "copy fi         │
│                         │ les has finished"                                                                                  │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-7                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-collator-1                                                                                    │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ kiltprotocol/dip-consumer-node-template:dev-release-f4e8bbfe2a0fb6d5be8fe2172ee8eb868e72716a       │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c node-executable export-genesis-state --chain /cfg/2001-rococo-local.json /cfg              │
│                         │ /genesis-state-2001 && node-executable export-genesis-wasm --chain /cfg/2001-rococo-local.         │
│                         │ json /cfg/genesis-wasm-2001 && until [ -f /tmp/finished.txt ]; do /cfg/coreutils echo "wai         │
│                         │ ting for copy files to finish"; /cfg/coreutils sleep 1; done; /cfg/coreutils echo "copy fi         │
│                         │ les has finished"                                                                                  │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/2000-rococo-local.json             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ c0dcb02d09b4d50b7c73c49ff76038e8fbdab8f627afbd2c10166be2e8142dab                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-collator                                                                                      │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/2001-rococo-local.json             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ b086c9435ba81bad87f47c08a5b33cf4f9af38630edf5c5b0487d266bddce3d8                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-collator-1                                                                                    │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ ✓ Added Genesis Parachain 2000                                                                                         ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ ✓ Added Genesis Parachain 2001                                                                                         ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ 🧹 Starting with a fresh authority set...                                                                              │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ 👤 Added Balance 2000000000000 for relay-alice - 5FHqZ2u9g4kdCUQ35Mc5Tim26k46JfiyyTvk5mnsC4kH5PMN                      ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ 👤 Added Balance 2000000000000 for relay-bob - 5DWsCTWKTVUC8UL6eaKyHAQNjzvEz3QQdfDFCZXanKtsrydD                        ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ 👤 Added Balance 2000000000000 for relay-charlie - 5FHjK9GMzGp1awDQUAXNoAhBgT5N2fMad8FjB23ZV6pFek2Q                    ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
┌──────────────────────────────┬────────────────────┬──────────────────────────────────────────────────────────────────────┐
│ 👤 Added Genesis Authority   │ relay              │ 5FHqZ2u9g4kdCUQ35Mc5Tim26k46JfiyyTvk5mnsC4kH5PMN                     │
│                              │ -alice             │                                                                      │
│                              │                    │                                                                      │
└──────────────────────────────┴────────────────────┴──────────────────────────────────────────────────────────────────────┘
┌──────────────────────────────┬────────────────────┬──────────────────────────────────────────────────────────────────────┐
│ 👤 Added Genesis Authority   │ relay-bob          │ 5DWsCTWKTVUC8UL6eaKyHAQNjzvEz3QQdfDFCZXanKtsrydD                     │
└──────────────────────────────┴────────────────────┴──────────────────────────────────────────────────────────────────────┘
┌──────────────────────────────┬────────────────────┬──────────────────────────────────────────────────────────────────────┐
│ 👤 Added Genesis Authority   │ relay              │ 5FHjK9GMzGp1awDQUAXNoAhBgT5N2fMad8FjB23ZV6pFek2Q                     │
│                              │ -charlie[39m          │                                                                      │
│                              │ 0m                 │                                                                      │
└──────────────────────────────┴────────────────────┴──────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ temp-8                                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ parity/polkadot:v1.0.0                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ bash -c polkadot build-spec --chain /cfg/rococo-local-plain.json --disable-default-bo              │
│                         │ otnode  --raw > /cfg/rococo-local-raw.json && echo done > /tmp/zombie-tmp-done && until [          │
│                         │ -f /tmp/finished.txt ]; do echo waiting for copy files to finish; sleep 1; done; echo copy         │
│                         │  files has finished                                                                                │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/rococo-local-plain.json            │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ 88e5a57d15a0e8125a45fbacf1c2d307ef10ba38e0ee12f42e684faf3d61a94e                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ temp-8                                                                                             │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
2023-12-06T11:40:27.781Z zombie Chain name: Rococo Local Testnet
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ Chain name: Rococo Local Testnet                                                                                       ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Rococo Local Testnet ⚙ Clear Boot Nodes                                                                                │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ relay-alice                                                                                        │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ parity/polkadot:v1.0.0                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ /cfg/zombie-wrapper.sh polkadot --chain /cfg/rococo-local.json --name relay-alice --r              │
│                         │ pc-cors all --unsafe-rpc-external --rpc-methods unsafe --no-mdns --node-key de8cbceea99f[22](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:23)         │
│                         │ ad9dbecfa40f59565d13de356d8da6e9a087bf61e97152da6f --no-telemetry --prometheus-external --         │
│                         │ validator --prometheus-port 9615 --rpc-port 9944 --listen-addr /ip4/0.0.0.0/tcp/30333/ws -         │
│                         │ -base-path /data                                                                                   │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/rococo-local.json                  │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ c68b67cc94e9e682e25c0896dbb5b7c3b03e4eefbe438328bb7b39af97602448                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/zombie-wrapper.sh                  │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ 6e69754a378d680fb545812c310d66cd3b87abae83d5f144e77fcd1aa846df34                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ relay-alice                                                                                        │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
╔════════════════════╤════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ Pod                │ relay-alice                                                                                        ║
╟────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────╢
║ Status             │ Running                                                                                            ║
╟────────────────────╧────────────────────────────────────────────────────────────────────────────────────────────────────╢
║ You can follow the logs of the node by running this command:                                                            ║
╚═════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
kubectl logs -f relay-alice -c relay-alice -n zombie-84665e6673753eca384d2ffab5d2ee1a


┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Rococo Local Testnet ⚙ Added Boot Nodes                                                                                │
├────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ /ip4/10.244.0.15/tcp/30333/ws/p2p/12D3KooWRBbykH1kXexgygxYZn1U6LuovMRejzsvQTiFhDbMnDQ2                                 │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Uploading:         │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/rococo-local.json                  │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ as:                │ 0f0262f5[23](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:24)734f869229784dd32937d9a6085d8e68209f816f2baeb4dc48625a                                   │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ relay-bob                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ parity/polkadot:v1.0.0                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ /cfg/zombie-wrapper.sh polkadot --chain /cfg/rococo-local.json --name relay-bob --rpc              │
│                         │ -cors all --unsafe-rpc-external --rpc-methods unsafe --no-mdns --node-key dd97bc3b1a154dd4         │
│                         │ 9b44aacec3a36d8976f5f8a9fb01bc2d495d13c40efaa7bf --no-telemetry --prometheus-external --va         │
│                         │ lidator --bootnodes /ip4/10.[24](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:25)4.0.15/tcp/[30](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:31)[33](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:34)3/ws/p2p/12D3KooWRBbykH1kXexgygxYZn1U6LuovMRe         │
│                         │ jzsvQTiFhDbMnDQ2 --prometheus-port 9615 --rpc-port 9944 --listen-addr /ip4/0.0.0.0/tcp/303         │
│                         │ 33/ws --base-path /data                                                                            │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌─────────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                     │ relay-charlie                                                                                      │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status                  │ Launching                                                                                          │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Image                   │ parity/polkadot:v1.0.0                                                                             │
├─────────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Command                 │ /cfg/zombie-wrapper.sh polkadot --chain /cfg/rococo-local.json --name relay-charlie -              │
│                         │ -rpc-cors all --unsafe-rpc-external --rpc-methods unsafe --no-mdns --node-key 6f8ffe5e1180         │
│                         │ 8060665ed772a562e18e7f4836f5a714d4ffd0cb97a2d0[34](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:35)a8[35](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:36) --no-telemetry --prometheus-external          │
│                         │ --validator --bootnodes /ip4/10.244.0.15/tcp/30333/ws/p2p/12D3KooWRBbykH1kXexgygxYZn1U6Luo         │
│                         │ vMRejzsvQTiFhDbMnDQ2 --prometheus-port 9615 --rpc-port 9944 --listen-addr /ip4/0.0.0.0/tcp         │
│                         │ /30333/ws --base-path /data                                                                        │
└─────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Pod                │ relay-bob                                                                                          │
├────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────┤
│ Status             │ Ready                                                                                              │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
╔════════════════════╤════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ Pod                │ relay-bob                                                                                          ║
╟────────────────────┼────────────────────────────────────────────────────────────────────────────────────────────────────╢
║ Status             │ Running                                                                                            ║
╟────────────────────╧────────────────────────────────────────────────────────────────────────────────────────────────────╢
║ You can follow the logs of the node by running this command:                                                            ║
╚═════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
kubectl logs -f relay-bob -c relay-bob -n zombie-84665e667[37](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:38)53eca[38](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:39)4d2ffab5d2ee1a


Error:  	 Error: Timeout(0) for: waitContainerInState(): pod: relay-charlie, container: transfer-files-container, state: running

undefined
┌────────────────────┬────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Node'              │ /tmp/zombie-84665e6673753eca384d2ffab5d2ee1a_-6530-BlneEyU9cggg/logs                               │
│ s logs:[[39](https://github.com/KILTprotocol/dip-sdk/actions/runs/7113987672/job/19367076758?pr=3#step:10:40)m            │                                                                                                    │
│ m                  │                                                                                                    │
└────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┘
Error: Process completed with exit code 1.

@ntn-x2
Copy link
Author

ntn-x2 commented Dec 6, 2023

Sorry for the long output! Yes, it's a GH action. It seems to get stuck at the same point.

@pepoviola
Copy link
Collaborator

Hey @ntn-x2, sorry about the delay. In my experience GH Actions with k8s/podman doesn't works well, some nodes die or are killed by the oom. Can you use the native provider?

Thx!

@ntn-x2
Copy link
Author

ntn-x2 commented Dec 11, 2023

Hey, will have our DevOps guy take a look at it. Alternatively, we would have to cross-compile binaries instead of Docker images for the native provider to be used. Bit more involved tho.

@mrcnski mrcnski mentioned this issue Dec 11, 2023
Closed
@ntn-x2
Copy link
Author

ntn-x2 commented Dec 12, 2023

@pepoviola what is strange is that without the IN_CONTAINER flag, the whole setup is started, and only the metrics error is blocking the network from being 100% up, so very close. With the flag set, it hangs much earlier when spinning up the relaychain containers. Hence I think there might be a way to make the setup work by tweaking something in the metrics? Like all the containers are up, just the metrics monitoring is convincing the orchestrator the network is not running.

@ntn-x2
Copy link
Author

ntn-x2 commented Dec 12, 2023

Also when properly enabling logs (adding the * at the end of DEBUG=zombie 😋), the job seems to hang as well, so it is probably something related to how much "noise" the process produces. Although I can't see how simply set the container flag causes that to happen.

@pepoviola
Copy link
Collaborator

Hi @ntn-x2, sorry about the delay. Is this still an issue? I will close here and please re-open of needed.

Thanks!!

@pepoviola pepoviola closed this as not planned Won't fix, can't repro, duplicate, stale Apr 10, 2024
@ntn-x2
Copy link
Author

ntn-x2 commented Apr 11, 2024

Hey @pepoviola, to be honest the problem did not go away (I used up to zombienet v1.3.85), and it got so frustrating that we decided to move to Chopsticks. If we happen to use Zombienet again, I will open a new issue in case I stumble into any problems. Thanks a lot!

@pepoviola
Copy link
Collaborator

Hi @ntn-x2, again sorry about the delay and lack of solution. Please ping me if you consider moving to zombienet again and I we can revisit this and fix it for you and other teams.

Thanks for your feedback!

@ntn-x2 ntn-x2 mentioned this issue May 2, 2024
Closed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@pepoviola @ntn-x2