Mediante la CLI de AWS es posible la eliminación de S3 Buckets completo, incluso si tienen contenido.

Se debe crear un usuario IAM con la siguiente política, o utilizar credenciales root.

Política IAM:

{
    "Statement": [
        {
            "Effect": "Allow",
            "Action": ["s3:*" ],
            "Resource": [ "*"]
        }
    ]
}

Luego, desde un equipo con Amazon Linux en EC2 (u otro con las Tools instaladas):

export AWS_ACCESS_KEY_ID=[AWS_ACCESS_KEY_ID]
export AWS_SECRET_ACCESS_KEY=[AWS_SECRET_ACCESS_KEY]

aws s3 rb s3://[NOMBRE DEL BUCKET] --force