数据集处理-数据集转换格式
数据为王，而合适的数据格式也非常重要
labelMe的标注数据集格式
ImageNet coco kitti apollo
数据集处理
1.将自己的数据集转化为COCO数据集的格式-COCO的 全称是Common Objects in COntext
2.将自己的数据集--自定义dataset 和dataloader--然后训练
制作训练和验证数据的.txt文件
自定义Dataset，继承Dataset, 重写抽象方法：__init__, __len()__, __getitem()__
coco数据集
Dataset之COCO数据集--
1.各个类型包含了训练和验证-文件夹格式-目标检测为例
01.图片数据
data/coco/images/train2017
data/coco/images/val2017
02.标注数据
/data/coco/annotations
instances_train2017.json
instances_val2017.json
2.coco数据集的格式
MS COCO数据集是微软构建的一个大规模图像数据集，包含目标检测、像素分割及看图说话等任务数据
object instances（目标实例）,
object keypoints（目标上的关键点）,
image captions（看图说话）
该数据集的标注信息主要存放为JSON格式，
info、licenses、images这三个结构体/类型 在不同的JSON文件中这三个类型是一样的，定义是共享的。
annotation和category这两种结构体，他们在不同类型的JSON文件中是不一样，不共享。
注释类型包含五大类，
分别为目标检测、关键点检测、素材分割、全景分割及看图说话，
其中五大注释类型共用基础数据结构
{
"info" : info, # 数据集描述信息
"images" : [image], # 图像字典段列表信息
"annotations" : [annotation], # 注释类型字典段列表
"categories" : [category], # 注释类型字典段列表
"licenses" : [license], # 许可协议字典段列表
}
info{
"year" : int, # 年份
"version" : str, # 版本
"description" : str, # 详细描述信息
"contributor" : str, # 作者
"url" : str, # 协议链接
"date_created" : datetime, # 生成日期
}
image{
"id" : int, # 图像id，可从0开始
"width" : int, # 图像的宽
"height" : int, # 图像的高
"file_name" : str, # 文件名
"license" : int, # 遵循哪个协议
"flickr_url" : str, # flickr图片链接url
"coco_url" : str, # COCO图片链接url
"date_captured" : datetime, # 获取数据的日期
}
license{
"id" : int, # 协议id编号
"name" : str, # 协议名
"url" : str, # 协议链接
}
按照不同的任务
01.目标检测和素材分割任务中，annotation和categories字典段的形式如下
annotation{
"id" : int, # 注释id编号
"image_id" : int, # 图像id编号
"category_id" : int, # 类别id编号
"segmentation" : RLE or [polygon], # 分割具体数据
"area" : float, # 目标检测的区域大小
"bbox" : [x,y,width,height], # 目标检测框的坐标详细位置信息
"iscrowd" : 0 or 1, # 目标是否被遮盖，默认为0
}
categories[{
"id" : int, # 类别id编号
"name" : str, # 类别名字
"supercategory" : str, # 类别所属的大类，如哈巴狗和狐狸犬都属于犬科这个大类
}]
02.关键点检测任务中，annotation和categories字典段的形式如下：
annotation{
"keypoints" : [x1,y1,v1,...], # 关键点坐标，其中V字段表示关键点属性，0表示未标注，1表示已标注但不可见，2表示已标注且可见
"num_keypoints" : int, # 多少个关键点
"[cloned]" : ..., # 当同时存在多个任务时其他任务格式的annotation字典段信息直接放在这个位置，不分先后组合
}
categories[{
"keypoints" : [str], # 关键点名字，注意要与num_keypoints对应起来
"skeleton" : [edge], # 概略描述
"[cloned]" : ..., # 当同时存在多个任务时其他任务格式的categories字典段信息直接放在这个位置，不分先后组合
}]
03.分割任务中，annotation和categories字典段的形式如下：
annotation{
"image_id" : int, # 图像id编号
"file_name" : str, # 文件名
"segments_info" : [segment_info], # 分割数据字典段列表
}
segment_info{
"id" : int, # 分割id编号
"category_id" : int, # 类别id编号
"area" : int, # 分割区域面积大小
"bbox" : [x,y,width,height], # 检测框的坐标详细位置信息
"iscrowd" : 0 or 1, # 该实例是否被遮挡
}
categories[{
"id" : int, # 类别id编号
"name" : str, # 类别名
"supercategory" : str, # 该类别所属的大类
"isthing" : 0 or 1, # 是否为物体
"color" : [R,G,B], # 分割标示的像素颜色
}]
annotations字段是包含多个annotation实例的一个数组，
annotation类型本身又包含了一系列的字段，
如这个目标的category id和segmentation mask。
segmentation格式取决于这个实例是一个单个的对象（即iscrowd=0，将使用polygons格式）还是一组对象（即iscrowd=1，将使用RLE格式）
3.支持的标注
COCO 支持两种类型的标注，其格式取决于标注的是单个物体 还是密集物体.
单个物体的标注是沿着物体边界的点列表进行编码的.
密集物体的标注是采用column-major RLE 进行标注的. RLE：Run Length Encoding（行程长度压缩算法）-把RLE格式的文件转变为图像格式
iscrowd=0 那么segmentation就是polygon格式
iscrowd=1 那么segmentation就是RLE格式
定制的数据格式说明
原有的数据标签形式如下：
文件名 标注框 关键点 类别
转换步骤和代码
01.转换的数据集方式
数据放置方式
02.转换的步骤
脚本一开始先将info、licenses及categories进行定义，
遍历图像信息将其转换为对应的coco格式，最终生成相应的json文件
03.转换的代码
04.数据集可视化
05.数据集使用
代码示例-转换代码
#!/usr/bin/env python3
# -*- coding: UTF-8 -*-
import os
import os.path
import json
import pyhdfs
import cv2
import numpy as np
def copy_2_local_multi_dir(stat_file_nm,local_dir):
""" 根据标注文件内容-下载数据到本地 """
client = pyhdfs.HdfsClient(hosts="1.1.1.1",user_name="1")
if not os.path.exists(local_dir):
os.makedirs(local_dir)
print("创建",local_dir)
with open(file=stat_file_nm,mode='r',encoding="utf8") as f:
for file_num, data in enumerate(f):
strdict = json.loads(data)
hdfs_src_img = strdict.get("pict_nm")
img_file_nm = hdfs_src_img.strip().replace("\r","").replace("\n","").split("/")[-1]
local_src_jpg = os.path.join(local_dir,img_file_nm)
if client.exists(hdfs_src_img) and not os.path.exists(local_src_jpg):
print((file_num,hdfs_src_img, local_src_jpg))
client.copy_to_local(hdfs_src_img, local_src_jpg)
print(local_src_jpg)
#def gene_coco_format(orig_anno_json,dest_dir_path,dest_json):
def gene_coco_format():
orig_anno_json = r"F:\dataset\origin\test_2017_data.json"
dest_dir_path = r"F:\dataset\coco\annotations"
dest_json ="train2021"
local_img_dir = r"F:\dataset\coco\images\train2021"
coco_dataset = {'info':[], 'images':[], 'annotations':[], 'categories':[], 'licenses':[]}
if not os.path.exists(dest_dir_path):
os.makedirs(dest_dir_path)
print("创建",dest_dir_path)
classname_to_id = {"person": 1}
coco_dataset['info'] = 'coco_created'
coco_dataset['licenses'] = ['mylicense']
with open(file=orig_anno_file,mode='r',encoding="utf8") as f:
for f_num, data in enumerate(f):
strdict = json.loads(data)
hdfs_src_img = strdict.get("pict_nm")
img_file_nm = hdfs_src_img.strip().replace("\r","").replace("\n","").split("/")[-1]
local_src_jpg = os.path.join(local_img_dir,img_file_nm)
# 构建COCO的image字段
coco_dataset["images"].append(
{
"id" : f_num, # 图像id，可从0开始
"width" : 90, # 图像的宽
"height" : 180, # 图像的高
"file_name" : local_src_jpg, # 文件名
"license" : None, # 遵循哪个协议
"flickr_url" : None, # flickr图片链接url
"coco_url" : None, # COCO图片链接url
"date_captured" : "2017/05/21", # 获取数据的日期
}
)
mark_info = strdict.get("oriAn").get("res")
for mark_num,elem in enumerate(mark_info[0].get("elems")):
print(f_num,mark_num,elem)
print(elem.get("markType"))
if elem.get("markType")=="rect":
print(elem.get('attribute').get("type"))
coco_dataset["annotations"].append(
{
"id" : mark_num, # 注释id编号
"image_id" : f_num, # 图像id编号
"category_id" : 1, # 类别id编号
"segmentation" : elem.get('points'), # 分割具体数据
"area" : 1, # 目标检测的区域大小
"bbox" : [elem.get('X'),elem.get('Y'),elem.get('W'),elem.get('H')], # 目标检测框的坐标详细位置信息
"iscrowd" : 0 , # 目标是否被遮盖，默认为0
})
coco_dataset["categories"].append( {
"id" : f_num, # 图像id，可从0开始
"name" : "person",
"supercategory" : "mark"
})
print(coco_dataset)
return coco_dataset
def save_coco_json( instance, save_path):
json.dump(instance, open(save_path, 'w', encoding='utf-8'), ensure_ascii=False, indent=1)
# COCO的格式： [x1,y1,w,h] 对应COCO的bbox格式
def get_box(points):
min_x = min_y = np.inf
max_x = max_y = 0
for x, y in points:
min_x = min(min_x, x)
min_y = min(min_y, y)
max_x = max(max_x, x)
max_y = max(max_y, y)
return [min_x, min_y, max_x - min_x, max_y - min_y]
if __name__ == "__main__":
# 原始的json标注文件
orig_anno_file = r"F:\dataset\origin\test_2017_data.json"
local_dir_path = r"F:\dataset\coco\images\train2021"
#1.将图片copy到对应文件夹
#copy_2_local_multi_dir(orig_anno_file,local_dir_path)
# 生成coco的标注数据集
instance_info = gene_coco_format()
json_save_path = r"F:\dataset\coco\annotations\new_coco_data.json"
save_coco_json(instance_info,json_save_path)
类的方式
参考github上的代码 prepare_detection_dataset/labelme2coco.py 进行改写
import json
import os
import os.path
import numpy as np
#构建类别-名称对应的ID以及大类
classname_to_id = {"person": [1,"person"],"cyc":[2,"cyc"],"vertical":[3,"myareaobj"]}
class Lable2CoCo:
def __init__(self):
self.images = []
self.annotations = []
self.categories = []
self.img_id = 0
self.ann_id = 0
def save_coco_json(self, instance, save_path):
json.dump(instance, open(save_path, 'w', encoding='utf-8'), ensure_ascii=False, indent=1) # indent=2 更加美观显示
# 由json文件构建COCO
def to_coco(self, json_path):
self._init_categories()
with open(file=json_path,mode='r',encoding="utf8") as f:
for f_num, data in enumerate(f):
obj = json.loads(data)
print("Deal image ",f_num)
self.images.append(self._image(obj))
if "myareaobj" in obj:
shapes = obj["myareaobj"]
for shape in shapes:
annotation = self._annotation(shape)
self.annotations.append(annotation)
self.ann_id += 1
self.img_id += 1
instance = {}
instance['info'] = 'my created'
instance['license'] = ['license']
instance['images'] = self.images
instance['annotations'] = self.annotations
instance['categories'] = self.categories
return instance
# 构建类别
def _init_categories(self):
for k, v in classname_to_id.items():
category = {}
category['supercategory'] = v[1]
category['id'] = v[0]
category['name'] = k
self.categories.append(category)
# 构建COCO的image字段
def _image(self, obj):
image = {}
image['height'] =obj["height"]
image['width'] = obj["width"]
image['id'] = self.img_id
image['file_name'] = obj["pict_id"]
return image
# 构建COCO的annotation字段
def _annotation(self, shape):
label = shape['ats']['fly']
points = shape["pointsdata"]
annotation = {}
annotation['id'] = self.ann_id
annotation['image_id'] = self.img_id
annotation['category_id'] = int(classname_to_id[label][0])
# annotation['segmentation'] = [np.asarray(points).flatten().tolist()]
annotation['segmentation'] = [[0,0]]
#annotation['bbox'] = self._get_box(points)
annotation['bbox'] = points
annotation['iscrowd'] = 0
annotation['area'] = 1.0
return annotation
# COCO的格式： [x1,y1,w,h] 对应COCO的bbox格式
def _get_box(self, points):
min_x = min_y = np.inf
max_x = max_y = 0
for x, y in points:
min_x = min(min_x, x)
min_y = min(min_y, y)
max_x = max(max_x, x)
max_y = max(max_y, y)
return [min_x, min_y, max_x - min_x, max_y - min_y]
if __name__ == '__main__':
saved_coco_path = "F:\data\instances_train2017.json"
train_path = r"F:\data\orgin\orign_data.json"
# 把训练集转化为COCO的json格式
l2c_train = Lable2CoCo()
train_instance = l2c_train.to_coco(train_path)
l2c_train.save_coco_json(train_instance, saved_coco_path)
参考
在目标检测和关键点检测任务中如何将自己的数据集转为coco格式 https://zhuanlan.zhihu.com/p/56881826
COCO 数据集的使用 https://www.cnblogs.com/q735613050/p/8969452.html
prepare_detection_dataset https://github.com/spytensor/prepare_detection_dataset