[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

; t) w' v# a% A  U! {抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
import os
import imagehash
4 [' G( n; K5 U: B+ n2 ?from PIL import Image

def compute_image_hash(image_path):
    # image = Image.open(image_path)
  q- U, y! M% ^# Y( z    # return imagehash.average_hash(image)
    try:
        with Image.open(image_path) as image:
            return imagehash.average_hash(image)
% F' j$ Q- `; A0 g& v4 `% v" [. G    except (OSError, IOError) as e:
        print(f"处理图像 {image_path} 时出错: {e}")
        return None
3 w2 K" y$ \0 `. `: \4 S
, n4 }1 h" u* x+ P6 Sdef remove_duplicates(image_folder):
% H$ P' W2 [" o6 Z7 h    hash_dict = {}
    duplicates = []
0 J( i+ K& y+ G/ y7 A! X
& G$ W1 ]% U; l5 w1 v( T' b9 J    for filename in os.listdir(image_folder):
9 w9 G. g7 L) \. L' {3 m        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
4 ]7 ]. `' d# p6 r            image_path = image_folder + "\\" + filename
            image_hash = compute_image_hash(image_path)

/ Y! a4 \0 O6 A/ P' R# `            if image_hash in hash_dict:
. q% S3 w$ p8 ?4 E, f& D                duplicates.append(image_path)
" H& q/ K& c; a2 L3 r2 c            else:
3 H  U+ ]1 b6 g. a2 [; U                hash_dict[image_hash] = image_path
        else:
            pass
! w% w" \; |- f0 Q- _
    for duplicate in duplicates:
$ {+ T5 y5 P( G, ?+ K8 e+ B( Z( H        os.remove(duplicate)
7 u6 }2 r9 D# U* o, M9 E        print(f"Removed duplicate image: {duplicate}")
9 ]1 m) \1 w. v( p$ t" z9 o: n5 h
1 U% G3 L2 h  C- b    print("Duplicate removal complete.")

# q0 {3 S" i8 L/ D6 l9 aimage_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
remove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

) u) r$ `( @2 C一眼ai
% j' s% `2 z1 j4 ^8 R' K' ]$ b