首页 / 博客 / 图片翻译 / 音视频翻译 / 支持 / 捐助 / 订阅
ImageTrans是如何优化处理速度与AI模型的
ImageTrans的体积仅仅为400MB,里面包含了支持上百种语言的PaddleOCR、专门的日语漫画OCR、支持颜色识别的mit48px_ctc OCR模型、YOLO文字/气泡检测模型,还有图像修复模型Lama Inpaint。无需GPU,支持充分利用CPU进行处理,翻译一张图通常在10秒以内。
下面是一些优化方法。
模型量化
像manga-ocr模型,原版的FP32版有400MB,量化为int8版,就只需100MB左右,而且识别性能基本没有损失。
Lama inpaint和mit48px ctc都是用了量化的版本。
分拆Transformer模型
manga-ocr为Transformer模型,拆分为encoder和decoder版,可以重复利用encoder输出的结果,提升处理性能。
多进程
处理很多图片时,可以使用多个进程,充分利用CPU。
GPU/NPU加速
如果设备有GPU和NPU,也可以用来加速计算。
苹果设备上转换模型为mlx或者coreml版本,处理速度非常快。ImageTrans提供了Lama Inpaint的coreml版本和PPDocLayout v3的mlx版本。也支持是用Pytorch,开启mps,使用metal去加速OCR。
Windows设备上,如果有Nvidia的显卡,也可以使用Pytorch版本的OCR和Lama inpaint去调用。
性能测试
下面在铭凡760plus (AMD r5 7640hs)上翻译各种图片的测试结果。
黑白日漫
原图:

译图:

处理时间:
{
"workflows": [
{
"duration_ms": 4323,
"start_time": "08\/31\/2026 20:58:58",
"name": "default",
"steps": [
{
"duration_ms": 2344,
"action": "文字检测"
},
{
"duration_ms": 39,
"action": "合并区域"
},
{
"duration_ms": 14,
"action": "排序"
},
{
"duration_ms": 1437,
"action": "翻译"
},
{
"duration_ms": 489,
"action": "生成成品图"
}
]
}
]
}
彩色CG
原图:

译图:

处理时间:
{
"workflows": [
{
"duration_ms": 8703,
"start_time": "08\/31\/2026 20:48:47",
"name": "default",
"steps": [
{
"duration_ms": 236,
"action": "文字检测"
},
{
"duration_ms": 1575,
"action": "生成所有图片的掩膜和去文字图片"
},
{
"duration_ms": 16,
"action": "缩小区域"
},
{
"duration_ms": 3815,
"action": "文字识别"
},
{
"duration_ms": 1,
"action": "根据文字颜色深浅设置描边颜色"
},
{
"duration_ms": 72,
"action": "根据描边颜色匹配样式"
},
{
"duration_ms": 55,
"action": "合并区域"
},
{
"duration_ms": 22,
"action": "排序"
},
{
"duration_ms": 1759,
"action": "翻译"
},
{
"duration_ms": 1152,
"action": "生成成品图"
}
]
}
]
}
中文漫画
原图:

译图:

处理时间:
{
"workflows": [
{
"duration_ms": 3298,
"start_time": "08\/31\/2026 21:05:34",
"name": "default",
"steps": [
{
"duration_ms": 1024,
"action": "文字检测"
},
{
"duration_ms": 0,
"action": "去除所有图片的无原文区域"
},
{
"duration_ms": 55,
"action": "合并区域"
},
{
"duration_ms": 14,
"action": "排序"
},
{
"duration_ms": 1736,
"action": "翻译"
},
{
"duration_ms": 468,
"action": "生成成品图"
}
]
}
]
}
© 2026 BasicCAT ― Powered by Jekyll and Textlog theme