一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式

admin

一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式
主要功能

• 删除页眉、页脚、脚注、页码等元素，保持语义连贯
• 对多栏输出符合人类阅读顺序的文本
• 保留原文档的结构，包括标题、段落、列表等
• 提取图像、图片标题、表格、表格标题
• 自动识别文档中的公式并将公式转换成latex
• 自动识别文档中的表格并将表格转换成latex
• 乱码PDF自动检测并启用OCR
• 支持CPU和GPU环境
• 支持windows/linux/mac平台
  

安装前必看——软硬件环境支持说明

为了确保项目的稳定性和可靠性，我们在开发过程中仅对特定的软硬件环境进行优化和测试。这样当用户在推荐的系统配置上部署和运行项目时，能够获得最佳的性能表现和最少的兼容性问题。

通过集中资源和精力于主线环境，我们团队能够更高效地解决潜在的BUG，及时开发新功能。

在非主线环境中，由于硬件、软件配置的多样性，以及第三方依赖项的兼容性问题，我们无法100%保证项目的完全可用性。因此，对于希望在非推荐环境中使用本项目的用户，我们建议先仔细阅读文档以及FAQ，大多数问题已经在FAQ中有对应的解决方案，除此之外我们鼓励社区反馈问题，以便我们能够逐步扩大支持范围。

操作系统
			Ubuntu 22.04 LTS	Windows 10 / 11	macOS 11+
CPU			x86_64	x86_64	x86_64 / arm64
内存			大于等于16GB，推荐32G以上
python版本			3.10
Nvidia Driver 版本			latest(专有驱动)	latest	None
CUDA环境			自动安装[12.1(pytorch)+11.8(paddle)]	11.8(手动安装)+cuDNN v8.7.0(手动安装)	None
GPU硬件支持列表	最低要求 8G+显存		3060ti/3070/3080/3080ti/4060/4070/4070ti 8G显存仅可开启lavout和公式识别加速		None
	推荐配置 16G+显存		3090/3090ti/4070tisuper/4080/4090 16G及以上可以同时开启layout，公式识别和ocr加速 24G及以上可以同时开启layout，公式识别，ocr加速和表格识别

使用CPU快速体验1. 安装（附件中下载源码）

2. 下载模型权重文件
详细参考附件源码中的/blob/master/docs/how_to_download_models_zh_cn.md

模型下载后请务必检查模型文件是否下载完整

请检查目录下的模型文件大小与网页上描述是否一致，如果可以的话，最好通过sha256校验模型是否下载完整

3. 拷贝配置文件并进行配置
在仓库根目录可以获得 magic-pdf.template.json 配置模版文件

务必执行以下命令将配置文件拷贝到【用户目录】下，否则程序将无法运行

windows的用户目录为 "C:\Users\用户名", linux用户目录为 "/home/用户名", macOS用户目录为 "/Users/用户名"

1. cp magic-pdf.template.json ~/magic-pdf.json

复制代码

在用户目录中找到magic-pdf.json文件并配置"models-dir"为2. 下载模型权重文件中下载的模型权重文件所在目录

务必正确配置模型权重文件所在目录的【绝对路径】，否则会因为找不到模型文件而导致程序无法运行

windows系统中此路径应包含盘符，且需把路径中所有的"\"替换为"/",否则会因为转义原因导致json文件语法错误。

例如：模型放在D盘根目录的models目录，则model-dir的值应为"D:/models"

1. {
   
2.   // other config
   
3.   "models-dir": "D:/models",
   
4.   "table-config": {
   
5.         "model": "TableMaster", // 使用structEqTable请修改为'struct_eqtable'
   
6.         "is_table_recog_enable": false, // 表格识别功能默认是关闭的，如果需要修改此处的值
   
7.         "max_time": 400
   
8.     }
   
9. }

复制代码

使用GPU

如果您的设备支持CUDA，且满足主线环境中的显卡要求，则可以使用GPU加速，请根据自己的系统选择适合的教程：

Ubuntu22.04LTS + GPU：/blob/master/docs/README_Ubuntu_CUDA_Acceleration_zh_CN.md

Windows10/11 + GPU：/blob/master/docs/README_Windows_CUDA_Acceleration_zh_CN.md

使用Docker快速部署：

Docker 需设备gpu显存大于等于16GB，默认开启所有加速功能

运行本docker前可以通过以下命令检测自己的设备是否支持在docker上使用CUDA加速

1. docker run --rm --gpus=all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi

复制代码

1. wget raw/master/Dockerfile
   
2. docker build -t mineru:latest .
   
3. docker run --rm -it --gpus=all mineru:latest /bin/bash
   
4. magic-pdf --help

复制代码

使用命令行

1. magic-pdf --help
   
2. Usage: magic-pdf [OPTIONS]
   
3. 
   
4. Options:
   
5.   -v, --version                display the version and exit
   
6.   -p, --path PATH              local pdf filepath or directory  [required]
   
7.   -o, --output-dir TEXT        output local directory
   
8.   -m, --method [ocr|txt|auto]  the method for parsing pdf.
   
9.                                ocr: using ocr technique to extract information from pdf,
   
10.                                txt: suitable for the text-based pdf only and outperform ocr,
    
11.                                auto: automatically choose the best method for parsing pdf
    
12.                                   from ocr and txt.
    
13.                                without method specified, auto will be used by default.
    
14.   --help                       Show this message and exit.
    
15. 
    
16. 
    
17. ## show version
    
18. magic-pdf -v
    
19. 
    
20. ## command line example
    
21. magic-pdf -p {some_pdf} -o {some_output_dir} -m auto

复制代码

其中 {some_pdf} 可以是单个pdf文件，也可以是一个包含多个pdf文件的目录。 运行完命令后输出的结果会保存在{some_output_dir}目录下, 输出的文件列表如下

1. ├── some_pdf.md                          # markdown 文件
   
2. ├── images                               # 存放图片目录
   
3. ├── some_pdf_layout.pdf                  # layout 绘图
   
4. ├── some_pdf_middle.json                 # minerU 中间处理结果
   
5. ├── some_pdf_model.json                  # 模型推理结果
   
6. ├── some_pdf_origin.pdf                  # 原 pdf 文件
   
7. └── some_pdf_spans.pdf                   # 最小粒度的bbox位置信息绘图

复制代码

API

处理本地磁盘上的文件

1. image_writer = DiskReaderWriter(local_image_dir)
   
2. image_dir = str(os.path.basename(local_image_dir))
   
3. jso_useful_key = {"_pdf_type": "", "model_list": []}
   
4. pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)
   
5. pipe.pipe_classify()
   
6. pipe.pipe_analyze()
   
7. pipe.pipe_parse()
   
8. md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

复制代码

处理对象存储上的文件

1. s3pdf_cli = S3ReaderWriter(pdf_ak, pdf_sk, pdf_endpoint)
   
2. image_dir = "s3://img_bucket/"
   
3. s3image_cli = S3ReaderWriter(img_ak, img_sk, img_endpoint, parent_path=image_dir)
   
4. pdf_bytes = s3pdf_cli.read(s3_pdf_path, mode=s3pdf_cli.MODE_BIN)
   
5. jso_useful_key = {"_pdf_type": "", "model_list": []}
   
6. pipe = UNIPipe(pdf_bytes, jso_useful_key, s3image_cli)
   
7. pipe.pipe_classify()
   
8. pipe.pipe_analyze()
   
9. pipe.pipe_parse()
   
10. md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

复制代码

详细实现可参考

demo.py 最简单的处理方式

magic_pdf_parse_main.py 能够更清晰看到处理流程

游客，本帖隐藏的内容需要积分高于 2 才可浏览，您当前积分为 0

提取码下载：

文件名称:提取码下载.txt 
下载次数:0  文件大小:13 Bytes  售价:59金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员5折；永久VIP免费】

安全检测，请放心下载