PDF文件结构（一）



------
这里格式比较乱，有兴趣可以去我的博客看
PDF文件结构（一）http://blog.csdn.net/bobob/archive/2009/07/07/4328426.aspx
PDF文件结构（二）http://blog.csdn.net/bobob/archive/2009/07/07/4328450.aspx


PDF文件结构（一）
  ————物理结构
作者：bobob
邮件：zxbbobob@hotmail.com

  PDF(Portable Document Format,便携式文档结构)是一种很有用的文件格式,其最大的特点是平台无关而且功能强大(支持文字\图象\表单\链接\音乐\视频等).做PDF的解析，首先要熟悉PDF文件的物理结构和逻辑结构。PDF文件物理结构可分为以下几块:  
1.文件头  
  文件头是PDF文件的第一行,格式如下:  
 
%PDF-1.4
 
这是个固定格式，表示这个PDF文件遵循的PDF规范版本，目前PDF的生成工具，除了官方的acrobat，其他生成的以1.4版本的居多。对于做PDF开发来说，一个最简单的原则就是生成PDF的时候尽量符合低版本规范，以保证大多数解析器能支持；解析PDF的时候尽量支持高版本的规范，以保证支持大多数工具生成的PDF文件。
从1.4版本以后，PDF文件的版本并不唯一的只是在这里表示了，可能后面会改写（catalog的Version词条），所以解析PDF的时候，如果这里的版本大于等于1.4，应该再比较一下catalog里面的version，取其中高一点的版本。

2.对象集合 
  这是一个PDF文件最重要的部分，文件中用到的所有对象,包括文本\图象\音乐\视频\字体\超连接\加密信息\文档结构信息等等,都在这里定义。格式如下:  

2 0 obj  
  ...  
  end obj  

一个对象的定义包含4个部分：
前面的2是对象序号，其用来唯一标记一个对象；0是生成号，按照PDF规范，如果一个PDF文件被修改，那这个数字是累加的，它和对象序号一起标记是原始对象还是修改后的对象，但是实际开发中，很少有用这种方式修改PDF的，都是重新编排对象号；obj和endobj是对象的定义范围，可以抽象的理解为这就是一个左括号和右括号；省略号部分是PDF规定的任意合法对象(一共8种，见后面附A)。
可以通过R关键字来引用任何一个对象，比如要引用上面的对象，可以使用2 0 R，需要主意的是，R关键字不仅可以引用一个已经定义的对象，还可以引用一个并不存在的对象，而且效果就和引用了一个空对象一样。
   
3.交叉引用表  
  交叉引用表是PDf文件内部一种特殊的文件组织方式，可以很方便的根据对象号随机访问一个对象。其格式如下:  
   
  xref  
  0 1  
  0000000000 65535 f  
  4 1
0000000009 00000 n  
  8 3
0000000074 00000 n  
  0000000120 00000 n  
  0000000179 00000 n  
   
  其中,xref是开始标志,表示以下为一个交叉引用表的内容;每个交叉引用表又可以分为若干个子段，每个子段的第一行是两个数字，第一个是对象起始号，后面是连续的对象个数，接着每行是这个子段的每个对象的具体信息——每行的前10个数字代表这个这个对象相对文件头的偏移地址,后面的5位数字是生成号（用于标记PDF的更新信息，和对象的生成号作用类似），最后一位f或n表示对象是否被使用(n表示使用,f表示被删除或没有用)。上面这个交叉引用表一共有3个子段，分别有1个，1个，3个对象，第一个子段的对象不可用，其余子段对象可用。
   
4.trailer:  
  通过trailer可以快速的找到交叉引用表的位置，进而可以精确定位每一个对象；还可以通过它本身的字典还可以获取文件的一些全局信息（作者，关键字，标题等），加密信息，等等。具体形式如下:  
  trailer  
  <<  
  key1 value1 
  key2 value2 
  key3 value3
… 
  >>  
  startxref  
  553  
  %%EOF  
   
 trailer后面紧跟一个字典，包含若干键-值对。具体含义如下：
键 值类型 值说明
Size 整形数字 所有间接对象的个数。一个PDF文件，如果被更新过，则会有多个对象集合、交叉引用表、trailer，最后一个trailer的这个字段记录了之前所有对象的个数。这个值必须是直接对象。
Prev 整形数字 当文件有多个对象集合、交叉引用表和trailer时，才会有这个键，它表示前一个相对于文件头的偏移位置。这个值必须是直接对象。
Root 字典 Catalog字典（文件的逻辑入口点）的对象号。必须是间接对象。 
Encrypt 字典 文档被保护时，会有这个字段，加密字典的对象号。
Info 字典 存放文档信息的字典，必须是间接对象。
ID 数组 文件的ID
startxref: 后面的数字表示最后一个交叉引用表相对于文件起始位置的偏移量。  
%%EOF :文件结束符.  
   
  一个PDF文件，都会有上面这样的结构（线性化优化的PDF例外，这个后面单独说）。实际一个pdf文件是很复杂的,但是上面几个部分是确定的,只能多不能少.了解了PDF文件的物理结构，就可以提取出一个一个的对象了.PDF中的对象有8种：
1.booleam  
  用关键字true或false表示,可以是array对象的一个元素,或dictionary对象的一个条目.也可以用在PostScript计算函数里面，做为if或ifesle的一个条件。
   
2.numeric  
包括整形和实型,不支持非十进制数字,不支持指数形式的数字.  
  例:  
  1)整数 123 4567 +111 -2  
  范围:正2的31次方-1到负的2的31次方  
  2)实数 12.3 0.8 +6.3 -4.01 -3. +.03  
  范围:±3.403 × 10的38次方 ±1.175 × 10的-38次方  
  注意:如果整数超过表示范围将转化成实数,如果实数超过范围就出错了  
 
3.string  
  由一系列0-255之间的字节组成,一个string总长度不能超过65535.string有以下两种方式:  
1) 直接字串
由()包含起来的一个字串,中间可以使用转义符"\".  
  例:  
  (abc) 表示abc  
  (a\\) 表示a\  
转义符的定义如下：
转义字符 含义
\n 换行
\r 回车
\t 水平制表符
\b 退格
\f 换页（Form feed (FF)）
\( 左括号
\) 右括号
\\ 反斜杠
\ddd 八进制形式的字符

2) 十六进制字串
由<>包含起来的一个16进制串,两位表示一个字符,不足两位用0补齐  

  例:  
  <Aabb> 表示AA和BB两个字符  
  <AAB> 表示AA和B0两个字符  

4.name  
  由一个前导/和后面一系列字符组成,最大长度为127.和string不同的是,name是不可分割的和唯一的,不可分割就是说一个name对象就是一个原子,比如/name,不能说n就是这个name的一个元素;唯一就是指两个相同的name一定代表同一个对象.从pdf1.2开始,除了ascii的0,别的都可以用一个#加两个十六进制的数字表示.  
  例:  
  /name 表示name  
  /name#20is 表示name is  
  /name#200 表示name 0  

5.array  
  用[]包含的一组对象,可以是任何pdf对象(包括array).虽然pdf只支持一维array,但可以通过array的嵌套实现任意维数的array(但是一个array的元素不能超过8191)  
  例:  
  [549 3.14 false (Ralph) /SomeName]  

6.Dictionary  
  用"<<"和">>"包含的若干组条目,每组条目都由key和value组成,其中key必须是name对象,并且一个dictionary内的key是唯一的;value可以是任何pdf的合法对象(包括dictionary对象).  
  例:  
  << /IntegerItem 12  
  /StringItem (a string)  
  /Subdictionary  
<< /Item1 0.4  
  /Item2 true  
  /LastItem (not!)  
  /VeryLastItem (OK)  
  >>  
  >>  
7.stream  
  由一个字典，和紧跟其后面的一组关键字stream和endstream以及这组关键字中间包含一系列字节组成.内容和string很相似,但有区别:stream可以分几次读取,分开使用不同的部分,string必须作为一个整体一次全部读取使用;string有长度限制,但stream却没有这个限制.一般较大的数据都用stream表示. 需要注意的是，Stream必须是间接对象，并且stream的字典必须是直接对象。从1.2规范以后，stream可以以外部文件形式存在，这种情况下，解析PDF的时候stream和endstream之间的内容就被忽略掉。
  例:
dictionary
stream
… data …
endstream
   
stream字典中常用的字段如下：
字段名 类型 值
Length 整形 （必须）关键字stream和endstream之间的数据长度，endstream之前可能会有一个多余的EOL标记，这个不计算在数据的长度中。
Filter 名字 或 数组 （可选）Stream的编码算法名称（列表）。如果有多个，则数组中的编码算法列表顺序就是数据被编码的顺序。
DecodeParms 字典 或 数组 （可选)一个参数字典或由参数字典组成的一个数组，供Filter使用。如果仅有一个Filter并且这个Filter需要参数，除非这个Filter的所有参数都已经给了默认值，否则的话DecodeParms必须设置给Filter。如果有多个Filter，并且任意一个Filter使用了非默认的参数， DecodeParms 必须是个数组，每个元素对应一个Filter的参数列表（如果某个Filter无需参数或所有参数都有了默认值，就用空对象代替）。 如果没有Filter需要参数，或者所有Filter的参数都有默认值，DecodeParms 就被忽略了。 
F 文件标识 （可选）保存stream数据的文件。如果有这个字段， stream和endstream就被忽略，FFilter将会代替Filter, FDecodeParms将代替DecodeParms。Length字段还是表示stream和endstream之间数据的长度，但是通常此刻已经没有数据了，长度是0.
FFilter 名字 或 字典 (可选)和filter类似，针对外部文件。
FDecodeParms 字典 或 数组 (可选)和DecodeParams类似，针对外部文件。

8.NULL  
  用null表示，代表空．如果一个key的值为null，则这个key可以被忽略；如果引用一个不存在的object则等价于引用一个空对象．  
  例:(略)  

以上八种对象是按照对象内涵来分的，如果按照对象的使用规则来说，对象又分为间接对象和直接对象。间接对象是PDF中最常用的对象，如前面对象集合里面的，所有对象都是间接对象，在其他位置通过R关键字来引用，在交叉引用表里面都是通过间接对象来引用的。直接对象就更好理解了，上面的8种对象单独出现的时候就叫直接对象。

------
还有人研究这个啊？
------
mark!
------
很强大啊，就是没精力。

------
引用 1 楼 healer_kx 的回复:
还有人研究这个啊？

------
最近还正好在研究这个，学习学习。
------
真有精力,进来拜拜!
------
这贴要顶
------
引用楼主 bobob 的帖子:
2.对象集合
这是一个PDF文件最重要的部分，文件中用到的所有对象,包括文本\图象\音乐\视频\字体\超连接\加密信息\文档结构信息等等,都在这里定义。格式如下:

------
很好
------
来看看。。不错~~
------
我也刚刚看了这篇文章，幸亏没有转发
------
引用 8 楼 greatws 的回复:
引用楼主 bobob 的帖子:
2.对象集合
这是一个PDF文件最重要的部分，文件中用到的所有对象,包括文本\图象\音乐\视频\字体\超连接\加密信息\文档结构信息等等,都在这里定义。格式如下:


有没有想过利用这点研究个个缓冲区溢出什么的，呵呵。貌似没有听说pdf有类似的漏洞。

------
引用 8 楼 greatws 的回复:
引用楼主 bobob 的帖子:
2.对象集合
这是一个PDF文件最重要的部分，文件中用到的所有对象,包括文本\图象\音乐\视频\字体\超连接\加密信息\文档结构信息等等,都在这里定义。格式如下:


有没有想过利用这点研究个个缓冲区溢出什么的，呵呵。貌似没有听说pdf有类似的漏洞。

------
学习。帮顶。不错
------
kao.不是送积分的么
------
牛× 还能嵌入视频 第一次晓得
------
这帖得顶
------
不错的，但有点不懂
------
学习中 不错
------
二十一世纪的人才啊！
------
学习学习
楼主真强大
------
受益了。
------
来看看,学习学习...
------
学习学习...
------
有用的东西就不会被淘汰，早晚有用的着的时候，谢谢LZ
------
mark
------
占座
------
支持一下.


------
收藏了
------
二十一世纪的管理人才啊！
------
这个不错，值得借鉴！！！
------
mark
------
顶，用到时候可宝贵了
------
这个不多见 我的可用分看看是多少
------
支持下
收藏
------
不错收下了呵呵
------
这个， 放错版了吧？估计要放到ASM那块去。反汇编啊~~~要不放到看雪论坛吧。好像PE文件格式啥的还是那边热度高。
(*^__^*) 嘻嘻……
------
学习学习.
------
看看
------
不简单。
------
很好，学习了
------
呃，真有钻研精神啊
------
mark 收藏了！
------
good，study!!
------
这个比较复杂
------
先收藏了
------
o
------
神啊，请您赐予我精力吧
------
关注!
------
做个标记
以后学习
------
哇，学习了
------
外国人搞这么个格式干什么？谁给说说！
------
mark~
------
顶了 顶了 不错 不错
------
Up
------
翻译referrence的？
lz在做pdf解析还是pdf fuzzing啊。
压缩图像那个还不算严格意义上的溢出，其实还是一个写的问题。之前的CollectEmailInfo问题才是哈，呵呵。
------
引用 57 楼 siglos 的回复:
翻译referrence的？
lz在做pdf解析还是pdf fuzzing啊。
压缩图像那个还不算严格意义上的溢出，其实还是一个写的问题。之前的CollectEmailInfo问题才是哈，呵呵。

------
很有意思，学习了
------
学习一下！
------
up
------
学习一下
------
看看,顺便长点见识
------
mark
------
楼主真是太强大了，这写出来，让人看着都晕，何况楼主去研究它。
佩服
------
看不太懂，收藏了
------
看看！！学习一下！
------
此贴一定得顶啊！
------
Thanks...
------
把博客链接贴过来就行了啊。把文章贴过来干什么。
------
引用 71 楼 happyparrot 的回复:
把博客链接贴过来就行了啊。把文章贴过来干什么。

------
mark
------
我是来混分的。。。。。理解不了。。
------
请教一个问题：：
  我想在PDF的间接对象之间嵌入文件，通过修改xref中各obj的偏移量来实现pdf文件的正确显示，但是看不到我嵌入的东西，