研究了基于相位调制原理的新型调制格式差分八相相移键控(D8PSK),给出了串联和并联两种信号生成方案,对包括非归零码(NRZ)、33％占空比归零码(33％RZ)、50％占空比归零码(50％RZ)、载波抑制归零码(CSRZ)4种不同码型的生成方式进行了说明,对信号的接收过程和预编码公式进行了理论推导,并对系统进行了仿真.仿真系统中信号总速率达到100 Gbit/s,信号生成采用串联方式,信号接收采用4个马赫-曾德尔时延干涉仪(MZI)平衡检测接收机,色散补偿方式采用对称补偿,通过眼图可以看到其接收效果良好.最后对不同码型的D8PSK与DQPSK系统在抵抗群速度色散效应、非线性效应及偏振模色散效应3种主要影响系统传输性能的因素方面进行了分析比较.当眼图张开度代价为l dB时,CSRZ-D8PSK信号的群速度色散容限、非线性容限及偏振模色散容限分别为190ps/nm、4.4 dBm及24 ps,结果表明其具有较好的传输性能.