Yn yr adroddiad, dywedwyd nad oedd gan fwrdd y sefydliad y sgiliau na'r profiad sydd ei angen i wario arian cyhoeddus.
Cafodd adroddiad yr Athro Medwin Hughes ar y diwydiant cyhoeddi a llenyddiaeth yng Nghymru ei gomisiynu gan Lywodraeth Cymru.
Dywedodd Llenyddiaeth Cymru y byddai'n ystyried yr adroddiad yn "ofalus a thrylwyr".
Roedd darganfyddiadau'r adroddiad yn cynnwys:
Cafodd Llenyddiaeth Cymru ei greu yn 2011, ac roedd ganddo incwm o tua £1.2m y llynedd - £717,000 o hynny gan Lywodraeth Cymru trwy Gyngor Celfyddydau Cymru.
Yn dilyn cyhoeddiad yr adroddiad ddydd Mawrth fe wnaeth Ysgrifennydd Economi Cymru, Ken Skates gyhoeddi y bydd rhai o gyfrifoldebau Llenyddiaeth Cymru'n cael eu trosglwyddo i'r Cyngor Llyfrau.
Dywedodd Mr Skates: "Dwi'n deall fydd rhai yn synnu at sgôp y newidiadau yma.
"Fe ddylen ni danlinellu fod y newidiadau yn ymateb i angen penodol mewn maes penodol.
"Dydyn nhw ddim yn adlewyrchiad o waith ehangach y Cyngor Celfyddydau, ac rwy'n gwerthfawrogi'n fawr y gwaith gwych mae Llenyddiaeth Cymru yn cyflawni mewn amryw o feysydd."
Yn ymateb i'r newyddion, dywedodd Llenyddiaeth Cymru: "Mae adolygiad annibynnol Llywodraeth Cymru o gymorth ar gyfer cyhoeddi a llenyddiaeth yng Nghymru yn cyflwyno nifer o argymhellion sy'n mynnu ystyriaeth ofalus a thrylwyr.
"Edrychwn ymlaen at ddarllen yr adroddiad yn llawn, a chydweithio gyda Llywodraeth Cymru, Cyngor Celfyddydau Cymru a Chyngor Llyfrau Cymru i sicrhau bod llenyddiaeth yn ei holl ffurfiau yn parhau i fod yn hygyrch i ystod eang o gymunedau ac unigolion trwy Gymru gyfan."
Dywedodd llefarydd ar ran Cyngor Celfyddydau Cymru, sy'n darparu'r rhan fwyaf o gyllid Llenyddiaeth Cymru, bod yr awgrymiadau yn yr adroddiad yn "heriol a phellgyrhaeddol".
"Mae'r adroddiad yn awgrymu newid mewn safbwynt, ac mae'n rhaid i ni ystyried os yw strategaeth wahanol yn debygol o ddarparu canlyniadau gwell," meddai.
Bydd cyllid a chyfrifoldebau Llenyddiaeth Cymru yn cael eu torri yn dilyn adroddiad beirniadol.