그러나 이러한 비판들은 지금까지도 논쟁 중이지만, 분명한 것은 이 비판들이 수탁자 의무가 가지는 자체의 한계에서 기인하고 있다는 점이다. 달리 말해서 수탁자 의무에 관한 규정들은 다음과 같은 한계를 동시에 가지고 있다.
먼저 자산배분 관련 의사결정에 있어 대부분의 권한을 수탁자에게 위임하고 있는 경우(미 연방정부 및 주정부연금의 경우), 수탁자 의무를 상당히 구체적으로 규정하고 있음에도 수탁자들이 실제로 큰 권한을 가지지 못하는 경우도 있다. 또한 정부가 주도하는 공적연금의 성격상 수탁자에게 명확한 역할과 권한이 부여되어 있지 않은 경우, 대부분의 권한은 실질적으로 정부가 행사하며 수탁자는 유명무실한 기구에 그치게 될 가능성이 높다. 이 문제는 결국 공적 연금의 지배구조의 문제를 해결하는데 수탁자 의무 규정이 별 도움이 되지 못한다는 것을 의미한다.
둘째, 수탁자 의무가 최초에 판례법에 의존해왔기 때문에 수탁자의 두 가지 의무를 명백하게 규정하고 있지 않다. 달리 말해서 수탁자의무 자체는 구체적인 금지행위를 지정하기보다는 포괄적이고 일반적 원리들에 가깝다. 이것은 수탁자 의무가 일정한 수익성의 달성이라는 당장의 성과를 기대하기 위한 것이 아니라 신중한 의사결정을 유도하기 위한 관련된 원리들의 광범위한 조합으로 이루어져 있기 때문이다. 최근 성문법을 통해 관련 법제화가 이루어지고 있고, 또 전통적인 수탁자 의무를 통한 규제에 수량 규제를 혼합하여 연금제도에 대한 감독과 규제를 강화하고는 있지만 수탁자 의무 위반이 실제로 발생했을 경우 각 판례들마다 일관성이 없는 경우도 있다.
셋째, 수탁자 의무를 구성하는 주의의무와 충실의무가 SRI관점에서 보면 아주 협소하게 인식되고 적용되고 있다는 점이다. 즉, ① 연금 급부자들의 최상의 이익은 금융적 이익으로만 국한되며, ② 투자선택은 모든 급부자들의 이해를 반영해야 하며 ③ 또 급부자들의 이해도 본래적 의미의 급부자 이해에만 국한되어 있다. 그러나 이러한 해석은 다음과 같은 질문을 필연적으로 수반한다. 즉 급부자들의 최상의 이익은 무엇인가?, 급부자들의 다양한 이해관계가 일치하지 않을 경우, 수탁자들과 가입자 혹은 급부자들의 갈등하는 이해관계 사이의 조정은 어떻게 가능한가? 누가 급부자들인가? 등.
넷째, 수탁자에 의한 연금자산의 운용이 가입자 혹은 수익자들의 이해만을 위한 것이어야 한다는 충실의무가 주의의무와 원리상 충돌하는 경우가 발생할 수 있다는 것도 중요한 문제이다. 이것은 기존의 판례법에 더하여 성문화되는 과정에서 수탁자의무에 투자 대상회사를 감시할 의무(duty to monitor)와 의결권을 행사해야 할 의무(duty to vote) 등을 추가적으로 포함하게 되면서 발생한다. 연기금 등에 의한 기관행동주의는 수탁 기관에 권한을 집중함으로써 해당 기업의 주주와 기타 이해관계자 사이의 갈등을 감소시킬 수 있다는 장점이 있을 수 있다(Hawley & Williams, 2000: 98). 그러나 연기금자산 수탁자의 의무 준수에 있어서는 문제가 있다. 즉 연기금이 투자대상기업에 적극적으로 관여하여 그 기업의 주가를 높이는 경우에 이러한 행동은 해당 연기금 가입자들이나 급부자들 이외의 다른 주주들도 이롭게 한다. 이것은 원칙적으로 수탁자 의무의 전통적인 원리 가운데 하나인 충실의무를 위반하는 행위이다.