钓鱼大模型，让它输出不该输出的东西

启发

LLM本身在指令微调的输出范式下，已经被规训地要严格对齐人类的answer标准了，你让它输出黄暴内容，它就会以极低的困惑度告诉你，打咩，我不能生成，你这样是不对的。

然而，这一切都在你按照QA模板生成的时候才会这样。最近有个小窍门，你希望大模型输出json，而有的大模型还要先废个话or直接不听你的话，你就搞个预输出，例如对于Qwen模板

<|im_start|>user
内容 ...
我要你输出json<|im_end|>
<|im_start|>assistant
{
   
   

我们会多搞一个{出来，强制输出变到json这个轨