ffmpeg对于输入的视频文件采用的是probe的方法。每一种封装格式在注册是的时候都会提供probe函数。
ffmpeg首先读取文件的探测数据，一般是2-3k的头数据，然后遍历调用所有注册的probe函数，从中选出一个得分最高的封装格式。
然后在调用该格式的reed_head等函数，确定具体的音视频的编码格式，从而调用相应的codec。
总之，ffmpeg判定封装格式及编码格式是在demuxer中进行的，不是codec。具体的你可以看libavformat中的源代码。
对于输出文件，如无特殊指定，一般是根据扩展名判断编码格式。