Você pode receber este erro se a variável LD_LIBRARY_PATH não estiver configurada corretamente e executar o MATLAB diretamente sem usar o script (dsp_builder.sh).
Desde a versão 11.0 em diante, a maneira correta de iniciar o MATLAB com o DSP Builder é usar o script quartus/dsp_builder/dsp_builder.sh. Este script não requer modificações no MATLAB e permite que o usuário use mais de uma versão do DSP Builder e mais de uma versão do MATLAB sem reinstalá-lo.
Você pode usar as seguintes opções após o comando dsp_builder.sh:
1) -m especificar outro caminho MATLAB.
2) -glnx86 para executar o DSP Builder de 32 bits