Ý tưởng cốt lõi của yếu tố độ lệch phi tuyến tính giá trị thị trường, còn được gọi là yếu tố độ lệch giá trị thị trường trung bình, là tận dụng các đặc tính phi tuyến tính giữa giá trị thị trường và lợi nhuận cổ phiếu. Mặc dù có một phần bù giá trị thị trường nhỏ trên thị trường cổ phiếu A, mối quan hệ giữa giá trị thị trường và lợi nhuận không phải là một mối quan hệ tuyến tính đơn giản. Khi giá trị thị trường tăng lên, tác động biên của nó đến lợi nhuận giảm, tức là sự gia tăng lợi nhuận do tăng trưởng giá trị thị trường mang lại sẽ giảm dần. Nếu yếu tố giá trị thị trường tuyến tính được sử dụng trực tiếp, lợi nhuận kỳ vọng của các cổ phiếu có giá trị thị trường trung bình có thể bị đánh giá quá cao. Yếu tố này trích xuất phần dư giữa giá trị thị trường và kỳ vọng tuyến tính của nó thông qua mô hình hồi quy WLS, đây là yếu tố độ lệch phi tuyến tính giá trị thị trường. Yếu tố này phản ánh mức độ mà giá trị thị trường của một cổ phiếu riêng lẻ lệch khỏi kỳ vọng giá trị thị trường tuyến tính của nó. Logic xây dựng của yếu tố này là nếu giá trị thị trường của một cổ phiếu lệch khỏi mức giá trị thị trường như kỳ vọng của mô hình tuyến tính, hiệu suất thực tế của cổ phiếu cũng có thể lệch khỏi kỳ vọng. Phần dư của các cổ phiếu có giá trị thị trường trung bình thường nhỏ, điều đó có nghĩa là giá trị thị trường của nó gần với dự đoán của mô hình tuyến tính; trong khi giá trị dư của các cổ phiếu có giá trị thị trường cực kỳ nhỏ và lớn là lớn, cho thấy có sự khác biệt lớn giữa giá trị thị trường của nó và dự đoán tuyến tính. Yếu tố này là một yếu tố âm. Giá trị tuyệt đối càng lớn, độ lệch phi tuyến tính của giá trị thị trường càng lớn. Cần lưu ý rằng độ lệch ở đây đề cập đến độ lệch so với mô hình tuyến tính, không phải là quy mô của bản thân giá trị thị trường.