[tc71][T11/508 Toán học & tuổi trẻ số 508, tháng 10 năm 2019] Tìm tất cả các hàm số $f \colon \mathbb{R} \rightarrow \mathbb{R}$ thỏa mãn \[f(x)f(y)+f(x+y)=xf(y)+yf(x)+f(xy)+x+y+1, \forall x, y \in \mathbb{R}. \]

Lời giải

Giả sử tồn tại hàm số $f \colon \mathbb{R} \rightarrow \mathbb{R}$ thỏa mãn \[f(x)f(y)+f(x+y)=xf(y)+yf(x)+f(xy)+x+y+1, \forall x, y \in \mathbb{R}. \tag{1}\] Thay $(x,y)=(0,0)$ vào $(1)$ ta được $$f(0)f(0)+f(0)=f(0)+1\Leftrightarrow \left[ \begin{array}{l}&f(0)=1\\&f(0)=-1.\end{array}\right.$$ Xét trường hợp $f(0)=1$. Thế $y=0$ vào $(1)$, ta thu được hàm số $f(x)=x+1$ không thỏa mãn $(1)$. Vậy nên $f(0)\ne 1$. Do đó $f(0)=-1$.
Thay $(x,y)=(1,-1)$ vào $(1)$, ta thu được \begin{eqnarray*} &&f(1)f(-1)+f(0)=f(-1)-f(1)+f(-1)+1\\ &\Leftrightarrow & \left[f(1)-2\right]\left[f(-1)+1\right]=0\Leftrightarrow \left[ \begin{array}{l}&f(1)=2\\&f(-1)=-1.\end{array}\right. \end{eqnarray*}

• Khi $f(1)=2$, thế $y=1$ vào $(1)$, ta thu được $$f(x+1)=3x+2 hay f(x)=3x-1.$$ Hàm số này thỏa mãn $(1)$.
• Khi $f(-1)=-1$, thế $y=-1$ vào $(1)$, ta thu được \begin{align*} &f(x)f(-1)+f(x-1)=xf(-1)-f(x)+f(-x)+x\\ \Leftrightarrow & f(x-1)=f(-x), \forall x\in \mathbb{R}. \tag{2} \end{align*}Vậy nên $f(-2)=f(1)$.
  Thay $(x,y)=(1,-2)$ vào $(1)$ và sử dụng hệ thức $f(-2)=f(1)$, ta thu được $$\left[f(1)\right]^2=1\Leftrightarrow \left[ \begin{array}{l}&f(1)=-1\\&f(1)=1.\end{array}\right.$$
• Khi $f(1)=-1$, thế $y=1$ vào $(1)$, ta thu được \[f(x+1)=3f(x)+2 \text{ hay } f(x)=3f(x-1)+2, \forall x\in \mathbb{R}. \tag{3}\] Từ $(2)$ và $(3)$ suy ra $f(x)=3f(-x)+2, \forall x\in \mathbb{R} \tag{4}$
  Suy ra $f(-x)=3f(x)+2, \forall x\in \mathbb{R}. \tag{5}$
  Thay $(5)$ vào $(4)$ ta có $$f(x)=3\left[3f(x)+2\right]+2\Rightarrow f(x) \equiv -1, \forall x\in \mathbb{R}.$$ Hàm này thỏa mãn $(1)$.
• Khi $f(1)=1$, thế $y=1$ vào $(1)$, ta thu được \[f(x+1)=f(x)+2x+2, \forall x\in \mathbb{R}. \tag{6}\] Thay $x$ bởi $x+1$ trong $(1)$ và sử dụng $(6)$, $\forall x, y \in \mathbb{R}$ ta thu được $$f(x+y+1)+f(x+1)f(y)=(x+1)f(y)+yf(x+1)+f\left((x+1)y\right)+x+y+2$$ hay \begin{align*} & f(x+y)+2(x+y)+2+\left[f(x)+2x+2\right]f(y)\\ =&(x+1)f(y)+y\left[f(x)+2x+2\right]+f(xy+y)+x+y+2.\tag{7} \end{align*}Từ $(1)$ và $(7)$ ta thu được \[(2x+1)f(y)+f(xy)=f(xy+y)+2xy-2x-1, \forall x,y \in \mathbb{R}. \tag{8}\] Trong $(8)$ thay $y=\dfrac{1}{x}$ với $x\ne 0$, ta thu được \begin{align*} &(2x+1)f\left(\dfrac{1}{x}\right)+f(1)=f\left(1+\dfrac{1}{x}\right)+2-2x-1, \forall x\ne 0\\ \Leftrightarrow & (2x+1)f\left(\dfrac{1}{x}\right)+1=f\left(\dfrac{1}{x}\right)+\dfrac{2}{x}+2+2-2x-1, \forall x \ne 0\\ \Leftrightarrow & 2xf\left(\dfrac{1}{x}\right)=\dfrac{2}{x}+2-2x, \forall x\ne 0\\ \Leftrightarrow&f\left(\dfrac{1}{x}\right)=\dfrac{1}{x^2}+\dfrac{1}{x}-1,\forall x\ne 0\\ \Leftrightarrow & f(t)=t^2+t-1, \forall t\ne 0. \tag{9} \end{align*}Vì $f(0)=-1$ nên $(9)$ đúng với mọi $t\in \mathbb{R}$. Thử lại ta thấy hàm này thỏa mãn $(1)$.

Kết luận:<> Bài toán có ba nghiệm là các hàm số $$f(x)=-1, f(x)=3x-1, f(x)=x^2+x-1, \forall x\in \mathbb{R}.$$