Aloha :)
Damit die Funktion \(f(x;y)\) in \((x_0;y_0)=(0;0)\) stetig ist, muss sie für alle möglichen Richtungen, aus denen du kommen kannst, gegen \(f(0;0)=0\) konvergieren. Bei Funktionen einer Variablen ist das überschaubar, weil du dich nur von links oder von rechts dem fraglichen Wert \(x_0\) nähern kannst, sodass du nur den linksseitigen und den rechtsseitigen Grenzwert zu betrachten brauchst.
In deinem 2-dimensionalen Fall hier kannst du z.B. Polarkoordinaten wählen:$$\binom{x}{y}=\binom{r\cos\varphi}{r\sin\varphi}$$und den Grenzwert \(r\to0\) bilden, wobei du aber explizit alle möglichen Richtungen \(\varphi\in[0;2\pi]\) zulässt:
$$f(x(r,\varphi);y(r,\varphi))=\frac{xy^3}{x^2+y^2}=\frac{r\cos\varphi\,r^3\sin^3\varphi}{r^2\cos^2\varphi+r^2\sin^2\varphi}=\frac{r^4\cos\varphi\,\sin^3\varphi}{r^2}=r^2\cos\varphi\sin^3\varphi$$
Wegen \(|\cos\varphi\sin^3\varphi|\le1\) für alle Richtungen \(\varphi\in[0;2\pi]\) gilt:$$\left|f(x(r,\varphi),y(r,\varphi))\right|\le r^2\quad\implies\quad \lim\limits_{r\to0}f(x(r,\varphi),y(r,\varphi))=0=f(0;0)\quad\checkmark$$
Die Funktion ist also stetig in \((0;0)\).