Samolot ten skonstruowany został jak następca Heinkla He 60 i miał być podstawowym samolotem pokładowym ciężkich okrętów Kriegsmarine. Latem 1936 roku Technisches Amt RLM przedstawił wymagania dotyczące nowego samolotu pokładowego. Miał on być napędzany dziewięciocylindrowym silnikiem gwiazdowym BMW 132 K. Do konkursu stanęły firmy Arado i Focke-Wulf, które jesienią 1936 roku przedstawiły swoje projekty. Jako, że w tym czasie układ dwupłata był ogólnie przyjęty dla lekkich samolotów pokładowych konstruktor firmy Focke-Wulf inż. Kurt Tank przyjął ten układ dla swojego samolotu oznaczonego Fw 62. Konstruktor Arado zdecydował się na opracowanie nowoczesnego jednopłata . Technisches Amt po przeanalizowaniu wstępnych projektów obu samolotów zamówił cztery prototypy w zakładach Arado, opowiadając się zdecydowanie za nowoczesnym projektem tej firmy. Biorąc pod uwagę ewentualne ryzyko związane z rozwojem nowej konstrukcji również firma Focke-Wulf otrzymała zamówienie na dwa prototypy. Fw 62, traktowany był jako samolot rezerwowy w razie niepowodzenia z rozwojem konstrukcji firmy Arado Ar 196. Pierwsze dwa prototypy Ar 196 zostały wykończone i odbyły loty próbne latem 1937 roku. Były to samoloty Ar 196V1 oraz Ar 196V2 wyposażone w dwa metalowe pływaki. Prototypy te miały być maszynami wzorcowymi wersji Ar 196A, podczas gdy trzeci i czwarty prototyp Ar 196V3 i Ar 196V4 wyposażone e jeden duży centralny pływak oraz małe stabilizatory pod skrzydłami miały służyć do wzorcowej wersji B. Wszystkie prototypy napędzane były silnikiem BMW 132 Dc o mocy startowej 647 kW (880KM) z dwupłatowym śmigłem o przestawnym skoku. Pierwszy prototyp różnił się od pozostałych wielkością i kształtem usterzenia pionowego, kształtem usterzenia poziomego oraz rozmieszczeniem i długością rur wydechowych . Obie rury wydechowe w Ar 196V1 umieszczone były na lewej spodniej części silnika, podczas gdy w pozostałych były rozdzielone na prawą i lewą dolna stronę silnika. Prototypy V3 i V4 różniły się kształtem i wielkością pływaków stabilizujących pod skrzydłami oraz rozmieszczeniem ich wsporników. Czwarty prototyp był pierwszą maszyna która otrzymała uzbrojenie takie jak planowano dla samolotów seryjnych składających się z dwóch montowanych w skrzydłach działek lotniczych MG FF kalibru 20 mm z zapasem amunicji 60 naboi na lufę, jednego stałego karabinu maszynowego MG 17 kalibru 7,9 mm montowanego w prawej przedniej części kadłuba z zapasem amunicji 500 sztuk naboi oraz dwóch podwieszanych pod skrzydłami bomb SC. 50 o wagomiarze 50 kg. Hydro dynamiczne właściwości obu rodzajów pływaków badane były w Aerodynamische Versuchsanstalt (centrum badań aerodynamicznych ), a prototypy praktyczne próby w Erprobungsstelle Travemunde.

Ani badania teoretyczne ani próby praktyczne nie dały jednoznacznej odpowiedzi na pytanie, który rodzaj użytych pływaków jest lepszy. Jeden i drugi system wykazywał swoje wady i zalety. Zarówno ciężar , jak i opór aerodynamiczny w obu przypadkach był podobny. Centralny pływak zapewniał większą stabilność przy lądowaniu na wzburzonym morzu, wstrząsy przenosiły się wówczas centralnie na kadłub. Jednakże podczas startu pływaki stabilizujące miały tendencje do zanurzania się w wodzie przez co manewr startu, szczególnie przy większej fali był dość trudny. Z drugiej strony konstrukcja dwu pływakowa zapewniała większą stabilność, szczególnie przy większych prędkościach startu i lądowania, a także podczas manewrowania na wodzie. Negatywną strona tej koncepcji było przenoszenie drgań na płaty. Nie chcąc podejmować pochopnej decyzji Technisches Amt złożył zamówienie na 10 przed seryjnych egzemplarzy Ar 196A-0 oraz na równoczesne zbudowanie 3 prototypu z centralnym pływakiem planowanej wersji B. Ar 196V5 był gotów jesienią 1938 rok. Napęd tego samolotu stanowił silnik BMW 132 K o mocy 705 kW (960KM) wyposażony w trzypłatkowe śmigło VDM o przestawnym skoku, ten sam silnik i śmigło zamontowano do prototypu V1, który służyć miał bo pobicia kilku miedzy narodowych rekordów w klasie wodnosamolotów.. Pierwsze z 10 przed seryjnych egzemplarzy Ar 196A-0 opuściły zakłady w Warnemude w listopadzie 1938 roku. Samoloty te oznaczone były od 0091 do 0100. Napęd tworzył silnik BMW 132 K wraz z trój płatowym śmigłem VDM. Kadłub samoloty o owalnym przekroju konstrukcji metalowej, krytej w przedniej części blacha za wyjątkiem części ruchomych krytych płótnem