Cisco 841Mは、GUIで初期設定を行い、IPv4（PPPoE）でのインターネット接続するところまでは簡単に出来ます。ただしIPv6接続はGUIだけだと上手くいかなかったので、色々調べてCUIで設定した内容を残しておきます。
IPv6パススルー
Cisco841MでIPv6（IPoE）接続を行うには、IPv6パススルー（ブリッジ）を設定する必要があります。
設定には以下のURLを参考にしました。
https://www.cisco.com/c/ja_jp/support/docs/ip/ip-version-6/ipv6-passthru.html
この例だと、物理インターフェースにブリッジしていますが、今回はVlanにブリッジさせます。
Config抜粋
config上で設定した箇所を以下に示します。関係ない箇所は省略しています。
!
bridge irb
!
!
interface GigabitEthernet0/4
description PrimaryWANDesc_
no ip address
ip tcp adjust-mss 1412
duplex auto
speed auto
pppoe enable group global
pppoe-client dial-pool-number 1
bridge-group 1
!
interface Vlan1
no ip address
bridge-group 1
bridge-group 1 input-type-list 200
!
!
interface BVI1
description $BVI_LAN$
ip address 192.168.1.1 255.255.255.0
ip nat inside
ip virtual-reassembly in
ip tcp adjust-mss 1414
!
access-list 200 permit 0x86DD 0x0000
access-list 200 permit 0x0800 0x0000
access-list 200 permit 0x0806 0x0000
bridge 1 protocol ieee
bridge 1 route ip
!
Cisco 841MはGi0/4がWANインターフェースになるので、Gi0/4とVlan1をブリッジさせています。ACLで0x86DD (IPv6) のトラフィックを通すようにしています。
設定するときの注意として、これだとVlan1が一時的に繋がらなくなってしまうので、コンソールケーブルで接続している場合は問題ないですが、SSHなどVlan1配下のNWで設定していると接続が切れてしまいます。
コンソールケーブルが手元にない場合は、荒技ですがTFTPでconfigファイルを転送し、startup-configに上書きして再起動する形で設定してもOKです。configファイルの転送はUSBメモリ経由でも出来ますので、やりやすい方でOKです。
設定して無事インターネットにつながったら、IPv6通信できているかを確認します。
↑は一例ですが、無事アクセスできればIPv6で通信できています。
2022/6/17追記 Cisco 891FJ
Cisco 891FJを入手したのでこちらでも試してみました。Gi 0/4をGE8に置き換えるだけです。
以上です。